Athena
EN
Teknoloji / buluşDallarHaziran 20171 düğüm

Transformer ve büyük dil modelleri

Ashish VaswaniNoam ShazeerNiki ParmarJakob UszkoreitLlion JonesAidan GomezŁukasz KaiserIllia Polosukhin

Bu sayfa bir hüküm vermez; iddiaları ve kanıtları kaynaklarıyla sunar. Bilimde hiçbir teori mutlak değildir. Yöntem

Herkes için

2017'de önerilen Transformer mimarisi, bir metindeki kelimelerin birbirleriyle ilişkisini "dikkat" mekanizmasıyla hesaplar. GPT, Claude ve Gemini gibi büyük dil modelleri bu mimari üzerine kuruludur. Bu modeller metin yazma, çeviri, programlama ve akıl yürütme görevlerinde büyük ilerleme gösterdi. Modellerin gerçekten "anlayıp anlamadığı" tartışmalıdır.

Uzmanlar için

Öz-dikkat mekanizması, sorgu (Q), anahtar (K) ve değer (V) matrisleriyle softmax(QKᵀ/√d)V olarak hesaplanır. Bu, tekrarlayan ağlara göre paralel eğitimi mümkün kılar. Ölçekleme yasaları, kayıp fonksiyonunun parametre, veri ve hesaplama miktarıyla güç yasasına göre azaldığını gösterir (Kaplan vd. 2020). Eleştirmenler, bu modellerin istatistiksel örüntü eşleştirmeye dayandığını, gerçek anlama sahip olmadığını ve yanlış bilgi uydurabildiğini ("halüsinasyon") vurgular.

İddialar

Kanıtlar

Destekleyen

Ölçüm

Transformer, WMT 2014 İngilizce–Almanca çeviri görevinde o dönemin en iyi sonucunu daha az eğitim maliyetiyle elde etti.[1]

Ölçüm

Model kaybının, model boyutu, veri ve hesaplama arttıkça öngörülebilir bir güç yasasıyla azaldığı ölçüldü.[2]

Karşı çıkan / sorgulayan

Yöntem eleştirisi

Büyük dil modellerinin anlamı kavramadan dilsel biçimi taklit eden "stokastik papağanlar" olduğu ve bunun riskler doğurduğu savunuldu.[3]

Bağlantılar

Üst dal

Bilişim ve yapay zekâ

Alt dallar

Yapay zekânın Uluslararası Matematik Olimpiyatı'nda altın madalya düzeyine ulaşması

Üzerine kurulduğu

Derin öğrenme

Bağlantılı

Yapay zekânın Uluslararası Matematik Olimpiyatı'nda altın madalya düzeyine ulaşmasıChomsky ve evrensel dilbilgisi

Bu konu şu yolculuklarda geçer

Saymadan yapay zekâya · durak 10/11

Ağaçta göster →

Kaynaklar

  1. Ön baskıVaswani, A. et al. (2017). Attention is all you needarXiv:1706.03762arşiv
  2. Ön baskıKaplan, J. et al. (2020). Scaling laws for neural language modelsarXiv:2001.08361arşiv
  3. MakaleBender, E. M.; Gebru, T.; McMillan-Major, A.; Shmitchell, S. (2021). On the dangers of stochastic parrots: can language models be too big?. Proceedings of FAccT 2021, 610–623DOI 10.1145/3442188.3445922arşiv

Literatürde ara

Bu konudaki akademik yayınları başka dizinlerde de arayabilirsiniz:

Google Scholar ↗Semantic Scholar ↗BASE ↗CORE ↗arXiv ↗DergiPark ↗

Bu sayfayı kaynak göster

APA

Athena katkıcıları. (2026). Transformer ve büyük dil modelleri. Athena: İnsanlığın bilgi ağacı. Erişim: 1 Kasım 2026, https://latifkedi.github.io/athena/d/transformer/

BibTeX
@misc{athena_transformer,
  title        = {Transformer ve büyük dil modelleri},
  author       = {{Athena katkıcıları}},
  year         = {2026},
  howpublished = {\url{https://latifkedi.github.io/athena/d/transformer/}},
  note         = {Athena: İnsanlığın bilgi ağacı. Erişim: 2026-11-01}
}

Eklendi: 27 Eylül 2026 · Son değişiklik: 28 Eylül 2026 · Sayfa geçmişi

✎ Düzeltme öner