Dikkat Mekanizması Nedir?
İngilizce: Attention Mechanism
Yayın: · Son güncelleme:
Dikkat Mekanizması Nedir? Kısaca
Dikkat mekanizması, bir sinir ağının girdinin her parçasını işlerken diğer parçalardan hangilerinin daha önemli olduğunu ağırlıklandırarak bilgiyi seçici biçimde birleştirmesini sağlayan yöntemdir.
Dikkat mekanizması (attention), bir modelin bir kelimeyi (ya da tokeni) işlerken girdideki diğer kelimelere ne kadar "dikkat edeceğine" karar vermesini sağlayan yöntemdir. Transformer mimarisinin kalbidir ve büyük dil modellerinin bağlamı anlamasını mümkün kılar.
Dikkat mekanizması nasıl çalışır?
Örnek cümle: "Banka şubesine gittim ama kapalıydı." Model "kapalıydı" kelimesini işlerken neyin kapalı olduğunu anlamak için "şubesine" kelimesine yüksek, "gittim" kelimesine daha düşük ağırlık verir.
Teknik olarak her token için üç vektör hesaplanır:
- Query (sorgu): "Ben neyi arıyorum?"
- Key (anahtar): "Ben hangi bilgiyi temsil ediyorum?"
- Value (değer): "Seçilirsem hangi bilgiyi aktarırım?"
Bir tokenin sorgusu diğer tokenlerin anahtarlarıyla karşılaştırılır, benzerlik skorları olasılığa çevrilir (softmax) ve değer vektörleri bu ağırlıklarla toplanır. Sonuç, bağlamı içeren yeni bir temsildir.
Öz-dikkat ve çok başlı dikkat
Bir cümlenin kendi içindeki kelimelere bakmasına öz-dikkat (self-attention) denir. Transformer'lar bu hesabı birden fazla "başla" paralel yapar; her baş farklı bir ilişki türüne (dil bilgisi, anlam, gönderim) odaklanabilir. Buna çok başlı dikkat denir.
Nelere dikkat etmeli?
Dikkat hesabı, her tokenin diğer her tokene bakması demektir; girdi uzadıkça işlem ve bellek ihtiyacı hızla artar. Bu durum bağlam penceresi sınırlarının ana nedenlerinden biridir. Dikkat ağırlıkları bazen modelin kararını yorumlamak için kullanılsa da tek başına kesin bir açıklama sayılmaz.
Sıkça Sorulan Sorular
Dikkat mekanizması ilk kez transformer ile mi ortaya çıktı?
Hayır. Dikkat fikri daha önce makine çevirisinde tekrarlayan ağlarla birlikte kullanılıyordu. Transformer, tekrarlayan yapıyı tamamen bırakıp yalnızca dikkat katmanlarına dayanmasıyla öne çıktı.
Uzun metinler neden modeller için zor?
Standart dikkat hesabında her token diğer tüm tokenlerle karşılaştırılır. Metin iki kat uzadığında bu karşılaştırma sayısı yaklaşık dört kat artar; bu da bellek ve işlem maliyetini yükseltir.