Öz Dikkat Nedir?
İngilizce: Self-Attention
Yayın: · Son güncelleme:
Öz Dikkat Nedir? Kısaca
Öz dikkat (self-attention), bir dizideki her öğenin aynı dizideki diğer tüm öğelere ne kadar dikkat etmesi gerektiğini hesaplayan mekanizmadır. Her kelimenin anlamını bağlamdaki diğer kelimelere göre yeniden şekillendirir ve Transformer mimarisinin temelini oluşturur.
Öz dikkat nedir?
Öz dikkat (İngilizce self-attention), dikkat mekanizmasının bir dizinin kendi içine uygulanan türüdür. Bir cümledeki her kelime, aynı cümledeki diğer kelimelere bakar ve hangilerinin kendi anlamı için önemli olduğuna karar verir. Örneğin "Ali kitabı masaya bıraktı çünkü o çok ağırdı" cümlesinde "o" kelimesinin neyi kastettiğini anlamak için model, "kitap" kelimesine daha fazla dikkat vermeyi öğrenir.
Nasıl çalışır?
Her token'ın embedding vektöründen üç farklı vektör üretilir:
- Sorgu (query): "Ben neyi arıyorum?"
- Anahtar (key): "Ben neyi temsil ediyorum?"
- Değer (value): "Seçilirsem hangi bilgiyi aktarırım?"
Adımlar şöyledir:
- Her token'ın sorgusu, tüm token'ların anahtarlarıyla nokta çarpımı yapılarak karşılaştırılır.
- Sonuçlar vektör boyutunun kareköküne bölünerek ölçeklenir.
- Softmax ile bu puanlar toplamı 1 olan dikkat ağırlıklarına çevrilir.
- Değer vektörleri bu ağırlıklarla toplanır; sonuç, token'ın bağlamla zenginleşmiş yeni temsilidir.
Çok başlı dikkat
Pratikte bu işlem birden fazla "baş" ile paralel yapılır. Her baş farklı bir ilişki türüne odaklanabilir: biri dil bilgisi bağlarına, bir diğeri anlam yakınlığına bakabilir. Sonuçlar birleştirilir.
Neden önemli?
- Uzak kelimeler arasındaki ilişkiyi tek adımda kurabilir.
- Tüm token'lar paralel işlendiği için eğitim, tekrarlayan ağlara göre çok daha hızlıdır.
- Transformer tabanlı tüm büyük dil modellerinin çekirdeğidir.
Sınırları
Her token diğer her token'la karşılaştırıldığı için hesaplama ve bellek, dizi uzunluğunun karesiyle artar. Uzun bağlam pencerelerinde bu maliyeti azaltmak için verimli dikkat algoritmaları ve alternatif mimariler geliştirilmektedir. Öz dikkat kendi başına sıra bilgisi taşımaz; bu yüzden konum kodlamasına ihtiyaç duyar.
Sıkça Sorulan Sorular
Öz dikkat ile dikkat mekanizması arasındaki fark nedir?
Dikkat mekanizması genel bir kavramdır; sorgular bir diziden, anahtar ve değerler başka bir diziden gelebilir. Öz dikkatte ise sorgu, anahtar ve değerlerin hepsi aynı diziden üretilir.
Öz dikkat neden konum bilgisine ihtiyaç duyar?
Öz dikkat, token'ları bir küme gibi işler ve sıralarını kendiliğinden bilmez. Bu yüzden mutlak konum kodlaması ya da RoPE gibi yöntemlerle sıra bilgisi modele ayrıca eklenir.