İçeriğe geç
parazade
Yapay Zeka

Dikkat Haritası Nedir?

İngilizce: Attention Map

Yayın: · Son güncelleme:

Dikkat Haritası Nedir? Kısaca

Dikkat haritası, transformer gibi dikkat mekanizması kullanan bir modelin bir çıktıyı üretirken girdinin hangi parçalarına ne kadar ağırlık verdiğini gösteren, genellikle ısı haritası biçiminde sunulan görselleştirmedir.

Dikkat Haritası nedir?
İçindekiler
  1. Dikkat haritası nedir?
  2. Nasıl okunur?
  3. Nelere dikkat etmeli?

Dikkat haritası, bir modelin dikkat katmanlarında hesaplanan ağırlıkların görsel hâlidir. Metinde kelimeler arasındaki, görüntüde ise bölgeler arasındaki ilişkinin gücünü renk yoğunluğuyla gösterir.

Dikkat haritası nedir?

Dikkat mekanizması, bir modelin her adımda girdinin bütün parçalarına bakıp hangilerinin o an daha önemli olduğuna karar vermesini sağlar. Bu karar sayısal ağırlıklarla ifade edilir. Ağırlıklar bir tabloya, satırlar "bakan" parçalar, sütunlar "bakılan" parçalar olacak şekilde yerleştirilip renklendirildiğinde dikkat haritası ortaya çıkar.

Nasıl okunur?

Örneğin varsayımsal "Kedi masadan atladı çünkü o korkmuştu" cümlesinde, "o" kelimesinin satırında "kedi" sütunu koyu renkliyse, model bu zamiri kediyle ilişkilendiriyor olabilir. Görüntü modellerinde ise harita resmin üstüne bindirilir ve modelin hangi bölgeye odaklandığı görünür.

Modern modellerde çok sayıda katman ve her katmanda birden fazla "dikkat başı" bulunur. Bu yüzden tek bir harita yerine katman ve baş başına ayrı haritalar incelenir.

Nelere dikkat etmeli?

  • Dikkat ağırlıkları her zaman kararın gerçek nedenini göstermez; araştırmacılar bu konuda ihtiyatlı olmayı önerir.
  • Farklı katmanlar farklı ilişkileri yakalar; tek haritadan genel sonuç çıkarmak yanıltıcı olabilir.
  • Daha güvenilir açıklama için başka yorumlanabilirlik yöntemleriyle birlikte kullanılmalıdır. Örneğin bir özelliği girdiden çıkarıp tahminin nasıl değiştiğine bakmak, haritanın söylediğini sınamaya yardım eder.

Sıkça Sorulan Sorular

Dikkat haritası ile ısı haritası aynı şey mi?

Isı haritası genel bir görselleştirme biçimidir. Dikkat haritası, dikkat ağırlıklarının çoğunlukla ısı haritası biçiminde çizilmiş hâlidir.

Dikkat haritası modelin neden öyle karar verdiğini kanıtlar mı?

Hayır, yalnızca bir ipucu verir. Dikkatin yüksek olduğu yer her zaman kararı belirleyen yer olmayabilir; bu nedenle tek başına kanıt sayılmamalıdır.

İlgili terimler

Dikkat Mekanizması(Attention Mechanism)Dikkat mekanizması, bir sinir ağının girdinin her parçasını işlerken diğer parçalardan hangilerinin daha önemli olduğunu ağırlıklandırarak bilgiyi seçici biçimde birleştirmesini sağlayan yöntemdir.Öz Dikkat(Self-Attention)Öz dikkat (self-attention), bir dizideki her öğenin aynı dizideki diğer tüm öğelere ne kadar dikkat etmesi gerektiğini hesaplayan mekanizmadır. Her kelimenin anlamını bağlamdaki diğer kelimelere göre yeniden şekillendirir ve Transformer mimarisinin temelini oluşturur.TransformerTransformer, metin gibi sıralı verileri dikkat mekanizmasıyla paralel işleyen ve büyük dil modellerinin çoğunun temelini oluşturan bir sinir ağı mimarisidir.Yorumlanabilirlik(Interpretability)Yorumlanabilirlik (interpretability), bir yapay zekâ modelinin belirli bir çıktıyı neden ve nasıl ürettiğini insanların anlayabilmesi ve bu amaçla modelin iç işleyişini inceleyen yöntemlerin ve araştırma alanının genel adıdır.Harf Çevirisi(Transliteration)Harf çevirisi (transliterasyon), bir yazı sistemindeki metnin, anlamı çevrilmeden başka bir yazı sisteminin harfleriyle yazılmasıdır. Örneğin Kiril alfabesiyle yazılmış bir ismin Latin harflerine aktarılması harf çevirisidir.Dil Tespiti(Language Detection)Dil tespiti (language detection), bir metnin ya da ses kaydının hangi dilde olduğunu otomatik olarak belirleyen doğal dil işleme görevidir. Çeviri, arama motorları ve içerik moderasyonu gibi pek çok sistemin ilk adımıdır.