Odak Kaybı Nedir?

Odak kaybı (focal loss), sınıfların çok dengesiz dağıldığı problemlerde modelin öğrenmesini iyileştirmek için tasarlanmış bir kayıp fonksiyonu türüdür. 2017'de nesne tespiti modeli RetinaNet ile birlikte tanıtıldı.

Odak kaybı nedir?

Nesne tespitinde bir görüntüde incelenen aday bölgelerin çok büyük kısmı arka plandır; gerçek nesne içeren bölgeler azınlıktadır. Standart çapraz entropi kullanıldığında, model tarafından kolayca "arka plan" diye tanınan binlerce örneğin küçük kayıpları toplanır ve eğitimi domine eder. Model zor örneklerden yeterince öğrenemez.

Odak kaybı buna bir düzeltme çarpanı ekler:

FL(p_t) = − α · (1 − p_t)^γ · log(p_t)

Burada p_t, modelin doğru sınıfa verdiği olasılıktır; γ (gama) odaklanma parametresi, α ise sınıf ağırlığıdır.

Nasıl çalışır?

• Model bir örneği kolayca doğru tahmin ediyorsa p_t 1'e yakındır, (1 − p_t)^γ çarpanı çok küçülür ve bu örneğin kayba katkısı azalır.
• Model zorlanıyorsa p_t düşüktür, çarpan 1'e yakın kalır ve kayıp neredeyse olduğu gibi korunur.
• γ = 0 olduğunda odak kaybı standart (ağırlıklı) çapraz entropiye dönüşür. Orijinal çalışmada γ = 2 değeri iyi sonuç vermiştir.

Varsayımsal bir örnekle: p_t = 0,9 olan kolay bir örnekte γ = 2 için çarpan (0,1)² = 0,01'dir; kayıp yüzde bir oranına düşer. p_t = 0,3 olan zor bir örnekte çarpan 0,49'dur; kaybın yaklaşık yarısı korunur.

Nelere dikkat etmeli?

• γ ve α hiperparametredir; probleme göre ayarlanmaları gerekir.
• Etiket gürültüsü yüksek veride, model yanlış etiketli örnekleri "zor" sanıp onlara aşırı odaklanabilir.
• Dengesiz veriyle başa çıkmanın tek yolu değildir; yeniden örnekleme veya sınıf ağırlıkları gibi alternatiflerle birlikte değerlendirilmelidir.