İkili Çapraz Entropi Nedir?

İkili çapraz entropi nedir?

İkili çapraz entropi (İngilizce binary cross-entropy, kısaca BCE; log loss olarak da bilinir), sonucu iki seçenekten biri olan problemler için kullanılan bir kayıp fonksiyonudur. "E-posta spam mı, değil mi?" ya da "Görüntüde nesne var mı, yok mu?" gibi sorular buna örnektir. Çapraz entropinin iki sınıfa özel hâlidir.

Nasıl hesaplanır?

Model, genellikle sigmoid fonksiyonuyla 0 ile 1 arasında bir olasılık (p) üretir. Gerçek etiket y, 1 (pozitif) ya da 0 (negatif) olur. Tek bir örnek için:

Kayıp = −[y × log(p) + (1 − y) × log(1 − p)]

Bu ifade şu anlama gelir:

• Gerçek etiket 1 ise kayıp −log(p) olur; p arttıkça kayıp azalır.
• Gerçek etiket 0 ise kayıp −log(1 − p) olur; p azaldıkça kayıp azalır.

Tüm örneklerin kaybı toplanıp ortalaması alınır.

Varsayımsal örnek: Bir e-posta gerçekten spam (y = 1) olsun. Model 0,95 olasılık verirse kayıp yaklaşık 0,05; 0,2 verirse yaklaşık 1,61 olur.

Nerelerde kullanılır?

• Spam filtreleme, dolandırıcılık tespiti gibi iki sınıflı sınıflandırmalarda,
• Bir örneğin aynı anda birden fazla etikete sahip olabildiği çok etiketli problemlerde (her etiket için ayrı ayrı),
• Lojistik regresyonun eğitiminde.

Nelere dikkat etmeli?

Sınıflardan biri çok nadirse model hep çoğunluk sınıfını tahmin ederek düşük kayıp elde edebilir; bu durumda sınıf ağırlıkları ya da farklı ölçütler gerekir. Olasılık tam 0 ya da 1'e yaklaştığında logaritma sorun çıkaracağından kütüphaneler değerleri küçük bir payla kırpar ya da logit üzerinden hesaplar.