İçeriğe geç
parazade
Yapay Zeka

Çapraz Entropi Nedir?

İngilizce: Cross-Entropy

Yayın: · Son güncelleme:

Çapraz Entropi Nedir? Kısaca

Çapraz entropi, bir modelin tahmin ettiği olasılık dağılımının gerçek dağılımdan ne kadar uzak olduğunu ölçen bir kayıp fonksiyonudur. Doğru sınıfa düşük olasılık veren tahminleri ağır cezalandırır; sınıflandırma modelleri ve dil modelleri eğitiminde standarttır.

Çapraz Entropi nedir?
İçindekiler
  1. Çapraz entropi nedir?
  2. Nasıl çalışır?
  3. Nerelerde kullanılır?
  4. Nelere dikkat etmeli?

Çapraz entropi nedir?

Çapraz entropi (İngilizce cross-entropy), bilgi kuramından gelen ve iki olasılık dağılımı arasındaki farkı ölçen bir kavramdır. Makine öğrenmesinde, modelin tahmin ettiği olasılıkların gerçek etiketlerle ne kadar uyumlu olduğunu ölçmek için kayıp fonksiyonu olarak kullanılır. Model doğru sınıfa yüksek olasılık verdikçe kayıp küçülür.

Nasıl çalışır?

Çok sınıflı bir problemde model, genellikle softmax ile her sınıf için bir olasılık üretir. Gerçek sınıf tek ise çapraz entropi pratikte şu ifadeye indirgenir:

Kayıp = −log(doğru sınıfa verilen olasılık)

Varsayımsal örnek: Bir görüntü gerçekte "kedi" olsun.

Modelin "kedi" olasılığı Kayıp (doğal log)
0,9 yaklaşık 0,11
0,5 yaklaşık 0,69
0,1 yaklaşık 2,30

Görüldüğü gibi model yanlış bir şeye emin oldukça kayıp hızla büyür. Bu özellik, modeli kendinden emin hatalardan uzaklaştırır.

Nerelerde kullanılır?

  • Görüntü, metin ve ses sınıflandırma modellerinde,
  • Dil modellerinde bir sonraki token'ın tahmininde,
  • İki sınıflı problemlerde ise özel hâli olan ikili çapraz entropi biçiminde.

Nelere dikkat etmeli?

Olasılık sıfıra çok yakın olduğunda logaritma çok büyük değerler üretebilir; kütüphaneler bu yüzden sayısal olarak kararlı uygulamalar kullanır. Dengesiz veri setlerinde azınlık sınıfı gözden kaçabileceği için sınıf ağırlıkları gibi ek önlemler gerekebilir. Ayrıca düşük kayıp, modelin olasılıklarının gerçek dünyada iyi kalibre olduğu anlamına her zaman gelmez.

Sıkça Sorulan Sorular

Çapraz entropi ile entropi arasındaki fark nedir?

Entropi tek bir dağılımın belirsizliğini ölçer. Çapraz entropi ise gerçek dağılımı başka bir dağılımla (modelin tahminiyle) kodlamanın maliyetini ölçer; tahmin gerçeğe ne kadar yakınsa değer entropiye o kadar yaklaşır.

Dil modellerinde çapraz entropi neden önemlidir?

Dil modelleri her adımda bir sonraki token için olasılık dağılımı üretir ve eğitim sırasında bu tahminin çapraz entropisi en aza indirilir. Perplexity ölçütü de doğrudan bu kayıptan türetilir.

İlgili terimler

İkili Çapraz Entropi(Binary Cross-Entropy)İkili çapraz entropi (log loss), yalnızca iki olası sonucu olan sınıflandırma problemlerinde kullanılan kayıp fonksiyonudur. Modelin pozitif sınıf için verdiği olasılığın gerçek etiketle ne kadar uyumlu olduğunu ölçer ve kendinden emin hataları ağır cezalandırır.Kayıp Fonksiyonu(Loss Function)Kayıp fonksiyonu, bir modelin tahmini ile gerçek değer arasındaki farkı tek bir sayıyla ölçen fonksiyondur; eğitimin amacı bu kayıp değerini olabildiğince küçültmektir.SoftmaxSoftmax, bir sayı vektörünün her elemanının üstelini alıp bunları toplamlarına bölerek, tüm değerleri 0 ile 1 arasında ve toplamı 1 olan bir olasılık dağılımına dönüştüren, çok sınıflı sınıflandırmada yaygın kullanılan bir fonksiyondur.Entropi(Entropy)Bilgi teorisinde entropi, bir rastgele değişkenin sonucundaki belirsizliğin ya da ortalama bilgi miktarının ölçüsüdür. Sonuçlar ne kadar öngörülemezse entropi o kadar yüksek, sonuç ne kadar kesinse o kadar düşüktür.Özellik(Feature)Özellik (feature), makine öğrenmesinde her bir örneği tanımlayan ve modelin tahmin yaparken girdi olarak kullandığı ölçülebilir nitelik ya da değişkendir. Örneğin ev fiyatı tahmininde metrekare, oda sayısı ve konum birer özelliktir.TokenToken, yapay zekâ dil modellerinin metni işlerken kullandığı en küçük birimdir; bir kelime, kelimenin bir parçası ya da bir noktalama işareti olabilir. Modellerin hızı, bağlam penceresi ve kullanım ücretleri genellikle token sayısıyla ölçülür.