Entropi Nedir?
İngilizce: Entropy
Yayın: · Son güncelleme:
Entropi Nedir? Kısaca
Bilgi teorisinde entropi, bir rastgele değişkenin sonucundaki belirsizliğin ya da ortalama bilgi miktarının ölçüsüdür. Sonuçlar ne kadar öngörülemezse entropi o kadar yüksek, sonuç ne kadar kesinse o kadar düşüktür.
Entropi, "bir sonucu öğrenmeden önce ne kadar belirsizlik var?" sorusunu sayıyla ifade eder. Fizikte düzensizliğin ölçüsü olarak da bilinir; yapay zekâda ise Claude Shannon'ın bilgi teorisindeki tanımı kullanılır.
Entropi nedir?
Olasılıkları p₁, p₂, … olan sonuçlar için entropi şöyle hesaplanır:
H = − Σ pᵢ × log₂(pᵢ)
Logaritma 2 tabanında alınırsa birim "bit" olur.
Örnekler
| Durum | Olasılıklar | Entropi |
|---|---|---|
| Hilesiz yazı tura | %50 / %50 | 1 bit |
| Hileli para | %90 / %10 | yaklaşık 0,47 bit |
| Her zaman tura gelen para | %100 / %0 | 0 bit |
| Hilesiz zar | 6 eşit sonuç | yaklaşık 2,58 bit |
Sonuçlar eşit olasılıklıysa belirsizlik en yüksektir. Sonuç kesinse öğrenilecek yeni bilgi yoktur, entropi sıfırdır.
Makine öğrenmesinde kullanımı
- Karar ağaçları: Bir düğümdeki sınıfların ne kadar karışık olduğunu ölçer. Bölmeden sonra entropideki azalma bilgi kazancı olarak adlandırılır.
- Kayıp fonksiyonları: Sınıflandırma modellerinde yaygın kullanılan çapraz entropi, modelin tahmin ettiği olasılıklar ile gerçek etiketler arasındaki uyumsuzluğu entropi mantığıyla ölçer.
- Dil modelleri: Bir modelin bir sonraki kelime konusundaki belirsizliği entropi ve ondan türetilen perplexity ile değerlendirilir.
- Keşif: Pekiştirmeli öğrenmede politikaya entropi bonusu eklemek, ajanın farklı hareketleri denemesini teşvik eder.
Nelere dikkat etmeli?
Bilgi teorisindeki entropi ile termodinamikteki entropi matematiksel olarak benzer olsa da farklı bağlamlarda kullanılır. Ayrıca entropi yalnızca olasılık dağılımına bakar; sonuçların ne anlama geldiğiyle ya da ne kadar önemli olduğuyla ilgilenmez.
Sıkça Sorulan Sorular
Entropi yüksek olması iyi mi kötü mü?
Bağlama göre değişir. Karar ağacında düğümlerin entropisinin düşük olması istenir, çünkü bu sınıfların iyi ayrıldığını gösterir. Rastgele sayı üretiminde ya da şifrelemede ise yüksek entropi istenir.
Entropi ile çapraz entropi arasındaki fark nedir?
Entropi tek bir dağılımın belirsizliğini ölçer. Çapraz entropi ise gerçek dağılımla bir modelin tahmin ettiği dağılımı karşılaştırır ve model gerçeğe ne kadar uzaksa o kadar büyür.