Bilgi Kazancı Nedir?

Bilgi kazancı, "bu soruyu sorarsam belirsizlik ne kadar azalır?" sorusunun sayısal cevabıdır. Karar ağacı algoritmaları her adımda en yüksek bilgi kazancı sağlayan özelliği seçerek ağacı büyütür.

Bilgi kazancı nedir?

Bilgi kazancı, bölmeden önceki entropi ile bölmeden sonraki alt grupların ağırlıklı ortalama entropisi arasındaki farktır:

Bilgi kazancı = Entropi(üst) − Σ (alt grup oranı × Entropi(alt grup))

Alt gruplar ne kadar "saf" olursa, yani her biri ağırlıkla tek bir sınıftan oluşursa, bilgi kazancı o kadar yüksek olur.

Örnek

Varsayımsal 10 kişilik bir veri setinde 5 kişi bir ürünü almış, 5 kişi almamış olsun. Entropi 1 bittir (en yüksek belirsizlik).

"Daha önce üye olmuş mu?" sorusuyla bölelim:

• Üye olanlar (4 kişi): 4'ü de almış → entropi 0
• Üye olmayanlar (6 kişi): 1'i almış, 5'i almamış → entropi yaklaşık 0,65

Ağırlıklı ortalama: 0,4 × 0 + 0,6 × 0,65 ≈ 0,39

Bilgi kazancı: 1 − 0,39 ≈ 0,61 bit. Başka bir özelliğin kazancı daha düşükse, karar ağacı bu soruyu ilk bölme olarak seçer.

Nerelerde kullanılır?

• ID3 ve C4.5 gibi karar ağacı algoritmalarında bölme ölçütü olarak
• Özellik seçimi yaparken hedefle ilişkisi güçlü değişkenleri bulmak için
• Bilgi teorisinde iki değişkenin ortak bilgisini ölçen "karşılıklı bilgi" kavramıyla aynı temele dayanır

Nelere dikkat etmeli?

Bilgi kazancı, çok sayıda farklı değeri olan özellikleri kayırma eğilimindedir. Örneğin müşteri numarası her kişiyi ayrı gruba koyar ve kusursuz görünen ama işe yaramayan bir bölme yaratır. Bu sorunu azaltmak için kazanç oranı (gain ratio) gibi düzeltilmiş ölçütler ya da Gini safsızlığı kullanılabilir.