Gini Safsızlığı Nedir?
İngilizce: Gini Impurity
Yayın: · Son güncelleme:
Gini Safsızlığı Nedir? Kısaca
Gini safsızlığı (Gini impurity), bir veri grubundan rastgele seçilen bir örneğin, gruptaki sınıf dağılımına göre rastgele etiketlenmesi hâlinde yanlış sınıflandırılma olasılığıdır. Karar ağaçlarında bölme kalitesini ölçmek için kullanılır.
İçindekiler
Gini safsızlığı, bir karar ağacı düğümündeki örneklerin ne kadar "karışık" olduğunu ölçer. Bir düğümdeki tüm örnekler aynı sınıftansa düğüm saftır ve Gini değeri sıfırdır.
Gini safsızlığı nedir?
Formülü şöyledir:
Gini = 1 − Σ pᵢ²
Burada pᵢ, i. sınıfın düğümdeki oranıdır. İki sınıflı bir problemde Gini değeri 0 ile 0,5 arasında değişir.
Örnek hesap
| Düğüm | Sınıf oranları | Gini |
|---|---|---|
| A | %100 evet | 1 − 1² = 0 |
| B | %50 evet, %50 hayır | 1 − (0,25 + 0,25) = 0,5 |
| C | %80 evet, %20 hayır | 1 − (0,64 + 0,04) = 0,32 |
A düğümü tamamen saf, B en karışık, C ise ikisinin arasındadır.
Karar ağacında nasıl kullanılır?
Karar ağacı algoritması her adımda farklı özellik ve eşik değerleriyle olası bölmeleri dener. Her bölme için alt düğümlerin Gini değerlerinin, örnek sayısına göre ağırlıklı ortalamasını hesaplar. Bu ortalamayı en çok düşüren bölme seçilir. CART algoritması ve onu temel alan pek çok kütüphane varsayılan olarak Gini safsızlığını kullanır. Rastgele orman gibi topluluk yöntemleri de bu ağaçlardan oluşur.
Entropiden farkı
| Özellik | Gini safsızlığı | Entropi |
|---|---|---|
| Formül | 1 − Σ p² | − Σ p log p |
| İki sınıfta en büyük değer | 0,5 | 1 bit |
| Hesaplama | Logaritma yok, biraz daha hızlı | Logaritma içerir |
Pratikte iki ölçüt çoğu zaman çok benzer ağaçlar üretir.
Nelere dikkat etmeli?
Gini safsızlığı, ekonomideki gelir dağılımını ölçen Gini katsayısıyla aynı şey değildir; adları ortak olsa da farklı kavramlardır.
Sıkça Sorulan Sorular
Gini safsızlığı ile Gini katsayısı aynı mı?
Hayır. Gini katsayısı ekonomide gelir eşitsizliğini ölçer. Gini safsızlığı ise makine öğrenmesinde bir veri grubundaki sınıf karışıklığını ölçer. İkisi aynı istatistikçinin adını taşır ama farklı amaçlara hizmet eder.
Gini safsızlığı mı entropi mi tercih edilmeli?
Çoğu problemde sonuç çok benzerdir. Gini hesaplama açısından biraz daha hafiftir; seçimi doğrulama setinde iki seçeneği deneyerek yapmak en sağlıklı yoldur.