İçeriğe geç
parazade
Yapay Zeka

Dengesiz Veri Seti Nedir?

İngilizce: Imbalanced Dataset

Yayın: · Son güncelleme:

Dengesiz Veri Seti Nedir? Kısaca

Dengesiz veri seti (imbalanced dataset), sınıflandırma problemlerinde bir sınıfın diğerlerinden çok daha az örnek içerdiği veri setidir. Bu durumda model çoğunluk sınıfını öğrenmeye yönelir ve az görülen ama genellikle önemli olan sınıfı kaçırabilir.

Dengesiz Veri Seti nedir?
İçindekiler
  1. Dengesiz veri seti nedir?
  2. Hangi metrikler kullanılmalı?
  3. Nasıl çözülür?
  4. Nelere dikkat etmeli?

Dengesiz veri seti, sınıfların sayıca birbirine çok uzak olduğu veri anlamına gelir. Gerçek hayatta oldukça yaygındır: Kart işlemlerinin küçük bir kısmı dolandırıcılıktır, üretim hattındaki ürünlerin çok azı kusurludur, nadir hastalıklar toplumun küçük bir bölümünde görülür.

Dengesiz veri seti nedir?

Varsayımsal bir örnek düşün: 10.000 işlemden yalnızca 100'ü dolandırıcılık. Her işleme "normal" diyen bir model %99 doğruluk elde eder ama tek bir dolandırıcılığı bile yakalamaz. Sorun burada başlar: Doğruluk oranı yanıltıcıdır ve model, eğitim sırasında azınlık sınıfından öğrenmek için yeterli sinyal alamaz.

Hangi metrikler kullanılmalı?

Dengesiz veride doğruluk yerine şunlara bakılır:

  • Kesinlik, duyarlılık ve F1 skoru
  • Kesinlik-duyarlılık eğrisi ve altındaki alan (PR-AUC)
  • Karışıklık matrisi ve sınıf bazında hata oranları

Nasıl çözülür?

  • Yeniden örnekleme: Azınlık sınıfını çoğaltmak (oversampling) ya da çoğunluk sınıfını azaltmak (undersampling).
  • Sentetik örnek üretimi: SMOTE gibi yöntemlerle azınlık sınıfına yapay örnekler eklemek.
  • Sınıf ağırlıkları: Kayıp fonksiyonunda azınlık sınıfındaki hataları daha çok cezalandırmak.
  • Eşik ayarı: Karar eşiğini, azınlık sınıfını daha kolay yakalayacak şekilde değiştirmek.
  • Daha fazla veri: Mümkünse azınlık sınıfından gerçek örnek toplamak.

Nelere dikkat etmeli?

Yeniden örnekleme yalnızca eğitim verisine uygulanmalıdır; test verisi gerçek dağılımı yansıtmalıdır. Aksi hâlde başarı olduğundan yüksek görünür. Ayrıca veriyi bölerken her sınıfın oranını koruyan katmanlı (stratified) bölme kullanmak iyi bir alışkanlıktır.

Sıkça Sorulan Sorular

Hangi oranda bir veri seti dengesiz sayılır?

Kesin bir sınır yoktur; sınıflar arasındaki fark modelin azınlık sınıfını öğrenmesini zorlaştırıyorsa veri dengesiz kabul edilir. Örneğin 1'e 10 ya da 1'e 100 gibi oranlar tipik dengesiz durumlardır.

Dengesiz veri setinde doğruluk oranı neden yanıltıcıdır?

Çünkü model yalnızca çoğunluk sınıfını tahmin ederek yüksek doğruluk elde edebilir. Bu durumda asıl ilgilenilen azınlık sınıfı hiç yakalanmasa bile skor yüksek görünür.

İlgili terimler

SMOTESMOTE (Synthetic Minority Over-sampling Technique), dengesiz veri setlerinde azınlık sınıfına ait örnekleri kopyalamak yerine, mevcut örnekler arasında yeni sentetik örnekler üreterek sınıfları dengeleyen bir aşırı örnekleme yöntemidir.F1 Skoru(F1 Score)F1 skoru, bir sınıflandırma modelinin kesinlik (precision) ve duyarlılık (recall) değerlerinin harmonik ortalamasıdır. 0 ile 1 arasında değer alır; 1'e yaklaştıkça model hem az yanlış alarm verir hem de gerçek pozitifleri az kaçırır.Doğruluk Oranı(Accuracy)Doğruluk oranı (accuracy), bir sınıflandırma modelinin yaptığı tüm tahminler içinde doğru olanların oranıdır; doğru tahmin sayısının toplam tahmin sayısına bölünmesiyle hesaplanır ve genellikle yüzde olarak ifade edilir.Odak Kaybı(Focal Loss)Odak kaybı (focal loss), çapraz entropi kaybını değiştirerek modelin kolayca doğru tahmin ettiği örneklerin ağırlığını azaltan ve eğitimi zor, yanlış sınıflandırılan örneklere odaklayan, özellikle dengesiz veri setleri için geliştirilmiş bir kayıp fonksiyonudur.Kesinlik(Precision)Makine öğrenmesinde kesinlik (precision), modelin pozitif olarak işaretlediği örnekler içinde gerçekten pozitif olanların oranıdır; doğru pozitif sayısının, doğru pozitif ile yanlış pozitif toplamına bölünmesiyle hesaplanır.Duyarlılık(Recall)Makine öğrenmesinde duyarlılık (recall), gerçekte pozitif olan örneklerin ne kadarının model tarafından doğru şekilde pozitif olarak yakalandığını gösteren orandır; doğru pozitifin, doğru pozitif ile yanlış negatif toplamına bölünmesiyle bulunur.