İçeriğe geç
parazade
Yapay Zeka

AUC Nedir?

İngilizce: Area Under the Curve

Yayın: · Son güncelleme:

AUC Nedir? Kısaca

AUC (Area Under the Curve), genellikle ROC eğrisinin altında kalan alanı ifade eden ve bir sınıflandırma modelinin pozitif ile negatif örnekleri ne kadar iyi ayırdığını tek sayıyla özetleyen metriktir. 0,5 rastgele tahmini, 1 kusursuz ayrımı gösterir.

AUC nedir?
İçindekiler
  1. AUC nedir?
  2. Değerler nasıl yorumlanır?
  3. Nelere dikkat etmeli?

AUC, "eğrinin altındaki alan" anlamına gelir. Makine öğrenmesinde çoğunlukla ROC eğrisinin altındaki alanı (ROC-AUC) kastetmek için kullanılır ve sınıflandırma modellerini karşılaştırmanın en yaygın yollarından biridir.

AUC nedir?

ROC eğrisi, modelin farklı eşiklerde doğru pozitif oranını yanlış pozitif oranına karşı gösterir. AUC bu eğrinin altında kalan alanı hesaplar ve sonucu 0 ile 1 arasında tek bir sayıya indirger.

Sezgisel bir yorumu da vardır: AUC, rastgele seçilen bir pozitif örneğe modelin rastgele seçilen bir negatif örnekten daha yüksek skor verme olasılığıdır. Yani AUC = 0,85 ise model bu tür çiftlerin yaklaşık %85'inde sıralamayı doğru yapar.

Değerler nasıl yorumlanır?

AUC Genel yorum
0,5 Rastgele tahminden farksız
0,5 – 0,7 Zayıf ayrım
0,7 – 0,9 Kabul edilebilir ile iyi arası
0,9 üzeri Çok güçlü ayrım (veri sızıntısı olup olmadığı da kontrol edilmeli)

Bu aralıklar kaba bir rehberdir; alandan alana değişir. 0,5'in altındaki bir değer, modelin tahminlerinin sistematik olarak ters olduğuna işaret eder.

Nelere dikkat etmeli?

  • AUC eşikten bağımsızdır; bu hem avantaj hem dezavantajdır. Uygulamada sonunda tek bir eşik seçmen gerekir.
  • Pozitif sınıf çok nadirse ROC-AUC yüksek görünebilir; kesinlik-duyarlılık eğrisinin alanı (PR-AUC) daha bilgilendirici olabilir.
  • AUC, skorların gerçek olasılıkları ne kadar iyi yansıttığını ölçmez; bunun için kalibrasyona bakılır.

Sıkça Sorulan Sorular

AUC ile doğruluk oranı arasındaki fark nedir?

Doğruluk oranı tek bir eşikte doğru tahminlerin payını ölçer. AUC ise tüm eşikleri birlikte değerlendirir ve modelin pozitifleri negatiflerden ne kadar iyi sıraladığını gösterir.

AUC değeri 1 olursa ne anlama gelir?

Model test verisinde pozitif ve negatif örnekleri kusursuz biçimde ayırıyor demektir. Gerçek dünya problemlerinde bu nadir olduğu için veri sızıntısı ya da hatalı bir değerlendirme olup olmadığı kontrol edilmelidir.

İlgili terimler

ROC Eğrisi(ROC Curve)ROC eğrisi, bir ikili sınıflandırma modelinin farklı karar eşiklerinde doğru pozitif oranını (duyarlılık) yanlış pozitif oranına karşı gösteren grafiktir. Eğri sol üst köşeye ne kadar yakınsa model sınıfları o kadar iyi ayırır.F1 Skoru(F1 Score)F1 skoru, bir sınıflandırma modelinin kesinlik (precision) ve duyarlılık (recall) değerlerinin harmonik ortalamasıdır. 0 ile 1 arasında değer alır; 1'e yaklaştıkça model hem az yanlış alarm verir hem de gerçek pozitifleri az kaçırır.Model Değerlendirme(Model Evaluation)Model değerlendirme (model evaluation), bir yapay zekâ modelinin belirli bir görevdeki başarısını, güvenilirliğini, adaletini ve güvenliğini; test verileri, metrikler, karşılaştırma testleri ve insan incelemesiyle ölçme sürecidir.Veri Sızıntısı(Data Leakage)Makine öğrenmesinde veri sızıntısı (data leakage), tahmin anında erişilemeyecek bir bilginin ya da test verisinin eğitim sürecine karışmasıdır. Model testte çok başarılı görünür, gerçek kullanımda ise beklenenden kötü sonuç verir.Doğru Pozitif(True Positive)Doğru pozitif (true positive, TP), bir sınıflandırma modelinin gerçekte pozitif olan bir örneği doğru biçimde pozitif olarak tahmin etmesidir. Karışıklık matrisinin temel hücrelerinden biridir ve kesinlik, duyarlılık gibi metriklerin hesabında kullanılır.Kesinlik(Precision)Makine öğrenmesinde kesinlik (precision), modelin pozitif olarak işaretlediği örnekler içinde gerçekten pozitif olanların oranıdır; doğru pozitif sayısının, doğru pozitif ile yanlış pozitif toplamına bölünmesiyle hesaplanır.Duyarlılık(Recall)Makine öğrenmesinde duyarlılık (recall), gerçekte pozitif olan örneklerin ne kadarının model tarafından doğru şekilde pozitif olarak yakalandığını gösteren orandır; doğru pozitifin, doğru pozitif ile yanlış negatif toplamına bölünmesiyle bulunur.