ROC Eğrisi Nedir?

ROC eğrisi (Receiver Operating Characteristic), bir sınıflandırma modelinin tüm olası karar eşiklerindeki performansını tek bir grafikte gösterir. Adını İkinci Dünya Savaşı döneminde radar sinyallerinin değerlendirilmesinden alır; bugün makine öğrenmesi ve tıpta yaygın kullanılır.

ROC eğrisi nedir?

Pek çok model doğrudan "evet / hayır" yerine 0 ile 1 arasında bir skor üretir. Bu skoru sınıfa çevirmek için bir eşik seçilir. Eşik düşürüldükçe model daha çok örneğe "pozitif" der: Gerçek pozitifleri daha çok yakalar ama yanlış alarmlar da artar.

ROC eğrisi bu ilişkiyi çizer:

• Dikey eksen: Doğru pozitif oranı (TPR) = TP / (TP + FN)
• Yatay eksen: Yanlış pozitif oranı (FPR) = FP / (FP + TN)

Her eşik grafikte bir noktaya karşılık gelir; noktalar birleşince eğri oluşur.

Nasıl okunur?

• Sol alttan sağ üste uzanan köşegen, rastgele tahmin eden bir modeli temsil eder.
• Eğri sol üst köşeye ne kadar yaklaşıyorsa model o kadar iyidir.
• Eğrinin altında kalan alan AUC olarak özetlenir ve modelleri tek sayıyla karşılaştırmayı kolaylaştırır.

Örneğin varsayımsal bir hastalık tarama modelinde, kaçırılan vakaların maliyeti yüksekse eğri üzerinden TPR'si yüksek, FPR'si kabul edilebilir bir eşik seçilir.

Nelere dikkat etmeli?

Pozitif sınıfın çok nadir olduğu veri setlerinde ROC eğrisi iyimser bir tablo çizebilir, çünkü çok sayıda doğru negatif FPR'yi düşük gösterir. Böyle durumlarda kesinlik-duyarlılık eğrisi de incelenmelidir. ROC eğrisi, skorların ne kadar iyi kalibre edildiğini değil, yalnızca sıralama başarısını gösterir.