İçeriğe geç
parazade
Yapay Zeka

Model Kalibrasyonu Nedir?

İngilizce: Model Calibration

Yayın: · Son güncelleme:

Model Kalibrasyonu Nedir? Kısaca

Model kalibrasyonu, bir makine öğrenmesi modelinin ürettiği olasılık tahminlerinin gerçekleşme sıklıklarıyla ne kadar uyumlu olduğunu ifade eder. İyi kalibre edilmiş bir model %80 dediğinde, bu tür tahminlerin yaklaşık %80'i gerçekten doğru çıkar.

Model Kalibrasyonu nedir?
İçindekiler
  1. Model kalibrasyonu nedir?
  2. Nasıl ölçülür?
  3. Nasıl düzeltilir?
  4. Neden önemlidir?

Model kalibrasyonu, bir modelin "ne kadar emin olduğu" ile "ne kadar haklı çıktığı" arasındaki uyumdur. Bir sınıflandırıcı yalnızca doğru sınıfı seçmekle kalmayıp güvenilir olasılıklar da üretmelidir; özellikle bu olasılıklar karar vermede kullanılıyorsa.

Model kalibrasyonu nedir?

Varsayımsal bir hava tahmin modeli düşün. Model 100 farklı gün için "%70 yağmur olasılığı" demiş olsun. Bu günlerin yaklaşık 70'inde gerçekten yağmur yağdıysa model iyi kalibre edilmiştir. Yalnızca 40'ında yağdıysa model aşırı özgüvenlidir.

Kalibrasyon, sıralama başarısından farklıdır. Bir modelin AUC değeri yüksek olabilir ama verdiği olasılıklar sistematik olarak abartılı ya da düşük olabilir.

Nasıl ölçülür?

  • Güvenilirlik diyagramı: Tahminler olasılık aralıklarına bölünür; her aralıkta ortalama tahmin ile gerçek pozitif oranı karşılaştırılır. İdeal durumda noktalar köşegen üzerindedir.
  • Beklenen kalibrasyon hatası (ECE): Bu aralıklardaki sapmaların ağırlıklı ortalamasıdır.
  • Brier skoru: Olasılık tahmini ile gerçekleşen sonuç arasındaki farkın karesinin ortalamasıdır.

Nasıl düzeltilir?

Kalibrasyon genellikle eğitimden sonra, ayrı bir doğrulama verisi üzerinde yapılır:

  • Platt ölçekleme: Model skorlarına lojistik bir fonksiyon uydurur.
  • İzotonik regresyon: Daha esnek, monoton bir dönüşüm öğrenir; daha çok veri gerektirir.
  • Sıcaklık ölçekleme: Sinir ağlarında çıktı logitlerini tek bir parametreyle bölerek olasılıkları yumuşatır.

Neden önemlidir?

Tıbbi risk tahmini, kredi değerlendirmesi ya da otomatik kararlar gibi alanlarda olasılığın kendisi kullanılır. Kalibre edilmemiş bir modelin %95 güveni yanlış bir rahatlık hissi yaratabilir. Derin sinir ağlarının çoğu zaman aşırı özgüvenli olduğu bilinmektedir; bu yüzden kalibrasyon kontrolü değerlendirme sürecinin parçası olmalıdır.

Sıkça Sorulan Sorular

Yüksek doğruluklu bir model kalibre edilmemiş olabilir mi?

Evet. Model sınıfları doğru sıralayıp doğru tahmin edebilir ama verdiği güven yüzdeleri gerçekleşme sıklığını yansıtmayabilir. Doğruluk ile kalibrasyon ayrı ayrı ölçülmesi gereken özelliklerdir.

Kalibrasyon için neden ayrı bir veri seti gerekir?

Eğitim verisinde yapılan kalibrasyon, modelin o veriye aşırı uyumunu da öğrenir ve gerçek performansı yansıtmaz. Ayrı bir doğrulama seti, olasılıkların yeni veride ne kadar güvenilir olduğunu dürüstçe gösterir.

İlgili terimler

AUC(Area Under the Curve)AUC (Area Under the Curve), genellikle ROC eğrisinin altında kalan alanı ifade eden ve bir sınıflandırma modelinin pozitif ile negatif örnekleri ne kadar iyi ayırdığını tek sayıyla özetleyen metriktir. 0,5 rastgele tahmini, 1 kusursuz ayrımı gösterir.ROC Eğrisi(ROC Curve)ROC eğrisi, bir ikili sınıflandırma modelinin farklı karar eşiklerinde doğru pozitif oranını (duyarlılık) yanlış pozitif oranına karşı gösteren grafiktir. Eğri sol üst köşeye ne kadar yakınsa model sınıfları o kadar iyi ayırır.TemperatureTemperature (sıcaklık), bir dil modelinin bir sonraki token'ı seçerken ne kadar rastgele davranacağını belirleyen ayardır. Düşük değer tutarlı ve öngörülebilir, yüksek değer daha çeşitli ve yaratıcı cevaplar üretir.Model Değerlendirme(Model Evaluation)Model değerlendirme (model evaluation), bir yapay zekâ modelinin belirli bir görevdeki başarısını, güvenilirliğini, adaletini ve güvenliğini; test verileri, metrikler, karşılaştırma testleri ve insan incelemesiyle ölçme sürecidir.Harf Çevirisi(Transliteration)Harf çevirisi (transliterasyon), bir yazı sistemindeki metnin, anlamı çevrilmeden başka bir yazı sisteminin harfleriyle yazılmasıdır. Örneğin Kiril alfabesiyle yazılmış bir ismin Latin harflerine aktarılması harf çevirisidir.Dil Tespiti(Language Detection)Dil tespiti (language detection), bir metnin ya da ses kaydının hangi dilde olduğunu otomatik olarak belirleyen doğal dil işleme görevidir. Çeviri, arama motorları ve içerik moderasyonu gibi pek çok sistemin ilk adımıdır.