Model Değerlendirme Nedir?
İngilizce: Model Evaluation
Yayın: · Son güncelleme:
Model Değerlendirme Nedir? Kısaca
Model değerlendirme (model evaluation), bir yapay zekâ modelinin belirli bir görevdeki başarısını, güvenilirliğini, adaletini ve güvenliğini; test verileri, metrikler, karşılaştırma testleri ve insan incelemesiyle ölçme sürecidir.
Model değerlendirme, "bu model işimizi ne kadar iyi yapıyor?" sorusuna sistemli bir cevap arar. Bir model eğitildikten ya da seçildikten sonra, daha önce görmediği verilerle test edilir ve sonuçları sayısal ölçütlerle raporlanır.
Temel yaklaşımlar
- Ayrı test verisi: Model, eğitimde hiç görmediği örneklerle sınanır. Aksi hâlde aşırı öğrenme gizli kalabilir.
- Metrikler: Görevin türüne göre seçilir.
- Benchmark'lar: Farklı modelleri karşılaştırmak için kullanılan standart test setleridir.
- İnsan değerlendirmesi: Özellikle metin üretiminde akıcılık, yararlılık ve doğruluk insanlar tarafından puanlanır.
- Model ile değerlendirme: Bir dil modelinin başka bir modelin cevaplarını puanlaması; hızlıdır ama kendi önyargıları olabilir.
Sık kullanılan metrikler
| Görev | Örnek metrikler |
|---|---|
| Sınıflandırma | Doğruluk, kesinlik, duyarlılık, F1 |
| Regresyon | Ortalama mutlak hata, RMSE |
| Metin üretimi | İnsan puanı, görev başarı oranı, uydurma oranı |
Örnek
Varsayımsal bir dolandırıcılık tespit modeli %99 doğruluk gösteriyor olsun. İşlemlerin yalnızca %1'i dolandırıcılıksa, "hiçbiri dolandırıcılık değil" diyen bir model de %99 doğruluk alır. Bu yüzden dengesiz veride duyarlılık ve kesinlik gibi metriklere de bakmak gerekir.
Nelere dikkat etmeli?
- Veri sızıntısı: Test soruları eğitim verisine karışmışsa sonuçlar şişer. Popüler benchmark'larda bu risk vardır.
- Gerçek kullanımla uyum: Benchmark başarısı, senin özel görevindeki başarıyı garanti etmez. Kendi örneklerinden küçük bir test seti hazırlamak çok değerlidir.
- Grup bazlı ölçüm: Ortalama başarı, belirli gruplardaki düşük performansı gizleyebilir.
- Güvenlik testleri: Zararlı içerik, uydurma ve kötüye kullanım senaryoları da değerlendirilmelidir.
- Sürekli izleme: Veriler zamanla değişir; model devreye alındıktan sonra da düzenli ölçülmelidir.
Sıkça Sorulan Sorular
Benchmark sonuçlarına güvenebilir miyim?
Modelleri kabaca karşılaştırmak için faydalıdır ama tek başına yeterli değildir. Test sorularının eğitim verisine sızmış olması ve gerçek kullanımdan farklı olması sonuçları yanıltıcı yapabilir.
Kendi işim için bir modeli nasıl değerlendiririm?
Gerçek kullanımını yansıtan birkaç düzine ya da yüz örnekten oluşan bir test seti hazırla, beklenen cevapları belirle ve farklı modellerin sonuçlarını aynı ölçütlerle karşılaştır.