Aşırı Öğrenme (Overfitting) Nedir?
İngilizce: Overfitting
Yayın: · Son güncelleme:
Aşırı Öğrenme (Overfitting) Nedir? Kısaca
Aşırı öğrenme (overfitting), bir modelin eğitim verisindeki genel kalıplar yerine gürültü ve ayrıntıları ezberlemesi sonucu eğitimde çok başarılı, yeni verilerde ise zayıf sonuç vermesidir.
Aşırı öğrenme (overfitting), modelin eğitim verisini "ezberlemesi" ve bu yüzden daha önce görmediği verilerde kötü performans göstermesidir. Sınavdaki soruların cevaplarını ezberleyen ama konuyu anlamayan öğrenciye benzer: Aynı sorular gelirse tam puan alır, soru biraz değişince başaramaz.
Nasıl anlaşılır?
En belirgin işaret, eğitim başarısı ile doğrulama başarısı arasındaki açıktır:
- Eğitim verisinde hata sürekli azalır.
- Doğrulama verisinde hata önce azalır, sonra artmaya başlar.
Varsayımsal örnek: Model eğitim verisinde %99, test verisinde %70 doğruluk veriyorsa büyük olasılıkla aşırı öğrenme vardır.
Neden olur?
- Modelin veri miktarına göre çok karmaşık olması (çok fazla parametre)
- Eğitim verisinin az, tekrarlı ya da temsil gücü düşük olması
- Çok uzun süre, yani çok fazla epoch eğitmek
- Verideki gürültünün (hatalı etiketler, rastlantısal desenler) öğrenilmesi
Nasıl önlenir?
- Daha fazla ve çeşitli veri kullanmak, gerekirse veri çoğaltma yapmak
- Erken durdurma: Doğrulama hatası artmaya başlayınca eğitimi kesmek
- Düzenlileştirme: Büyük ağırlıkları cezalandırmak, dropout gibi teknikler kullanmak
- Daha basit model seçmek
- Çapraz doğrulama ile sonucu farklı veri bölümlerinde test etmek
Tersi durum, modelin veriyi yeterince öğrenememesi, eksik öğrenme olarak adlandırılır.
Finans örneği
Geçmiş fiyat verisine kusursuz uyan bir alım-satım modeli, geçmişin rastlantısal dalgalanmalarını ezberlemiş olabilir. Geriye dönük testte harika görünen strateji gerçek piyasada zarar ettirebilir; bu yüzden geçmiş performans geleceğin garantisi değildir.
Sıkça Sorulan Sorular
Aşırı öğrenme ile eksik öğrenme arasındaki fark nedir?
Aşırı öğrenmede model eğitim verisini ezberler ve yeni veride başarısız olur. Eksik öğrenmede ise model çok basit kalır ve eğitim verisinde bile başarılı olamaz.
Büyük dil modelleri de aşırı öğrenir mi?
Evet, özellikle küçük bir veri kümesiyle uzun süre ince ayar yapıldığında aşırı öğrenme görülebilir. Model bu durumda eğitim örneklerini neredeyse kelimesi kelimesine tekrarlamaya başlayabilir.