Genelleme Nedir?

Genelleme, makine öğrenmesinin asıl hedefidir. Bir modelin eğitim verisinde başarılı olması yetmez; gerçek dünyada karşılaşacağı yeni örneklerde de iyi çalışması gerekir. Bu yeteneğe genelleme denir.

Genelleme nedir?

Bir öğrencinin yalnızca çözdüğü soruları ezberlediğini, konuyu anlamadığını düşün. Sınavda aynı sorular gelirse başarılı olur, farklı sorular gelirse zorlanır. Makine öğrenmesi modelleri de benzer biçimde davranabilir. İyi genelleyen model, eğitim örneklerinin ardındaki genel kuralı öğrenmiştir.

Genelleme ne demek, nasıl ölçülür?

Genelleme doğrudan ölçülemez; yeni veri üzerindeki performansla tahmin edilir. Bunun için veri genellikle üçe ayrılır:

• Eğitim seti: Modelin öğrendiği veri.
• Doğrulama seti: Ayar yapmak ve model seçmek için.
• Test seti: Son kez, tarafsız performans ölçümü için.

Eğitim başarısı ile test başarısı arasındaki farka genelleme açığı denir. Açık büyükse model büyük olasılıkla aşırı öğrenmiştir.

Genelleme nasıl artırılır?

• Daha fazla ve daha çeşitli veri kullanmak.
• Düzenlileştirme teknikleri (dropout, ağırlık azaltma, ridge/lasso).
• Veri artırma ile eğitim örneklerini çeşitlendirmek.
• Doğrulama hatası yükselmeye başladığında eğitimi erken durdurmak.
• Problemin karmaşıklığına uygun büyüklükte model seçmek.

Nelere dikkat etmeli?

Test seti eğitim verisiyle çok benzer ya da ondan sızıntı içeriyorsa genelleme olduğundan iyi görünür. Ayrıca gerçek dünyadaki veri zamanla değişebilir (kavram kayması); bugün iyi genelleyen bir model yarın zayıflayabilir. Bu yüzden modeller yayına alındıktan sonra da izlenmelidir.