Ezberleme Ne Demek?

Ezberleme, yapay zekâ modellerinin eğitim verisindeki belirli içerikleri kelimesi kelimesine hatırlaması anlamına gelir. Hem modelin genelleme yeteneği hem de gizlilik ve telif hakkı açısından önemli bir konudur.

Ezberleme ne demek?

İyi bir model, eğitim verisinden genel kuralları çıkarır ve hiç görmediği örneklerde de doğru çalışır; buna genelleme denir. Ezberleyen bir model ise belirli örnekleri hafızasında tutar. Bu durum iki biçimde karşımıza çıkar:

• Aşırı öğrenmeye bağlı ezberleme: Model eğitim verisinde çok başarılı, yeni verilerde başarısızdır. Bu, klasik aşırı öğrenme sorunudur.
• Büyük dil modellerinde birebir ezberleme: Model genel olarak iyi genelleme yapsa bile, eğitim verisinde çok tekrar eden ya da sıra dışı bazı metin parçalarını aynen üretebilir.

Bazı ezberleme türleri faydalıdır. Örneğin bir modelin başkentleri ya da yaygın formülleri bilmesi de bir tür hatırlamadır. Sorun, istenmeyen ya da hassas içeriğin birebir tekrar edilmesidir.

Neden risklidir?

• Gizlilik: Eğitim verisinde yer alan kişisel bilgiler, uygun bir komutla model çıktısında ortaya çıkabilir.
• Telif hakkı: Korunan metinlerin ya da kodların uzun parçalarının aynen üretilmesi hukuki sorunlara yol açabilir.
• Yanıltıcı değerlendirme: Test soruları eğitim verisine sızmışsa model ezberden cevap verir ve gerçek yeteneği olduğundan yüksek görünür.

Nasıl azaltılır?

Varsayımsal bir örnekte aynı belge eğitim verisinde yüzlerce kez geçiyorsa, model o belgeyi ezberleme eğilimine girer. Bu nedenle veri tekilleştirme en etkili önlemlerden biridir. Bunun yanında diferansiyel gizlilik, dropout ve ağırlık azaltma gibi düzenlileştirme yöntemleri, hassas verilerin eğitimden önce temizlenmesi ve çıktı filtreleri de kullanılır. Değerlendirme sırasında test setlerinin eğitim verisinden gerçekten ayrı olduğunu kontrol etmek de önemlidir.