Ağırlık Azaltma Nedir?
İngilizce: Weight Decay
Yayın: · Son güncelleme:
Ağırlık Azaltma Nedir? Kısaca
Ağırlık azaltma (weight decay), sinir ağı eğitiminde her güncelleme adımında model ağırlıklarını küçük bir oranda sıfıra doğru çeken, böylece büyük ağırlıkları cezalandırarak aşırı öğrenmeyi azaltan bir düzenlileştirme tekniğidir.
Ağırlık azaltma, bir modelin ağırlıklarının gereğinden fazla büyümesini engelleyen bir düzenlileştirme yöntemidir. Özellikle derin öğrenmede, modelin eğitim verisine aşırı uyum sağlamasını sınırlamak için yaygın olarak kullanılır.
Ağırlık azaltma nedir?
Eğitimin her adımında ağırlıklar, kayıp fonksiyonunun gradyanına göre güncellenir. Ağırlık azaltma bu güncellemeye ek bir adım katar: Her ağırlık, küçük bir katsayıyla orantılı olarak sıfıra doğru çekilir. Yani dışarıdan bir etki olmadıkça ağırlıklar zamanla "erir".
Sonuçta yalnızca veriyi açıklamak için gerçekten gerekli olan ağırlıklar büyük kalır. Daha küçük ağırlıklara sahip modeller genellikle daha pürüzsüz fonksiyonlar öğrenir ve yeni verilerde daha iyi genelleme yapar.
L2 düzenlileştirme ile ilişkisi
Klasik gradyan inişinde ağırlık azaltma, kayıp fonksiyonuna ağırlıkların karelerinin toplamını ceza olarak eklemekle (L2 düzenlileştirme) matematiksel olarak eşdeğerdir. Bu fikir doğrusal modellerde ridge regresyon adıyla bilinir.
Ancak Adam gibi uyarlanabilir optimizasyon algoritmalarında bu eşdeğerlik bozulur. AdamW yöntemi, ağırlık azaltmayı gradyan hesabından ayırarak doğrudan ağırlıklara uygular; bu yaklaşım günümüzde büyük modellerin eğitiminde yaygındır.
Nelere dikkat etmeli?
- Katsayı seçimi: Çok küçük değer etkisiz kalır; çok büyük değer modelin öğrenmesini engeller ve eksik öğrenmeye yol açar. Uygun değer deneyle bulunur.
- Her parametreye uygulanmaz: Pratikte sapma (bias) terimleri ve normalizasyon katmanlarının parametreleri genellikle ağırlık azaltmanın dışında tutulur.
- Öğrenme oranıyla etkileşir: Öğrenme oranı değiştirildiğinde ağırlık azaltmanın etkisi de değişebilir; ikisi birlikte ayarlanmalıdır.
Sıkça Sorulan Sorular
Ağırlık azaltma ile L2 düzenlileştirme aynı şey mi?
Klasik gradyan inişinde eşdeğerdir. Adam gibi uyarlanabilir optimizasyon algoritmalarında farklı davranırlar; bu yüzden AdamW ağırlık azaltmayı ayrı uygular.
Ağırlık azaltma ne zaman kullanılır?
Model eğitim verisinde çok iyi, doğrulama verisinde zayıf sonuç veriyorsa aşırı öğrenmeyi azaltmak için kullanılır. Büyük sinir ağlarının eğitiminde varsayılan ayarlardan biri hâline gelmiştir.