AdamW Nedir?

AdamW nedir?

AdamW, Ilya Loshchilov ve Frank Hutter'ın "ayrıştırılmış ağırlık azaltma" (decoupled weight decay) fikrine dayanan bir optimizasyon algoritmasıdır. Adam'ın uyarlanabilir adım mekanizmasını korur, ancak modelin ağırlıklarını küçük tutmaya yarayan düzenlileştirmeyi farklı bir şekilde uygular. Adındaki "W", İngilizce weight decay ifadesinden gelir.

Adam'daki sorun neydi?

Ağırlık azaltma, ağırlıkları her adımda biraz küçülterek modelin aşırı öğrenmesini sınırlayan bir tekniktir. Klasik Adam uygulamalarında bu işlem, kayba L2 cezası eklenerek yapılıyordu. Ancak Adam gradyanları parametre başına ölçeklediği için bu ceza da ölçekleniyor ve bazı ağırlıklar beklenenden çok daha az küçülüyordu. Yani düzenlileştirme, SGD'de olduğu gibi tutarlı çalışmıyordu.

AdamW nasıl çalışır?

AdamW, iki işlemi birbirinden ayırır:

1. Adam güncellemesi, yalnızca kayıp fonksiyonunun gradyanıyla her zamanki gibi hesaplanır.
2. Ağırlık azaltma, bu hesaptan bağımsız olarak doğrudan ağırlıklara uygulanır: ağırlık, öğrenme oranı ve azaltma katsayısıyla orantılı küçük bir miktar kadar küçültülür.

Böylece her parametre, gradyan geçmişinden bağımsız olarak aynı oranda düzenlileştirilir.

Nerede kullanılır?

AdamW, Transformer tabanlı dil ve görüntü modellerinin eğitiminde yaygın bir varsayılandır. İnce ayar (fine-tuning) betiklerinde ve popüler derin öğrenme kütüphanelerinde hazır olarak bulunur.

Nelere dikkat etmeli?

Ağırlık azaltma katsayısı ve öğrenme oranı birlikte etkileşir; birini değiştirdiğinde diğerini de gözden geçirmek gerekebilir. Pratikte bias ve normalizasyon katmanı parametreleri çoğu zaman ağırlık azaltmanın dışında bırakılır. Bellek kullanımı Adam ile aynıdır.