İçeriğe geç
parazade
Yapay Zeka

Adam Optimizasyonu Nedir?

İngilizce: Adam Optimizer

Yayın: · Son güncelleme:

Adam Optimizasyonu Nedir? Kısaca

Adam optimizasyonu, gradyanların hareketli ortalamasını (momentum) ve karelerinin hareketli ortalamasını birlikte kullanarak her parametre için ayrı bir adım büyüklüğü belirleyen optimizasyon algoritmasıdır. Az ayarla iyi çalıştığı için derin öğrenmede çok yaygındır.

Adam Optimizasyonu nedir?
İçindekiler
  1. Adam optimizasyonu nedir?
  2. Nasıl çalışır?
  3. Neden bu kadar yaygın?
  4. Nelere dikkat etmeli?

Adam optimizasyonu nedir?

Adam (Adaptive Moment Estimation, uyarlanabilir moment tahmini), 2014'te Diederik Kingma ve Jimmy Ba tarafından önerilen bir optimizasyon algoritmasıdır. İki fikri birleştirir: geçmiş gradyanların yönünü hatırlayan momentum ve gradyan büyüklüğüne göre adımı ölçekleyen RMSProp yaklaşımı. Sonuçta her ağırlık kendi koşuluna göre uyarlanan bir öğrenme hızıyla güncellenir.

Nasıl çalışır?

Adam her parametre için iki değer tutar:

  • Birinci moment (m): Gradyanların üstel hareketli ortalaması; güncellemenin yönünü yumuşatır.
  • İkinci moment (v): Gradyan karelerinin üstel hareketli ortalaması; gradyan büyüklüğünü ölçer.

Eğitimin başında bu ortalamalar sıfırdan başladığı için bir sapma düzeltmesi uygulanır. Ardından güncelleme kabaca şöyle yapılır: ağırlık = ağırlık − öğrenme oranı × m / (√v + ε). Böylece sürekli büyük gradyan alan parametreler daha küçük, seyrek ve küçük gradyan alanlar daha büyük adımlar atar.

Makalede önerilen varsayılan değerler β1 = 0,9, β2 = 0,999 ve ε için çok küçük bir sayıdır; çoğu kütüphane bunları varsayılan olarak kullanır.

Neden bu kadar yaygın?

  • Varsayılan ayarlarla birçok problemde makul sonuç verir.
  • Gürültülü ve seyrek gradyanlarla iyi başa çıkar.
  • Transformer tabanlı modellerin eğitiminde standart seçeneklerden biridir.

Nelere dikkat etmeli?

Adam her parametre için iki ek değer sakladığı için bellek kullanımı SGD'ye göre artar. Bazı görevlerde iyi ayarlanmış stokastik gradyan inişi daha iyi genelleme sağlayabilir. Ayrıca klasik Adam'da ağırlık azaltma (L2 düzenlileştirme) beklendiği gibi çalışmayabilir; bu sorunu gidermek için AdamW geliştirilmiştir. Öğrenme oranını yine de dikkatle seçmek gerekir.

Sıkça Sorulan Sorular

Adam ile AdamW arasındaki fark nedir?

AdamW, ağırlık azaltmayı gradyan güncellemesinden ayırarak doğrudan ağırlıklara uygular. Bu düzeltme, özellikle büyük modellerde düzenlileştirmenin daha tutarlı çalışmasını sağlar.

Adam'da öğrenme oranını ayarlamak gerekir mi?

Evet. Adam uyarlanabilir olsa da genel öğrenme oranı hâlâ en etkili hiperparametrelerden biridir. Çoğu projede ısınma (warmup) ve kademeli azaltma gibi zamanlama yöntemleriyle birlikte kullanılır.

İlgili terimler

AdamWAdamW, Adam optimizasyon algoritmasının ağırlık azaltmayı (weight decay) gradyan güncellemesinden ayırarak doğrudan ağırlıklara uygulayan sürümüdür. Düzenlileştirmeyi daha tutarlı hâle getirdiği için büyük dil modelleri dahil birçok derin öğrenme modelinde tercih edilir.RMSPropRMSProp, her parametrenin öğrenme adımını o parametreye ait gradyan karelerinin hareketli ortalamasına göre ölçekleyen uyarlanabilir bir optimizasyon algoritmasıdır. Büyük gradyanlarda adımı küçültür, küçük gradyanlarda büyütür ve eğitimi daha dengeli hâle getirir.MomentumMomentum, makine öğrenmesinde gradyan inişine geçmiş adımların yönünü ekleyerek ağırlık güncellemelerini hızlandıran ve dalgalanmayı azaltan bir optimizasyon tekniğidir. Fizikteki eylemsizlik fikrinden esinlenir; aynı yönde ilerleyen adımlar birikerek büyür.Optimizasyon Algoritması(Optimizer)Optimizasyon algoritması (optimizer), bir makine öğrenmesi modelinin ağırlıklarını kayıp fonksiyonunu azaltacak yönde adım adım güncelleyen yöntemdir. SGD, Adam ve RMSProp gibi algoritmalar, eğitimin ne kadar hızlı ve kararlı ilerleyeceğini belirler.Ağırlık(Weight)Ağırlık (weight), yapay sinir ağlarında ve diğer makine öğrenmesi modellerinde her girdinin ya da bağlantının çıktıya ne kadar katkı yapacağını belirleyen ve eğitim sırasında veriden öğrenilen sayısal parametredir.Öğrenme Oranı(Learning Rate)Öğrenme oranı, gradyan inişi sırasında model parametrelerinin her adımda ne kadar büyük miktarda değiştirileceğini belirleyen ve eğitimin başarısını en çok etkileyen hiperparametrelerden biridir.Stokastik Gradyan İnişi(Stochastic Gradient Descent)Stokastik gradyan inişi (SGD), bir modelin ağırlıklarını tüm veri seti yerine rastgele seçilen tek bir örnek ya da küçük bir veri grubu üzerinden hesaplanan gradyanla güncelleyen optimizasyon yöntemidir. Hızlı ve bellek dostudur; derin öğrenmenin temel yöntemlerinden biridir.