Momentum Nedir?

Momentum nedir?

Makine öğrenmesinde momentum, ağırlıkları güncellerken yalnızca o anki gradyana değil, önceki adımların yönüne de bakan bir tekniktir. Adını fizikteki momentumdan, yani hareket eden bir cismin hızını koruma eğiliminden alır. Yokuş aşağı yuvarlanan bir topu düşün: Küçük tümseklerde durmaz, biriken hızıyla yoluna devam eder.

Bu madde yapay zekâ bağlamındaki momentumu anlatır; borsa ve teknik analizdeki momentum kavramı farklı bir şeydir.

Optimizasyonda momentum ne demek?

Klasik gradyan inişinde her adım yalnızca güncel gradyana göre atılır. Kayıp yüzeyi dar ve eğri vadilere sahipse, güncellemeler vadinin iki yamacı arasında zikzak çizer ve ilerleme yavaşlar. Momentum ise bir "hız" değişkeni tutar:

• Hız = β × önceki hız + gradyan
• Ağırlık = ağırlık − öğrenme oranı × hız

Burada β (genellikle 1'e yakın bir değer), geçmişin ne kadar hatırlanacağını belirler. Tutarlı yönler birikip güçlenir, sürekli yön değiştiren bileşenler ise birbirini sönümler.

Faydaları

• Eğitimi hızlandırır; özellikle düz ve uzun bölgelerde daha büyük ilerleme sağlar.
• Zikzak hareketleri yumuşatır.
• Sığ yerel çukurlardan çıkmaya yardım edebilir.

Nesterov momentumu adı verilen türü, gradyanı bir adım ileride hesaplayarak daha isabetli düzeltme yapar. Adam gibi popüler algoritmalar da momentum fikrini içerir.

Nelere dikkat etmeli?

β çok büyük seçilirse model hedefi aşıp salınabilir. Momentum ile öğrenme oranı birlikte etkileşir; birini değiştirirken diğerini de gözden geçirmek gerekir. Stokastik gradyan inişi ile birlikte kullanıldığında çoğu zaman "momentumlu SGD" diye anılır.