RMSProp Nedir?

RMSProp nedir?

RMSProp (Root Mean Square Propagation), Geoffrey Hinton'ın bir çevrim içi ders notunda önerdiği ve resmî bir makale olarak yayımlanmamasına rağmen çok yaygınlaşan bir optimizasyon algoritmasıdır. Temel amacı, tüm parametreler için tek bir öğrenme hızı kullanmak yerine her parametreye kendi koşuluna uygun bir adım büyüklüğü vermektir.

Nasıl çalışır?

RMSProp her parametre için gradyan karelerinin üstel hareketli ortalamasını tutar. Bu ortalama, son dönemde gradyanların ne kadar büyük olduğunu gösterir. Güncelleme kabaca şöyledir:

• Ortalama = ρ × eski ortalama + (1 − ρ) × gradyan²
• Ağırlık = ağırlık − öğrenme oranı × gradyan / (√ortalama + ε)

Burada ρ, geçmişin ne kadar hatırlanacağını belirleyen bir katsayıdır; ε ise sıfıra bölmeyi önleyen çok küçük bir sayıdır.

Sonuç olarak sürekli büyük gradyan alan bir parametre daha temkinli, küçük gradyan alan bir parametre daha cesur adımlar atar.

Neden geliştirildi?

Daha önceki AdaGrad yöntemi, gradyan karelerini sürekli topladığı için zamanla öğrenme hızını neredeyse sıfıra indiriyordu. RMSProp, toplam yerine hareketli ortalama kullanarak bu sorunu giderdi. Böylece uzun eğitimlerde öğrenme durmadan devam edebildi.

Nerelerde kullanılır?

• Gürültülü gradyanların sık görüldüğü problemlerde,
• Bazı pekiştirmeli öğrenme ve tekrarlayan sinir ağı uygulamalarında,
• Adam algoritmasının temel bileşenlerinden biri olarak.

Nelere dikkat etmeli?

RMSProp da öğrenme oranına duyarlıdır ve iyi ayarlanmazsa eğitim kararsızlaşabilir. Günümüzde birçok projede bunun yerine momentum ile birleştiren Adam optimizasyonu tercih edilse de RMSProp hâlâ kütüphanelerde hazır bulunan sağlam bir seçenektir.