Öğrenme Oranı (Learning Rate) Nedir?

Öğrenme oranı (learning rate), modelin her eğitim adımında hatasını düzeltmek için atacağı adımın büyüklüğüdür. Gradyan inişi hangi yöne gidileceğini söyler; öğrenme oranı ise o yönde ne kadar ilerleneceğini belirler. Genellikle 0,001 veya 0,0001 gibi küçük bir sayıdır.

Neden bu kadar önemli?

Dağdan inme benzetmesiyle düşünürsek:

• Çok büyük öğrenme oranı: Dev adımlar atarsın, vadinin dibini aşıp karşı yamaca çıkarsın. Kayıp dalgalanır ya da sürekli büyür; eğitim çöker.
• Çok küçük öğrenme oranı: Minik adımlarla ilerlersin. Eğitim çok yavaş olur, belki de sığ bir çukura takılıp kalırsın.
• Uygun öğrenme oranı: Kayıp düzenli ve makul hızda azalır.

Öğrenme oranı planları

Öğrenme oranını eğitim boyunca sabit tutmak yerine değiştirmek yaygındır:

1. Isınma (warmup): Eğitimin başında küçük başlayıp kademeli artırmak; ilk adımlardaki kararsızlığı önler.
2. Azaltma (decay): Eğitim ilerledikçe oranı düşürmek; model iyi bir noktaya yaklaşırken daha ince ayar yapmasını sağlar.
3. Kosinüs planı: Oranı kosinüs eğrisi gibi yumuşakça azaltmak.

Adam gibi uyarlanabilir optimizasyon yöntemleri her parametre için etkin adım büyüklüğünü ayrıca ayarlar, ama yine de bir temel öğrenme oranı seçilmesi gerekir.

İnce ayarda öğrenme oranı

Hazır bir modele ince ayar yaparken öğrenme oranı genellikle sıfırdan eğitime göre daha düşük tutulur. Çok yüksek oran, modelin önceden öğrendiği bilgileri bozabilir.

Doğru değer, denemelerle ve doğrulama kaybı izlenerek bulunur; tek bir evrensel doğru değer yoktur.