Yakınsama Nedir?

Yakınsama, bir sürecin tekrarlandıkça belirli bir değere giderek yaklaşması anlamına gelir. Makine öğrenmesinde, eğitimin "bir yere vardığını" anlatmak için kullanılır.

Yakınsama nedir?

Bir model eğitilirken gradyan inişi gibi optimizasyon algoritmaları, kayıp fonksiyonu değerini azaltmak için parametreleri adım adım günceller. Başlangıçta kayıp hızla düşer, sonra düşüş yavaşlar ve sonunda neredeyse sabitlenir. Bu duruma modelin yakınsaması denir.

Yakınsama, modelin en iyi olası çözümü bulduğu anlamına gelmez. Model bir yerel minimumda ya da düz bir bölgede de durabilir. Doğrusal regresyon gibi konveks problemlerde tek bir en iyi nokta vardır ve uygun ayarlarla oraya yakınsama garanti edilebilir; derin sinir ağlarında ise böyle bir garanti genellikle yoktur.

Nasıl anlaşılır?

• Eğitim kaybı grafiği yataylaşır.
• Doğrulama metrikleri birkaç epoch boyunca anlamlı biçimde iyileşmez.
• Parametre güncellemelerinin büyüklüğü çok küçülür.

Varsayımsal bir örnekte kayıp ilk 10 epoch'ta 2,0'dan 0,5'e düşüp sonraki 20 epoch'ta 0,48 civarında kalıyorsa model büyük olasılıkla yakınsamıştır.

Yakınsama sorunları

• Iraksama: Öğrenme oranı çok yüksekse kayıp düşmek yerine artabilir ya da sayısal olarak taşabilir.
• Çok yavaş yakınsama: Öğrenme oranı çok küçükse eğitim gereksiz uzun sürer.
• Salınım: Kayıp bir değer etrafında sürekli dalgalanır.
• Erken durma: Kaybın düşmesi geçici olarak yavaşladığında eğitim gereğinden erken bitirilebilir.

Bu sorunlar genellikle öğrenme oranını ayarlamak, öğrenme oranı planlaması kullanmak, veriyi normalleştirmek ya da Adam gibi uyarlanabilir optimizasyon algoritmaları seçmekle hafifletilir.