Yerel Minimum Nedir?

Yerel minimum, bir dağlık arazide bir vadinin dibi gibidir. Etrafındaki her yön yukarı çıkar, ama arazinin başka bir yerinde daha derin bir vadi bulunabilir. O en derin vadi ise küresel (global) minimumdur.

Yerel minimum nedir?

Bir fonksiyonun bir noktadaki değeri, o noktanın küçük bir çevresindeki tüm değerlerden küçük ya da eşitse, o nokta yerel minimumdur. Tek değişkenli türevlenebilir fonksiyonlarda bu noktada türev sıfırdır ve fonksiyon sağa ve sola doğru artar.

Kavram	Anlamı
Yerel minimum	Yakın çevresinin en düşük noktası
Küresel minimum	Tüm fonksiyonun en düşük noktası
Eyer noktası	Bazı yönlerde minimum, bazı yönlerde maksimum gibi davranan düz nokta

Makine öğrenmesinde neden önemli?

Model eğitimi, kayıp fonksiyonunu en aza indirmeye çalışır. Gradyan inişi, bulunduğu noktadan aşağı doğru küçük adımlar atar. Bu yöntem bir yerel minimuma ulaştığında, etrafı yukarı çıktığı için durabilir; daha iyi bir çözüm başka yerde olsa bile onu göremez.

Konveks problemlerde bu sorun yoktur, çünkü tek bir minimum vardır. Derin sinir ağlarının kayıp yüzeyleri ise konveks olmadığından çok sayıda yerel minimum ve eyer noktası içerir.

Nasıl başa çıkılır?

• Stokastik gradyan inişi: Küçük veri gruplarıyla yapılan gürültülü güncellemeler, sığ çukurlardan çıkmaya yardımcı olabilir.
• Momentum: Önceki adımların hızını koruyarak küçük tümsekleri aşmayı kolaylaştırır.
• Farklı başlangıç noktaları: Birden fazla eğitimle farklı çözümler denenir.
• Öğrenme oranı planlaması: Başta büyük, sonra küçük adımlar atılır.

Araştırmalar, çok büyük sinir ağlarında pek çok yerel minimumun benzer düzeyde iyi olduğunu ve eyer noktalarının daha büyük bir engel oluşturabildiğini öne sürer.