Gradyan İnişi Nedir?
İngilizce: Gradient Descent
Yayın: · Son güncelleme:
Gradyan İnişi Nedir? Kısaca
Gradyan inişi, bir modelin kayıp fonksiyonunu en aza indirmek için parametreleri, kaybın en hızlı azaldığı yönde (gradyanın tersine) küçük adımlarla tekrar tekrar güncelleyen optimizasyon yöntemidir.
Gradyan inişi (gradient descent), makine öğrenmesinde modelin parametrelerini ayarlamak için kullanılan temel optimizasyon algoritmasıdır. Amaç, kayıp fonksiyonunun değerini, yani modelin hatasını en düşük seviyeye indirmektir.
Sezgisel anlatım: Sisli dağdan inmek
Sisli bir dağın tepesinde olduğunu ve en alçak noktaya inmek istediğini düşün. Etrafı göremiyorsun ama ayağının altındaki eğimi hissedebiliyorsun. Her adımda en dik iniş yönüne doğru bir adım atarsan sonunda bir vadiye ulaşırsın.
- Dağın yüksekliği: Kayıp değeri
- Konumun: Modelin parametreleri
- Eğim: Gradyan (kaybın parametrelere göre türevi)
- Adım büyüklüğü: Öğrenme oranı
Nasıl çalışır?
- Parametreler rastgele başlatılır.
- Model tahmin yapar ve kayıp hesaplanır.
- Her parametre için gradyan hesaplanır (sinir ağlarında bu işi geri yayılım yapar).
- Parametreler gradyanın ters yönünde, öğrenme oranıyla çarpılarak güncellenir.
- Kayıp yeterince azalana kadar bu adımlar tekrarlanır.
Türleri
| Tür | Her adımda kullanılan veri |
|---|---|
| Toplu (batch) gradyan inişi | Tüm veri |
| Stokastik (SGD) | Tek örnek |
| Mini-batch | Küçük örnek grubu (batch size kadar) |
Uygulamada en yaygını mini-batch'tir. Adam gibi gelişmiş optimizasyon yöntemleri de gradyan inişinin uyarlanmış biçimleridir.
Nelere dikkat etmeli?
Öğrenme oranı çok büyükse model vadiyi aşıp sağa sola savrulur; çok küçükse eğitim çok yavaş ilerler. Algoritma en iyi nokta yerine yerel bir çukura takılabilir. Verinin ölçeklendirilmesi de eğitimin istikrarını etkiler.
Sıkça Sorulan Sorular
Gradyan nedir?
Gradyan, bir fonksiyonun her parametreye göre ne kadar ve hangi yönde değiştiğini gösteren türevler kümesidir. Kaybın en hızlı arttığı yönü gösterir; gradyan inişi bu yüzden ters yöne gider.
Gradyan inişi her zaman en iyi çözümü bulur mu?
Hayır. Karmaşık modellerde kayıp yüzeyi çok sayıda çukur içerir ve algoritma bunlardan birine yerleşebilir. Pratikte büyük sinir ağlarında bulunan çözümler genellikle yeterince iyi sonuç verir.