İçeriğe geç
parazade
Yapay Zeka

Gradyan Artırma Nedir?

İngilizce: Gradient Boosting

Yayın: · Son güncelleme:

Gradyan Artırma Nedir? Kısaca

Gradyan artırma (gradient boosting), her yeni modelin, genellikle küçük bir karar ağacının, o ana kadarki toplam tahminin hatasını düzeltecek şekilde eğitildiği ve modellerin art arda toplandığı bir boosting yöntemidir.

Gradyan Artırma nedir?
İçindekiler
  1. Gradyan artırma nedir?
  2. Nasıl çalışır?
  3. Örnek
  4. Nelere dikkat etmeli?

Gradyan artırma, boosting ailesinin en yaygın kullanılan üyesidir. Küçük karar ağaçlarını tek tek ekleyerek, her adımda modelin kalan hatasını biraz daha azaltır. Tablo verisinde sınıflandırma ve regresyon problemlerinde çok güçlü sonuçlar verdiği için sık tercih edilir.

Gradyan artırma nedir?

Temel fikir şudur: Bir model tahmin yapar, ama hata payı kalır. Bir sonraki model, verinin kendisini değil, bu hatayı tahmin etmeyi öğrenir. İki modelin toplamı daha az hata yapar. Bu işlem yüzlerce kez tekrarlanır.

"Gradyan" adı, her adımda kayıp fonksiyonunun azalma yönünün kullanılmasından gelir. Bu, gradyan inişinin modeller üzerinde uygulanmış hâli gibi düşünülebilir.

Nasıl çalışır?

  1. Basit bir başlangıç tahmini yapılır (örneğin tüm değerlerin ortalaması).
  2. Her örnek için hata (artık) hesaplanır.
  3. Küçük bir ağaç bu artıkları tahmin etmek üzere eğitilir.
  4. Ağacın katkısı bir öğrenme oranıyla küçültülerek mevcut tahmine eklenir.
  5. Adım 2-4 belirlenen sayıda tekrarlanır.

Örnek

Varsayımsal olarak bir evin değerini tahmin ediyorsun. İlk tahmin 2 milyon TL, gerçek değer 2,4 milyon TL. İkinci ağaç aradaki 400 bin TL'lik farkı tahmin etmeye çalışır; öğrenme oranı 0,1 ise tahmine 40 bin TL eklenir. Sonraki ağaçlar kalan farkı kapatmaya devam eder.

Nelere dikkat etmeli?

  • Ağaç sayısı, ağaç derinliği ve öğrenme oranı birlikte ayarlanmalıdır; aksi hâlde model kolayca aşırı öğrenir.
  • Doğrulama setiyle erken durdurma yaygın bir önlemdir.
  • Ağaçlar sırayla eğitildiği için eğitim, rastgele ormana göre daha yavaş olabilir.

Sıkça Sorulan Sorular

Gradyan artırma ile rastgele orman arasındaki fark nedir?

Rastgele orman ağaçları bağımsız eğitip ortalar. Gradyan artırma ise ağaçları sırayla ekler ve her ağaç öncekilerin hatasını düzeltmeye çalışır.

Öğrenme oranı neden küçük tutulur?

Her ağacın katkısını sınırlamak, modelin daha yavaş ama daha dengeli öğrenmesini sağlar. Bu genellikle yeni veride daha iyi genelleme getirir, ancak daha fazla ağaç gerektirir.

İlgili terimler

BoostingBoosting, makine öğrenmesinde zayıf modellerin sırayla eğitildiği ve her yeni modelin öncekilerin hata yaptığı örneklere odaklandığı bir topluluk öğrenmesi yöntemidir; sonuçta bu modeller birleştirilerek güçlü bir tahminci elde edilir.AdaBoostAdaBoost (Adaptive Boosting), zayıf sınıflandırıcıları sırayla eğiten, her turda yanlış sınıflanan örneklerin ağırlığını artıran ve sonunda bu sınıflandırıcıları başarılarına göre ağırlıklı oylamayla birleştiren bir boosting algoritmasıdır.Karar Ağacı(Decision Tree)Karar ağacı, veriyi bir dizi koşul sorusuyla adım adım dallara ayırarak sınıflandırma ya da sayısal tahmin yapan, ağaç biçiminde gösterilebilen ve kararları kolay yorumlanan bir makine öğrenmesi modelidir.Rastgele Orman(Random Forest)Rastgele orman (random forest), her biri verinin rastgele bir örneği ve rastgele seçilen özelliklerle eğitilen çok sayıda karar ağacının tahminlerini oylama ya da ortalama ile birleştiren bir makine öğrenmesi algoritmasıdır.Kayıp Fonksiyonu(Loss Function)Kayıp fonksiyonu, bir modelin tahmini ile gerçek değer arasındaki farkı tek bir sayıyla ölçen fonksiyondur; eğitimin amacı bu kayıp değerini olabildiğince küçültmektir.Öğrenme Oranı(Learning Rate)Öğrenme oranı, gradyan inişi sırasında model parametrelerinin her adımda ne kadar büyük miktarda değiştirileceğini belirleyen ve eğitimin başarısını en çok etkileyen hiperparametrelerden biridir.