İçeriğe geç
parazade
Yapay Zeka

Boosting Ne Demek?

Yayın: · Son güncelleme:

Boosting Ne Demek? Kısaca

Boosting, makine öğrenmesinde zayıf modellerin sırayla eğitildiği ve her yeni modelin öncekilerin hata yaptığı örneklere odaklandığı bir topluluk öğrenmesi yöntemidir; sonuçta bu modeller birleştirilerek güçlü bir tahminci elde edilir.

Boosting nedir?
İçindekiler
  1. Boosting ne demek?
  2. Boosting nedir, nasıl çalışır?
  3. Nelere dikkat etmeli?

Boosting, İngilizcede "güçlendirme" anlamına gelir. Makine öğrenmesinde, tek başına zayıf olan çok sayıda basit modeli art arda eğitip birleştirerek güçlü bir model oluşturma yöntemidir.

Boosting ne demek?

"Zayıf model", rastgele tahminden biraz daha iyi sonuç veren basit bir modeldir; örneğin tek bir soruyla karar veren sığ bir karar ağacı. Boosting bu zayıf modelleri bir ekip gibi çalıştırır: Her yeni üye, öncekilerin yanlış bildiği yerlere odaklanır.

Boosting nedir, nasıl çalışır?

  1. İlk model tüm veriyle eğitilir.
  2. Hangi örneklerde hata yaptığı belirlenir.
  3. Sonraki model, bu zor örneklere daha fazla ağırlık vererek ya da önceki modelin artık hatalarını tahmin ederek eğitilir.
  4. Adımlar belirli sayıda tekrarlanır; son tahmin, tüm modellerin ağırlıklı toplamıdır.

Başlıca boosting algoritmaları şunlardır:

  • AdaBoost: Yanlış sınıflanan örneklerin ağırlığını artırır.
  • Gradyan artırma: Her yeni modeli, önceki tahminin hatasını (kaybın gradyanını) düzeltecek şekilde eğitir.

Nelere dikkat etmeli?

  • Aşırı öğrenme: Çok fazla adım ya da yüksek öğrenme oranı, modelin eğitim verisini ezberlemesine yol açabilir. Doğrulama setiyle erken durdurma yaygın bir önlemdir.
  • Gürültüye duyarlılık: Hatalı etiketli örneklere sürekli odaklanmak modeli yanıltabilir.
  • Sıralı eğitim: Modeller birbirine bağlı olduğundan bagging kadar kolay paralelleştirilemez.

Boosting, özellikle tablo şeklindeki verilerle çalışan sınıflandırma ve regresyon problemlerinde en başarılı yöntemler arasında sayılır.

Sıkça Sorulan Sorular

Boosting nedir, bagging'den farkı ne?

Boosting modelleri sırayla eğitir ve her model öncekinin hatalarına odaklanır; bagging ise modelleri birbirinden bağımsız eğitip ortalar. Boosting daha çok yanlılığı, bagging daha çok varyansı azaltır.

Boosting her zaman daha iyi sonuç verir mi?

Hayır. Gürültülü ya da az veride kolayca aşırı öğrenebilir. Adım sayısı ve öğrenme oranı gibi hiperparametrelerin doğrulama verisiyle dikkatle ayarlanması gerekir.

İlgili terimler

AdaBoostAdaBoost (Adaptive Boosting), zayıf sınıflandırıcıları sırayla eğiten, her turda yanlış sınıflanan örneklerin ağırlığını artıran ve sonunda bu sınıflandırıcıları başarılarına göre ağırlıklı oylamayla birleştiren bir boosting algoritmasıdır.Gradyan Artırma(Gradient Boosting)Gradyan artırma (gradient boosting), her yeni modelin, genellikle küçük bir karar ağacının, o ana kadarki toplam tahminin hatasını düzeltecek şekilde eğitildiği ve modellerin art arda toplandığı bir boosting yöntemidir.Topluluk Öğrenmesi(Ensemble Learning)Topluluk öğrenmesi (ensemble learning), birden fazla makine öğrenmesi modelinin tahminlerini oylama, ortalama ya da başka bir modelle birleştirerek tek bir modelden daha doğru ve kararlı sonuç elde etmeyi amaçlayan yaklaşımdır.BaggingBagging (bootstrap aggregating), eğitim verisinden yerine koymalı rastgele örnekler çekip her biriyle ayrı bir model eğiten ve bu modellerin tahminlerini oylama ya da ortalama ile birleştiren bir topluluk öğrenmesi yöntemidir.Karar Ağacı(Decision Tree)Karar ağacı, veriyi bir dizi koşul sorusuyla adım adım dallara ayırarak sınıflandırma ya da sayısal tahmin yapan, ağaç biçiminde gösterilebilen ve kararları kolay yorumlanan bir makine öğrenmesi modelidir.Aşırı Öğrenme(Overfitting)Aşırı öğrenme (overfitting), bir modelin eğitim verisindeki genel kalıplar yerine gürültü ve ayrıntıları ezberlemesi sonucu eğitimde çok başarılı, yeni verilerde ise zayıf sonuç vermesidir.Öğrenme Oranı(Learning Rate)Öğrenme oranı, gradyan inişi sırasında model parametrelerinin her adımda ne kadar büyük miktarda değiştirileceğini belirleyen ve eğitimin başarısını en çok etkileyen hiperparametrelerden biridir.