İçeriğe geç
parazade
Yapay Zeka

AdaBoost Nedir?

Yayın: · Son güncelleme:

AdaBoost Nedir? Kısaca

AdaBoost (Adaptive Boosting), zayıf sınıflandırıcıları sırayla eğiten, her turda yanlış sınıflanan örneklerin ağırlığını artıran ve sonunda bu sınıflandırıcıları başarılarına göre ağırlıklı oylamayla birleştiren bir boosting algoritmasıdır.

AdaBoost nedir?
İçindekiler
  1. AdaBoost nedir?
  2. Nasıl çalışır?
  3. Örnek
  4. Nelere dikkat etmeli?

AdaBoost, "Adaptive Boosting" yani uyarlanabilir artırma ifadesinin kısaltmasıdır. 1990'ların ortasında Yoav Freund ve Robert Schapire tarafından geliştirilen, boosting fikrinin ilk pratik ve yaygın uygulamalarından biridir.

AdaBoost nedir?

AdaBoost, tek başına zayıf olan modelleri, çoğunlukla tek bölünmeli çok sığ karar ağaçlarını ("karar kütükleri") bir araya getirerek güçlü bir sınıflandırıcı oluşturur. "Uyarlanabilir" denmesinin nedeni, her turda verideki örneklerin önemini bir önceki modelin hatalarına göre değiştirmesidir.

Nasıl çalışır?

  1. Başlangıçta tüm eğitim örneklerine eşit ağırlık verilir.
  2. Bir zayıf sınıflandırıcı bu ağırlıklı veriyle eğitilir.
  3. Sınıflandırıcının hata oranı hesaplanır; ne kadar başarılıysa son oylamadaki söz hakkı o kadar büyük olur.
  4. Yanlış sınıflanan örneklerin ağırlığı artırılır, doğru olanlarınki azaltılır.
  5. Sonraki sınıflandırıcı, ağırlığı artan "zor" örneklere daha çok odaklanır.
  6. Adımlar tekrarlanır; son karar tüm sınıflandırıcıların ağırlıklı oyuyla verilir.

Örnek

Varsayımsal bir görüntü sınıflandırmasında ilk kütük, yüzleri ışık seviyesine bakarak ayırmaya çalışsın ve karanlık fotoğraflarda hata yapsın. İkinci kütük bu karanlık fotoğraflara daha fazla önem vererek eğitilir. Böylece her model, ekibin zayıf kaldığı bir alanı kapatır.

Nelere dikkat etmeli?

  • Gürültüye duyarlılık: Yanlış etiketlenmiş örnekler sürekli "zor" görünür ve ağırlıkları şişer; bu, modelin performansını bozabilir.
  • Aykırı değerler: Uç örnekler benzer şekilde aşırı önem kazanabilir.
  • Günümüzde pek çok uygulamada yerini daha esnek olan gradyan artırma yöntemlerine bırakmıştır; yine de boosting mantığını anlamak için iyi bir başlangıçtır.

Sıkça Sorulan Sorular

AdaBoost'ta zayıf sınıflandırıcı ne demek?

Rastgele tahminden yalnızca biraz daha iyi sonuç veren basit bir modeldir. AdaBoost'ta genellikle tek bir soruyla karar veren karar kütükleri kullanılır.

AdaBoost ile gradyan artırma aynı mı?

İkisi de boosting yöntemidir ama farklı çalışır. AdaBoost örnek ağırlıklarını değiştirir; gradyan artırma ise her yeni modeli önceki tahminin hatasını (kaybın gradyanını) tahmin edecek şekilde eğitir.

İlgili terimler

BoostingBoosting, makine öğrenmesinde zayıf modellerin sırayla eğitildiği ve her yeni modelin öncekilerin hata yaptığı örneklere odaklandığı bir topluluk öğrenmesi yöntemidir; sonuçta bu modeller birleştirilerek güçlü bir tahminci elde edilir.Gradyan Artırma(Gradient Boosting)Gradyan artırma (gradient boosting), her yeni modelin, genellikle küçük bir karar ağacının, o ana kadarki toplam tahminin hatasını düzeltecek şekilde eğitildiği ve modellerin art arda toplandığı bir boosting yöntemidir.Karar Ağacı(Decision Tree)Karar ağacı, veriyi bir dizi koşul sorusuyla adım adım dallara ayırarak sınıflandırma ya da sayısal tahmin yapan, ağaç biçiminde gösterilebilen ve kararları kolay yorumlanan bir makine öğrenmesi modelidir.Topluluk Öğrenmesi(Ensemble Learning)Topluluk öğrenmesi (ensemble learning), birden fazla makine öğrenmesi modelinin tahminlerini oylama, ortalama ya da başka bir modelle birleştirerek tek bir modelden daha doğru ve kararlı sonuç elde etmeyi amaçlayan yaklaşımdır.Ağırlık(Weight)Ağırlık (weight), yapay sinir ağlarında ve diğer makine öğrenmesi modellerinde her girdinin ya da bağlantının çıktıya ne kadar katkı yapacağını belirleyen ve eğitim sırasında veriden öğrenilen sayısal parametredir.Duyarlılık(Recall)Makine öğrenmesinde duyarlılık (recall), gerçekte pozitif olan örneklerin ne kadarının model tarafından doğru şekilde pozitif olarak yakalandığını gösteren orandır; doğru pozitifin, doğru pozitif ile yanlış negatif toplamına bölünmesiyle bulunur.