İçeriğe geç
parazade
Yapay Zeka

Ridge Regresyon Nedir?

İngilizce: Ridge Regression

Yayın: · Son güncelleme:

Ridge Regresyon Nedir? Kısaca

Ridge regresyon, doğrusal regresyonun kayıp fonksiyonuna katsayıların karelerinin toplamıyla orantılı bir ceza ekleyen ve böylece katsayıları küçülterek aşırı öğrenmeyi ve çoklu doğrusal bağlantı sorununu azaltan bir düzenlileştirme yöntemidir.

Ridge Regresyon nedir?
İçindekiler
  1. Ridge regresyon nedir?
  2. Ne işe yarar?
  3. Nelere dikkat etmeli?

Ridge regresyon, doğrusal regresyonun aşırı öğrenmeye karşı daha dayanıklı bir türüdür. L2 düzenlileştirme ya da Tikhonov düzenlileştirmesi olarak da bilinir.

Ridge regresyon nedir?

Sıradan doğrusal regresyon yalnızca tahmin hatasını en aza indirmeye çalışır. Çok sayıda ya da birbirine çok bağlı özellik varsa, katsayılar aşırı büyüyebilir ve model eğitim verisindeki gürültüye uyum sağlar. Ridge, hataya ek olarak bir ceza terimi ekler:

Toplam kayıp = hata kareleri toplamı + λ × (katsayıların kareleri toplamı)

λ (lambda), cezanın gücünü belirleyen bir hiperparametredir:

  • λ = 0 ise model sıradan doğrusal regresyondur.
  • λ büyüdükçe katsayılar sıfıra doğru küçülür, model sadeleşir.

Ne işe yarar?

  • Aşırı öğrenmeyi azaltır: Küçük katsayılar, modelin verideki küçük dalgalanmalara aşırı tepki vermesini engeller.
  • Çoklu doğrusal bağlantıyı yatıştırır: Birbirine çok benzeyen değişkenlerde katsayılar daha kararlı olur.

Ridge katsayıları küçültür ama tam olarak sıfıra indirmez; yani hiçbir özelliği modelden tamamen çıkarmaz. Özellik seçimi isteniyorsa lasso tercih edilir.

Nelere dikkat etmeli?

  • Ceza katsayıların büyüklüğüne bağlı olduğundan özellikler önce aynı ölçeğe getirilmelidir (standardizasyon).
  • Uygun λ değeri genellikle çapraz doğrulama ile seçilir.
  • Ceza modele bir miktar yanlılık ekler; amaç, varyanstaki düşüşün bu yanlılıktan daha değerli olmasıdır.

Aynı fikir sinir ağlarında ağırlık azaltma (weight decay) adıyla da kullanılır.

Sıkça Sorulan Sorular

Ridge ile lasso arasındaki fark nedir?

Ridge katsayıların karelerini cezalandırır ve onları küçültür ama sıfırlamaz. Lasso mutlak değerleri cezalandırır ve bazı katsayıları tam sıfıra indirerek özellik seçimi yapar.

Ridge regresyonda lambda nasıl seçilir?

Genellikle farklı değerler denenir ve çapraz doğrulamada en düşük hatayı veren değer seçilir. Çok küçük lambda etkisiz, çok büyük lambda ise fazla basit bir model üretir.

İlgili terimler

Lasso Regresyon(Lasso Regression)Lasso regresyon, doğrusal regresyonun kayıp fonksiyonuna katsayıların mutlak değerlerinin toplamıyla orantılı bir ceza ekleyen, bu sayede bazı katsayıları tam sıfıra indirip önemsiz özellikleri modelden çıkaran bir düzenlileştirme yöntemidir.Elastic NetElastic net, doğrusal modellerde lasso'nun L1 cezası ile ridge'in L2 cezasını belirli bir oranda birleştiren, hem özellik seçimi yapabilen hem de birbirine bağlı özelliklerde daha kararlı sonuç veren bir düzenlileştirme yöntemidir.Doğrusal Regresyon(Linear Regression)Doğrusal regresyon, bir hedef değişkeni bir ya da daha fazla bağımsız değişkenin ağırlıklı toplamı ve bir sabitle tahmin eden, ağırlıkları genellikle hata karelerinin toplamını en aza indirerek bulan temel bir istatistik ve makine öğrenmesi yöntemidir.Ağırlık Azaltma(Weight Decay)Ağırlık azaltma (weight decay), sinir ağı eğitiminde her güncelleme adımında model ağırlıklarını küçük bir oranda sıfıra doğru çeken, böylece büyük ağırlıkları cezalandırarak aşırı öğrenmeyi azaltan bir düzenlileştirme tekniğidir.Özellik(Feature)Özellik (feature), makine öğrenmesinde her bir örneği tanımlayan ve modelin tahmin yaparken girdi olarak kullandığı ölçülebilir nitelik ya da değişkendir. Örneğin ev fiyatı tahmininde metrekare, oda sayısı ve konum birer özelliktir.Hiperparametre(Hyperparameter)Hiperparametre, model eğitimi başlamadan önce insan tarafından belirlenen ve öğrenme sürecini yöneten ayarlardır; öğrenme oranı, batch size ve epoch sayısı en bilinen örnekleridir.Özellik Seçimi(Feature Selection)Özellik seçimi (feature selection), bir veri setindeki tüm özellikler arasından modelin başarısına en çok katkı sağlayanları seçip gereksiz, tekrarlayan ya da gürültülü olanları çıkararak daha sade ve genellenebilir bir model kurma sürecidir.