Leaky ReLU Nedir?

Leaky ReLU, Türkçede "sızıntılı ReLU" olarak çevrilebilir. Klasik ReLU fonksiyonunun, negatif girdilerde küçük bir sinyalin "sızmasına" izin veren bir türüdür.

Leaky ReLU nedir?

Formülü şöyledir:

• x > 0 ise f(x) = x
• x ≤ 0 ise f(x) = α · x

Burada α (alfa), genellikle 0,01 gibi küçük bir sabittir. Yani pozitif bölgede ReLU ile aynıdır, negatif bölgede ise sıfır yerine hafif eğimli bir çizgi çizer.

Varsayımsal bir örnek: α = 0,01 iken f(5) = 5, f(−5) = −0,05 olur. ReLU aynı negatif girdi için 0 verirdi.

Hangi sorunu çözer?

ReLU'da negatif bölgede türev sıfırdır. Bir nöron her girdi için negatif toplam üretmeye başlarsa ağırlıkları artık güncellenmez ve kalıcı olarak "ölür". Leaky ReLU'da negatif bölgedeki türev α olduğu için gradyan küçük de olsa akmaya devam eder. Böylece nöron, eğitim ilerledikçe yeniden aktif hâle gelme şansını korur.

Türevleri

• Parametrik ReLU (PReLU): α sabit değildir, eğitim sırasında veriden öğrenilir.
• Rastgele Leaky ReLU (RReLU): Eğitimde α belirli bir aralıktan rastgele seçilir.
• ELU: Negatif bölgede doğrusal değil, üstel bir eğri kullanır.

Nerelerde kullanılır?

Ölen nöron sorununun belirgin olduğu derin ağlarda ve bazı GAN mimarilerinde, özellikle ayırt edici ağ tarafında yaygın olarak kullanılmıştır.

Nelere dikkat etmeli?

• α değeri bir hiperparametredir; seçimi sonuçları etkileyebilir.
• Leaky ReLU her problemde ReLU'dan daha iyi sonuç vermez; çoğu durumda fark küçüktür.
• Büyük dil modellerinde ise genellikle GELU ya da SwiGLU gibi daha yumuşak fonksiyonlar tercih edilir.