İçeriğe geç
parazade
Yapay Zeka

ReLU Nedir?

Yayın: · Son güncelleme:

ReLU Nedir? Kısaca

ReLU (Rectified Linear Unit), girdisi pozitifse aynen geçiren, negatifse sıfır döndüren, yani f(x) = max(0, x) biçiminde tanımlanan ve derin sinir ağlarında en yaygın kullanılan aktivasyon fonksiyonlarından biridir.

ReLU nedir?
İçindekiler
  1. ReLU nedir?
  2. ReLU ne demek, neden bu kadar yaygın?
  3. Ölen ReLU problemi

ReLU, "Rectified Linear Unit" yani "doğrultulmuş doğrusal birim" ifadesinin kısaltmasıdır. Derin öğrenmede en çok kullanılan aktivasyon fonksiyonlarından biridir.

ReLU nedir?

Tanımı oldukça basittir:

f(x) = max(0, x)

  • Girdi pozitifse çıktı girdinin kendisidir: f(3) = 3.
  • Girdi sıfır ya da negatifse çıktı sıfırdır: f(−2) = 0.

Grafikte sıfırın solunda düz bir yatay çizgi, sağında 45 derecelik bir doğru görürsün. Bu kırılma noktası sayesinde fonksiyon doğrusal değildir; bu da sinir ağının karmaşık ilişkileri öğrenmesini sağlar.

ReLU ne demek, neden bu kadar yaygın?

  • Hesaplaması ucuzdur: Yalnızca bir karşılaştırma yapar; üstel fonksiyon gerektirmez.
  • Kaybolan gradyanı hafifletir: Sigmoid ve tanh büyük girdilerde doygunluğa ulaşır ve türevleri sıfıra yaklaşır. ReLU'nun pozitif bölgedeki türevi her zaman 1'dir; bu, derin ağlarda gradyanın katmanlar boyunca daha iyi taşınmasına yardım eder.
  • Seyreklik: Negatif girdilerde çıktı sıfır olduğundan, belirli bir anda nöronların bir kısmı "kapalı" kalır. Bu, verimli temsiller öğrenmeye katkı sağlayabilir.

Bu avantajlar, 2010'ların başından itibaren derin ağların daha kolay eğitilmesinde ReLU'yu standart bir seçim hâline getirdi.

Ölen ReLU problemi

ReLU'nun bilinen zayıflığı, negatif bölgede türevin sıfır olmasıdır. Bir nöron her girdi için negatif toplam üretir hâle gelirse, ağırlıkları artık güncellenmez ve nöron kalıcı olarak sıfır çıktı verir. Buna "ölen ReLU" (dying ReLU) denir. Yüksek öğrenme oranı bu riski artırır.

Bu sorunu azaltmak için Leaky ReLU, ELU ve GELU gibi türevler geliştirilmiştir. Özellikle büyük dil modellerinde GELU ve SwiGLU gibi daha yumuşak fonksiyonlar sık tercih edilir.

Sıkça Sorulan Sorular

ReLU ne demek, Türkçesi nedir?

Rectified Linear Unit ifadesinin kısaltmasıdır ve Türkçeye doğrultulmuş doğrusal birim olarak çevrilir. Negatif değerleri sıfırlayan basit bir aktivasyon fonksiyonudur.

ReLU çıkış katmanında kullanılır mı?

Genellikle gizli katmanlarda kullanılır. Çıkış katmanında problemin türüne göre softmax, sigmoid ya da doğrusal çıkış tercih edilir.

İlgili terimler

Leaky ReLULeaky ReLU, pozitif girdileri aynen geçirip negatif girdileri sıfırlamak yerine küçük bir katsayıyla (örneğin 0,01) çarparak geçiren ve böylece ReLU'nun negatif bölgede gradyanın sıfırlanması sorununu azaltan bir aktivasyon fonksiyonudur.Aktivasyon Fonksiyonu(Activation Function)Aktivasyon fonksiyonu, yapay sinir ağındaki bir nöronun girdilerinin ağırlıklı toplamını dönüştürerek çıktısını belirleyen ve ağa doğrusal olmayan ilişkileri öğrenme yeteneği kazandıran matematiksel fonksiyondur.GELUGELU (Gaussian Error Linear Unit), girdiyi standart normal dağılımın birikimli dağılım fonksiyonuyla çarparak, yani GELU(x) = x·Φ(x) biçiminde, ReLU'ya benzeyen ama sıfır civarında yumuşak geçiş yapan ve transformer modellerinde yaygın kullanılan bir aktivasyon fonksiyonudur.Kaybolan Gradyan Problemi(Vanishing Gradient Problem)Kaybolan gradyan problemi, derin sinir ağlarında geri yayılım sırasında gradyanların katmanlar boyunca küçüle küçüle sıfıra yaklaşması ve bu yüzden ilk katmanların neredeyse hiç öğrenememesidir. Uygun aktivasyon fonksiyonları ve mimari çözümlerle hafifletilir.Öğrenme Oranı(Learning Rate)Öğrenme oranı, gradyan inişi sırasında model parametrelerinin her adımda ne kadar büyük miktarda değiştirileceğini belirleyen ve eğitimin başarısını en çok etkileyen hiperparametrelerden biridir.Harf Çevirisi(Transliteration)Harf çevirisi (transliterasyon), bir yazı sistemindeki metnin, anlamı çevrilmeden başka bir yazı sisteminin harfleriyle yazılmasıdır. Örneğin Kiril alfabesiyle yazılmış bir ismin Latin harflerine aktarılması harf çevirisidir.