İçeriğe geç
parazade
Yapay Zeka

GELU Nedir?

Yayın: · Son güncelleme:

GELU Nedir? Kısaca

GELU (Gaussian Error Linear Unit), girdiyi standart normal dağılımın birikimli dağılım fonksiyonuyla çarparak, yani GELU(x) = x·Φ(x) biçiminde, ReLU'ya benzeyen ama sıfır civarında yumuşak geçiş yapan ve transformer modellerinde yaygın kullanılan bir aktivasyon fonksiyonudur.

GELU nedir?
İçindekiler
  1. GELU nedir?
  2. Nasıl davranır?
  3. Neden tercih edilir?
  4. Nelere dikkat etmeli?

GELU, "Gaussian Error Linear Unit" ifadesinin kısaltmasıdır. Dan Hendrycks ve Kevin Gimpel tarafından 2016'da önerilmiştir. BERT ve GPT ailesinin ilk modelleri gibi pek çok transformer tabanlı modelde kullanılmasıyla yaygınlaşmıştır.

GELU nedir?

Formülü şöyledir:

GELU(x) = x · Φ(x)

Burada Φ(x), standart normal dağılımın birikimli dağılım fonksiyonudur; yani normal dağılıma göre rastgele bir değerin x'ten küçük olma olasılığıdır. Pratikte hesaplamayı hızlandırmak için tanh ya da sigmoid kullanan yaklaşık formüller de sık kullanılır.

Nasıl davranır?

GELU, girdiyi bir olasılıkla "ağırlıklandırır":

  • Büyük pozitif x değerlerinde Φ(x) 1'e yaklaşır, çıktı neredeyse x olur (ReLU gibi).
  • Büyük negatif x değerlerinde Φ(x) 0'a yaklaşır, çıktı neredeyse 0 olur.
  • Sıfır civarında ise keskin bir köşe yerine yumuşak bir geçiş vardır; küçük negatif girdiler tamamen sıfırlanmaz, küçük negatif çıktılar üretebilir.

Varsayımsal bir örnek: GELU(1) yaklaşık 0,84, GELU(−1) yaklaşık −0,16'dır. Aynı girdiler için ReLU 1 ve 0 verirdi.

Neden tercih edilir?

  • Pürüzsüzdür: Her noktada türevlenebilir; bu, optimizasyonu kolaylaştırabilir.
  • Negatif bölgede tamamen ölmez: Küçük negatif girdilerde gradyan sıfır olmadığı için ölen ReLU sorunu azalır.
  • Deneysel başarı: Dil ve görüntü modellerinde ReLU'ya göre çoğu zaman biraz daha iyi sonuç verdiği raporlanmıştır.

Nelere dikkat etmeli?

GELU'nun hesaplanması ReLU'dan daha pahalıdır; bu fark küçük modellerde önemsiz, çok büyük modellerde ise toplam maliyete eklenir. Ayrıca her problemde ReLU'dan daha iyi olduğu garanti değildir. Daha yeni büyük dil modellerinde GELU'nun yerini kapılı türevler, örneğin SwiGLU, almaya başlamıştır.

Sıkça Sorulan Sorular

GELU ile ReLU arasındaki fark nedir?

ReLU negatif girdileri keskin biçimde sıfırlar. GELU ise girdiyi olasılığa göre yumuşakça ağırlıklandırır, sıfır civarında pürüzsüz geçiş yapar ve küçük negatif çıktılara izin verir.

GELU nerelerde kullanılır?

Özellikle transformer tabanlı dil ve görüntü modellerinin ileri besleme bloklarında kullanılır. Diğer derin ağlarda da ReLU'ya alternatif olarak tercih edilebilir.

İlgili terimler

ReLUReLU (Rectified Linear Unit), girdisi pozitifse aynen geçiren, negatifse sıfır döndüren, yani f(x) = max(0, x) biçiminde tanımlanan ve derin sinir ağlarında en yaygın kullanılan aktivasyon fonksiyonlarından biridir.SwiGLUSwiGLU, girdiden iki ayrı doğrusal dönüşüm üretip bunlardan birini Swish fonksiyonundan geçirerek diğeriyle eleman eleman çarpan, yani kapılı doğrusal birim (GLU) fikrini Swish ile birleştiren ve büyük dil modellerinde yaygın kullanılan bir aktivasyon yapısıdır.Aktivasyon Fonksiyonu(Activation Function)Aktivasyon fonksiyonu, yapay sinir ağındaki bir nöronun girdilerinin ağırlıklı toplamını dönüştürerek çıktısını belirleyen ve ağa doğrusal olmayan ilişkileri öğrenme yeteneği kazandıran matematiksel fonksiyondur.TransformerTransformer, metin gibi sıralı verileri dikkat mekanizmasıyla paralel işleyen ve büyük dil modellerinin çoğunun temelini oluşturan bir sinir ağı mimarisidir.BERTBERT (Bidirectional Encoder Representations from Transformers), Google araştırmacılarının 2018'de tanıttığı, metni iki yönden okuyarak her kelimenin bağlamsal anlamını öğrenen Transformer kodlayıcı tabanlı bir dil modelidir. Sınıflandırma ve arama gibi anlama görevlerinde yaygın kullanılır.Harf Çevirisi(Transliteration)Harf çevirisi (transliterasyon), bir yazı sistemindeki metnin, anlamı çevrilmeden başka bir yazı sisteminin harfleriyle yazılmasıdır. Örneğin Kiril alfabesiyle yazılmış bir ismin Latin harflerine aktarılması harf çevirisidir.