Aktivasyon Fonksiyonu Nedir?
İngilizce: Activation Function
Yayın: · Son güncelleme:
Aktivasyon Fonksiyonu Nedir? Kısaca
Aktivasyon fonksiyonu, yapay sinir ağındaki bir nöronun girdilerinin ağırlıklı toplamını dönüştürerek çıktısını belirleyen ve ağa doğrusal olmayan ilişkileri öğrenme yeteneği kazandıran matematiksel fonksiyondur.
Aktivasyon fonksiyonu, bir yapay sinir ağındaki her nöronun çıktısını belirleyen fonksiyondur. Nöron, girdilerini ağırlıklarla çarpıp toplar; aktivasyon fonksiyonu bu toplamı alır ve bir sonraki katmana iletilecek değere dönüştürür.
Neden gereklidir?
Aktivasyon fonksiyonu olmasaydı, katman sayısı ne olursa olsun ağ yalnızca doğrusal (düz çizgi gibi) ilişkileri öğrenebilirdi; çünkü art arda yapılan doğrusal işlemler yine tek bir doğrusal işleme eşittir. Görüntü tanıma veya dil gibi karmaşık problemler doğrusal değildir. Aktivasyon fonksiyonu bu doğrusal olmama özelliğini ekler ve derin ağları güçlü kılar.
Yaygın aktivasyon fonksiyonları
| Fonksiyon | Çıktı aralığı | Nerede kullanılır? |
|---|---|---|
| ReLU | 0 veya pozitif değer | Gizli katmanlarda en yaygın seçim |
| Sigmoid | 0 ile 1 arası | İkili sınıflandırma çıkışı |
| Tanh | -1 ile 1 arası | Bazı tekrarlayan ağlarda |
| Softmax | Toplamı 1 olan olasılıklar | Çok sınıflı sınıflandırma çıkışı |
| GELU / SiLU | ReLU'ya benzer, daha yumuşak | Transformer tabanlı modellerde |
ReLU basitçe şöyle çalışır: Girdi negatifse 0, pozitifse kendisini verir. Hesaplaması ucuz olduğu ve kaybolan gradyan sorununu azalttığı için yaygınlaşmıştır.
Softmax ise dil modellerinin son katmanında, bir sonraki token için her olasılığı hesaplamakta kullanılır.
Nelere dikkat etmeli?
Sigmoid ve tanh, uç değerlerde çok düz hâle geldiği için derin ağlarda gradyanların küçülmesine (geri yayılım sırasında kaybolan gradyan) yol açabilir. ReLU'da ise bazı nöronlar sürekli 0 üretip "ölü" hâle gelebilir; Leaky ReLU gibi varyantlar bunun için geliştirilmiştir.
Sıkça Sorulan Sorular
En iyi aktivasyon fonksiyonu hangisi?
Tek bir en iyi fonksiyon yoktur. Gizli katmanlarda ReLU ve türevleri genellikle iyi bir başlangıçtır; çıkış katmanında ise görev türüne göre sigmoid veya softmax seçilir.
Softmax neden dil modellerinde kullanılır?
Softmax, modelin her olası token için ürettiği ham skorları toplamı 1 olan olasılıklara çevirir. Böylece model bir sonraki tokeni bu olasılıklara göre seçebilir.