Tanh Fonksiyonu Nedir?

Tanh, "hiperbolik tanjant" fonksiyonunun kısa adıdır. Sinir ağlarında kullanılan klasik aktivasyon fonksiyonlarından biridir ve şekil olarak sigmoid'e çok benzer.

Tanh fonksiyonu nedir?

Formülü şöyledir:

tanh(x) = (eˣ − e⁻ˣ) / (eˣ + e⁻ˣ)

Özellikleri:

• Çıktı her zaman −1 ile 1 arasındadır.
• tanh(0) = 0'dır; yani fonksiyon sıfır merkezlidir.
• Büyük pozitif girdilerde 1'e, büyük negatif girdilerde −1'e yaklaşır.
• Sigmoid ile yakın bir ilişkisi vardır: tanh(x) = 2·σ(2x) − 1. Yani tanh, ölçeklenmiş ve kaydırılmış bir sigmoid'dir.

Varsayımsal bir örnek: tanh(1) yaklaşık 0,76, tanh(−1) yaklaşık −0,76'dır.

Sigmoid'den farkı ve avantajı

Sigmoid çıktıları hep pozitiftir (0 ile 1 arası). Tanh ise hem pozitif hem negatif değer üretir ve ortalaması sıfıra yakındır. Bu, bir sonraki katmanın girdilerini daha dengeli hâle getirir ve eğitimin genellikle daha hızlı ilerlemesine yardım eder. Türevinin en büyük değeri de 1'dir; sigmoid'deki 0,25'ten belirgin biçimde büyüktür.

Nerelerde kullanılır?

• Tekrarlayan ağlar: LSTM ve GRU hücrelerinde, hücre durumunu ve aday değerleri −1 ile 1 arasında tutmak için kullanılır.
• Bazı üretici modeller: Çıktısı −1 ile 1 arasına ölçeklenmiş görüntü üreten ağların son katmanında tercih edilebilir.
• Erken dönem sinir ağlarında gizli katmanlarda yaygındı.

Nelere dikkat etmeli?

Tanh da sigmoid gibi doygunluğa ulaşır: Çok büyük ya da çok küçük girdilerde eğri düzleşir ve türev sıfıra yaklaşır. Bu durum derin ağlarda kaybolan gradyan problemine yol açar. Bu yüzden modern derin ağların gizli katmanlarında genellikle ReLU, GELU gibi fonksiyonlar tercih edilir.