Zincir Kuralı Nedir?

Zincir kuralı, bir değişimin birbirine bağlı adımlar üzerinden nasıl aktarıldığını hesaplar. Bir işlem diğerinin içine yerleştirildiğinde, toplam değişim her adımdaki değişimlerin çarpımına eşittir.

Zincir kuralı nedir?

y = f(g(x)) biçiminde iç içe bir fonksiyon olsun. Zincir kuralına göre:

dy/dx = f'(g(x)) · g'(x)

Yani önce dış fonksiyonun türevi, iç fonksiyon yerinde dururken alınır; sonra iç fonksiyonun türeviyle çarpılır.

Örnek

y = (3x + 1)² olsun.

• İç fonksiyon: u = 3x + 1, türevi du/dx = 3
• Dış fonksiyon: y = u², türevi dy/du = 2u
• Sonuç: dy/dx = 2(3x + 1) · 3 = 6(3x + 1)

Sezgisel bir benzetme: Bir dişli çark diğerinden 2 kat hızlı, o da üçüncüden 3 kat hızlı dönüyorsa, birincisi üçüncüden 6 kat hızlı döner. Değişim oranları çarpılır.

Sinir ağlarındaki rolü

Bir sinir ağı, katman katman iç içe geçmiş fonksiyonlardan oluşur: Girdi önce birinci katmandan, sonra ikinciden geçer ve sonunda kayıp fonksiyonuna ulaşır. Eğitimde her ağırlığın kayba etkisini bulmak gerekir.

Geri yayılım algoritması, zincir kuralını çıktıdan girdiye doğru uygular. Her katman, bir sonraki katmandan gelen türevi kendi yerel türeviyle çarparak geriye iletir. Böylece milyonlarca parametrenin kısmi türevi tek bir geri geçişte verimli biçimde hesaplanır.

Nelere dikkat etmeli?

Çok derin ağlarda türevler birçok kez çarpıldığı için değerler giderek küçülebilir ya da büyüyebilir. Bunlar kaybolan ve patlayan gradyan problemleri olarak bilinir. ReLU gibi aktivasyon fonksiyonları, artık bağlantılar ve normalizasyon katmanları bu sorunu hafifletmek için geliştirilmiştir.