Ağırlık Nedir?

Yapay zekâda ağırlık, bir modelin "bilgisini" taşıyan sayılardır. Bir yapay sinir ağında nöronlar arasındaki her bağlantının bir ağırlığı vardır; bu ağırlıklar, gelen sinyalin ne kadar güçlü iletileceğini belirler.

Ağırlık nedir?

Bir nöron, girdilerini alır, her birini kendi ağırlığıyla çarpar, sonuçları toplar ve bir sapma (bias) değeri ekler. Ardından bu toplam bir aktivasyon fonksiyonundan geçirilir.

çıktı = aktivasyon(w₁·x₁ + w₂·x₂ + … + b)

• Büyük pozitif ağırlık, o girdinin çıktıyı güçlü biçimde artırdığını gösterir.
• Negatif ağırlık, girdinin çıktıyı azalttığını gösterir.
• Sıfıra yakın ağırlık, o girdinin pek etkisi olmadığını gösterir.

Ağırlık ne demek, nasıl öğrenilir?

Eğitim başında ağırlıklar genellikle küçük rastgele sayılarla başlatılır. Model tahmin yapar, kayıp fonksiyonu hatayı ölçer, geri yayılım her ağırlığın bu hataya katkısını hesaplar ve gradyan inişi ağırlıkları hatayı azaltacak yönde biraz değiştirir. Bu döngü milyonlarca kez tekrarlanır. Eğitim bittiğinde modelin öğrendiği her şey bu ağırlıklarda saklıdır.

Örnek

Varsayımsal bir ev fiyatı modelinde metrekare girdisinin ağırlığı yüksek, bina yaşının ağırlığı negatif çıkabilir. Bu, modelin metrekare arttıkça fiyatı artırmayı, bina eskidikçe düşürmeyi öğrendiği anlamına gelir.

Büyük modellerde ağırlıklar

Büyük dil modellerinde milyarlarca ağırlık bulunur ve "parametre sayısı" büyük ölçüde bu ağırlıkları ifade eder. "Açık ağırlıklı model" denildiğinde, eğitilmiş bu sayıların indirilip kullanılabilecek şekilde paylaşıldığı kastedilir. Ağırlık dosyaları çok büyük olabildiğinden niceleme gibi yöntemlerle küçültülür.

Tek tek ağırlıkların ne anlama geldiğini yorumlamak derin ağlarda genellikle mümkün değildir; bu, açıklanabilirlik araştırmalarının konusudur.