İçeriğe geç
parazade
Yapay Zeka

Model Parametresi Nedir?

İngilizce: Model Parameter

Yayın: · Son güncelleme:

Model Parametresi Nedir? Kısaca

Model parametresi, bir yapay zekâ modelinin eğitim sırasında veriden öğrendiği ağırlık ve sapma değerleridir; modelin bilgisi ve davranışı bu sayılarda saklanır.

Model Parametresi nedir?
İçindekiler
  1. 7B, 70B ne demek?
  2. Parametre sayısı ve bellek
  3. Parametre ile hiperparametre farkı

Model parametresi, bir sinir ağının eğitim sırasında ayarlanan iç değerleridir. Bunlar çoğunlukla nöronlar arası bağlantıların ağırlıkları ve her nörona eklenen sapma (bias) değerleridir. Model "öğrendiğinde" aslında bu sayılar değişir; eğitimin sonunda modelin bilgisi bu milyarlarca sayıda saklanır.

7B, 70B ne demek?

Model adlarında görülen "7B" ifadesi yaklaşık 7 milyar (billion) parametre anlamına gelir. Parametre sayısı modelin büyüklüğünü ve kapasitesini kabaca gösterir:

  • Daha çok parametre, genellikle daha karmaşık kalıpları öğrenebilme kapasitesi demektir.
  • Ancak kalite yalnızca sayıya bağlı değildir; eğitim verisinin kalitesi ve miktarı, eğitim yöntemi ve mimari de çok önemlidir.

Parametre sayısı ve bellek

Her parametre bellekte belirli bir yer kaplar. Örneğin 16 bit hassasiyette her parametre 2 bayttır; varsayımsal 7 milyar parametreli bir model yalnızca ağırlıklar için yaklaşık 14 GB bellek ister. 4 bite niceleme yapılırsa bu ihtiyaç kabaca dörtte birine iner. Bu yüzden modeli yerelde çalıştırırken parametre sayısı ve hassasiyet, gereken VRAM miktarını belirleyen ana etkenlerdir.

Parametre ile hiperparametre farkı

Parametreleri model eğitim sırasında kendisi öğrenir. Hiperparametreler ise eğitimden önce insanların belirlediği ayarlardır: öğrenme oranı, batch size, epoch sayısı gibi. İkisi sık karıştırılır.

Ayrıca sohbet araçlarındaki "temperature" gibi üretim ayarları da parametre değil, çıkarım sırasında seçilen ayarlardır.

Sıkça Sorulan Sorular

Parametre sayısı arttıkça model hep daha mı iyi olur?

Her zaman değil. İyi veriyle eğitilmiş daha küçük bir model, bazı görevlerde daha büyük bir modeli geçebilir. Büyük model ayrıca daha fazla bellek ve işlem gücü ister.

Ağırlık ve parametre aynı şey mi?

Ağırlıklar parametrelerin en büyük kısmını oluşturur, ama parametreler sapma (bias) gibi diğer öğrenilen değerleri de kapsar. Günlük kullanımda iki terim çoğu zaman birbirinin yerine kullanılır.

İlgili terimler

Hiperparametre(Hyperparameter)Hiperparametre, model eğitimi başlamadan önce insan tarafından belirlenen ve öğrenme sürecini yöneten ayarlardır; öğrenme oranı, batch size ve epoch sayısı en bilinen örnekleridir.Niceleme(Quantization)Niceleme (quantization), bir yapay zekâ modelinin ağırlıklarını 16 bit yerine 8 ya da 4 bit gibi daha düşük hassasiyetle saklayarak model dosyasını küçültme yöntemidir. Böylece model daha az bellekle çalışır; karşılığında kalitede genellikle küçük bir kayıp olur.VRAM(Video RAM)VRAM (Video RAM), ekran kartının üzerinde bulunan ve grafik işlemcisinin doğrudan kullandığı bellektir. Yerel yapay zekâda bir modelin ekran kartında çalışıp çalışamayacağını ve ne kadar hızlı çalışacağını büyük ölçüde VRAM miktarı belirler.Açık Ağırlıklı Model(Open-weight Model)Açık ağırlıklı model, eğitilmiş parametreleri (ağırlıkları) herkesin indirip kendi donanımında çalıştırabileceği ve çoğu zaman uyarlayabileceği şekilde yayımlanan yapay zekâ modelidir.Öğrenme Oranı(Learning Rate)Öğrenme oranı, gradyan inişi sırasında model parametrelerinin her adımda ne kadar büyük miktarda değiştirileceğini belirleyen ve eğitimin başarısını en çok etkileyen hiperparametrelerden biridir.Batch SizeBatch size, makine öğrenmesi modelinin eğitiminde parametreler bir kez güncellenmeden önce birlikte işlenen örnek sayısıdır; bellek kullanımı, eğitim hızı ve kararlılığını doğrudan etkiler.