İçeriğe geç
parazade
Yapay Zeka

Hiperparametre Nedir?

İngilizce: Hyperparameter

Yayın: · Son güncelleme:

Hiperparametre Nedir? Kısaca

Hiperparametre, model eğitimi başlamadan önce insan tarafından belirlenen ve öğrenme sürecini yöneten ayarlardır; öğrenme oranı, batch size ve epoch sayısı en bilinen örnekleridir.

Hiperparametre nedir?
İçindekiler
  1. Parametre ile hiperparametre farkı
  2. Yaygın hiperparametreler
  3. Hiperparametre ayarlama
  4. Nelere dikkat etmeli?

Hiperparametre, bir makine öğrenmesi modelinin eğitim sürecini ve yapısını belirleyen, ama modelin veriden kendisinin öğrenmediği ayarlardır. Eğitimden önce seçilir ve eğitim boyunca genellikle sabit kalır (ya da önceden belirlenen bir plana göre değişir).

Parametre ile hiperparametre farkı

Model parametresi Hiperparametre
Kim belirler? Model, eğitimde öğrenir İnsan, eğitimden önce seçer
Örnek Ağırlıklar, sapmalar Öğrenme oranı, katman sayısı
Sayısı Milyonlar, milyarlar Genellikle birkaç ile birkaç düzine

Basit bir benzetme: Yemek tarifinde malzemelerin nasıl karışıp pişeceği "parametre" gibiyse fırın sıcaklığı ve pişirme süresi "hiperparametre" gibidir.

Yaygın hiperparametreler

  • Öğrenme oranı: Her adımda parametrelerin ne kadar değişeceği
  • Batch size: Bir adımda işlenen örnek sayısı
  • Epoch sayısı: Verinin kaç kez dolaşılacağı
  • Mimari ayarlar: Katman sayısı, nöron sayısı
  • Düzenlileştirme: Dropout oranı, ağırlık cezası
  • LoRA'ya özgü: Rank ve alfa değerleri

Hiperparametre ayarlama

En iyi değerleri bulmak için farklı kombinasyonlar denenir ve doğrulama verisindeki başarı karşılaştırılır:

  1. Izgara araması: Önceden belirlenen tüm kombinasyonları denemek
  2. Rastgele arama: Rastgele kombinasyonları denemek; çoğu zaman daha verimlidir
  3. Bayesçi optimizasyon: Önceki denemelerin sonuçlarına bakarak bir sonraki denemeyi akıllıca seçmek

Nelere dikkat etmeli?

Hiperparametreleri test verisine bakarak seçersen sonuçlar gerçekte olduğundan iyi görünür. Seçimi doğrulama verisiyle yap, test verisini yalnızca en sonda kullan. Ayrıca sohbet araçlarındaki temperature gibi üretim ayarları da bazen hiperparametre olarak anılır.

Sıkça Sorulan Sorular

Temperature bir hiperparametre midir?

Eğitimle değil, çıkarım sırasında metin üretimini etkileyen bir ayardır. Yine de modelin öğrenmediği, kullanıcının seçtiği bir değer olduğu için gündelik dilde hiperparametre olarak da anılır.

Hiperparametre ayarı ne kadar önemli?

Çok önemlidir. Aynı model ve veriyle yalnızca öğrenme oranını yanlış seçmek bile eğitimin başarısız olmasına yol açabilir.

İlgili terimler

Model Parametresi(Model Parameter)Model parametresi, bir yapay zekâ modelinin eğitim sırasında veriden öğrendiği ağırlık ve sapma değerleridir; modelin bilgisi ve davranışı bu sayılarda saklanır.Öğrenme Oranı(Learning Rate)Öğrenme oranı, gradyan inişi sırasında model parametrelerinin her adımda ne kadar büyük miktarda değiştirileceğini belirleyen ve eğitimin başarısını en çok etkileyen hiperparametrelerden biridir.Batch SizeBatch size, makine öğrenmesi modelinin eğitiminde parametreler bir kez güncellenmeden önce birlikte işlenen örnek sayısıdır; bellek kullanımı, eğitim hızı ve kararlılığını doğrudan etkiler.EpochEpoch, bir makine öğrenmesi modelinin eğitim veri kümesinin tamamını bir kez baştan sona görüp işlemesine verilen addır; eğitim genellikle birden fazla epoch boyunca sürer.Makine Öğrenmesi(Machine Learning)Makine öğrenmesi, bilgisayarların açıkça programlanmadan, örnek verilerdeki kalıpları öğrenerek tahmin veya karar üretmesini sağlayan yapay zekâ dalıdır.LoRA(Low-Rank Adaptation)LoRA (Low-Rank Adaptation), büyük bir yapay zekâ modelinin ağırlıklarını değiştirmeden, üzerine eklenen küçük bir dosyayla modele yeni bir tarz, karakter ya da görev öğretme yöntemidir. Tam eğitime göre çok daha az bellek ve süre gerektirir.