İçeriğe geç
parazade
Yapay Zeka

Eğitim Döngüsü Nedir?

İngilizce: Training Loop

Yayın: · Son güncelleme:

Eğitim Döngüsü Nedir? Kısaca

Eğitim döngüsü (training loop), bir makine öğrenmesi modelinin veri üzerinde tekrar tekrar tahmin yapıp hatasını ölçtüğü ve parametrelerini güncellediği tekrarlı süreçtir. Derin öğrenmede model eğitiminin iskeletini oluşturur.

Eğitim Döngüsü nedir?
İçindekiler
  1. Eğitim döngüsü nedir?
  2. Örnek
  3. Döngüye eklenen yaygın parçalar

Eğitim döngüsü, modelin "öğrenme" denen sürecini adım adım çalıştıran koddur. Derin öğrenme kütüphanelerinde ister elle yazılsın ister hazır bir fonksiyonla çalıştırılsın, arka planda aynı temel adımlar tekrarlanır.

Eğitim döngüsü nedir?

Döngü iki katmanlıdır. Dış döngü veri setinin tamamı üzerinden yapılan her geçişi, yani her epoch değerini sayar. İç döngü ise veriyi küçük parçalara, yani mini yığınlara (batch) böler ve her yığın için şu adımları uygular:

  1. İleri geçiş: Model, yığındaki girdiler için tahmin üretir.
  2. Kayıp hesabı: Tahminler gerçek etiketlerle karşılaştırılır ve kayıp fonksiyonu bir hata değeri üretir.
  3. Geri yayılım: Geri yayılım ile kaybın her parametreye göre gradyanı hesaplanır.
  4. Parametre güncelleme: Optimizasyon algoritması, gradyanları kullanarak ağırlıkları küçük bir adımla günceller.
  5. Gradyanları sıfırlama: Bir sonraki yığına geçmeden önce biriken gradyanlar temizlenir.

Her epoch sonunda model genellikle doğrulama verisi üzerinde değerlendirilir.

Örnek

Varsayımsal olarak 10.000 örnekli bir veri setin ve 100'lük yığın boyutun olsun. Bir epoch 100 iterasyondan oluşur. 20 epoch eğitimde döngü toplam 2.000 kez parametre günceller.

Döngüye eklenen yaygın parçalar

  • Kontrol noktası kaydetme: Belirli aralıklarla modelin ağırlıklarını kaydetmek.
  • Erken durdurma: Doğrulama performansı iyileşmeyi bıraktığında eğitimi bitirmek.
  • Öğrenme oranı planlaması: Eğitim ilerledikçe adım büyüklüğünü değiştirmek.
  • Kayıt ve izleme: Kayıp ve metrikleri grafiğe dökmek.

Değerlendirme sırasında dropout gibi yalnızca eğitimde etkin olan katmanların kapatılması ve gradyan hesabının durdurulması gerekir. Bu adımların unutulması, eğitim döngüsündeki en yaygın hatalardandır.

Sıkça Sorulan Sorular

Eğitim döngüsü ile epoch arasındaki fark nedir?

Epoch, veri setinin tamamının bir kez modelden geçirilmesidir. Eğitim döngüsü ise bu epoch'ları ve her epoch içindeki yığın bazlı güncellemeleri yöneten genel süreçtir.

Eğitim döngüsünü elle yazmak gerekir mi?

Gerekmez; pek çok derin öğrenme kütüphanesi hazır eğitim fonksiyonları sunar. Ancak döngüyü elle yazmak, özel kayıp fonksiyonları ya da karmaşık eğitim senaryoları için daha fazla esneklik sağlar.

İlgili terimler

EpochEpoch, bir makine öğrenmesi modelinin eğitim veri kümesinin tamamını bir kez baştan sona görüp işlemesine verilen addır; eğitim genellikle birden fazla epoch boyunca sürer.İterasyon(Iteration)İterasyon, bir işlemin belirli bir hedefe yaklaşmak için tekrar tekrar uygulanmasıdır. Makine öğrenmesinde genellikle bir veri yığını (batch) üzerinde yapılan tek bir parametre güncellemesi adımını ifade eder.Geri Yayılım(Backpropagation)Geri yayılım, bir sinir ağının çıktısındaki hatanın, zincir kuralı kullanılarak katmanlar boyunca geriye doğru dağıtılması ve her ağırlığın hataya katkısının (gradyanının) verimli biçimde hesaplanması yöntemidir.Batch SizeBatch size, makine öğrenmesi modelinin eğitiminde parametreler bir kez güncellenmeden önce birlikte işlenen örnek sayısıdır; bellek kullanımı, eğitim hızı ve kararlılığını doğrudan etkiler.Kayıp Fonksiyonu(Loss Function)Kayıp fonksiyonu, bir modelin tahmini ile gerçek değer arasındaki farkı tek bir sayıyla ölçen fonksiyondur; eğitimin amacı bu kayıp değerini olabildiğince küçültmektir.Optimizasyon Algoritması(Optimizer)Optimizasyon algoritması (optimizer), bir makine öğrenmesi modelinin ağırlıklarını kayıp fonksiyonunu azaltacak yönde adım adım güncelleyen yöntemdir. SGD, Adam ve RMSProp gibi algoritmalar, eğitimin ne kadar hızlı ve kararlı ilerleyeceğini belirler.