Epoch Nedir?

Epoch, model eğitiminde tüm eğitim verisinin bir kez eksiksiz kullanılmasıdır. Örneğin 10 epoch eğitim, modelin veri kümesindeki her örneği 10 kez gördüğü anlamına gelir. Türkçede "dönem" ya da "tur" olarak da karşılanır, ama teknik metinlerde çoğunlukla "epoch" kullanılır.

Epoch, batch ve iterasyon farkı

Veri genellikle modele tek seferde değil, küçük gruplar hâlinde verilir:

• Batch size: Bir güncelleme adımında kullanılan örnek sayısı.
• İterasyon (adım): Bir batch'in işlenip parametrelerin bir kez güncellenmesi.
• Epoch: Tüm batch'lerin bir kez işlenmesi.

Varsayımsal örnek: 10.000 örnekten oluşan bir veri kümesi ve 100'lük batch size ile bir epoch 100 iterasyondan oluşur. 5 epoch eğitim ise toplam 500 iterasyon demektir.

Kaç epoch gerekir?

Kesin bir sayı yoktur; veri büyüklüğüne, modele ve göreve bağlıdır.

• Çok az epoch: Model kalıpları yeterince öğrenemez (eksik öğrenme).
• Çok fazla epoch: Model eğitim verisini ezberlemeye başlar (aşırı öğrenme).

Pratikte doğrulama kaybı izlenir; kayıp artmaya başladığında eğitim durdurulur. Bu yönteme erken durdurma denir.

Büyük modellerde durum

Büyük dil modellerinin ön eğitiminde veri o kadar büyüktür ki veri kümesi çoğu zaman yalnızca bir kez ya da birkaç kez dolaşılır. İnce ayarda ise küçük veri kümeleriyle birkaç epoch yaygındır; fazla epoch, modelin eğitim örneklerini kelimesi kelimesine tekrarlamasına yol açabilir.

Epoch sayısı bir hiperparametredir; yani eğitimden önce insan tarafından belirlenir.