İçeriğe geç
parazade
Yapay Zeka

Doğrulama Seti Nedir?

İngilizce: Validation Set

Yayın: · Son güncelleme:

Doğrulama Seti Nedir? Kısaca

Doğrulama seti (validation set), makine öğrenmesinde modelin eğitim sırasında görmediği, hiperparametreleri ayarlamak, farklı modelleri karşılaştırmak ve eğitimin ne zaman durdurulacağına karar vermek için kullanılan veri bölümüdür.

Doğrulama Seti nedir?
İçindekiler
  1. Doğrulama seti nedir?
  2. Nasıl kullanılır?
  3. Test setinden farkı ve dikkat edilecekler

Doğrulama seti (validation set), modelin ayarlarını seçmek için kullanılan ara sınav gibidir. Model bu verilerden doğrudan öğrenmez; ancak geliştirici, hangi ayarın daha iyi sonuç verdiğine bu set üzerindeki performansa bakarak karar verir.

Doğrulama seti nedir?

Bir model geliştirirken öğrenme oranı, ağaç derinliği ya da katman sayısı gibi birçok hiperparametre seçmen gerekir. Bunları eğitim setine bakarak seçersen, ezberleyen model her zaman daha iyi görünür. Test setine bakarak seçersen, test seti artık tarafsız olmaktan çıkar. Doğrulama seti bu ikisinin arasında durur.

Nasıl kullanılır?

  1. Model, farklı hiperparametre seçenekleriyle eğitim setinde eğitilir.
  2. Her seçeneğin performansı doğrulama setinde ölçülür.
  3. En iyi sonucu veren ayar seçilir.
  4. Son model, hiç dokunulmamış test setinde bir kez değerlendirilir.

Doğrulama seti ayrıca erken durdurma için kullanılır: Eğitim ilerlerken doğrulama hatası düşmeyi bırakıp artmaya başlarsa, model ezberlemeye başlamış demektir ve eğitim durdurulur.

Test setinden farkı ve dikkat edilecekler

Doğrulama seti Test seti
Ne zaman kullanılır? Geliştirme sırasında, defalarca Sonda, bir kez
Amacı Ayar ve model seçimi Tarafsız son ölçüm

Doğrulama setine çok sayıda deneme yaparak bakmak, zamanla ona da "uyum sağlamaya" yol açar; bu yüzden son karar test setiyle verilmelidir. Veri azsa tek bir doğrulama seti yerine, veriyi dönüşümlü olarak bölen çapraz doğrulama daha güvenilir sonuç verir. Bazı kaynaklarda "doğrulama" ve "test" terimleri birbirinin yerine kullanıldığı için okurken bağlama dikkat etmek gerekir.

Sıkça Sorulan Sorular

Doğrulama seti ile test seti arasındaki fark nedir?

Doğrulama seti geliştirme sırasında ayar ve model seçimi için tekrar tekrar kullanılır. Test seti ise yalnızca en sonda, seçilen modelin tarafsız performansını ölçmek için kullanılır.

Doğrulama seti olmadan model geliştirilebilir mi?

Mümkün ama riskli. Ayarlar eğitim ya da test verisine göre seçilirse sonuçlar yanıltıcı olur. Veri azsa ayrı bir set yerine çapraz doğrulama kullanılabilir.

İlgili terimler

Eğitim Seti(Training Set)Eğitim seti (training set), bir veri setinin makine öğrenmesi modelinin parametrelerini ayarlamak, yani örüntüleri öğrenmek için kullanılan bölümüdür. Modelin başarısı ise eğitimde görmediği doğrulama ve test verileriyle ölçülür.Çapraz Doğrulama(Cross-Validation)Çapraz doğrulama (cross-validation), veri setini birkaç parçaya bölüp modeli her seferinde farklı bir parçayı test için ayırarak tekrar tekrar eğiten ve sonuçların ortalamasıyla modelin yeni verilerdeki başarısını daha güvenilir ölçen yöntemdir.Hiperparametre(Hyperparameter)Hiperparametre, model eğitimi başlamadan önce insan tarafından belirlenen ve öğrenme sürecini yöneten ayarlardır; öğrenme oranı, batch size ve epoch sayısı en bilinen örnekleridir.Aşırı Öğrenme(Overfitting)Aşırı öğrenme (overfitting), bir modelin eğitim verisindeki genel kalıplar yerine gürültü ve ayrıntıları ezberlemesi sonucu eğitimde çok başarılı, yeni verilerde ise zayıf sonuç vermesidir.Öğrenme Oranı(Learning Rate)Öğrenme oranı, gradyan inişi sırasında model parametrelerinin her adımda ne kadar büyük miktarda değiştirileceğini belirleyen ve eğitimin başarısını en çok etkileyen hiperparametrelerden biridir.Harf Çevirisi(Transliteration)Harf çevirisi (transliterasyon), bir yazı sistemindeki metnin, anlamı çevrilmeden başka bir yazı sisteminin harfleriyle yazılmasıdır. Örneğin Kiril alfabesiyle yazılmış bir ismin Latin harflerine aktarılması harf çevirisidir.