Çapraz Doğrulama Nedir?

Çapraz doğrulama (cross-validation), bir modelin performansını tek bir eğitim-test bölünmesine bağlı kalmadan ölçmenin yoludur. Veri, sırayla her parçası bir kez test görevi görecek şekilde bölünür; böylece sonuç, şanslı ya da şanssız tek bir bölünmeden etkilenmez.

Çapraz doğrulama nedir?

Veriyi bir kez eğitim ve test olarak ayırdığında, test setine düşen örneklere göre sonuç ciddi biçimde değişebilir. Özellikle veri az olduğunda bu sorun büyür. Çapraz doğrulama, her örneği hem eğitimde hem de değerlendirmede kullanarak veriyi daha verimli kullanır ve performans tahmininin ne kadar oynak olduğunu da gösterir.

K-katlı çapraz doğrulama nasıl yapılır?

En yaygın biçim k-katlı (k-fold) çapraz doğrulamadır:

1. Veri rastgele karıştırılıp k eşit parçaya bölünür (sık kullanılan değerler 5 ya da 10).
2. Parçalardan biri test için ayrılır, kalan k-1 parça ile model eğitilir.
3. Model ayrılan parçada değerlendirilir.
4. İşlem her parça bir kez test olacak şekilde k kez tekrarlanır.
5. k sonucun ortalaması ve dağılımı raporlanır.

Diğer türler arasında sınıf oranlarını koruyan tabakalı çapraz doğrulama, her seferinde tek bir örneği dışarıda bırakan birini dışarıda bırak yöntemi ve geçmişle eğitip gelecekle test eden zaman serisi çapraz doğrulaması bulunur.

Nelere dikkat etmeli?

• Normalleştirme, özellik seçimi gibi tüm ön işlemler her katmanın eğitim kısmında ayrı ayrı yapılmalıdır; aksi hâlde veri sızıntısı oluşur.
• Zaman serilerinde rastgele karıştırma yapılmamalıdır; gelecek veriyle geçmişi tahmin etmek gerçekçi değildir.
• Aynı kişiye ait birden fazla kayıt varsa, bunlar aynı katta tutulmalıdır.
• Hesaplama maliyeti k kat artar; büyük modellerde bu önemli bir sınırlamadır.