Veri Normalizasyonu Nedir?

Veri normalizasyonu, sayısal değişkenleri birbirleriyle karşılaştırılabilir hâle getirmek için yapılan bir ölçekleme işlemidir. Örneğin yaş 18-80, yıllık gelir ise yüz binlerle ifade ediliyorsa bazı algoritmalar büyük sayılı özelliği gereğinden önemli sayabilir.

Veri normalizasyonu nedir?

Makine öğrenmesi bağlamında normalizasyon denince çoğunlukla min-maks ölçekleme kastedilir:

x' = (x − min) / (maks − min)

Bu dönüşümle sütundaki en küçük değer 0'a, en büyük değer 1'e karşılık gelir; diğerleri aradaki oranı korur.

Not: "Normalizasyon" kelimesi farklı alanlarda farklı anlamlar taşır. Veritabanı tasarımında tablolardaki tekrarı azaltmayı, bazı kaynaklarda ise vektörleri birim uzunluğa getirmeyi ifade eder. Bu madde makine öğrenmesindeki ölçekleme anlamını ele alır.

Örnek

Varsayımsal bir veri setinde yaş sütunu 20 ile 60 arasında olsun. 40 yaşındaki bir kişinin normalleştirilmiş değeri (40 − 20) / (60 − 20) = 0,5 olur. 20 yaş 0'a, 60 yaş 1'e dönüşür.

Ne zaman kullanılır?

• Uzaklık temelli yöntemlerde (k-en yakın komşu, k-ortalamalar kümeleme)
• Gradyan inişi ile eğitilen modellerde, optimizasyonun daha dengeli ilerlemesi için
• Sinir ağlarında ve görüntü verisinde (ör. 0-255 piksel değerlerini 0-1 aralığına çekmek)

Karar ağaçları ve rastgele orman gibi ağaç tabanlı yöntemler ise ölçekten genellikle etkilenmez.

Nelere dikkat etmeli?

• Min-maks ölçekleme aykırı değerlere çok duyarlıdır; tek bir uç değer diğer tüm değerleri dar bir aralığa sıkıştırabilir. Böyle durumlarda standardizasyon ya da medyan tabanlı ölçekleme daha uygun olabilir.
• Minimum ve maksimum değerler yalnızca eğitim verisinden hesaplanmalı, test verisine aynı değerlerle uygulanmalıdır.
• Yeni verideki değerler eğitim aralığının dışına çıkarsa 0-1 aralığı aşılabilir.