Eksik Veri Doldurma Nedir?
İngilizce: Data Imputation
Yayın: · Son güncelleme:
Eksik Veri Doldurma Nedir? Kısaca
Eksik veri doldurma (imputation), bir veri setindeki boş değerlerin ortalama, medyan, en sık değer ya da istatistiksel ve makine öğrenmesi modelleriyle tahmin edilen değerlerle tamamlanmasıdır. Amaç, veri kaybını azaltırken yanlılık yaratmamaktır.
Eksik veri doldurma, eksik veri içeren satırları atmak yerine boşlukları makul tahminlerle tamamlama yaklaşımıdır. Pek çok makine öğrenmesi algoritması boş değer kabul etmediği için ön işlemenin sık kullanılan adımlarından biridir.
Eksik veri doldurma nedir?
Doldurmanın amacı "gerçek değeri bulmak" değil, mevcut bilgiyi en az bozacak şekilde veri setini kullanılabilir hâle getirmektir. Doldurulan her değer bir tahmindir ve belirsizlik taşır.
Yöntemleri nelerdir?
| Yöntem | Nasıl çalışır? | Not |
|---|---|---|
| Ortalama | Boşluğa sütun ortalaması yazılır | Basit; aykırı değerlerden etkilenir |
| Medyan | Boşluğa sütun medyanı yazılır | Çarpık dağılımlarda daha sağlam |
| En sık değer (mod) | Kategorik sütunlarda en sık görülen değer kullanılır | Nadir kategorileri bastırabilir |
| Sabit değer | "Bilinmiyor" gibi ayrı bir kategori atanır | Eksikliği bilgi olarak korur |
| En yakın komşu (KNN) | Benzer kayıtların değerlerinden tahmin edilir | Hesaplama maliyeti daha yüksek |
| Regresyonla doldurma | Diğer sütunlardan bir modelle tahmin edilir | İlişkileri kullanır |
| Çoklu atama | Birden çok olası doldurulmuş veri seti üretilip sonuçlar birleştirilir | Belirsizliği hesaba katar |
Zaman serilerinde bir önceki ya da sonraki değeri taşımak veya iki nokta arasında enterpolasyon yapmak da yaygındır.
Örnek
Varsayımsal bir veri setinde beş kişinin yaşı 25, 30, 35, 40 ve 90 olsun; altıncı kişinin yaşı boş. Ortalama ile doldurulursa 44, medyan ile doldurulursa 35 yazılır. Tek bir uç değer, ortalamayı belirgin biçimde yukarı çekmiştir.
Nelere dikkat etmeli?
- Basit doldurma yöntemleri değişkenin varyansını yapay olarak azaltır ve ilişkileri zayıflatabilir.
- Doldurma değerleri yalnızca eğitim verisinden hesaplanmalı, test verisine aynen uygulanmalıdır; aksi hâlde veri sızıntısı oluşur.
- Bir değerin doldurulduğunu gösteren ek bir işaret sütunu eklemek, modelin bu bilgiyi kullanmasına olanak tanır.
Sıkça Sorulan Sorular
Eksik veriyi ortalama ile doldurmak her zaman doğru mu?
Hayır. Ortalama aykırı değerlerden kolayca etkilenir ve değişkenin dağılımını daraltır. Çarpık dağılımlarda medyan, değişkenler arası ilişkilerin önemli olduğu durumlarda ise modele dayalı yöntemler daha uygun olabilir.
Çoklu atama neden tercih edilir?
Çoklu atama, eksik değerler için tek bir tahmin yerine birden fazla olası değer üretir. Böylece doldurmadan kaynaklanan belirsizlik sonuçlara yansıtılır ve aşırı kesin görünen sonuçların önüne geçilir.