Veri Temizleme Nedir?
İngilizce: Data Cleaning
Yayın: · Son güncelleme:
Veri Temizleme Nedir? Kısaca
Veri temizleme, bir veri setindeki hatalı, eksik, tekrarlı, tutarsız ya da biçimi bozuk kayıtları tespit edip düzeltme veya ayıklama işlemidir. Analiz ve makine öğrenmesi sonuçlarının güvenilir olması için temel ön koşullardan biridir.
Veri temizleme, verinin kalitesini artırmak için yapılan düzeltme işlerinin bütünüdür. Gerçek dünyada veri; elle girilen formlardan, farklı sistemlerden ya da sensörlerden geldiği için neredeyse hiçbir zaman kusursuz değildir.
Veri temizleme nedir?
Temizleme, verideki sorunları bulup her biri için uygun kararı vermektir: düzeltmek, standartlaştırmak, doldurmak ya da çıkarmak. Veri ön işleme sürecinin ilk ve çoğu zaman en uzun süren adımıdır.
Sık görülen sorunlar
| Sorun | Örnek |
|---|---|
| Tekrarlı kayıt | Aynı müşterinin iki kez girilmesi |
| Tutarsız yazım | "İstanbul", "istanbul", "IST" |
| Hatalı biçim | Tarihlerin farklı formatlarda girilmesi |
| Mantıksız değer | 250 yaşında bir kişi, negatif fiyat |
| Birim farkı | Bazı satırlarda kg, bazılarında gram |
| Eksik değer | Boş bırakılmış telefon ya da gelir alanı |
Nasıl yapılır?
- Veriyi tanı: Her sütunun türünü, değer aralığını ve eksik oranını incele.
- Kuralları belirle: Hangi değerlerin geçerli olduğunu tanımla (ör. yaş 0-120 arası).
- Standartlaştır: Yazım, büyük-küçük harf, tarih ve birim biçimlerini tek tipe getir.
- Tekrarları ayıkla: Aynı kaydı temsil eden satırları birleştir ya da sil.
- Aykırı ve eksik değerleri ele al: Gerçek bir uç değer mi, giriş hatası mı olduğuna karar ver.
- Belgele: Yaptığın her değişikliği ve gerekçesini kaydet.
Nelere dikkat etmeli?
Her aykırı değer hata değildir; gerçek ama nadir bir durumu temsil edebilir. Bu yüzden değerleri otomatik silmek yerine bağlamı anlamak gerekir. Ham veriyi her zaman ayrı bir kopya olarak sakla, temizleme adımlarını tekrarlanabilir bir betik ya da iş akışıyla uygula. Böylece hata fark edildiğinde süreci baştan çalıştırabilirsin. Eksik değerlerin nasıl ele alınacağı için eksik veri doldurma yöntemlerine bakabilirsin.
Sıkça Sorulan Sorular
Veri temizleme ne kadar zaman alır?
Verinin kalitesine ve büyüklüğüne göre çok değişir. Pek çok veri projesinde zamanın önemli bir kısmının veriyi temizleyip hazırlamaya harcandığı sıkça dile getirilir.
Aykırı değerler her zaman silinmeli mi?
Hayır. Aykırı değer bir giriş hatası olabileceği gibi gerçek ve önemli bir durumu da gösterebilir; örneğin dolandırıcılık işlemleri çoğu zaman aykırı görünür. Karar, değerin kaynağı ve analizin amacı incelenerek verilmelidir.