İçeriğe geç
parazade
Yapay Zeka

Eksik Veri Nedir?

İngilizce: Missing Data

Yayın: · Son güncelleme:

Eksik Veri Nedir? Kısaca

Eksik veri, bir veri setinde bazı gözlemler için belirli değişkenlerin değerinin kaydedilmemiş ya da boş olması durumudur. Eksikliğin nedeni ve örüntüsü, analiz sonuçlarının güvenilirliğini ve hangi çözüm yönteminin uygun olduğunu belirler.

Eksik Veri nedir?
İçindekiler
  1. Eksik veri nedir?
  2. Eksik veri ne demek, türleri nelerdir?
  3. Nasıl ele alınır?
  4. Nelere dikkat etmeli?

Eksik veri, tablolardaki boş hücreler, "NA" ya da "null" olarak işaretlenmiş değerlerdir. Anketlerde cevaplanmayan sorular, arızalanan bir sensörün ölçüm yapamadığı saatler ya da formda doldurulmamış alanlar tipik örneklerdir.

Eksik veri nedir?

Eksik veri, yalnızca teknik bir sorun değildir; verinin neden eksik olduğu, sonuçları doğrudan etkileyebilir. Örneğin varsayımsal bir gelir anketinde yüksek gelirli katılımcılar gelir sorusunu daha sık boş bırakıyorsa, yalnızca dolu cevaplarla hesaplanan ortalama gerçek değerin altında kalır.

Eksik veri ne demek, türleri nelerdir?

İstatistikte eksiklik genellikle üç türe ayrılır:

Tür Anlamı Örnek
Tamamen rastgele eksik (MCAR) Eksiklik hiçbir değişkenle ilişkili değil Bir anket formunun rastgele kaybolması
Rastgele eksik (MAR) Eksiklik, gözlenen diğer değişkenlerle açıklanabilir Gençlerin belirli bir soruyu daha sık atlaması
Rastgele olmayan eksik (MNAR) Eksiklik, eksik değerin kendisiyle ilişkili Yüksek gelirlilerin gelirini yazmaması

MCAR durumunda eksik satırları atmak çoğu zaman yanlılık yaratmaz; MAR ve özellikle MNAR durumlarında ise dikkatli olmak gerekir.

Nasıl ele alınır?

  • Silme: Eksik değer içeren satırları ya da çok eksik olan sütunları çıkarmak. Basittir ama veri kaybına ve yanlılığa yol açabilir.
  • Doldurma: Ortalama, medyan, en sık değer ya da modele dayalı tahminlerle boşlukları doldurmak. Ayrıntılar için eksik veri doldurma maddesine bakabilirsin.
  • Eksikliği bilgi olarak kullanmak: "Bu alan boş muydu?" bilgisini ayrı bir özellik olarak eklemek.

Nelere dikkat etmeli?

Önce eksikliğin oranını ve örüntüsünü incele; hangi sütunlarda, hangi gruplarda yoğunlaştığına bak. Seçtiğin yöntemi ve gerekçesini raporla. Doldurma işleminde kullanılan istatistikleri yalnızca eğitim verisinden hesaplamak, veri sızıntısını önler.

Sıkça Sorulan Sorular

Eksik veri olan satırları silmek doğru mu?

Eksiklik az ve tamamen rastgele ise silmek kabul edilebilir bir çözüm olabilir. Ancak eksiklik belirli gruplarda yoğunlaşıyorsa silme işlemi örneklemi bozar ve sonuçları yanlı hâle getirir.

Makine öğrenmesi modelleri eksik veriyle çalışabilir mi?

Bazı algoritmalar, örneğin bazı karar ağacı tabanlı yöntemler, eksik değerleri kendi içinde ele alabilir. Pek çok model ise eksik değer kabul etmez; bu durumda önce doldurma ya da silme yapılması gerekir.

İlgili terimler

Eksik Veri Doldurma(Data Imputation)Eksik veri doldurma (imputation), bir veri setindeki boş değerlerin ortalama, medyan, en sık değer ya da istatistiksel ve makine öğrenmesi modelleriyle tahmin edilen değerlerle tamamlanmasıdır. Amaç, veri kaybını azaltırken yanlılık yaratmamaktır.Veri Temizleme(Data Cleaning)Veri temizleme, bir veri setindeki hatalı, eksik, tekrarlı, tutarsız ya da biçimi bozuk kayıtları tespit edip düzeltme veya ayıklama işlemidir. Analiz ve makine öğrenmesi sonuçlarının güvenilir olması için temel ön koşullardan biridir.Veri Ön İşleme(Data Preprocessing)Veri ön işleme, ham veriyi analiz ya da makine öğrenmesi modeline verilmeden önce temizleme, dönüştürme, kodlama ve ölçekleme gibi adımlarla kullanılabilir hâle getirme sürecidir. Modelin başarısını doğrudan etkileyen temel aşamalardan biridir.Seçim Yanlılığı(Selection Bias)Seçim yanlılığı (selection bias), analize giren verinin incelenmek istenen kitleyi temsil etmeyecek biçimde seçilmesinden doğan sistematik hatadır. Sonuçların, veri seçilme sürecinin bir yan ürünü olmasına yol açar.Medyan(Median)Medyan (ortanca), bir veri seti küçükten büyüğe sıralandığında tam ortada kalan değerdir. Verinin yarısı medyanın altında, yarısı üstündedir; aykırı değerlerden aritmetik ortalamaya göre çok daha az etkilenir.Özellik(Feature)Özellik (feature), makine öğrenmesinde her bir örneği tanımlayan ve modelin tahmin yaparken girdi olarak kullandığı ölçülebilir nitelik ya da değişkendir. Örneğin ev fiyatı tahmininde metrekare, oda sayısı ve konum birer özelliktir.