İçeriğe geç
parazade
Yapay Zeka

Veri Ön İşleme Nedir?

İngilizce: Data Preprocessing

Yayın: · Son güncelleme:

Veri Ön İşleme Nedir? Kısaca

Veri ön işleme, ham veriyi analiz ya da makine öğrenmesi modeline verilmeden önce temizleme, dönüştürme, kodlama ve ölçekleme gibi adımlarla kullanılabilir hâle getirme sürecidir. Modelin başarısını doğrudan etkileyen temel aşamalardan biridir.

Veri Ön İşleme nedir?
İçindekiler
  1. Veri ön işleme nedir?
  2. Adımları nelerdir?
  3. Örnek
  4. Nelere dikkat etmeli?

Veri ön işleme, gerçek dünyadan gelen dağınık veriyi bir modelin anlayabileceği düzenli biçime sokma işidir. "Çöp girerse çöp çıkar" ilkesi burada geçerlidir: En gelişmiş algoritma bile hatalı ya da düzensiz veriyle iyi sonuç veremez.

Veri ön işleme nedir?

Ham veride sıkça karşılaşılan sorunlar şunlardır: eksik değerler, yazım hataları, tutarsız birimler, tekrar eden kayıtlar, metin biçimindeki kategoriler ve çok farklı ölçeklerdeki sayılar. Ön işleme bu sorunları sistematik biçimde ele alır.

Adımları nelerdir?

  1. Veri temizleme: Hatalı, tekrarlı ve tutarsız kayıtları düzeltmek.
  2. Eksik veriyi ele alma: Eksik değerleri silmek ya da uygun yöntemle doldurmak.
  3. Kategorik değişkenleri kodlama: "İstanbul", "Ankara" gibi metin değerlerini sayısal biçime çevirmek.
  4. Ölçekleme: Farklı aralıklardaki sayısal özellikleri normalizasyon ya da standardizasyon ile benzer ölçeğe getirmek.
  5. Özellik dönüşümü: Yeni özellikler türetmek (ör. doğum tarihinden yaş), çarpık dağılımlara logaritma uygulamak.
  6. Veriyi bölme: Eğitim, doğrulama ve test setlerine ayırmak.

Örnek

Varsayımsal bir ev fiyatı veri setinde metrekare 50 ile 400 arasında, oda sayısı 1 ile 6 arasında olsun; bazı evlerin bina yaşı boş, şehir bilgisi ise metin olarak girilmiş olsun. Ön işleme sonunda boş yaşlar doldurulur, şehirler sayısal kodlara dönüştürülür ve sayısal sütunlar ölçeklenir.

Nelere dikkat etmeli?

Ölçekleme parametreleri ya da doldurma değerleri gibi istatistikler yalnızca eğitim verisinden hesaplanmalı, sonra test verisine aynı şekilde uygulanmalıdır. Aksi hâlde veri sızıntısı oluşur ve model olduğundan başarılı görünür. Tüm adımları tekrarlanabilir bir iş akışı olarak kaydetmek, modelin gerçek kullanımda aynı dönüşümleri görmesini sağlar.

Sıkça Sorulan Sorular

Veri ön işleme neden bu kadar önemlidir?

Çünkü modeller yalnızca kendilerine verilen veriden öğrenir. Eksik, hatalı ya da yanlış ölçeklenmiş veri, modelin yanlış örüntüler öğrenmesine ve gerçek kullanımda başarısız olmasına yol açar.

Veri ön işleme ile veri temizleme aynı şey mi?

Hayır, veri temizleme ön işlemenin bir parçasıdır. Ön işleme buna ek olarak kodlama, ölçekleme, özellik dönüşümü ve veriyi bölme gibi adımları da kapsar.

İlgili terimler

Veri Temizleme(Data Cleaning)Veri temizleme, bir veri setindeki hatalı, eksik, tekrarlı, tutarsız ya da biçimi bozuk kayıtları tespit edip düzeltme veya ayıklama işlemidir. Analiz ve makine öğrenmesi sonuçlarının güvenilir olması için temel ön koşullardan biridir.Eksik Veri Doldurma(Data Imputation)Eksik veri doldurma (imputation), bir veri setindeki boş değerlerin ortalama, medyan, en sık değer ya da istatistiksel ve makine öğrenmesi modelleriyle tahmin edilen değerlerle tamamlanmasıdır. Amaç, veri kaybını azaltırken yanlılık yaratmamaktır.Veri Normalizasyonu(Data Normalization)Veri normalizasyonu, makine öğrenmesinde farklı ölçeklerdeki sayısal özellikleri genellikle 0 ile 1 gibi ortak bir aralığa dönüştürme işlemidir. En yaygın biçimi min-maks ölçeklemedir; özelliklerin modele eşit ağırlıkta katkı vermesine yardımcı olur.Özellik Mühendisliği(Feature Engineering)Özellik mühendisliği (feature engineering), ham verileri alan bilgisi ve veri dönüşümleriyle işleyerek bir makine öğrenmesi modelinin daha iyi öğrenmesini sağlayacak anlamlı özelliklere çevirme sürecidir.Algoritma(Algorithm)Algoritma, belirli bir problemi çözmek ya da bir görevi yerine getirmek için izlenen, sırası ve sonu belli, açık ve uygulanabilir adımlar dizisidir. Bilgisayar programları ve yapay zekâ sistemleri algoritmalar üzerine kuruludur.Özellik(Feature)Özellik (feature), makine öğrenmesinde her bir örneği tanımlayan ve modelin tahmin yaparken girdi olarak kullandığı ölçülebilir nitelik ya da değişkendir. Örneğin ev fiyatı tahmininde metrekare, oda sayısı ve konum birer özelliktir.Veri Sızıntısı(Data Leakage)Makine öğrenmesinde veri sızıntısı (data leakage), tahmin anında erişilemeyecek bir bilginin ya da test verisinin eğitim sürecine karışmasıdır. Model testte çok başarılı görünür, gerçek kullanımda ise beklenenden kötü sonuç verir.