İçeriğe geç
parazade
Yapay Zeka

Keşifsel Veri Analizi Nedir?

İngilizce: Exploratory Data Analysis

Yayın: · Son güncelleme:

Keşifsel Veri Analizi Nedir? Kısaca

Keşifsel veri analizi (EDA), bir veri setini modellemeye ya da resmî testlere geçmeden önce özet istatistikler ve grafiklerle inceleyerek yapısını, dağılımlarını, ilişkilerini, eksiklerini ve aykırı değerlerini anlama sürecidir.

Keşifsel Veri Analizi nedir?
İçindekiler
  1. Keşifsel veri analizi nedir?
  2. EDA nasıl yapılır?
  3. Örnek
  4. Nelere dikkat etmeli?

Keşifsel veri analizi, veriyle "tanışma" aşamasıdır. İstatistikçi John Tukey'in yaygınlaştırdığı bu yaklaşım, önceden kurulmuş varsayımları test etmekten çok verinin kendisinin ne söylediğini görmeye odaklanır.

Keşifsel veri analizi nedir?

EDA'nın amacı şu sorulara cevap aramaktır: Veride kaç satır ve sütun var? Değişkenler hangi türde? Dağılımlar nasıl görünüyor? Eksik ya da hatalı değerler nerede? Hangi değişkenler birlikte hareket ediyor? Bu cevaplar, sonraki temizleme ve modelleme kararlarını şekillendirir.

EDA nasıl yapılır?

  1. Genel bakış: Satır ve sütun sayısı, veri türleri, ilk birkaç kayıt.
  2. Tek değişkenli inceleme: Sayısal sütunlar için ortalama, medyan, standart sapma, minimum ve maksimum; kategorik sütunlar için frekans tabloları.
  3. Görselleştirme: Histogram, kutu grafiği ve çubuk grafiklerle dağılımları görmek.
  4. İki ve çok değişkenli inceleme: Dağılım grafikleri, korelasyon matrisi ve ısı haritalarıyla ilişkileri incelemek.
  5. Sorun tespiti: Eksik değerler, aykırı gözlemler, tutarsız kategoriler ve beklenmedik örüntüler.
  6. Not alma: Bulguları ve açık soruları kaydetmek.

Örnek

Varsayımsal bir müşteri veri setinde EDA yaparken yaş sütununda 0 ve 150 gibi değerler, gelir sütununda ise sağa çarpık bir dağılım fark edebilirsin. Bu bulgular, hatalı kayıtların temizlenmesi ve gelir için logaritma dönüşümü gibi kararlara yol açar.

Nelere dikkat etmeli?

  • EDA bulguları hipotez üretir; kesin sonuç değildir. Gözüne çarpan bir ilişkiyi doğrulamak için uygun istatistiksel testler gerekir.
  • Çok sayıda grafik ve karşılaştırma yapıldığında bazı örüntüler tesadüfen ortaya çıkabilir.
  • Model değerlendirmesinde kullanılacak test verisini EDA sırasında ayrı tutmak, veri sızıntısı riskini azaltır.

Sıkça Sorulan Sorular

Keşifsel veri analizi neden modellemeden önce yapılır?

Çünkü verideki hatalar, eksikler ve dağılım özellikleri hangi temizleme adımlarının ve hangi modelin uygun olduğunu belirler. EDA yapılmadan kurulan bir model, verideki sorunları sessizce öğrenebilir.

EDA ile betimsel istatistik arasındaki fark nedir?

Betimsel istatistik, ortalama ve standart sapma gibi özet ölçüleri hesaplamaktır. Keşifsel veri analizi ise bu ölçüleri grafikler, karşılaştırmalar ve sorgulayıcı bir yaklaşımla birleştiren daha geniş bir süreçtir.

İlgili terimler

Veri Görselleştirme(Data Visualization)Veri görselleştirme, sayısal ve kategorik verileri grafik, harita ve diyagram gibi görsel öğelerle sunarak örüntülerin, eğilimlerin ve aykırı değerlerin kolayca anlaşılmasını sağlayan bir yöntemdir. Hem analiz hem de iletişim aracıdır.Betimsel İstatistik(Descriptive Statistics)Betimsel istatistik, eldeki bir veri setini ortalama, medyan, standart sapma, frekans tabloları ve grafikler gibi araçlarla özetleyip tanımlayan istatistik dalıdır. Yalnızca mevcut veriyi anlatır; daha geniş bir kitle hakkında genelleme yapmaz.Veri Analizi(Data Analysis)Veri analizi, ham verilerin incelenmesi, temizlenmesi, dönüştürülmesi ve modellenmesi yoluyla anlamlı bilgi elde etme ve karar vermeyi destekleme sürecidir. Betimsel, tanısal, tahmine dayalı ve kuralcı analiz gibi türleri vardır.Aykırı Değer(Outlier)Aykırı değer (outlier), bir veri setindeki diğer gözlemlerden belirgin biçimde uzak, alışılmadık derecede büyük ya da küçük değerdir; ölçüm hatasından kaynaklanabileceği gibi gerçek ve önemli bir durumu da yansıtabilir.Medyan(Median)Medyan (ortanca), bir veri seti küçükten büyüğe sıralandığında tam ortada kalan değerdir. Verinin yarısı medyanın altında, yarısı üstündedir; aykırı değerlerden aritmetik ortalamaya göre çok daha az etkilenir.HistogramHistogram, sayısal bir değişkenin değerlerini eşit genişlikteki aralıklara (bin) bölüp her aralıkta kaç gözlem bulunduğunu çubuklarla gösteren grafiktir. Dağılımın şeklini, merkezini ve yayılımını görmeyi sağlar.Veri Sızıntısı(Data Leakage)Makine öğrenmesinde veri sızıntısı (data leakage), tahmin anında erişilemeyecek bir bilginin ya da test verisinin eğitim sürecine karışmasıdır. Model testte çok başarılı görünür, gerçek kullanımda ise beklenenden kötü sonuç verir.