İçeriğe geç
parazade
Yapay Zeka

Veri Tekilleştirme Nedir?

İngilizce: Data Deduplication

Yayın: · Son güncelleme:

Veri Tekilleştirme Nedir? Kısaca

Veri tekilleştirme, bir veri kümesindeki birebir aynı veya çok benzer tekrar kayıtların tespit edilip ayıklanmasıdır; depolama alanından tasarruf sağlar, analizleri doğru kılar ve yapay zekâ modellerinin ezberleme eğilimini azaltır.

Veri Tekilleştirme nedir?
İçindekiler
  1. Veri tekilleştirme nedir?
  2. Nasıl yapılır?
  3. Neden önemli?
  4. Örnek
  5. Nelere dikkat etmeli?

Veri tekilleştirme, aynı bilginin birden fazla kopyasını bulup yalnızca birini bırakma işlemidir. İngilizcedeki "deduplication" teriminin karşılığıdır ve kısaca "dedup" olarak da anılır.

Veri tekilleştirme nedir?

Tekrarlar farklı biçimlerde ortaya çıkar:

  • Birebir kopyalar: Karakteri karakterine aynı kayıtlar ya da dosyalar.
  • Yakın kopyalar: Küçük farklar içeren kayıtlar; örneğin aynı haberin farklı sitelerde birkaç kelime değişikliğiyle yayımlanması.
  • Varlık tekrarları: Aynı müşterinin "Ahmet Yılmaz" ve "A. Yilmaz" olarak iki kez kaydedilmesi.

Nasıl yapılır?

  1. Karma (hash) karşılaştırma: Her kayıt için bir parmak izi hesaplanır; aynı parmak izine sahip kayıtlar birebir kopyadır.
  2. Yakın kopya tespiti: MinHash gibi yöntemlerle metinlerin parçaları karşılaştırılır ve benzerlik oranı hesaplanır.
  3. Anlamsal benzerlik: Metinler embedding vektörlerine dönüştürülür; anlamca çok yakın olanlar işaretlenir.
  4. Kural tabanlı eşleştirme: Müşteri kayıtlarında ad, telefon, adres gibi alanlar normalleştirilip karşılaştırılır.

Neden önemli?

  • Depolama: Yedekleme sistemlerinde aynı veri bloklarının bir kez saklanması ciddi alan tasarrufu sağlar.
  • Doğru analiz: Tekrarlı kayıtlar sayımları ve ortalamaları şişirir.
  • Yapay zekâ eğitimi: Eğitim verisindeki tekrarlar modelin bazı metinleri ezberlemesine yol açabilir. Ayrıca test sorularının eğitim verisinde de bulunması, model başarısını olduğundan yüksek gösterir; bu sorun veri sızıntısı ile yakından ilişkilidir.

Örnek

Varsayımsal 10.000 satırlık bir müşteri listesinde adlar büyük-küçük harf, Türkçe karakter ve boşluklar açısından normalleştirildiğinde birkaç yüz kişinin iki kez kayıtlı olduğu ortaya çıkabilir.

Nelere dikkat etmeli?

Benzerlik eşiği çok gevşek tutulursa farklı kayıtlar yanlışlıkla birleştirilebilir. Silmeden önce örnek kontrol yapmak ve orijinal veriyi yedeklemek iyi bir pratiktir.

Sıkça Sorulan Sorular

Veri tekilleştirme yapay zekâ modellerini nasıl etkiler?

Tekrarların azaltılması modelin belirli metinleri ezberleme eğilimini düşürür ve eğitimi daha verimli kılar. Ayrıca değerlendirme verilerinin eğitim setinde tekrar etmesini önleyerek test sonuçlarının daha güvenilir olmasını sağlar.

Yakın kopya nasıl tespit edilir?

Metinler küçük parçalara bölünür ve MinHash gibi yöntemlerle parça kümelerinin ne kadar örtüştüğü hesaplanır. Benzerlik belirli bir eşiğin üzerindeyse kayıtlar yakın kopya kabul edilir.

İlgili terimler

Veri Temizleme(Data Cleaning)Veri temizleme, bir veri setindeki hatalı, eksik, tekrarlı, tutarsız ya da biçimi bozuk kayıtları tespit edip düzeltme veya ayıklama işlemidir. Analiz ve makine öğrenmesi sonuçlarının güvenilir olması için temel ön koşullardan biridir.Veri Küratörlüğü(Data Curation)Veri küratörlüğü, verilerin belirli bir amaca uygun olarak seçilmesi, temizlenmesi, düzenlenmesi, açıklanması ve uzun süre kullanılabilir şekilde korunması sürecidir; yapay zekâda eğitim verisinin kalitesini belirleyen temel işlerden biridir.Veri Kalitesi(Data Quality)Veri kalitesi, bir veri setinin kullanılacağı amaca ne kadar uygun olduğunu ifade eder; doğruluk, eksiksizlik, tutarlılık, güncellik, geçerlilik ve benzersizlik gibi boyutlarla ölçülür.Veri Ön İşleme(Data Preprocessing)Veri ön işleme, ham veriyi analiz ya da makine öğrenmesi modeline verilmeden önce temizleme, dönüştürme, kodlama ve ölçekleme gibi adımlarla kullanılabilir hâle getirme sürecidir. Modelin başarısını doğrudan etkileyen temel aşamalardan biridir.EmbeddingEmbedding, bir kelimenin, cümlenin, belgenin ya da görselin anlamını sayılardan oluşan bir vektörle temsil etme yöntemidir. Anlamca birbirine yakın içeriklerin vektörleri de birbirine yakın olduğu için anlamsal arama ve RAG sistemlerinin temelini oluşturur.Veri Sızıntısı(Data Leakage)Makine öğrenmesinde veri sızıntısı (data leakage), tahmin anında erişilemeyecek bir bilginin ya da test verisinin eğitim sürecine karışmasıdır. Model testte çok başarılı görünür, gerçek kullanımda ise beklenenden kötü sonuç verir.