Veri Küratörlüğü Nedir?
İngilizce: Data Curation
Yayın: · Son güncelleme:
Veri Küratörlüğü Nedir? Kısaca
Veri küratörlüğü, verilerin belirli bir amaca uygun olarak seçilmesi, temizlenmesi, düzenlenmesi, açıklanması ve uzun süre kullanılabilir şekilde korunması sürecidir; yapay zekâda eğitim verisinin kalitesini belirleyen temel işlerden biridir.
Veri küratörlüğü, bir müze küratörünün eser seçmesi gibi, verileri bilinçli biçimde seçip düzenleme ve bakımını yapma işidir. Yapay zekâ çağında "modeller verileri kadar iyidir" sözünün pratikteki karşılığıdır.
Veri küratörlüğü nedir?
Ham veri çoğu zaman dağınık, tekrarlı, hatalı ve belgelenmemiş hâldedir. Veri küratörlüğü bu veriyi amaca uygun, güvenilir ve yeniden kullanılabilir bir kaynağa dönüştürür. Kavram önce kütüphanecilik ve bilimsel veri yönetiminde kullanıldı; bugün büyük dil modellerinin eğitim verisini hazırlamanın merkezinde yer alıyor.
Temel adımlar
- Seçme: Hangi kaynakların amaca uygun olduğuna karar verme.
- Temizleme: Bozuk, eksik veya alakasız kayıtları ayıklama; bu adım veri temizleme olarak da bilinir.
- Tekilleştirme: Aynı ya da çok benzer kayıtları ayıklama.
- Filtreleme: Düşük kaliteli, zararlı veya kişisel bilgi içeren içerikleri çıkarma.
- Dengeleme: Konu, dil ve grup dağılımını gözden geçirerek yanlılığı azaltma.
- Belgeleme: Kaynak, lisans, toplama tarihi ve işlem adımlarını meta veri olarak kaydetme.
- Koruma: Veriyi sürümlendirerek ve güvenle saklayarak tekrarlanabilirliği sağlama.
Yapay zekâda neden önemli?
Büyük modellerin eğitim verisi çoğunlukla internetten toplanır ve bu veride spam, tekrar, hatalı bilgi ve telif sorunları bulunabilir. Araştırmalar, iyi seçilmiş daha küçük bir veri setinin bazen çok daha büyük ama özensiz bir veri setinden daha iyi sonuç verebildiğini göstermiştir. Ayrıca küratörlük, değerlendirme sorularının eğitim verisine sızmasını engelleyerek test sonuçlarının güvenilirliğini korur.
Nelere dikkat etmeli?
Filtreleme kuralları da yanlılık taşıyabilir; örneğin "kaliteli metin" tanımı belirli lehçe veya toplulukları istemeden dışarıda bırakabilir. Bu nedenle küratörlük kararlarının şeffaf biçimde belgelenmesi önemlidir.
Sıkça Sorulan Sorular
Veri küratörlüğü ile veri temizleme aynı şey mi?
Değil. Veri temizleme, küratörlüğün adımlarından biridir. Küratörlük ayrıca verinin seçilmesini, belgelenmesini, lisans ve gizlilik kontrollerini ve uzun vadeli korunmasını da kapsar.
Veri küratörlüğünü kim yapar?
Kurumlarda bu iş veri mühendisleri, veri bilimciler, alan uzmanları ve kütüphane ya da arşiv profesyonelleri tarafından ortak yürütülür. Büyük yapay zekâ projelerinde süreç büyük ölçüde otomatik araçlarla, insan denetimiyle birlikte yapılır.