İçeriğe geç
parazade
Yapay Zeka

Veri Seti Nedir?

İngilizce: Dataset

Yayın: · Son güncelleme:

Veri Seti Nedir? Kısaca

Veri seti (dataset), belirli bir amaç için toplanmış ve genellikle tablo, görüntü, metin ya da ses gibi ortak bir yapıda düzenlenmiş veri koleksiyonudur. Makine öğrenmesi modelleri veri setleriyle eğitilir ve değerlendirilir.

Veri Seti nedir?
İçindekiler
  1. Veri seti nedir?
  2. Veri seti türleri
  3. İyi bir veri setinin özellikleri

Veri seti (dataset), bir soruyu yanıtlamak ya da bir modeli eğitmek için bir araya getirilmiş verilerin bütünüdür. Bir Excel tablosundaki müşteri listesi, etiketlenmiş binlerce fotoğraf ya da bir dil modeli için derlenmiş metinler, farklı türde veri setleridir.

Veri seti nedir?

Tablo biçimindeki bir veri setinde her satır bir örneği (gözlem), her sütun bir değişkeni ya da özelliği temsil eder. Denetimli öğrenmede bu sütunlardan biri tahmin edilmek istenen etikettir. Görüntü ya da ses veri setlerinde ise her dosya bir örnektir ve etiketler ayrı bir dosyada tutulabilir.

Veri seti türleri

  • Yapılandırılmış veri: Satır ve sütunlara düzenli oturan tablolar.
  • Yapılandırılmamış veri: Metin, görüntü, ses, video.
  • Etiketli ve etiketsiz veri setleri: Doğru cevapların bulunup bulunmamasına göre.
  • Açık ve özel veri setleri: Herkesin erişimine açık akademik veri setleri ile şirket içi veriler.

Makine öğrenmesinde veri seti genellikle üç parçaya bölünür: modelin öğrendiği eğitim seti, ayarların seçildiği doğrulama seti ve son performansın ölçüldüğü test seti.

İyi bir veri setinin özellikleri

Bir modelin başarısı büyük ölçüde veri setinin kalitesine bağlıdır. İyi bir veri seti:

  • Gerçek kullanım koşullarını temsil eder,
  • Hatalı, tekrarlanan ve eksik kayıtlardan arındırılmıştır,
  • Etiketleri tutarlıdır,
  • Kaynağı, toplanma yöntemi ve sınırları belgelenmiştir.

Veri setleri kişisel bilgi içerebileceği için toplama ve kullanma süreçlerinde gizlilik kurallarına ve ilgili mevzuata uyulmalıdır. Ayrıca bir veri setinde bazı grupların az temsil edilmesi, modelin bu gruplar için kötü çalışmasına yol açabilir.

Sıkça Sorulan Sorular

Veri seti ile veritabanı arasındaki fark nedir?

Veritabanı, verilerin sürekli saklandığı, güncellendiği ve sorgulandığı bir sistemdir. Veri seti ise belirli bir analiz ya da model eğitimi için hazırlanmış, genellikle sabit bir veri koleksiyonudur.

Bir model için ne kadar büyük veri seti gerekir?

Bu, problemin karmaşıklığına ve kullanılan yönteme bağlıdır. Basit modeller birkaç bin örnekle çalışabilirken büyük dil modelleri çok daha büyük veri gerektirir; boyuttan çok kalite ve temsil gücü önemlidir.

İlgili terimler

Eğitim Seti(Training Set)Eğitim seti (training set), bir veri setinin makine öğrenmesi modelinin parametrelerini ayarlamak, yani örüntüleri öğrenmek için kullanılan bölümüdür. Modelin başarısı ise eğitimde görmediği doğrulama ve test verileriyle ölçülür.Doğrulama Seti(Validation Set)Doğrulama seti (validation set), makine öğrenmesinde modelin eğitim sırasında görmediği, hiperparametreleri ayarlamak, farklı modelleri karşılaştırmak ve eğitimin ne zaman durdurulacağına karar vermek için kullanılan veri bölümüdür.Eğitim Verisi(Training Data)Eğitim verisi, bir makine öğrenmesi modelinin kalıpları öğrenmek için kullandığı örneklerin bütünüdür; modelin ne bildiğini, ne kadar doğru olduğunu ve hangi önyargıları taşıdığını büyük ölçüde belirler.Veri Kalitesi(Data Quality)Veri kalitesi, bir veri setinin kullanılacağı amaca ne kadar uygun olduğunu ifade eder; doğruluk, eksiksizlik, tutarlılık, güncellik, geçerlilik ve benzersizlik gibi boyutlarla ölçülür.Dil Modeli(Language Model)Dil modeli, bir dizideki kelimelerin ya da token'ların olasılığını tahmin eden yapay zekâ modelidir. En yaygın biçimiyle, verilen metinden sonra hangi kelimenin gelme ihtimalinin yüksek olduğunu hesaplar. Otomatik tamamlama, çeviri ve sohbet asistanlarının temelinde dil modelleri bulunur.Yapılandırılmış Veri(Structured Data)Yapılandırılmış veri, önceden tanımlanmış bir şemaya göre satır ve sütunlar hâlinde düzenlenmiş, her alanın türü ve anlamı belli olan veridir. Banka hareketleri, stok listeleri ve müşteri tabloları tipik örneklerdir.

İlgili yazılar

Yapay Zeka ile Kazanç

Kendi Bilgisayarında Ücretsiz Yapay Zekâ Sistemi Kur: Ekran Kartı, İşlemci ve RAM ile Adım Adım

Kendi bilgisayarında ücretsiz ve limitsiz bir yapay zekâ sistemi kurmak mümkün: Ollama ya da LM Studio ile dil modeli, Continue ile kod asistanı, ComfyUI ya da Forge ile görsel üretim. Belirleyici olan ekran kartının belleğidir (VRAM); 8 GB'lık kartta 7-8B modeller rahat çalışır, kart yoksa işlemci ve RAM ile daha yavaş çalışır.

· 30 dk okuma