Veri Gölü Nedir?
İngilizce: Data Lake
Yayın: · Son güncelleme:
Veri Gölü Nedir? Kısaca
Veri gölü (data lake), yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış her tür veriyi ham hâliyle, önceden bir şemaya dönüştürmeden büyük ölçekte saklayan merkezi depolama alanıdır.
Veri gölü, verileri geldiği biçimde, yani ham hâliyle saklayan büyük ölçekli bir depolama yaklaşımıdır. Tablolar, log dosyaları, JSON kayıtları, görseller, ses ve video aynı ortamda bulunabilir.
Veri gölü nedir?
Veri ambarında veriler yüklenmeden önce belirli bir yapıya sokulur. Veri gölünde ise "okurken şema" (schema-on-read) yaklaşımı kullanılır: Veri olduğu gibi kaydedilir, ne amaçla kullanılacağına analiz sırasında karar verilir. Bu esneklik, henüz nasıl kullanılacağı bilinmeyen verileri bile saklamayı mümkün kılar.
Veri gölleri genellikle düşük maliyetli nesne depolama sistemleri üzerine kurulur ve büyük hacimlere ölçeklenebilir.
Ne işe yarar?
- Makine öğrenmesi modelleri için ham ve çeşitli veri sağlar.
- Yapılandırılmamış veri (metin, görsel, ses) işlemek için uygundur.
- Veriyi önce kaydedip sonra işleyen ELT yaklaşımıyla iyi uyum sağlar.
- Veri bilimcilerin keşifsel analiz yapmasına olanak tanır.
Veri bataklığı riski
Veri gölünün esnekliği bir dezavantaja dönüşebilir. Hangi verinin nereden geldiği, ne anlama geldiği ve ne kadar güncel olduğu belgelenmezse göl, kimsenin güvenmediği ve bulamadığı verilerle dolu bir "veri bataklığına" (data swamp) dönüşür. Bunu önlemek için:
- Meta veri ve veri kataloğu tutulmalı,
- Erişim yetkileri ve kişisel veri koruması tanımlanmalı,
- Veri kalitesi düzenli olarak denetlenmelidir.
Bu sorunları çözmek için veri gölü ile veri ambarının güçlü yanlarını birleştiren lakehouse mimarisi geliştirilmiştir.
Sıkça Sorulan Sorular
Veri gölü veri ambarının yerini alır mı?
Genellikle almaz; ikisi farklı ihtiyaçlara hizmet eder. Pek çok kurum ham veriyi gölde saklayıp raporlama için düzenlenmiş kısmını ambara taşır ya da ikisini birleştiren lakehouse mimarisini kullanır.
Veri gölünde kişisel veriler nasıl korunur?
Erişim kontrolü, şifreleme, maskeleme ve anonimleştirme gibi önlemler uygulanır. Türkiye'de kişisel verilerin işlenmesi KVKK kapsamında olduğundan bu süreçler hukuki yükümlülüklerle birlikte ele alınmalıdır.