İçeriğe geç
parazade
Yapay Zeka

Web Kazıma Nedir?

İngilizce: Web Scraping

Yayın: · Son güncelleme:

Web Kazıma Nedir? Kısaca

Web kazıma (web scraping), web sitelerindeki bilgilerin bir yazılım aracılığıyla otomatik olarak toplanıp tablo, veritabanı ya da metin dosyası gibi işlenebilir bir biçime dönüştürülmesidir; yapay zekâ eğitim verisi toplamada da sık kullanılır.

Web Kazıma nedir?
İçindekiler
  1. Web kazıma nedir?
  2. Yapay zekâdaki yeri
  3. Nelere dikkat etmeli?

Web kazıma, bir insanın tarayıcıda sayfaları tek tek açıp bilgileri kopyalaması yerine bu işi bir programın yapmasıdır. Fiyat takibi, haber arşivleme, akademik araştırma ve yapay zekâ için veri toplama gibi pek çok amaçla kullanılır.

Web kazıma nedir?

Bir web kazıyıcı genellikle şu adımları izler:

  1. Belirlenen bir sayfa adresine istek gönderir.
  2. Gelen HTML kodunu okur.
  3. Başlık, fiyat, tarih gibi istenen alanları kodun yapısından ayıklar.
  4. Ayıklanan veriyi düzenli bir biçimde kaydeder.

Birçok sayfayı otomatik gezen programlara "tarayıcı" ya da "crawler" da denir. Arama motorları da web'i bu şekilde dizinler.

Yapay zekâdaki yeri

Büyük dil modelleri ve görsel üretim modelleri, büyük ölçüde web'den toplanmış metin ve görsellerle eğitilir. Bu veriler temizlenip filtrelendikten sonra eğitim verisi olarak kullanılır. Bu durum telif hakkı, kişisel veri ve izin konularında önemli tartışmalara yol açmıştır.

Nelere dikkat etmeli?

  • Sitelerin kullanım koşulları ve robots.txt dosyası otomatik erişime dair kurallar içerebilir.
  • Kişisel verilerin toplanması Türkiye'de KVKK kapsamına girebilir; telif hakkıyla korunan içeriklerin kullanımı da ayrıca değerlendirilmelidir.
  • Çok sık istek göndermek siteye yük bindirir; makul hız sınırları uygulanmalıdır.
  • Bir sitenin resmî API'si varsa, veri almak için genellikle daha uygun ve güvenli yol odur.

Hukuki durum ülkeye ve kullanım amacına göre değişir; ticari projelerde bir hukukçuya danışmak faydalıdır.

Sıkça Sorulan Sorular

Web kazıma yasal mı?

Kesin bir evet ya da hayır cevabı yoktur. Kamuya açık veriyi toplamak bazı durumlarda mümkün olsa da kişisel veri, telif hakkı ve sitenin kullanım koşulları ayrı ayrı değerlendirilmelidir.

Web kazıma ile API kullanmak arasındaki fark nedir?

API, sitenin veriyi düzenli biçimde ve izinli olarak sunduğu resmî bir kapıdır. Web kazıma ise sayfanın görünen kodundan veriyi ayıklar ve sayfa tasarımı değiştiğinde kolayca bozulabilir.

İlgili terimler

Eğitim Verisi(Training Data)Eğitim verisi, bir makine öğrenmesi modelinin kalıpları öğrenmek için kullandığı örneklerin bütünüdür; modelin ne bildiğini, ne kadar doğru olduğunu ve hangi önyargıları taşıdığını büyük ölçüde belirler.API(Application Programming Interface)API (Application Programming Interface, uygulama programlama arayüzü), farklı yazılımların önceden tanımlanmış kurallarla birbirine istek gönderip cevap almasını sağlayan arayüzdür. Yapay zekâ modelleri de çoğu zaman API üzerinden kullanılır.Veri Temizleme(Data Cleaning)Veri temizleme, bir veri setindeki hatalı, eksik, tekrarlı, tutarsız ya da biçimi bozuk kayıtları tespit edip düzeltme veya ayıklama işlemidir. Analiz ve makine öğrenmesi sonuçlarının güvenilir olması için temel ön koşullardan biridir.Büyük Veri(Big Data)Büyük veri (big data), geleneksel veritabanı ve analiz araçlarıyla makul sürede saklanamayacak ya da işlenemeyecek kadar büyük, hızlı üretilen ve çeşitli biçimlerdeki veri kümelerini ifade eder. Genellikle hacim, hız ve çeşitlilik özellikleriyle tanımlanır.Büyük Dil Modeli(Large Language Model)Büyük dil modeli (LLM), çok büyük miktarda metinle eğitilen ve bir metnin devamında hangi parçanın geleceğini tahmin ederek yazı üreten yapay zekâ modelidir. Sohbet asistanları, kod yardımcıları ve özetleme araçlarının temelinde bu modeller bulunur.Harf Çevirisi(Transliteration)Harf çevirisi (transliterasyon), bir yazı sistemindeki metnin, anlamı çevrilmeden başka bir yazı sisteminin harfleriyle yazılmasıdır. Örneğin Kiril alfabesiyle yazılmış bir ismin Latin harflerine aktarılması harf çevirisidir.