İçeriğe geç
parazade
Dijital Pazarlama & SEO

Örümcek Nedir?

İngilizce: Web Crawler

Yayın: · Son güncelleme:

Örümcek Nedir? Kısaca

Örümcek (web crawler), web sayfalarını bağlantılar üzerinden otomatik olarak gezip içeriklerini indiren bilgisayar programıdır; arama motorları dizinlerini bu programlarla oluşturur.

Örümcek nedir?
İçindekiler
  1. Örümcek nedir?
  2. Arama motoru örümceği ne anlama gelir?
  3. Başka hangi örümcekler var?
  4. Sitenizi nasıl etkiler?

Örümcek nedir?

Örümcek, web sayfalarını otomatik olarak gezen ve içeriklerini indiren programdır. İngilizcede web crawler ya da spider denir; Türkçede bot ve tarayıcı adları da kullanılır. Arama motorları dizinlerini bu programlar sayesinde kurar.

Adı bir benzetmedir. Web, sayfaların bağlantılarla birbirine örüldüğü bir ağdır ve bot bu ağ üzerinde dolaşır.

Arama motoru örümceği ne anlama gelir?

Arama motoru örümceği, belirli bir arama motoruna çalışan bottur. Google'ınki Googlebot, Bing'inki Bingbot, Yandex'inki YandexBot adını taşır.

Mantığı basit. Bot bilinen bir adres listesiyle başlar. Listedeki her sayfayı açar, içeriğini kaydeder, ardından o sayfada bulduğu yeni bağlantıları da ziyaret edilecek adresler listesinin sonuna ekler. Ardından yeni adreslere geçer ve bu döngü sürekli tekrarlanır.

Başka hangi örümcekler var?

Her bot arama motoruna ait değildir. SEO araçları bağlantı verisi toplamak için kendi botlarını çalıştırır. Yapay zekâ şirketleri model eğitimi için içerik toplayan botlar kullanır. Fiyat karşılaştırma siteleri de ürün bilgilerini benzer yollarla çeker.

Bazı botlar ise kötü niyetlidir. İçerik kopyalamak ya da açık aramak için siteleri tarar.

Sitenizi nasıl etkiler?

İyi niyetli botlar, robots.txt dosyanızdaki kurallara uyar. İstemediğiniz bir botu bu dosyayla engelleyebilirsiniz. Kurallara uymayan botlar için sunucu ya da güvenlik duvarı düzeyinde önlem gerekir.

Sunucu kayıtlarınızda bot trafiğinin hangi sayfalara yoğunlaştığına bakmak, taramanın doğru yerlere gidip gitmediğini anlamanın pratik bir yoludur.

Sıkça Sorulan Sorular

Arama motoru örümceği ne anlama gelir?

Arama motoru örümceği, Google ya da Bing gibi arama motorlarının web sayfalarını bulmak ve okumak için kullandığı otomatik programdır. Ağı bir örümcek ağı gibi bağlantıdan bağlantıya gezdiği için bu adı almıştır.

Sitemi ziyaret eden botun gerçek Googlebot olduğunu nasıl anlarım?

Kullanıcı aracısı bilgisi kolayca taklit edilebilir. Google, ziyaretçinin IP adresine ters DNS sorgusu yapmayı ya da IP'yi Google'ın yayımladığı adres listeleriyle karşılaştırmayı önerir.

İlgili terimler

GooglebotGooglebot, Google'ın web sayfalarını bulmak, indirmek ve dizine eklemek üzere içeriklerini işlemek için kullandığı web tarayıcısının, yani örümcek programının genel adıdır.Tarama(Crawling)Tarama (crawling), arama motoru botlarının bağlantıları izleyerek web sayfalarını bulması ve içeriklerini indirip okumasıdır; bir sayfanın arama sonuçlarında görünebilmesi için ilk adımdır.Robots.txtRobots.txt, bir web sitesinin kök dizininde bulunan ve arama motoru botlarına sitenin hangi bölümlerini tarayabileceklerini, hangilerini taramamaları gerektiğini bildiren düz metin dosyasıdır.Arama Motoru(Search Engine)Arama motoru, internetteki web sayfalarını tarayıp bir dizinde toplayan ve kullanıcının yazdığı sorguya en uygun sonuçları sıralayarak gösteren yazılım sistemidir. Google, Bing ve Yandex en bilinen örneklerdir.SEO(Search Engine Optimization)SEO (Search Engine Optimization), bir web sitesinin Google gibi arama motorlarının ücretsiz sonuçlarında daha üst sıralarda görünmesi için içerik, teknik altyapı ve bağlantılar üzerinde yapılan çalışmaların bütünüdür.Dijital Pazarlama(Digital Marketing)Dijital pazarlama, bir ürün ya da hizmeti internet, mobil cihazlar ve dijital kanallar üzerinden tanıtma, satma ve müşteriyle ilişki kurma faaliyetlerinin bütünüdür.