Robots.txt Nedir?
Yayın: · Son güncelleme:
Robots.txt Nedir? Kısaca
Robots.txt, bir web sitesinin kök dizininde bulunan ve arama motoru botlarına sitenin hangi bölümlerini tarayabileceklerini, hangilerini taramamaları gerektiğini bildiren düz metin dosyasıdır.
Robots.txt nedir?
Robots.txt, sitenin kök dizininde duran ve botlara tarama kuralları veren düz metin dosyasıdır. Adresi her zaman "alanadi.com/robots.txt" biçimindedir. Botlar siteye girmeden önce çoğunlukla ilk bu dosyaya bakar.
Dosya bir ricadır. Google gibi saygın botlar kurallara uyar, kötü niyetli botlar ise uymayabilir.
Dosyanın yapısı
Temel bir robots.txt şöyle görünür:
User-agent: *
Disallow: /sepet/
Disallow: /arama
Sitemap: https://ornek.com/sitemap.xml
User-agent hangi bota hitap edildiğini belirtir; yıldız tüm botlar anlamına gelir. Disallow taranmaması istenen yolu gösterir. Sitemap satırı ise XML site haritası adresini bildirir.
Ne zaman kullanılır?
Botların vaktini boşa harcayan alanları taramadan çıkarmak için kullanılır. Örneğin bir e-ticaret sitesinde filtre ve sıralama parametreleri binlerce anlamsız URL üretebilir. Bu kalıpları engellemek, botun sınırlı zamanını anlamsız kombinasyonlara değil, sizin satmak istediğiniz asıl ürün ve kategori sayfalarına ayırmasını sağlar.
Gizli tutulması gereken bilgileri korumak için ise uygun değildir. Dosya herkese açıktır.
En pahalı hata
Tek bir satır tüm siteyi taramaya kapatabilir: "Disallow: /". Bu satır test ortamından canlı siteye taşınırsa sayfalar zamanla arama sonuçlarından kaybolur. CSS ve JavaScript dosyalarını engellemek de Google'ın sayfayı doğru görmesini zorlaştırır. Değişikliklerden sonra Search Console'daki robots.txt raporuna bakın.
Sıkça Sorulan Sorular
Robots.txt bir sayfayı Google'dan gizler mi?
Tam olarak gizlemez. Dosya yalnız taramayı engeller; engellenen sayfa başka sitelerden bağlantı alıyorsa açıklaması olmadan yine de sonuçlarda görünebilir. Bir sayfayı sonuçlardan çıkarmak için noindex kullanılır.
Robots.txt dosyası olmazsa ne olur?
Botlar sitenin tamamını tarayabileceğini varsayar. Küçük siteler için bu çoğu zaman sorun değildir, ama site haritası adresini bildirmek ve gereksiz alanları taramadan çıkarmak için basit bir dosya hazırlamak yararlıdır.