Robots.txt Nedir?

Robots.txt Nedir?

Robots.txt, sitenin kök dizininde bulunan ve arama motoru botlarına (Googlebot gibi) sitenin hangi bölümlerini tarayabileceğini (Crawl), hangilerini tarayamayacağını söyleyen bir metin dosyasıdır. Yönetim panelleri, arama sonuç sayfaları, parametreli URL'ler gibi taranmasını istemediğiniz bölümleri engellemek için kullanılır. Crawl Budget'ı korumada güçlü bir araçtır; ancak dikkatli kullanılmalıdır çünkü yanlış bir kural tüm sitenin taranmasını engelleyebilir.

Robots.txt Ne Yapar?

• Tarama izinlerini yönetir (Allow/Disallow).
• Crawl Budget'ı gereksiz alanlardan korur.
• Sitemap konumunu botlara bildirir.

Kritik Uyarı

Robots.txt taramayı engeller ama indekslemeyi kesin engellemez; indekslemeyi durdurmak için Noindex gerekir. Yanlış "Disallow: /" tüm siteyi kapatır.