Sayılarla ne demek?
Robots.txt, bir sitenin kök dizininde bulunan ve tarayıcılara hangi sayfaları ya da klasörleri taramamaları gerektiğini söyleyen basit bir metin dosyasıdır. Her tarayıcı bir siteyi ziyaret etmeden önce bu dosyayı kontrol eder. Dosya, belirli tarayıcılar için ayrı kurallar tanımlamaya da izin verir.
Robots.txt'nin temel işlevi taramayı yönetmektir. Sepet, arama sonuçları, filtre parametreleri ya da yönetim paneli gibi bölümler taramaya kapatılarak tarayıcının zamanı değerli sayfalara yönlendirilebilir. Google, robots.txt dosyasının ilk 500 KiB'ını işler; dosya ayrıca site haritasının yerini bildirmek için de kullanılabilir.
Robots.txt hakkında en önemli yanlış anlama, onun bir gizleme aracı sanılmasıdır. Bir sayfa robots.txt ile engellense bile, başka sitelerden bağlantı alıyorsa içeriği bilinmeden arama sonuçlarında URL olarak görünebilir. Ayrıca dosya herkese açıktır; gizli bölümlerin yolunu listelemek onları saklamak yerine görünür kılar. Dizinden çıkarmak için noindex, gizlilik için ise şifre koruması gerekir.
Robots.txt komutları
| Komut | İşlevi | Örnek |
|---|---|---|
| User-agent | Kuralların hangi tarayıcıya uygulanacağı | User-agent: * |
| Disallow | Taranmaması gereken yol | Disallow: /sepet/ |
| Allow | Engellenen yol içinde izin verilen alt yol | Allow: /sepet/yardim |
| Sitemap | Site haritasının adresi | Sitemap: https://ornek.com/sitemap.xml |
| Joker karakterler | * ve $ ile kalıp eşleştirme | Disallow: /*?siralama= |
Tek bir yanlış karakter bütün siteyi taramaya kapatabilir. Örneğin yalnızca "Disallow: /" satırı, o tarayıcı için sitenin tamamını engeller.
Robots.txt yazarken
- Yalnızca taramayı yönetmek için kullan. Gizleme için değil.
- CSS ve JavaScript'i engelleme. Sayfa oluşturma için gerekli.
- Site haritasını ekle. Sitemap satırıyla.
- Değişiklikten önce test et. Search Console robots.txt raporu.
- Yapay zeka tarayıcıları için karar ver. Hangi botlara izin verilecek?
Uygulamada ne oluyor?
En sık durum, geliştirme ortamındaki "Disallow: /" satırının canlıya taşınması. Site tamamen taramaya kapanıyor; sayfalar zamanla arama sonuçlarından kayboluyor.
İkinci gözlem, robots.txt ile noindex'in birlikte kullanılması. Sayfa taramaya kapatıldığı için noindex etiketi okunamıyor; sayfa arama sonuçlarında URL olarak kalıyor.
Üçüncüsü, CSS ve JavaScript dosyalarının engellenmesi. Eski alışkanlıkla kaynak klasörleri kapatılıyor; Google sayfayı doğru oluşturamıyor ve içerik eksik algılanıyor.
Dördüncüsü, gizli bölümlerin robots.txt'de listelenmesi. Yönetim paneli ve özel klasörlerin yolları dosyada yazıyor; dosya herkese açık olduğu için bu yollar ifşa oluyor.
Beşincisi, joker karakterlerin yanlış kullanılması. Bir parametreyi engellemek için yazılan kural beklenenden fazla URL'yi kapsıyor; önemli sayfalar da taramaya kapanıyor.
Altıncısı, alt alan adları için ayrı dosya gerektiğinin bilinmemesi. Robots.txt her ana makine ve protokol için ayrı geçerli; alt alan adındaki blog için kurallar ana sitenin dosyasına yazılıyor.
Yedincisi, robots.txt'nin sunucu hatası vermesi. Dosya 5xx hatası döndürüyor; Google bu durumda siteyi bir süre taramamayı tercih edebiliyor ve tarama duruyor.
Sekizincisi, yapay zeka tarayıcılarının bilinçsizce engellenmesi ya da serbest bırakılması. Google'ın yapay zeka eğitimi için sunduğu Google-Extended gibi ayrı belirteçler var; site sahibi Googlebot'u engelleyerek aramadan da çıkıyor.
Dokuzuncusu, robots.txt'nin bütün botlara uyacağının sanılması. Saygılı tarayıcılar kurallara uyuyor ama kötü niyetli botlar dosyayı görmezden geliyor.
Onuncusu, değişikliklerin test edilmeden yayınlanması. Tek satırlık bir düzenleme bütün bir kategoriyi kapatıyor; sorun haftalar sonra trafik kaybıyla fark ediliyor.
On birincisi, filtre parametrelerinin hiç yönetilmemesi. Sonsuz filtre kombinasyonları taranıyor; robots.txt ile sınırlanabilecek değersiz tarama kaynakları tüketiyor.
On ikincisi, robots.txt raporunun kontrol edilmemesi. Search Console, Google'ın dosyayı en son ne zaman aldığını ve hata olup olmadığını gösteriyor ama bu bilgiye bakılmıyor.
Neyi çözmez?
Robots.txt, bir sayfanın dizinden çıkmasını garanti etmez ve içeriği korumaz. Yalnızca taramayı yönetir; dizin için noindex, gizlilik için erişim kontrolü gerekir.
Sıkça sorulan sorular
Robots.txt sayfayı arama sonuçlarından çıkarır mı?
Kesin olarak çıkarmaz; yalnızca taramayı engeller. Dizinden çıkarmak için noindex kullanılmalıdır.
Robots.txt nereye konur?
Alan adının kök dizinine; örneğin ornek.com/robots.txt. Her alt alan adı için ayrı dosya gerekir.
Yapay zeka botları robots.txt ile engellenebilir mi?
Kurallara uyan botlar engellenebilir; her platform kendi tarayıcı adını ya da belirtecini yayımlar.
Bu kavramın bütün resim içindeki yerini SEO Danışmanlığı Rehberi içinde ayrıntılı anlattım.
Teknik SEO, içerik stratejisi, kategori mimarisi, otorite ve organik trafiği dönüşüme çeviren bütünsel SEO danışmanlığı.
