Sayılarla ne demek?
X-Robots-Tag, meta robots etiketinin HTTP başlığı olarak gönderilen karşılığıdır. Meta etiket yalnızca HTML sayfalarına eklenebilir; ama bir sitede PDF belgeleri, görseller, videolar ve diğer dosyalar da bulunur. Bu dosyaların arama sonuçlarında görünüp görünmeyeceğini kontrol etmek için yönerge, sunucunun dosyayla birlikte gönderdiği HTTP yanıt başlığına eklenir.
Yöntemin bir başka avantajı toplu uygulamadır. Sunucu yapılandırmasında yazılan tek bir kural, belirli bir klasördeki ya da belirli bir türdeki bütün dosyalara aynı yönergeyi uygulayabilir. Örneğin bir sitedeki bütün PDF faturalarının dizine eklenmesini engellemek için her dosyayı tek tek düzenlemek yerine sunucuya bir kural eklemek yeterlidir.
X-Robots-Tag, meta robots etiketiyle aynı yönergeleri destekler: noindex, nofollow, nosnippet, max-snippet, noimageindex ve diğerleri. Ancak HTTP başlıkları sayfa kaynağında görünmediği için hataları fark etmek daha zordur. Yanlış yapılandırılmış bir sunucu kuralı, farkında olmadan bütün sitenin HTML sayfalarına da noindex ekleyebilir.
Meta robots ve X-Robots-Tag
| Özellik | Meta robots | X-Robots-Tag |
|---|---|---|
| Yeri | HTML <head> bölümü | HTTP yanıt başlığı |
| Dosya türleri | Yalnızca HTML | HTML, PDF, görsel, video ve diğerleri |
| Toplu uygulama | Şablon düzeyinde | Sunucu kuralıyla dosya türü ya da klasör bazında |
| Görünürlük | Sayfa kaynağında görünür | Yalnızca HTTP başlıklarında görünür |
| Kim yönetir? | İçerik ya da tema | Sunucu ve geliştirici |
HTML sayfalar için iki yöntem de kullanılabilir. Aynı sayfada ikisi birden varsa ve çelişiyorsa, arama motoru genellikle daha kısıtlayıcı olanı uygular.
X-Robots-Tag kullanırken
- Hangi dosyaların kapatılacağını belirle. PDF, görsel, özel belgeler.
- Kuralı dar tut. Yalnızca hedef dosya türü ya da klasör.
- Canlıya almadan önce test et. Başlıkları kontrol et.
- URL denetimiyle doğrula. Google yönergeyi görüyor mu?
- Sunucu değişikliklerinde yeniden kontrol et. Taşıma ve güncellemeler.
Uygulamada ne oluyor?
En sık durum, sunucu kuralının beklenenden geniş uygulanması. PDF'leri kapatmak için yazılan kural yanlış eşleşiyor ve bütün HTML sayfalarına noindex ekleniyor.
İkinci gözlem, noindex'in HTTP başlığında olduğunun fark edilmemesi. Sayfanın kaynağında noindex yok; ekip sayfanın neden dizinde olmadığını anlamaya çalışıyor ama sorun sunucu başlığında saklı.
Üçüncüsü, PDF belgelerinin istenmeden arama sonuçlarında görünmesi. Fiyat listeleri, iç belgeler ya da eski kataloglar sonuçlarda çıkıyor; X-Robots-Tag ile kapatılabilecekken kapatılmamış.
Dördüncüsü, önemli PDF'lerin yanlışlıkla kapatılması. Değerli bir rehber ya da teknik belge noindex kuralına takılıyor; arama trafiği getirebilecek içerik kayboluyor.
Beşincisi, içerik dağıtım ağının başlıkları değiştirmesi. Önbellek katmanı sunucunun gönderdiği başlıkları kaldırıyor ya da ekliyor; beklenen yönerge arama motoruna ulaşmıyor.
Altıncısı, test sunucusu başlıklarının canlıya taşınması. Test ortamını korumak için eklenen X-Robots-Tag: noindex kuralı canlı sunucuda da kalıyor; site dizinden çıkıyor.
Yedincisi, görsellerin arama sonuçlarından istenmeden çıkarılması. Bütün görsel klasörüne noimageindex uygulanıyor; ürün görselleri görsel aramada görünmüyor.
Sekizincisi, robots.txt ile birlikte kullanılması. Dosyalar hem robots.txt ile engelleniyor hem X-Robots-Tag taşıyor; tarayıcı dosyaya ulaşamadığı için başlığı da göremiyor.
Dokuzuncusu, belirli tarayıcılar için başlık yazılmasının bilinmemesi. X-Robots-Tag başlığına tarayıcı adı eklenerek yalnızca belirli bir tarayıcıya yönerge verilebiliyor ama bu seçenek kullanılmıyor.
Onuncusu, sunucu yapılandırmasının belgelenmemesi. Kuralı kimin ne zaman eklediği bilinmiyor; sorun çıktığında kaynağı bulmak zorlaşıyor.
On birincisi, denetim araçlarında başlık kontrolünün atlanması. Site taramaları yalnızca HTML'deki meta etiketlere bakıyor; HTTP başlıklarındaki yönergeler rapora girmiyor.
On ikincisi, süreli içeriklerde başlık düzeyinde unavailable_after kullanılmaması. Belirli bir tarihten sonra geçersiz olacak belgeler için başlık düzeyinde tarih verilebiliyor ama bu olanak değerlendirilmiyor.
Neyi çözmez?
X-Robots-Tag, dosyaya erişimi engellemez. Dosya bağlantıyı bilen herkes tarafından açılabilir; gizlilik için erişim kontrolü gerekir.
Sıkça sorulan sorular
X-Robots-Tag ne zaman kullanılır?
PDF, görsel ve video gibi HTML olmayan dosyalarda ya da çok sayıda dosyaya toplu kural uygulamak gerektiğinde.
Meta robots etiketinden farkı ne?
Aynı yönergeleri destekler ama HTML yerine HTTP yanıt başlığında gönderilir.
Nasıl kontrol edilir?
Search Console URL denetimiyle ya da HTTP başlıklarını gösteren araçlarla.
Bu kavramın bütün resim içindeki yerini SEO Danışmanlığı Rehberi içinde ayrıntılı anlattım.
Teknik SEO, içerik stratejisi, kategori mimarisi, otorite ve organik trafiği dönüşüme çeviren bütünsel SEO danışmanlığı.
