Sayılarla ne demek?
Tarama hızı, bir arama motoru tarayıcısının bir siteye belirli bir süre içinde kaç istek gönderdiğini anlatır. Googlebot, siteyi tararken sunucuyu aşırı yüklememeye dikkat eder. Sunucu hızlı ve hatasız yanıt veriyorsa tarama hızını artırır; yavaşlık ya da hata görürse hızı düşürür.
Google bu ayarlamayı otomatik yapar. Eskiden Search Console'da tarama hızını elle sınırlamayı sağlayan bir araç vardı; Google bu aracı 8 Ocak 2024'te kaldırdı ve tarama mantığının artık sunucu yanıtlarına göre kendiliğinden ayarlandığını belirtti. Acil durumlarda taramayı geçici olarak yavaşlatmak için sunucunun 500, 503 ya da 429 durum kodlarıyla yanıt vermesi önerilir.
Bu yöntem dikkatle kullanılmalıdır. Hata yanıtları uzun süre devam ederse, Google bu URL'lerin kalıcı olarak sorunlu olduğunu düşünebilir ve zamanla onları dizinden çıkarabilir. Bu yüzden yavaşlatma birkaç günü aşmamalı; kalıcı çözüm sunucu kapasitesini artırmak ya da gereksiz URL'leri azaltmaktır.
Tarama hızını etkileyen durumlar
| Durum | Tarama hızına etkisi | Ne yapılmalı? |
|---|---|---|
| Hızlı, hatasız sunucu | Artabilir | Sürdürmek |
| Yavaş yanıt süresi | Azalır | Sunucu ve önbellek iyileştirme |
| Sık 5xx hataları | Belirgin biçimde azalır | Hataların kaynağını bulma |
| Geçici 503 ya da 429 | Kısa süreli azalır | Yalnızca acil durumda, kısa süre |
| Büyük site taşıması | Geçici artış | Sunucu kapasitesini hazırlama |
Tarama hızı, sitenin ne kadar önemli olduğunu değil, sunucunun ne kadar taramayı kaldırabildiğini yansıtır.
Tarama hızını yönetirken
- Tarama istatistiklerini izle. Günlük istek sayısı ve yanıt süresi.
- Sunucu yanıt süresini düşür. Önbellek ve altyapı.
- Hataları düzelt. Özellikle 5xx yanıtlar.
- Acil durumda kısa süreli yavaşlat. 503 ya da 429.
- Gereksiz URL'leri azalt. Tarama değerli sayfalara gitsin.
Uygulamada ne oluyor?
En sık durum, eski tarama hızı sınırlama aracının aranması. Site sahibi Search Console'da ayarı bulamıyor; aracın 2024'te kaldırıldığı ve hızın otomatik ayarlandığı bilinmiyor.
İkinci gözlem, yavaş sunucunun taramayı kısıtlaması. Sunucu yanıt süresi yüksek; Googlebot daha az sayfa tarıyor ve yeni içerikler geç keşfediliyor.
Üçüncüsü, taramayı yavaşlatmak için robots.txt ile bütün sitenin engellenmesi. Sunucu yükü nedeniyle panikle site taramaya kapatılıyor; bu, yavaşlatma değil tamamen durdurma ve riskleri büyük.
Dördüncüsü, 503 yanıtlarının haftalarca sürmesi. Bakım modu uzun süre açık kalıyor; Google sayfaları kalıcı sorunlu sayarak dizinden çıkarmaya başlıyor.
Beşincisi, bakım sırasında 200 durum koduyla bakım sayfası gösterilmesi. Bütün URL'ler normal içerik yerine "bakımdayız" sayfası döndürüyor; Google bu içeriği gerçek içerik sanabiliyor ve sayfalar bozulabiliyor.
Altıncısı, tarama artışının saldırı sanılması. Site taşıması sonrası Googlebot geçici olarak daha çok tarıyor; güvenlik sistemi bunu saldırı sanıp Googlebot'u engelliyor.
Yedincisi, sahte botların sunucu yükü oluşturması. Kendini Googlebot olarak tanıtan kötü niyetli botlar sunucuyu yoruyor; gerçek Googlebot'un tarama hızı bu yüzden düşüyor.
Sekizincisi, paylaşımlı sunucuların sınırları. Ucuz barındırma hizmetinde aynı sunucudaki diğer siteler kaynakları tüketiyor; yanıt süreleri dalgalanıyor ve tarama istikrarsızlaşıyor.
Dokuzuncusu, tarama hızının sıralamayla ilişkilendirilmesi. Tarama hızı düştüğünde sıralamaların da düşeceği sanılıyor; oysa tarama hızı yalnızca sayfaların ne kadar hızlı keşfedildiğini etkiliyor.
Onuncusu, büyük değişikliklerde sunucu kapasitesinin hazırlanmaması. Binlerce URL'nin yönlendirildiği bir taşıma sırasında tarama artıyor; sunucu yükü kaldıramıyor ve hata veriyor.
On birincisi, önbellek ve içerik dağıtım ağının Googlebot'a farklı davranması. Önbellek katmanı bazı istekleri engelliyor ya da yavaşlatıyor; tarama istatistiklerinde açıklanamayan hatalar görünüyor.
On ikincisi, tarama istatistikleri raporunun hiç açılmaması. Günlük istek sayısı, ortalama yanıt süresi ve ana makine durumu bu raporda görülebiliyor; sorunlar ancak dizin kaybı yaşandığında fark ediliyor.
Neyi göstermez?
Tarama hızı, sitenin arama sonuçlarındaki başarısını göstermez. Sunucunun tarayıcıyı ne kadar karşılayabildiğini gösterir; başarı içerik ve otoriteyle belirlenir.
Sıkça sorulan sorular
Google tarama hızını elle ayarlamaya izin veriyor mu?
Hayır; Search Console'daki tarama hızı sınırlama aracı 8 Ocak 2024'te kaldırıldı, hız otomatik ayarlanır.
Taramayı geçici olarak nasıl yavaşlatırım?
Kısa süreliğine 500, 503 ya da 429 durum kodlarıyla yanıt vererek; bu yöntem uzun süre kullanılmamalıdır.
Tarama hızı neden düştü?
Genellikle sunucu yavaşlığı ya da hatalar nedeniyle; tarama istatistikleri raporu nedeni gösterir.
Bu kavramın bütün resim içindeki yerini SEO Danışmanlığı Rehberi içinde ayrıntılı anlattım.
Teknik SEO, içerik stratejisi, kategori mimarisi, otorite ve organik trafiği dönüşüme çeviren bütünsel SEO danışmanlığı.
