Sayılarla ne demek?
Tarama, arama motorunun web'deki sayfaları bulduğu ve indirdiği aşamadır. Google'ın kendi anlatımıyla, web'de bütün sayfaların kayıtlı olduğu merkezi bir liste yoktur. Bu yüzden Google, yeni ve güncellenen sayfaları sürekli aramak ve bildiği URL'ler listesine eklemek zorundadır. Bu keşif süreci taramanın ilk adımıdır.
Arama motorları yeni sayfaları çoğunlukla bağlantılar yoluyla bulur. Bilinen bir sayfadan yeni bir sayfaya verilen bağlantı, tarayıcıya o sayfanın varlığını haber verir. Site haritaları da keşfi hızlandırır. Bir sayfa URL'si keşfedildikten sonra tarayıcı sayfayı indirir; gerekiyorsa JavaScript'i çalıştırarak sayfayı bir tarayıcı gibi oluşturur.
Taranan her sayfa dizine eklenmez; ama taranamayan bir sayfa dizine hiç giremez. Robots.txt engeli, sunucu hataları, giriş gerektiren sayfalar ya da hiçbir yerden bağlantı almayan yetim sayfalar taramanın önündeki en yaygın engellerdir. Bu yüzden teknik SEO'nun ilk sorusu her zaman aynıdır: arama motoru bu sayfaya ulaşabiliyor mu?
Taramayı etkileyen etkenler
| Etken | Taramayı nasıl etkiler? | Kontrol |
|---|---|---|
| İç bağlantılar | Yeni sayfaların keşfini sağlar | Önemli sayfalara bağlantı var mı? |
| Site haritası | URL listesini doğrudan bildirir | Güncel ve hatasız mı? |
| Robots.txt | Belirli yolları taramaya kapatır | Önemli bölümler engelli mi? |
| Sunucu yanıtı | Hatalar ve yavaşlık taramayı azaltır | 5xx hataları, yanıt süresi |
| URL sayısı | Gereksiz URL'ler taramayı dağıtır | Parametre ve filtre kontrolü |
Bu etkenlerin çoğu site sahibinin kontrolündedir. Tarama sorunlarının büyük kısmı, sitenin kendi yapısından kaynaklanır.
Taramayı kolaylaştırırken
- Önemli sayfalara iç bağlantı ver. Yetim sayfa bırakma.
- Site haritasını güncel tut. Yalnızca dizine eklenmesi istenen URL'ler.
- Robots.txt'yi kontrol et. Yanlış engel olmasın.
- Sunucu sağlığını izle. Hata ve yavaşlık.
- Gereksiz URL üretimini sınırla. Parametre ve filtreler.
Uygulamada ne oluyor?
En sık durum, yeni sayfalara hiçbir yerden bağlantı verilmemesi. Sayfa yayınlanıyor ama menüde, kategoride ya da başka bir içerikte bağlantısı yok; arama motoru sayfayı bulamıyor.
İkinci gözlem, robots.txt ile önemli bölümlerin yanlışlıkla engellenmesi. Geliştirme sırasında konan bir engel canlı sitede kalıyor; bütün bir kategori taranmıyor ve görünmüyor.
Üçüncüsü, sunucu hatalarının taramayı yavaşlatması. Sunucu yoğun saatlerde hata veriyor; arama motoru siteye zarar vermemek için tarama hızını düşürüyor.
Dördüncüsü, sonsuz URL üretimi. Takvim, filtre ya da oturum parametreleri sonsuz sayıda URL oluşturuyor; tarayıcı değersiz sayfalarla meşgul oluyor.
Beşincisi, JavaScript ile oluşturulan bağlantıların keşfedilmemesi. Bağlantılar standart a etiketi yerine yalnızca tıklama olaylarıyla çalışıyor; tarayıcı bu bağlantıları takip edemiyor.
Altıncısı, giriş gerektiren içeriğin taranmasının beklenmesi. Üye sayfalarının arkasındaki içerik arama sonuçlarında görünsün isteniyor; tarayıcı giriş yapamadığı için içeriği göremiyor.
Yedincisi, taramanın dizine eklemeyle karıştırılması. Sayfa taranmış ama dizine eklenmemiş; sorunun tarama değil, içerik kalitesi ya da kopya içerik olduğu anlaşılmıyor.
Sekizincisi, site haritasında hata veren URL'lerin bulunması. Silinmiş ya da yönlendirilen sayfalar site haritasında kalıyor; tarayıcı değersiz isteklerle zaman kaybediyor.
Dokuzuncusu, yapay zeka tarayıcılarının düşünülmemesi. Arama motorlarının yanı sıra yapay zeka platformlarının tarayıcıları da siteyi ziyaret ediyor; hangilerine izin verileceği bilinçli olarak belirlenmiyor.
Onuncusu, tarama istatistiklerinin incelenmemesi. Search Console'daki tarama istatistikleri raporu yanıt kodlarını, dosya türlerini ve yanıt sürelerini gösteriyor ama okunmuyor.
On birincisi, önemli içeriğin sayfanın çok sonunda yer alması. Google, arama için HTML'in ilk 2 MB'ını işliyor; çok büyük sayfalarda sonda kalan içerik ve bağlantılar değerlendirilmeyebiliyor ve bu risk hesaba katılmıyor.
On ikincisi, taramanın bir kez çözülüp bırakılacak bir konu sanılması. Yeni eklentiler, tema değişiklikleri ve içerik büyümesi tarama davranışını değiştiriyor; düzenli kontrol yapılmıyor.
Neyi garanti etmez?
Bir sayfanın taranması, dizine ekleneceğini garanti etmez. Tarama ilk adımdır; dizine ekleme içerik kalitesine ve arama motorunun değerlendirmesine bağlıdır.
Sıkça sorulan sorular
Arama motoru yeni sayfaları nasıl bulur?
Çoğunlukla bilinen sayfalardan verilen bağlantılar ve site haritaları aracılığıyla.
Taranan her sayfa dizine eklenir mi?
Hayır; tarama ilk aşamadır, dizine ekleme ayrı bir değerlendirmedir.
Tarama sorunları nasıl görülür?
Search Console'daki tarama istatistikleri ve sayfalar raporlarıyla. Aynı süreçte karşınıza çıkabilecek Tarama Hatası, arama motoru botunun bir sayfaya erişmeye çalışırken karşılaştığı sorundur (sunucu hatası, erişilemezlik, yönlendirme sorunu).
Bu kavramın bütün resim içindeki yerini SEO Danışmanlığı Rehberi içinde ayrıntılı anlattım.
Teknik SEO, içerik stratejisi, kategori mimarisi, otorite ve organik trafiği dönüşüme çeviren bütünsel SEO danışmanlığı.
