Sayılarla ne demek?
Log analizi, sunucunun her istek için tuttuğu kayıtların incelenmesidir. Her satır bir ziyareti anlatır: kim geldi, ne zaman geldi, hangi adresi istedi, sunucu hangi kodla yanıt verdi. Tarama araçları "Google neyi taramalı" sorusunu yanıtlarken, sunucu kayıtları "Google gerçekte neyi taradı" sorusunu yanıtlar.
Bu fark büyük sitelerde kritik olabilir. Örneğin 30 günlük kayıtlarda Googlebot'un 1,2 milyon isteğinin 740 binini filtre ve sıralama parametrelerine, yalnızca 90 binini ürün sayfalarına harcadığı görülebilir. Böyle bir tablo, tarama bütçesinin nereye gittiğini hiçbir raporun gösteremeyeceği netlikte ortaya koyar.
Kayıtlar yapay zeka çağında yeni bir değer de kazandı. GPTBot, ClaudeBot, PerplexityBot gibi tarayıcıların hangi sayfaları okuduğu yalnızca sunucu kayıtlarında görülür. Öte yandan kayıtlardaki IP adresleri kişisel veri sayılabileceği için KVKK açısından saklama süresi ve erişim yetkisi belirlenmelidir.
Log kayıtlarından çıkan sorular
| Soru | Kullanılan alan | Aksiyon |
|---|---|---|
| Googlebot hangi bölümleri tarıyor? | URL, user agent | Tarama dağılımını önemli sayfalara kaydırmak |
| Hangi sayfalar hiç taranmıyor? | URL (site haritasıyla karşılaştırma) | İç bağlantı ve keşif sorunlarını gidermek |
| Botlar hata mı alıyor? | Durum kodu | 404, 5xx ve yönlendirmeleri düzeltmek |
| Sunucu yavaş mı yanıt veriyor? | Yanıt süresi | Ağır adresleri optimize etmek |
| Gelen bot gerçek mi? | IP, ters DNS | Sahte botları ayırmak |
User agent tek başına güvenilir değildir; herkes kendini Googlebot olarak tanıtabilir, bu yüzden IP doğrulaması şarttır.
Log analizi yaparken
- Kayıtlara erişim sağla. Barındırma, CDN ya da sunucu.
- Botları doğrula. Ters DNS ya da resmi IP aralıkları.
- Adresleri bölümlere ayır. Ürün, kategori, filtre, blog.
- Tarama ile dizini karşılaştır. Taranan ama dizinde olmayan, dizinde olup taranmayan.
- Kişisel veriyi koru. Saklama süresi, erişim ve gerekiyorsa maskeleme.
Uygulamada ne oluyor?
En sık durum, kayıtların hiç tutulmaması ya da birkaç gün sonra silinmesi. Barındırma firması kayıtları kısa süre saklıyor; analiz yapılmak istendiğinde geriye dönük veri bulunmuyor.
İkinci gözlem, CDN kullanan sitelerde yalnızca ana sunucu kayıtlarına bakılması. İsteklerin çoğu CDN'de karşılanıyor; ana sunucu kayıtları resmin küçük bir parçasını gösteriyor.
Üçüncüsü, sahte Googlebot trafiğinin gerçek sanılması. Kendini Googlebot olarak tanıtan kazıma botları analizi şişiriyor; doğrulama yapılmadan çıkan sonuçlar yanıltıyor.
Dördüncüsü, önemli sayfaların haftalarca taranmadığının fark edilmesi. Yeni ürün sayfaları site haritasında var ama kayıtlarda hiç Googlebot isteği yok; iç bağlantı eksikliği böylece ortaya çıkıyor.
Beşincisi, botların 5xx hataları almasının görülmesi. Kullanıcı tarafında sorun yokken yoğun tarama saatlerinde sunucu hata veriyor; Google tarama hızını düşürüyor.
Altıncısı, yapay zeka botlarının yükünün fark edilmesi. Bazı yapay zeka tarayıcıları Googlebot'tan daha fazla istek atıyor; hangisine izin verileceği bilinçli bir karar gerektiriyor.
Yedincisi, tarama istatistikleri raporuyla yetinilmesi. Search Console raporu faydalı ama örneklenmiş ve özet; adres düzeyinde ayrıntı ancak kayıtlarda bulunuyor.
Sekizincisi, kayıtların tabloya sığmayacak kadar büyük olması. Milyonlarca satır elle incelenemiyor; özel log analiz araçları ya da veri ambarı gerekiyor.
Dokuzuncusu, yönlendirme zincirlerinin kayıtlarda görülmesi. Googlebot aynı eski adresleri tekrar tekrar istiyor ve her seferinde 301 alıyor; iç bağlantılar güncellenince bu istekler azalıyor.
Onuncusu, JavaScript ve CSS dosyası isteklerinin ayrıştırılmaması. İşleme için yapılan kaynak istekleri sayfa istekleriyle karışıyor; tarama dağılımı yanlış yorumlanıyor.
On birincisi, kayıtlardaki kişisel verinin korunmaması. IP adresleri geniş bir ekiple paylaşılıyor; KVKK açısından gereksiz risk oluşuyor.
On ikincisi, analizin bir kez yapılıp bırakılması. Taşıma ve büyük değişikliklerden sonra kayıtlar yeniden incelenmiyor; yeni tarama sorunları fark edilmiyor.
Neyi göstermez?
Sunucu kayıtları, taranan bir sayfanın dizine eklenip eklenmediğini ya da nasıl sıralandığını göstermez. Tam resim için kayıtlar Search Console verisiyle birleştirilmelidir.
Sıkça sorulan sorular
Log analizi hangi siteler için gerekli?
En çok büyük, sık güncellenen ve tarama sorunu yaşayan sitelerde değer üretir.
Gerçek Googlebot nasıl doğrulanır?
IP adresinin ters DNS kaydının googlebot.com ya da google.com ile bitmesi ve ileri DNS ile aynı IP'ye dönmesiyle; ya da Google'ın yayımladığı IP aralıklarıyla.
Log kayıtları kişisel veri içerir mi?
IP adresleri kişisel veri sayılabilir; saklama süresi ve erişim yetkisi belirlenmelidir.
Bu kavramın bütün resim içindeki yerini SEO Danışmanlığı Rehberi içinde ayrıntılı anlattım.
Meta, Google ve TikTok hesaplarınızı ve ölçümleme kurulumunuzu inceleyip bütçenin nerede kaybolduğunu rakamlarla gösteririm.
