Sayılarla ne demek?
Log file analyzer, log analizinin aracıdır. Sunucu kayıtları milyonlarca satırdan oluşur ve elle okunamaz; bu araçlar kayıtları içe aktarır, botları ayıklar, sahte botları eler ve sonucu anlaşılır raporlara dönüştürür.
Aracın en değerli işlevi, tarama verisiyle log verisini birleştirmektir. Bir tarama aracı sitenin yapısında hangi adreslerin var olduğunu söyler; log kayıtları ise Googlebot'un gerçekte hangi adreslere gittiğini gösterir. İkisi üst üste konduğunda üç kritik liste ortaya çıkar: yapıda olup botun hiç ziyaret etmediği adresler, botun ziyaret ettiği ama yapıda olmayan eski ya da yetim adresler ve botun zamanının büyük kısmını harcadığı değersiz adresler. Örneğin 30 günlük kayıtta Googlebot isteklerinin yüzde 40'ının artık var olmayan eski kampanya adreslerine gittiği görülürse, tarama bütçesi sorunu somut bir sayıya dönüşür.
Araç seçimi site büyüklüğüne ve kayıtlara erişim biçimine bağlıdır. Küçük ve orta siteler için masaüstü araçlar yeterlidir; günde milyonlarca isteği olan siteler bulut tabanlı platformlara ya da genel log yönetim sistemlerine ihtiyaç duyar. CDN kullanan sitelerde asıl kayıtlar sunucuda değil CDN'de olabilir; bu kaynağın araca bağlanması gerekir.
Araç türleri
| Tür | Uygun olduğu durum | Sınırı |
|---|---|---|
| Masaüstü analiz aracı | Küçük ve orta siteler, dönemsel analiz | Çok büyük dosyalarda yavaşlama |
| Bulut SEO platformu | Büyük siteler, sürekli izleme | Maliyet, kurulum |
| Genel log yönetim sistemi | Teknik ekibi güçlü kurumlar | SEO raporlarını kendiniz kurarsınız |
| CDN analitiği | CDN arkasındaki siteler | Ayrıntı düzeyi sağlayıcıya bağlı |
Log analiz aracı, botun sitenizde gerçekte ne yaptığını anlatan tek kaynaktır.
Log analiz aracı kullanırken
- Doğru kaynağı bul. Sunucu mu, CDN mi, ikisi birden mi?
- Yeterli dönemi al. En az birkaç haftalık kayıt.
- Botları doğrula. Sahte Googlebot isteklerini ayıkla.
- Tarama verisiyle birleştir. Taranmayan ve yetim adresler.
- Kişisel veriyi koru. IP adreslerini anonimleştir, erişimi sınırla.
Uygulamada ne oluyor?
En sık durum, kayıtlara hiç ulaşılamaması. Paylaşımlı barındırmada erişim kayıtları tutulmuyor ya da birkaç günde siliniyor; analiz yapılacak veri yok.
İkinci gözlem, CDN kullanan sitede araca yalnızca kaynak sunucunun dosyalarının yüklenmesi. Bot istekleri büyük ölçüde önbellekte karşılanıyor; sunucu kayıtları botların gerçek davranışının küçük bir kısmını gösteriyor.
Üçüncüsü, sahte botların ayıklanmaması. Kendini Googlebot olarak tanıtan kazıyıcılar rapora giriyor; tarama davranışı olduğundan farklı görünüyor.
Dördüncüsü, tek günlük kayıtla sonuç çıkarılması. Bir günlük veri tarama döngülerini yansıtmıyor; önemli sayfaların hiç taranmadığı sanılıyor.
Beşincisi, log verisinin tarama verisiyle birleştirilmemesi. Yetim ve hiç taranmayan adresler, aracın en değerli çıktısı olmasına rağmen üretilmiyor.
Altıncısı, yapay zeka botlarının ayrı incelenmemesi. yapay zeka şirketlerinin tarayıcılarının ne kadar istek yaptığı ve robots.txt kurallarına nasıl uyduğu bilinmiyor.
Yedincisi, kayıtlardaki IP adreslerinin sınırsız paylaşılması. Ham kayıtlar ajansa e-postayla gönderiliyor; kişisel veri koruma yükümlülükleri ihlal edilebiliyor.
Sekizincisi, yanıt süresi alanının kayıtlara eklenmemesi. Sunucu yavaşlığının taramayı nasıl etkilediği ölçülemiyor.
Dokuzuncusu, aracın yalnızca kriz anında açılması. Site taşıması ya da büyük bir yayın sonrası botların davranışı izlenmiyor.
Onuncusu, parametreli adreslerin gruplanmaması. Binlerce farklı adres tek tek listeleniyor; hangi parametre türünün tarama israfına yol açtığı görülmüyor.
On birincisi, durum kodlarının zaman içinde izlenmemesi. Bir dağıtım sonrası 5xx hataları artıyor; botun geri çekildiği ancak haftalar sonra anlaşılıyor.
On ikincisi, yapay zeka botlarına dair karar verilirken veri kullanılmaması. Hangi botların engelleneceği varsayımla belirleniyor; oysa kayıtlar hangi botun ne kadar kaynak tükettiğini açıkça gösteriyor.
Neyi göstermez?
Log analiz aracı, dizin kararlarını ve sıralama sonuçlarını göstermez. Botun ziyaret davranışını gösterir; dizin durumu için Search Console gerekir.
Sıkça sorulan sorular
Log file analyzer ile tarama aracı farkı nedir?
Tarama aracı sitenin yapısını kendisi gezerek çıkarır; log analiz aracı botların gerçek ziyaretlerini kayıtlardan okur.
Search Console tarama istatistikleri yeterli değil mi?
Genel eğilim için faydalıdır; ama adres bazında ayrıntı ve diğer botlar için log kayıtları gerekir. Bkz. tarama raporu.
Sahte Googlebot nasıl ayıklanır?
Araçların çoğu bunu otomatik yapar: istek yapan adres DNS sorgusuyla ya da Google'ın resmi bot adres listesiyle karşılaştırılır. Bütçe etkisi için tarama bütçesi maddesine bakın.
Bu kavramın bütün resim içindeki yerini SEO Danışmanlığı Rehberi içinde ayrıntılı anlattım.
Meta, Google ve TikTok hesaplarınızı ve ölçümleme kurulumunuzu inceleyip bütçenin nerede kaybolduğunu rakamlarla gösteririm.
