AI Crawler Nedir?

Yapay zeka botlarının türleri neden önemli?

Büyük yapay zeka şirketleri tek bir bot yerine amaca göre ayrılmış botlar kullanıyor. Eğitim botları, gelecekteki modellerin eğitiminde kullanılacak içeriği topluyor. Arama botları, yapay zeka arama yanıtlarında gösterilecek sayfaları dizine ekliyor. Kullanıcı ajanları ise bir kullanıcı soru sorduğunda ya da bir sayfayı açmak istediğinde o anda siteyi ziyaret ediyor. Bu ayrım site sahiplerine seçim imkânı veriyor: içeriğinin eğitimde kullanılmasını istemeyen bir site eğitim botlarını kapatıp arama botlarını açık tutabiliyor. Google tarafında ayrı bir yapay zeka botu yok; Googlebot Arama'daki yapay zeka özellikleri için de tarıyor, Gemini tarafındaki kullanım ise Google-Extended belirteciyle yönetiliyor.

Botların sayfayı nasıl okuduğu da önemli. Vercel ve MERJ'in Aralık 2024'te yayımladığı analize göre OpenAI'ın botları, ClaudeBot ve PerplexityBot sayfalardaki JavaScript'i çalıştırmıyor; Google'ın altyapısını kullanan Gemini ise sayfaları tam işleyebiliyor. Yani fiyat, stok ya da açıklama yalnızca JavaScript çalıştıktan sonra beliriyorsa bu botlar onu görmüyor. İkinci önemli engel altyapı katmanı: Cloudflare, Temmuz 2025'ten beri yeni eklenen alan adlarında yapay zeka botlarını varsayılan olarak engelliyor. Robots.txt izin verse bile bu ayar açıksa botlar içeriğe ulaşamıyor.

Sayılarla bir örnek: Bir kozmetik e-ticaret sitesinin ürün sayfalarında fiyat ve içerik listesi JavaScript ile sonradan yükleniyor. Sayfa kaynak kodunda ürün adı dışında bilgi yok. Yapay zeka asistanlarında ürünleri anılsa da fiyat ve içerik bilgisi hiç aktarılmıyor. Site, ürün bilgilerini sunucu tarafında işleme ile ilk HTML'e taşıdıktan sonra, asistanların yanıtlarında ürün özelliklerini doğru aktarmaya başladığını görüyor.

Büyük şirketlerin yapay zeka botları

Yapay zeka botları için erişim politikası kurmak

1. Hedefini belirle. Yapay zeka yanıtlarında görünmek ve içeriğin eğitimde kullanılması iki ayrı karar.
2. robots.txt'i düzenle. Arama botlarını açık tut, eğitim botları için şirket politikana göre karar ver.
3. Güvenlik katmanını kontrol et. CDN ve güvenlik duvarındaki yapay zeka botu ayarlarını robots.txt kararınla uyumlu hâle getir.
4. İçeriği HTML'de sun. Önemli bilgiler JavaScript çalışmadan da okunabilmeli; JavaScript SEO kuralları burada da geçerli.
5. Kayıtları izle. Log analiziyle botların hangi sayfalara geldiğini ve hangi durum kodlarını aldığını takip et.

Yapay zeka botları hakkında yanlış bilinenler

• "Tüm yapay zeka botları aynıdır." Eğitim, arama ve kullanıcı ajanları farklı amaçlara hizmet eder.
• "Hepsini engellemek güvenli bir tercih." Arama botlarını engellemek yapay zeka yanıtlarındaki görünürlüğü de keser.
• "robots.txt her botu durdurur." Kullanıcı isteğiyle çalışan bazı ajanlar robots.txt'e uymuyor; kesin engel güvenlik katmanında kurulur.
• "Botlar Google gibi JavaScript çalıştırır." Google dışındaki büyük yapay zeka botlarının çoğu çalıştırmıyor.

Sıkça sorulan sorular

Yapay zeka botları sunucumu yoruyorsa ne yapmalıyım?

Tamamen engellemek yerine güvenlik katmanında istek sınırı tanımla; eğitim botlarını kapatıp arama botlarını açık tutmak da yükü azaltır.

Robots.txt'de eğitim tercihini başka nasıl belirtebilirim?

Cloudflare, Eylül 2025'te robots.txt içine arama, yapay zeka girdisi ve eğitim tercihlerini ayrı ayrı yazmayı sağlayan içerik sinyalleri önerisini yayımladı; bu sinyallere uymak botlar için zorunlu değil.

Sahte botları nasıl ayırt ederim?

Şirketlerin yayımladığı IP listeleri ve ters DNS doğrulamasıyla; kullanıcı aracısı tek başına güvenilir değil.

Botların JavaScript davranışına dair analiz: Vercel: The rise of the AI crawler.

Yapay zeka botlarının siteye erişimini 15 dakikada kontrol etmenin adımlarını yapay zeka SEO rehberinin teknik temel bölümünde topladım.