Yapay Zeka Botları Sitenizi Görebiliyor mu? robots.txt, JavaScript ve Erişim

Yapay zeka botlarının sitenizi görememesinin üç yaygın sebebi var: robots.txt'de arama botunun engellenmesi, güvenlik duvarının ya da CDN'in bot trafiğini kesmesi ve önemli içeriğin yalnızca JavaScript çalıştıktan sonra sayfada belirmesi. Google dışındaki büyük yapay zeka tarayıcılarının çoğu JavaScript çalıştırmıyor; bu yüzden sayfanın ilk HTML'inde bulunmayan fiyat, stok ya da açıklama bilgisi bu botlar için yok hükmünde. Üçünü de kontrol etmek, GEO çalışmasının en ucuz ve en hızlı sonuç veren adımı.

Aşağıda önce hangi botun ne işe yaradığını, sonra üç engelin nasıl tespit edilip giderileceğini anlatıyorum.

Eğitim botu ile arama botu arasındaki fark nedir?

Büyük yapay zeka şirketleri, içeriği model eğitimi için toplayan tarayıcıyla, arama sonuçlarını ve yanıtları besleyen tarayıcıyı ayırmış durumda. Bu ayrım, "eğitime kapalı ama aramada görünür" olmayı mümkün kılıyor.

Google-Extended ayrı bir tarayıcı değil, robots.txt'de kullanılan bir kontrol belirteci. Bu belirteçle verilen karar hem Gemini'nin eğitimini hem de Gemini uygulamasının yanıtlarında içeriğinizin kullanılmasını kapsıyor; Google Arama'daki görünürlüğe ise dokunmuyor. Bu ayrıntının Gemini görünürlüğüne etkisini Perplexity, Gemini ve Copilot yazısında açıkladım.

robots.txt dosyanızda neler olmalı?

Karar iki sorudan oluşuyor. Birincisi, yapay zeka yanıtlarında görünmek istiyor musunuz? Çoğu işletme için cevap evet; bu durumda Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot ve PerplexityBot engellenmemeli. İkincisi, içeriğinizin gelecekteki modellerin eğitiminde kullanılmasına izin veriyor musunuz? Bu bir iş kararı; GPTBot, ClaudeBot ve Google-Extended için ayrı ayrı verilebilir.

Kontrol ederken dosyanın tamamına bakın. Sık rastlanan hata, eski bir "tüm botları engelle" kuralının ya da bir eklentinin eklediği genel engellemenin arama botlarını da kapsaması. robots.txt dosyası yalnızca erişimi yönetir; bir sayfanın dizinden çıkmasını sağlamaz. OpenAI, robots.txt değişikliğinin arama tarafına yaklaşık 24 saat içinde yansıdığını belirtiyor. Değişiklikten sonra Search Console'daki robots.txt raporuyla Google'ın dosyanın son hâlini okuduğunu doğrulayın; Bing Webmaster Tools'ta da benzer bir kontrol aracı bulunuyor.

Hangi sayfalar botlara kapalı olmalı?

Erişimi açmak, her sayfayı açmak anlamına gelmiyor. Sepet, ödeme, hesap ve sipariş takibi sayfaları; site içi arama sonuçları ve sonsuz kombinasyon üreten filtre adresleri tüm botlara kapalı tutulabilir. Bu sayfalar hem kullanıcıya özeldir hem de tarama bütçesini boşa harcar.

İki noktaya dikkat edin. Birincisi, Googlebot'un sayfayı doğru işleyebilmesi için CSS ve JavaScript dosyalarını engellemeyin. İkincisi, bir sayfanın dizinden çıkmasını istiyorsanız robots.txt ile engellemek yerine sayfaya noindex ekleyin; robots.txt ile engellenen bir sayfadaki noindex etiketi okunamaz ve adres başka bir yerden bulunursa bağlantı olarak görünmeye devam edebilir. OpenAI da benzer bir uyarı yapıyor: OAI-SearchBot'un erişemediği bir sayfa, başka kaynaklardan bulunursa yalnızca başlık ve bağlantı olarak gösterilebiliyor.

Güvenlik duvarı ve CDN botları engelliyor olabilir mi?

Evet ve bu, robots.txt'den daha sık gözden kaçıyor. Birçok CDN ve güvenlik hizmeti yapay zeka tarayıcılarını tek tuşla engelleyen ayarlar sunuyor; Cloudflare, Temmuz 2025'ten beri yeni eklenen alan adlarında yapay zeka tarayıcılarını varsayılan olarak engelliyor. Bu ayar açıksa robots.txt'niz izin verse bile botlar içeriğe ulaşamıyor.

Kontrol için sunucu günlüklerinize bakın. OAI-SearchBot, PerplexityBot ya da Claude-SearchBot isteklerini hiç görmüyorsanız ya da bu isteklere 403 cevabı dönüyorsa engel büyük olasılıkla güvenlik katmanında. OpenAI ve Perplexity, tarayıcılarının IP adreslerini yayımlıyor; güvenlik kuralında kullanıcı aracısı ile IP doğrulamasını birlikte kullanmak, taklit botları dışarıda tutarken gerçeklerini içeri almanın en güvenli yolu. Günlük incelemesi hakkında daha fazlası için log analizi maddesine bakabilirsiniz.

Yapay zeka botları JavaScript'i çalıştırıyor mu?

Çoğu çalıştırmıyor. Vercel ve MERJ'in Aralık 2024'te yayımladığı tarayıcı analizine göre OpenAI'ın üç tarayıcısı, ClaudeBot ve PerplexityBot sayfalardaki JavaScript'i çalıştırmıyor; bazıları JavaScript dosyalarını indirse de işlemiyor. Aynı analizde Gemini'nin Googlebot altyapısını kullandığı için sayfaları tam olarak işleyebildiği görülüyor.

Sonuç açık: ürün adı, fiyat, stok durumu, açıklama ve müşterilerin en çok sorduğu soruların cevapları sayfanın ilk HTML'inde bulunmalı. Bunun en güvenilir yolu sunucu tarafında işleme. Yorum sayacı, canlı destek penceresi gibi ikincil öğeler tarayıcıda yüklenebilir. Konunun Google tarafını JavaScript SEO maddesinde, genel altyapıyı teknik SEO yazısında anlattım.

Erişimi 15 dakikada nasıl kontrol edersiniz?

1. robots.txt: Tarayıcıda siteniz.com/robots.txt adresini açın ve arama botlarını kapsayan bir engel olup olmadığına bakın.
2. Güvenlik ayarları: CDN ya da hosting panelinde "AI bot" ve "bot fight" türü ayarları kontrol edin.
3. Sunucu günlükleri: Son bir haftada yapay zeka tarayıcılarından gelen isteklerin durum kodlarına bakın.
4. JavaScript kapalı görünüm: Önemli bir ürün ya da rehber sayfasını tarayıcıda JavaScript kapalıyken açın; fiyat ve açıklama görünüyor mu?
5. Kaynak kodu: Aynı sayfanın kaynak kodunda ürün adını ve fiyatı arayın.
6. Google ayarı: Search Console'daki üretken yapay zeka kontrolünün "dahil" konumunda olduğunu doğrulayın.

Bu adımlardan birinde sorun çıkarsa, içerik ya da PR çalışmasından önce onu çözün. Botların ulaşamadığı bir siteye yapılan içerik yatırımı yapay zeka yanıtlarına yansımaz. Google yüzeylerine özgü şartları AI Bakışı ve AI Modu yazısında, sık sorulan llms.txt dosyasının bu listede neden olmadığını llms.txt yazısında anlattım.

Sık sorulan sorular

GPTBot'u engellemek Google sıralamamı etkiler mi?

Hayır. GPTBot OpenAI'ın eğitim tarayıcısı; Google Arama ile bir ilgisi yok. ChatGPT aramasındaki görünürlüğünüz ise GPTBot'a değil OAI-SearchBot'a bağlı. Aynı mantık Google tarafında da geçerli: Google-Extended kararı Google Arama sıralamanızı değiştirmiyor.

Gelen isteğin gerçekten o bottan geldiğini nasıl anlarım?

Kullanıcı aracısı metni kolayca taklit edilebildiği için tek başına güvenilir değil. Google, tarayıcılarını ters DNS sorgusu ve yayımladığı IP aralıklarıyla doğrulamayı öneriyor; OpenAI ve Perplexity de tarayıcılarının IP listelerini JSON dosyaları olarak yayımlıyor. Güvenlik kuralınızı bu listelere dayandırırsanız, sahte botları engellerken gerçek olanları içeride tutabilirsiniz. Listeler zaman zaman güncellendiği için kuralı düzenli olarak yenileyin.

Botlar sunucumu yavaşlatıyorsa ne yapmalıyım?

Tamamen engellemek yerine güvenlik katmanında istek sınırı tanımlayın. Bazı şirketler robots.txt'deki bekleme süresi yönergesini de dikkate alıyor; Google ise bu yönergeyi desteklemiyor. Eğitim botlarını engelleyip arama botlarını açık tutmak da yükü azaltmanın bir yolu. Teknik erişimin GEO çalışmasındaki yerini GEO ve yapay zeka SEO rehberinde anlattım.