Yapay zeka botları bir siteye genellikle üç noktada takılır. robots.txt dosyasında arama botunun kapatılması, Cloudflare gibi bir CDN ya da güvenlik duvarının bot isteklerini geri çevirmesi ve fiyat, açıklama gibi asıl içeriğin ancak JavaScript çalıştıktan sonra sayfada belirmesi. Çoğu işletme için doğru varsayılan, OAI-SearchBot, PerplexityBot, Claude-SearchBot, Googlebot ve Bingbot gibi arama botlarını açık tutmak, GPTBot, ClaudeBot ve Google-Extended gibi eğitim kontrollerini ise ayrı bir iş kararı olarak yönetmektir.
GEO denetimi için açtığım sitelerin çoğunda robots.txt temiz çıkıyor. Sorun bir kat aşağıda, CDN panelinde ya da hosting firmasının güvenlik kuralında duruyor. Pazarlama ekibi dosyaya bakıp "botlara açığız" diyor, sunucu günlüğünde ise PerplexityBot isteklerinin haftalardır 403 aldığı görünüyor. Teknik erişim, yapay zeka arama optimizasyonu rehberinde anlattığım çalışmanın ilk ve en ucuz katmanı. İçeriğe ve PR'a bütçe ayırmadan önce bu katmanın açık olduğundan emin olmanız gerekir. Erişim dışındaki kontrolleri GEO denetimi kontrol listesinde topladım.
Yapay zeka botları nedir, hangisi ne işe yarar?
Yapay zeka botları, yani yapay zeka tarayıcıları (İngilizce kaynaklarda AI crawler), yapay zeka şirketlerinin web sayfalarını arama yanıtı, model eğitimi ya da kullanıcı isteği için okuyan otomatik programlarıdır. Şirketler bu tarayıcıları üç role ayırıyor. Arama botu içeriği yanıtlarda kaynak göstermek için tarar, eğitim botu içeriği model eğitimi için toplar, kullanıcı isteğiyle gelen bot ise biri sohbet içinde sayfanızı istediğinde o anda ziyaret eder. Hangi botu kapattığınız, hangi kapıyı kapattığınızı belirler.
| Bot | Şirket | Görevi | robots.txt ile kapatırsanız |
|---|---|---|---|
| OAI-SearchBot | OpenAI | ChatGPT aramasında siteleri göstermek | ChatGPT arama yanıtlarında kaynak olmazsınız, yalnızca gezinme bağlantısı olarak çıkabilirsiniz |
| GPTBot | OpenAI | Temel modellerin eğitimi için içerik toplamak | İçerik eğitimde kullanılmaz, ChatGPT aramasındaki görünürlük değişmez |
| ChatGPT-User | OpenAI | Kullanıcı sohbette sayfayı istediğinde ziyaret etmek | OpenAI, kullanıcı başlattığı için robots.txt kurallarının uygulanmayabileceğini belirtiyor |
| OAI-AdsBot | OpenAI | ChatGPT'de reklam olarak gönderilen açılış sayfalarını denetlemek | Yalnızca reklama konu sayfaları ziyaret ediyor |
| PerplexityBot | Perplexity | Perplexity arama sonuçlarında siteleri göstermek ve bağlantı vermek | Perplexity yanıtlarında kaynak olma şansınız düşer |
| Perplexity-User | Perplexity | Kullanıcı sorusuna cevap verirken sayfayı o anda açmak | Perplexity bu botun robots.txt kurallarını genellikle dikkate almadığını yazıyor |
| Claude-SearchBot, ClaudeBot, Claude-User | Anthropic | Sırasıyla arama kalitesi, model eğitimi ve kullanıcı isteği | Anthropic üçünü ayrı ayrı engellenebilen botlar olarak tanımlıyor |
| Googlebot | Google Arama, AI Bakışı ve AI Modu | Google'daki organik görünürlüğün tamamı gider | |
| Google-Extended | Ayrı bot değil, Gemini eğitimi ve grounding için kontrol belirteci | Google Arama etkilenmez, Gemini uygulamalarındaki kullanım sınırlanır | |
| Bingbot | Microsoft | Bing araması ve Copilot'un web yanıtları | Bing ile birlikte Copilot görünürlüğü de gider |
GPTBot, OpenAI'ın içeriği temel modellerin eğitimi için toplayan tarayıcısıdır. İngilizce kaynaklarda GPTBot crawler diye geçer ve günlüklerde kullanıcı aracısı metninde GPTBot adı, sürüm numarası ve openai.com/gptbot adresiyle görünür. OAI-SearchBot ise ChatGPT'nin arama özelliklerinde hangi sitelerin görüneceğini belirleyen tarayıcıdır ve ikisi birbirinden bağımsız çalışır. PerplexityBot, Perplexity'nin arama sonuçlarında siteleri göstermek ve onlara bağlantı vermek için kullandığı tarayıcıdır. Perplexity bu botun temel model eğitimi için içerik toplamadığını açıkça yazıyor. Günlüklerde bu adları gördüğünüzde hangisinin size trafik ve alıntı, hangisinin yalnızca eğitim verisi anlamına geldiğini bu ayrımla okursunuz.
GPTBot'u engellemek ChatGPT'deki görünürlüğü keser mi?
GPTBot'u engellemek ChatGPT aramasındaki görünürlüğünüzü kesmez, çünkü OpenAI arama yanıtlarında hangi sitelerin gösterileceğini OAI-SearchBot üzerinden belirliyor. GPTBot'u kapatmak, içeriğinizin gelecekteki temel modellerin eğitiminde kullanılmasını istemediğinizi bildirir. O kadar.
Sahada en sık gördüğüm hata bunun tersi. "Yapay zekaya içerik vermeyelim" kararıyla bir güvenlik eklentisinden tüm yapay zeka botlarını kapatan site, eğitim botlarıyla birlikte OAI-SearchBot'u ve PerplexityBot'u da kapatıyor. Altı ay sonra aynı ekip neden ChatGPT'de rakiplerinin önerildiğini soruyor. GPTBot engelleme kararı verilecekse bot adıyla, tek tek verilmeli. Toplu "AI botlarını engelle" düğmeleri bu ayrımı çoğu zaman yapmıyor.
Eğitim botları için tek doğru cevap yok, ama iş modeline göre ayrışan bir karar kuralı var. Özgün veri, ücretli içerik ya da lisanslanabilir arşiv satan yayıncılar için eğitim botlarını kapatmak savunulabilir. E-ticaret ve hizmet işletmelerinde ben genellikle açık bırakıyorum. Markanın adı, ne sattığı ve kime hizmet ettiği modelin genel bilgisinde doğru yer alırsa, arama yapılmadan verilen cevaplarda daha az yanlışla karşılaşırsınız. Ödünleşimi de açık söyleyeyim, içeriğiniz sizi kaynak göstermeyen cevaplarda da kullanılabilir hale gelir.
| İşletme tipi | Arama botları | Eğitim botları | Gerekçe |
|---|---|---|---|
| E-ticaret mağazası | Açık | Çoğunlukla açık | Ürün ve marka bilgisinin modelde doğru yer alması satışa yakın sorularda işe yarar |
| Klinik, ajans, danışmanlık gibi hizmet işletmesi | Açık | Açık ya da kısmen kapalı | Hizmet sayfaları açık, ücretli eğitim materyali gibi alanlar kapatılabilir |
| Haber ve içerik yayıncısı | Açık | İş modeline göre kapalı | İçerik ürünün kendisi, lisans pazarlığı gündemde olabilir |
| Üyelikli içerik ya da veri platformu | Yalnızca tanıtım sayfaları açık | Kapalı | Ücretli bölüm zaten giriş arkasında, tanıtım sayfaları alıntılanmalı |
| B2B üretici | Açık | Açık | Teknik özelliklerin modelde doğru bilinmesi tedarikçi aramalarında avantaj sağlar |
Google-Extended nedir, Google'da neyi kapatır?
Google-Extended, ayrı bir tarayıcı değil, robots.txt dosyasında kullanılan bağımsız bir ürün belirtecidir. Google'ın taradığı içeriğin gelecekteki Gemini modellerinin eğitiminde ve Gemini uygulamaları ile Vertex AI'daki grounding (yanıtı o anda arama dizinindeki içerikle destekleme) işlevinde kullanılıp kullanılmayacağını yönetir. Google'a göre Google-Extended kararı sitenin Google Arama'ya dahil edilmesini etkilemez ve sıralama sinyali olarak kullanılmaz.
İki ayrıntı sahada sürekli karışıyor. Birincisi, tarama mevcut Google kullanıcı aracılarıyla yapılıyor. Günlüklerinizde Google-Extended adında bir istek arayıp bulamazsınız, çünkü öyle bir istek yok. İkincisi, grounding kısmı. Google-Extended'ı kapatan site, Gemini uygulamasının cevap verirken içeriğinize dayanmasını da sınırlıyor. Yani bu karar yalnızca eğitimle ilgili değil, Gemini'deki görünürlüğe de dokunuyor. Gemini, Perplexity ve Copilot'un kaynak seçimindeki farkları Perplexity, Gemini ve Copilot'ta görünürlük yazısında karşılaştırdım.
AI Bakışı ve AI Modu ise Google Arama'nın parçası. Bu yüzeylerde görünmek için ek bir bot ya da dosya gerekmiyor. Sayfanın Googlebot tarafından taranabilir, dizinde ve snippet gösterilmeye uygun olması yetiyor. AI Bakışı'ndan çıkmak isteyen birinin elindeki araçlar nosnippet, max-snippet ve data-nosnippet gibi snippet kontrolleri. Googlebot'u engellemek ise Google'daki bütün organik görünürlüğü kapatmak demek. Google yüzeylerine özgü şartları AI Bakışı ve AI Modu'nda kaynak olmak yazısında anlattım. Bir not daha ekleyeyim. Google, eğitim tercihini bildirmek için AIPREF adlı yeni bir sinyali 2027 başında desteklemeyi planladığını yazıyor. Uygulama ayrıntıları netleşmeden dosyanıza bu satırı eklemenizi önermem.
robots.txt dosyasına yapay zeka botları için hangi satırlar yazılır?
Eğitim botlarını kapatıp arama botlarını açık bırakmak için robots.txt dosyasına eğitim botlarını adıyla anan bir grup ve bu grubun altına sitenin tamamını kapatan bir Disallow satırı eklemek yeterlidir. Arama botlarını ayrıca anmanız gerekmez. Dosyada adı geçmeyen bot, yıldız işaretli genel grubun kurallarına uyar.
| Satır | Ne yapar |
|---|---|
| User-agent: GPTBot | Grubu OpenAI'ın eğitim botuna bağlar |
| User-agent: ClaudeBot | Aynı gruba Anthropic'in eğitim botunu ekler. Art arda yazılan User-agent satırları tek grup oluşturur |
| Disallow: / | Gruptaki botlara sitenin tamamını kapatır |
Google-Extended için aynı gruba bir User-agent satırı daha eklemeniz yeter. Asıl tuzak grup mantığında. Bir tarayıcı, dosyada kendisine en özel eşleşen grubu okur ve diğer grupları yok sayar. OAI-SearchBot için "her şeye izin ver" anlamında ayrı bir grup açarsanız, genel grupta sepet ve hesap sayfaları için yazdığınız Disallow satırları bu bot için artık geçerli olmaz. Devraldığım bir mağazada tam olarak bu yüzden sipariş takip sayfaları yapay zeka arama botlarına açık kalmıştı.
Erişimi açmak her sayfayı açmak anlamına gelmiyor. Sepet, ödeme, hesap ve sipariş takibi sayfaları, site içi arama sonuçları ve sonsuz kombinasyon üreten filtre adresleri bütün botlara kapalı tutulabilir. Filtre tarafındaki kararı filtre sayfaları index'lenmeli mi yazısında ayrıntılı anlattım. CSS ve JavaScript dosyalarını engellemeyin, Googlebot sayfayı onlarla işliyor. Bir sayfanın dizinden çıkmasını istiyorsanız robots.txt yerine noindex kullanın. OpenAI da belgesinde OAI-SearchBot'a kapalı sitelerin yine de gezinme bağlantısı olarak görünebildiğini yazıyor.
Değişikliğin etkisi anlık değil. OpenAI, robots.txt güncellemesinin sistemlerine yaklaşık 24 saatte yansıdığını, Perplexity ise bu sürenin 24 saate kadar çıkabildiğini belirtiyor. Google da dosyayı genellikle 24 saate kadar önbellekte tutuyor. Search Console'daki robots.txt raporunda Google'ın dosyanın hangi sürümünü okuduğunu görebilirsiniz.
Cloudflare yapay zeka botlarını engelliyor olabilir mi?
Cloudflare yapay zeka botlarını engelliyor olabilir. Şirket 1 Temmuz 2025'ten itibaren yeni eklenen alan adlarında yapay zeka tarayıcılarını varsayılan olarak engellemeye başladı ve bu ayar açıksa robots.txt dosyanız izin verse bile botlar içeriğe ulaşamaz. Aynı etki hosting firmasının güvenlik duvarından, WordPress güvenlik eklentilerinden ya da agresif bir bot koruma kuralından da gelebilir.
Cloudflare kullanan bir sitede panelde dört yere bakıyorum. Yapay zeka botlarını engelleme ayarı, Bot Fight Mode, yönetilen robots.txt özelliği ve WAF altındaki özel kurallar ile istek sınırları. Yönetilen robots.txt açıksa Cloudflare sizin dosyanıza kendi satırlarını ekleyebiliyor. Bu yüzden kontrolü CMS'te gördüğünüz dosyada değil, tarayıcıda açılan canlı dosyada yapın. Engelleme ayarının hangi botları kapsadığı da 2025'ten bu yana birkaç kez değişti. Panelde listeyi tek tek açıp arama botlarının, özellikle OAI-SearchBot ve PerplexityBot'un nerede durduğunu kendiniz görün. Bir blog yazısındaki ekran görüntüsüne güvenmeyin.
Karar kuralım şu yönde. Arama botlarına izin veren, eğitim botlarını ise iş kararınıza göre engelleyen ayrı kurallar yazın, toplu engeli kapatın. CDN ya da hosting panelinin yönetimi ajansta veya bilgi işlem ekibindeyse, bu kararı yazılı bir notla iletin. Aksi halde bir sonraki güvenlik güncellemesinde ayar sessizce eski haline dönebiliyor.
Engelin hangi katmanda olduğunu sunucu günlüklerinden nasıl anlarsınız?
Engelin yerini en net sunucu günlükleri gösterir. Son bir ile iki haftanın kayıtlarını OAI-SearchBot, PerplexityBot, Claude-SearchBot ve ChatGPT-User gibi kullanıcı aracılarına göre süzüp dönen durum kodlarına bakarsınız. Hiç istek yoksa engel büyük olasılıkla CDN'de, istekler 403, 429 ya da 503 alıyorsa güvenlik duvarında veya istek sınırında, 200 dönüyor ama yanıtlar eksik bilgi veriyorsa sorun sayfanın içeriğindedir.
Hiç istek görmediğiniz durumda kaynak sunucunun günlüğü yanıltıcıdır, çünkü CDN'de durdurulan istek sunucuya hiç ulaşmaz. O zaman CDN'in kendi trafik ve güvenlik olayları ekranına bakmanız gerekir. Log analizi yaparken kullanıcı aracısı metnine tek başına güvenmeyin. Bu metin kolayca taklit edilir. OpenAI ve Perplexity botlarının IP aralıklarını JSON dosyaları olarak yayımlıyor, Google ise tarayıcılarını ters DNS sorgusu ve yayımladığı IP aralıklarıyla doğrulamayı öneriyor. Güvenlik kuralını kullanıcı aracısı ile IP doğrulamasını birlikte kullanarak yazarsanız taklit botları dışarıda tutup gerçeklerini içeri alırsınız.
Yapay zeka botları JavaScript çalıştırır mı?
Google dışındaki büyük yapay zeka tarayıcılarının JavaScript çalıştırmadığını varsaymak en güvenli yaklaşımdır. Googlebot sayfaları işleyip JavaScript'i çalıştırıyor. OpenAI, Anthropic ve Perplexity'nin bot belgelerinde ise botlarının JavaScript işlediğine dair bir ifade yok. Vercel ile MERJ'in 2024 sonunda yayımladığı tarayıcı analizi de ChatGPT ve Claude tarayıcılarının JavaScript dosyalarını indirse bile çalıştırmadığını göstermişti.
Pratikteki sonucu net. Ürün adı, fiyat, stok durumu, açıklama, şube adresleri ve müşterilerin en çok sorduğu soruların cevapları sayfanın ilk HTML'inde bulunmalı. Bunun en güvenilir yolu sunucu tarafında işleme (SSR) ya da statik üretim. Gözden kaçan bir ayrıntı yorumlar. Yorum widget'ı sayfaya JavaScript ile sonradan yükleniyorsa yorumlarınız bu botlar için yok hükmünde. En azından ortalama puanın ve son birkaç yorumun HTML'de yer alması gerekir.
Testi iki dakikada yapabilirsiniz. Önemli bir ürün ya da hizmet sayfasının kaynak kodunu açın ve ürün adını, fiyatı aratın. Bulamıyorsanız o bilgi yapay zeka botları için sayfada yok demektir. Altyapının bütününü teknik SEO nedir yazısında anlattım. JavaScript ağırlıklı sitelerde aynı sorun klasik SEO'yu da etkiliyor.
ChatGPT sitemi göremiyor, sorunu adım adım nasıl bulursunuz?
ChatGPT sitenizi göremiyorsa sorunu dışarıdan içeriye doğru ararsınız. Canlı robots.txt dosyasından başlayıp güvenlik katmanına, sunucu günlüklerine ve en son sayfanın HTML'ine inersiniz. Sıranın önemi, önceki adımdaki bir engelin sonraki adımların hepsini anlamsız kılabilmesi.
- Tarayıcıda siteniz.com/robots.txt adresini açın. OAI-SearchBot'u ya da yıldız işaretli genel grubu kapatan bir satır olup olmadığına bakın.
- CDN, hosting ve güvenlik eklentisi panellerinde yapay zeka botu engeli, bot koruma modu ve özel WAF kurallarını kontrol edin.
- Sunucu ve CDN günlüklerinde son iki haftadaki OAI-SearchBot ve ChatGPT-User isteklerini, durum kodlarıyla birlikte süzün.
- ChatGPT'de arama açıkken belirli bir sayfanızın adresini verip sayfada ne yazdığını anlatmasını isteyin. Aynı dakikada günlükte ChatGPT-User isteği ve dönen kod görünür.
- O sayfanın kaynak kodunda ürün adını, fiyatı ve stok bilgisini arayın. Yoksa sorun JavaScript'tedir.
- Copilot görünürlüğü için Bing Webmaster Tools'ta, Google tarafı için Search Console'da URL denetimini çalıştırın.
Dördüncü adım en çok işe yarayanı. ChatGPT "sayfaya erişemiyorum" diyor ve günlükte 403 görüyorsanız sorun kesinleşmiş olur. Erişim açık olduğu halde alıntılanmıyorsanız sorun artık teknik değil. O noktada yapay zeka arama motorlarının kaynak seçme mantığına ve markanın ChatGPT'de nasıl önerildiğine bakmak gerekir.
Bot erişim denetimini kendiniz mi yapmalısınız, bir GEO uzmanına mı bırakmalısınız?
Tek alan adlı, CDN'siz ve sunucu tarafında işlenen bir sitede bot erişim denetimini pazarlama ekibi bir öğleden sonra kendisi yapabilir. Cloudflare ya da benzeri bir katman, birden fazla alan adı, headless bir altyapı veya günlüklere erişimin olmadığı bir hosting varsa işi teknik SEO ile GEO tarafını birlikte bilen birine bırakmak daha ucuza gelir.
Bu işin ücretini sayfa sayısından çok katman sayısı belirliyor. Kaç alan adı ve dil sürümü var, CDN ile güvenlik duvarı kimde, sunucu günlüklerine erişim var mı, site hangi altyapıyla işleniyor. Teklif bu dört sorunun cevabına göre değişir. Bir danışmana ya da ajansa giderseniz ilk teslimatın günlük kanıtlı bir erişim raporu olmasını isteyin. Yalnızca llms.txt dosyası kurmayı ya da genel bir "yapay zekaya uygun site" ayarı vaat eden teklif bu katmanı atlıyor demektir.
Erişim denetimini GEO danışmanlığı kapsamında her zaman ilk iş olarak yapıyorum, çünkü sonraki bütün çalışmanın getirisi bu katmana bağlı. Sitenizin yapay zeka botlarına gerçekten açık olup olmadığını günlüklerle birlikte görmek isterseniz GEO ön değerlendirme formunu doldurmanız yeterli.
Denedim, tutmadı
- Bütün yapay zeka botlarını kapatıp sonra açmak. Kapatma birkaç saatte etkili oldu, açtıktan sonra ise alıntıların geri gelmesi haftalar sürdü.
- Yalnızca kullanıcı aracısına dayalı izin kuralı. Taklit botlar da içeri girdi, sunucu yükü arttı. IP doğrulaması eklemeden kural güvenli değil.
- Yorumları JavaScript ile yükleyen hafif tema. Sayfa hızı iyileşti ama yapay zeka yanıtları ürünün yorumlarından hiç söz etmez oldu.
Sık sorulan sorular
GPTBot'u engellemek Google sıralamamı etkiler mi?
GPTBot'u engellemek Google sıralamanızı etkilemez, çünkü GPTBot OpenAI'ın eğitim tarayıcısıdır ve Google Arama ile ilgisi yoktur. Google tarafında da benzer bir ayrım var. Google-Extended kararı Google Arama'ya dahil olmanızı ve sıralamanızı değiştirmiyor.
PerplexityBot engellenmeli mi?
PerplexityBot çoğu işletme için engellenmemelidir, çünkü Perplexity yanıtlarında kaynak olarak görünmenizi sağlayan bot odur ve Perplexity bu botu model eğitimi için kullanmadığını belirtiyor. Sunucu yükü sorunu varsa tamamen engellemek yerine güvenlik katmanında istek sınırı tanımlamak daha doğru olur.
GPTBot IP aralığı nerede yayımlanıyor?
GPTBot IP aralığı, OpenAI'ın openai.com/gptbot.json adresinde yayımladığı JSON dosyasında yer alır. OAI-SearchBot için searchbot.json, ChatGPT-User için chatgpt-user.json adında ayrı dosyalar tutuluyor. Gelen isteğin gerçekten OpenAI'dan geldiğini IP adresini bu listeyle karşılaştırarak anlarsınız, kullanıcı aracısı metni tek başına yeterli değildir. Perplexity de IP aralıklarını JSON dosyalarıyla yayımlıyor, Google ise ters DNS sorgusunu öneriyor. Listeler güncellendiği için güvenlik kuralını düzenli yenileyin.
llms.txt dosyası botların siteye erişimini değiştirir mi?
llms.txt dosyası botların siteye erişimini değiştirmez. Erişimi robots.txt ile güvenlik katmanı belirler. Google, Arama'nın bu tür dosyaları yok saydığını açıkça yazıyor. Dosyanın ne zaman anlamlı olabileceğini llms.txt gerçekten işe yarar mı yazısında tartıştım.
Erişimi açtıktan sonra etkisini nasıl ölçerim?
Erişimi açtıktan sonraki etkiyi sunucu günlüğündeki bot isteklerinin artışıyla, GA4'te yapay zeka kaynaklı oturumlarla ve sabit bir soru listesiyle yapılan düzenli testlerle ölçersiniz. Kurulumu yapay zeka görünürlük takibi yazısında ayrıntısıyla anlattım.
Kaynaklar
Reklamların satış getirmiyor mu?
Reklam hesabını birlikte inceleyelim, nerede bütçe kaybettiğini netçe görelim.
Ücretsiz Ön Görüşme