GPTBot Nedir?

GPTBot neyi tarar, neyi etkilemez?

OpenAI, GPTBot'u Ağustos 2023'te duyurdu ve site sahiplerine içeriklerinin model eğitiminde kullanılıp kullanılmayacağına robots.txt üzerinden karar verme imkânı tanıdı. GPTBot'un taradığı içerik, OpenAI'ın gelecekteki üretken yapay zeka modellerinin eğitim verisinde kullanılabiliyor. Bir site robots.txt dosyasında GPTBot'u engellediğinde, içeriğinin bu eğitimlerde kullanılmaması gerektiğini bildirmiş oluyor. Bu karar, zaten eğitilmiş modellerden içeriği geri almaz; etkisi ileriye dönüktür.

En sık yapılan hata, GPTBot'u ChatGPT'deki arama görünürlüğüyle karıştırmak. ChatGPT'nin web aramasında sitenin gösterilip gösterilmeyeceğini OAI-SearchBot belirliyor; kullanıcı bir sayfayı açmak istediğinde ise ChatGPT-User devreye giriyor. OpenAI'ın belgelerine göre her ayar birbirinden bağımsız: bir site OAI-SearchBot'a izin verip GPTBot'u engelleyebilir. İki bota da izin verilen sitelerde OpenAI, aynı sayfayı iki kez taramamak için tek bir taramanın sonucunu iki amaç için kullanabiliyor. Yani "eğitime kapalı, aramada açık" olmak mümkün.

Sayılarla bir örnek: Bir sektör yayıncısı, sunucu kayıtlarında bir ayda GPTBot'tan yaklaşık 45.000 istek görüyor ve özgün raporlarının model eğitiminde kullanılmasını istemiyor. Robots.txt dosyasına GPTBot için tüm siteyi kapatan bir kural ekliyor, OAI-SearchBot'a ise izin veriyor. Bir hafta sonra kayıtlarda GPTBot isteklerinin durduğunu, OAI-SearchBot isteklerinin sürdüğünü ve ChatGPT'deki kaynak gösterimlerinin değişmediğini doğruluyor.

OpenAI'ın üç botu

Diğer şirketlerin botlarıyla birlikte genel çerçeve için yapay zeka tarama botu maddesine bakabilirsin.

GPTBot kararı nasıl verilir ve uygulanır?

1. Amacını belirle. İçeriğinin eğitimde kullanılmasına izin vermek bir iş kararıdır; yayıncılar ve özgün veri üreten siteler için farklı, e-ticaret siteleri için farklı sonuç verebilir.
2. Kuralı ayrı yaz. User-agent: GPTBot satırının altına istediğin Disallow kuralını ekle; OAI-SearchBot için ayrı bir blok bırak.
3. Genel engellemeleri kontrol et. Tüm botları kapatan eski bir kural, arama botunu da engelliyor olabilir.
4. Kayıtlardan doğrula. Log analiziyle GPTBot isteklerinin durduğunu, arama botunun erişiminin sürdüğünü kontrol et.
5. Sahte botlara dikkat et. Kullanıcı aracısı taklit edilebilir; OpenAI'ın yayımladığı IP listesiyle doğrula.

GPTBot hakkında yanlış bilinenler

• "GPTBot'u engellersem ChatGPT'de görünmem." ChatGPT aramasındaki görünürlük OAI-SearchBot'a bağlı.
• "GPTBot'u engellemek Google sıralamamı etkiler." GPTBot'un Google Arama ile ilgisi yok.
• "Engellersem içeriğim modelden silinir." Karar ileriye dönüktür; geçmiş eğitimleri geri almaz.
• "Her site GPTBot'u engellemeli." Doğru cevap iş modeline bağlı; tek bir doğru karar yok.
• "GPTBot yalnızca metin toplar." Bot herkese açık sayfalardaki içeriği tarar; görseller ve belgeler gibi dosyaları da robots.txt kurallarına göre yönetmek gerekir.

Sıkça sorulan sorular

GPTBot'u engellemek ChatGPT'nin markamı bilmesini engeller mi?

Kısmen etkiler; gelecekteki modellerin sitenden öğrenmesini sınırlar. Ancak modeller markanı başka sitelerden de öğrenebilir ve arama yoluyla güncel bilgiye erişebilir.

Robots.txt değişikliği ne zaman etkili olur?

Botlar robots.txt dosyasını düzenli aralıklarla yeniden okur; OpenAI arama tarafı için değişikliklerin yaklaşık 24 saat içinde yansıdığını belirtiyor.

Yalnızca bazı klasörleri kapatabilir miyim?

Evet. GPTBot için yalnızca belirli dizinleri kapatan Disallow kuralları yazabilirsin.

OpenAI botlarının resmi açıklaması için OpenAI: Overview of OpenAI Crawlers sayfasına bakabilirsin.

Eğitim botu ile arama botu kararlarını ayrı ayrı vermenin mantığını GEO rehberinin teknik erişim bölümünde anlattım.