Terim

Yapay Zekâ Botu (AI Crawler)

Kısaca

Dil modeli şirketlerinin web sayfalarını okumak için kullandığı tarayıcı programlar: GPTBot, ClaudeBot, PerplexityBot, Google-Extended ve diğerleri. Biri sitenize giremiyorsa o motor sizi öğrenemez.

Yapay zekâ botu, bir dil modeli şirketinin web'i okumak için çalıştırdığı otomatik tarayıcıdır. Arama motoru botları (Googlebot, Bingbot) ile aynı mantıkla çalışır: sayfaları ister, okur, kaydeder. Farkı, okuduğunun bir arama indeksine değil bir modelin eğitim verisine ya da anlık cevap kaynağına gitmesi.

Başlıca botlar

GPTBot — OpenAI, eğitim verisi için. OAI-SearchBot — ChatGPT'nin arama özelliği için.
ClaudeBot — Anthropic.
PerplexityBot — Perplexity; cevaplarda kaynak olarak göstermek için.
Google-Extended — Google; Gemini'nin eğitimi için. Googlebot'tan ayrı bir izin.
Bytespider, CCBot, Applebot-Extended ve diğerleri.

Neden önemli

Bir bot sitenize giremiyorsa ilgili motor sizi ya hiç öğrenmez ya da yalnızca başkalarının sizden bahsettiği kadarını bilir. Birçok site farkında olmadan, bir güvenlik eklentisinin ya da CDN'in varsayılan ayarıyla bütün yapay zekâ botlarını engelliyor.

İzin nasıl verilir

robots.txt'te her bot için User-agent satırı ve altında Allow: /; ya da engelleyen Disallow satırlarını kaldırmak. CDN tarafında (Cloudflare gibi) "AI bots" kuralının kapalı olması. protan.ai'daki bot erişim kontrolü robots.txt'inizi okuyup hangi botun girebildiğini tek seferde gösterir.

İlgili terim: robots.txt