Terim

robots.txt

Kısaca

Sitenin kökünde duran ve botlara hangi adreslere girebileceklerini söyleyen düz metin dosya. Yapay zekâ botlarını farkında olmadan engellemenin en sık yolu da burası.

robots.txt, siteniz.com/robots.txt adresinde duran bir metin dosyasıdır. İçinde User-agent (hangi bot) ve Disallow / Allow (hangi yollar) satırları bulunur. Bir rica niteliğindedir: iyi niyetli botlar uyar, kötü niyetliler umursamaz. Arama ve yapay zekâ botlarının hepsi uyar.

Yapay zekâ botlarıyla ilişkisi

User-agent: * altındaki Disallow: / satırı bütün botları, dolayısıyla GPTBot, ClaudeBot ve PerplexityBot'u da engeller. Bazı güvenlik eklentileri ve CDN'ler bu satırı varsayılan olarak ekler; site sahibi fark etmez. Belirli bir botu adıyla engellemek de mümkündür (User-agent: GPTBot / Disallow: /); bu bilinçli bir tercihse sorun yok, değilse görünürlüğün en sessiz kaybı.

Örnek

User-agent: *
Allow: /
Disallow: /panel/

User-agent: GPTBot
Allow: /

Sitemap: https://siteniz.com/sitemap.xml

Sık hatalar

Geliştirme ortamındaki Disallow: / satırının canlıya taşınması.
Yapay zekâ botunu engelleyip Googlebot'u açık tutarak "SEO'muz iyi" sanmak.
Sitemap: satırında olmayan bir adres bildirmek.

Kontrol

Dosyayı tarayıcıda açın; bot adlarını arayın. protan.ai'daki bot erişim kontrolü aynı işi bütün yapay zekâ botları için tek seferde yapar.

İlgili terim: Yapay zekâ botu