Begriff

robots.txt

Kurz gesagt

Eine reine Textdatei im Stammverzeichnis der Website, die Crawlern sagt, welche Adressen sie aufrufen dürfen. Zugleich der häufigste Ort, an dem KI-Crawler unbemerkt ausgesperrt werden.

robots.txt ist eine Textdatei unter ihre-website.de/robots.txt. Sie enthält Zeilen mit User-agent (welcher Crawler) und Disallow / Allow (welche Pfade). Sie hat den Charakter einer Bitte: Gutwillige Crawler halten sich daran, böswillige ignorieren sie. Alle Such- und KI-Crawler halten sich daran.

Zusammenhang mit KI-Crawlern

Die Zeile Disallow: / unter User-agent: * blockiert alle Crawler, also auch GPTBot, ClaudeBot und PerplexityBot. Manche Sicherheits-Plugins und CDNs fügen diese Zeile standardmäßig ein; der Website-Betreiber bemerkt es nicht. Auch das gezielte Blockieren eines bestimmten Crawlers über seinen Namen ist möglich (User-agent: GPTBot / Disallow: /); ist das eine bewusste Entscheidung, ist es in Ordnung, andernfalls der leiseste Sichtbarkeitsverlust, den es gibt.

Beispiel

User-agent: *
Allow: /
Disallow: /admin/

User-agent: GPTBot
Allow: /

Sitemap: https://ihre-website.de/sitemap.xml

Häufige Fehler

Die Zeile Disallow: / aus der Entwicklungsumgebung mit auf die Live-Website übernehmen.
KI-Crawler blockieren, Googlebot aber freigeben und glauben, „unser SEO ist gut“.
In der Zeile Sitemap: eine Adresse angeben, die es nicht gibt.

Prüfung

Öffnen Sie die Datei im Browser und suchen Sie nach den Crawler-Namen. Der KI-Crawler-Check auf protan.ai erledigt dasselbe für alle KI-Crawler auf einmal.

Verwandter Begriff: KI-Crawler