KI-Crawler (AI Crawler)
Die Crawler-Programme, mit denen die Anbieter von Sprachmodellen Webseiten lesen – GPTBot, ClaudeBot, PerplexityBot, Google-Extended und andere. Kommt einer davon nicht auf Ihre Website, kann die zugehörige Antwortmaschine Sie nicht kennenlernen.
Ein KI-Crawler ist ein automatisches Programm, das ein Anbieter von Sprachmodellen betreibt, um das Web zu lesen. Es arbeitet nach derselben Logik wie Suchmaschinen-Crawler (Googlebot, Bingbot): Es ruft Seiten ab, liest sie, speichert sie. Der Unterschied: Das Gelesene landet nicht in einem Suchindex, sondern in den Trainingsdaten eines Modells oder als Quelle für eine aktuelle Antwort.
Die wichtigsten Crawler
- GPTBot — OpenAI, für Trainingsdaten. OAI-SearchBot — für die Suchfunktion von ChatGPT.
- ClaudeBot — Anthropic.
- PerplexityBot — Perplexity; um Seiten in Antworten als Quelle anzuzeigen.
- Google-Extended — Google; für das Training von Gemini. Eine von Googlebot getrennte Freigabe.
- Bytespider, CCBot, Applebot-Extended und andere.
Warum das wichtig ist
Kommt ein Crawler nicht auf Ihre Website, lernt die zugehörige Antwortmaschine Sie entweder gar nicht kennen oder weiß nur so viel, wie andere über Sie sagen. Viele Websites blockieren, ohne es zu wissen, durch die Standardeinstellung eines Sicherheits-Plugins oder eines CDN sämtliche KI-Crawler.
Wie man den Zugang freigibt
In der robots.txt für jeden Crawler eine User-agent-Zeile mit Allow: / darunter; oder die blockierenden Disallow-Zeilen entfernen. Auf CDN-Seite (etwa Cloudflare) muss die Regel „AI bots“ deaktiviert sein. Der KI-Crawler-Check auf protan.ai liest Ihre robots.txt und zeigt auf einen Blick, welcher Crawler Zugang hat.
Verwandter Begriff: robots.txt