Kurzfassung
„KI-Crawler“ ist kein einheitlicher Zweck. Such-Crawler bauen Suchindizes auf, User-Bots rufen Inhalte im Auftrag eines Nutzers ab und Trainingsbots steuern eine mögliche Modellnutzung. Deshalb ist eine GPTBot-Sperre nicht automatisch ein Problem für ChatGPT Search.
Die drei Bot-Gruppen
1. Such-Crawler: OAI-SearchBot, Claude-SearchBot und PerplexityBot dienen laut Betreiberinformationen Suchfunktionen. 2. Nutzerinitiierte Abrufe: Claude-User, Perplexity-User oder ChatGPT-User reagieren auf konkrete Nutzeraktionen. 3. Training: GPTBot und ClaudeBot müssen getrennt von Suchzugriff bewertet werden.
Technische Prüfung
Eine belastbare Prüfung kombiniert robots.txt, aktiven HTTP-Abruf, Statuscode, Redirectziel, WAF-/CAPTCHA-Signale, Meta-Robots, Canonical und Sitemap. Eine reine robots.txt-Textsuche reicht nicht.
Quellen und Grenzen
Die Freigabe eines Bots beweist weder Indexierung noch Nennung, Zitierung oder Ranking.
Weiterführend
Offene Wissensstruktur
Diese Seite ist Teil der SaaS-Radar Knowledge Base. Die strukturierte Markdown/YAML-Version steht als OKF-nahe Ressource fuer Suchsysteme, KI-Agenten und technische Auswertung bereit.
OKF-Datei öffnen