Kurzfassung
Claude-SearchBot dient laut Anthropic der Verbesserung von Suchergebnissen. Claude-User betrifft nutzerinitiierte Abrufe; ClaudeBot ist davon getrennt. Regeln sollten je User-Agent und gewünschtem Zweck gesetzt werden.
Prüfung
1. Berechne die wirksame robots.txt-Regel für Claude-SearchBot. 2. Rufe die öffentliche Produktseite mit dem dokumentierten User-Agent ab. 3. Prüfe Status, Redirects und Challenge-Inhalte. 4. Vergleiche die Antwort mit einem normalen Browser-Abruf. 5. Kontrolliere noindex, Canonical und serverseitig sichtbare Produktfakten.
Häufiger Fehler
Eine allgemeine Bot-Blockade im CDN kann trotz robots.txt-Freigabe HTTP 403 oder eine Challenge-Seite ausliefern. Umgekehrt ist eine bewusste ClaudeBot-Regel keine Aussage über Claude-SearchBot.
Primärquelle
Anthropic beschreibt Zweck und robots.txt-Steuerung seiner Bots im Help Center.
Grenze
Ein erfolgreicher Test ist eine technische Momentaufnahme und keine Garantie für Aufnahme oder Zitierung in Claude.
Offene Wissensstruktur
Diese Seite ist Teil der SaaS-Radar Knowledge Base. Die strukturierte Markdown/YAML-Version steht als OKF-nahe Ressource fuer Suchsysteme, KI-Agenten und technische Auswertung bereit.
OKF-Datei öffnen