OAI-SearchBot-Erreichbarkeit technisch prüfen

Kurzfassung

OAI-SearchBot ist der OpenAI-Crawler für die Suchfunktion. Eine technische Prüfung muss mindestens robots.txt, den tatsächlichen HTTP-Abruf, Weiterleitungen, WAF-Reaktionen und Indexierungssignale gemeinsam betrachten. Eine Freigabe beweist Erreichbarkeit, aber weder Aufnahme noch Ranking in ChatGPT Search.

Definition / Erklärung

OAI-SearchBot ist von GPTBot und ChatGPT-User zu unterscheiden. Die Bots erfüllen unterschiedliche Zwecke. Deshalb sollte eine robots.txt-Auswertung Regeln je Bot-Gruppe und geprüftem Pfad berechnen.

Nutzen

Die getrennte Prüfung verhindert Fehlalarme. Ein bewusst blockierter Trainings-Crawler sagt nichts darüber aus, ob ein Such-Crawler auf öffentliche Produktinformationen zugreifen darf.

Zielgruppe

Der Guide richtet sich an SaaS-Anbieter, technische SEO-Teams, Entwickler und Betreiber von CDN-, WAF- oder Bot-Schutzregeln.

Problem

Eine robots.txt-Freigabe allein reicht nicht. DNS, TLS, Redirects, HTTP-Status, CAPTCHA, WAF und noindex können den Zugriff oder die Nutzung einer Seite weiterhin begrenzen.

Lösung / Funktionsweise

Prüfe zuerst die robots.txt-Regel für OAI-SearchBot auf dem konkreten Pfad. Rufe danach dieselbe URL mit dem dokumentierten User-Agent ab und vergleiche Status, Ziel-URL und Challenge-Signale mit einem normalen Abruf. Kontrolliere zusätzlich Meta-Robots, X-Robots-Tag, Canonical und Sitemap.

Beispiele

User-agent: OAI-SearchBot mit Disallow: / blockiert die gesamte Website.
Eine allgemeine Freigabe kann durch eine spezifischere Bot-Gruppe überschrieben werden.
HTTP 200 kann trotzdem eine CAPTCHA- oder JavaScript-Challenge enthalten.

Abgrenzung

Der technische Check simuliert einen öffentlichen Abruf. Er verifiziert keine Betreiber-IP und misst keine spätere Auswahl, Zitierung oder Position in einer KI-Antwort.

Häufige Fragen

Muss GPTBot ebenfalls freigegeben sein?

Nein. GPTBot dient einem anderen Zweck. Seine Behandlung sollte transparent ausgewiesen, aber nicht als Such-Erreichbarkeitsfehler gewertet werden.

Reicht eine erreichbare Startseite?

Nein. Wichtige Produkt-, Preis- und Dokumentationsseiten können abweichende Regeln oder Schutzmaßnahmen haben.

Weiterführende Inhalte

Offene Wissensstruktur

Diese Seite ist Teil der SaaS-Radar Knowledge Base. Die strukturierte Markdown/YAML-Version steht als OKF-nahe Ressource fuer Suchsysteme, KI-Agenten und technische Auswertung bereit.

OKF-Datei öffnen