---
okf_version: '0.1'
type: Guide
title: 'Wenn Cloudflare oder eine WAF KI-Crawler blockiert'
description: 'HTTP 403, CAPTCHA, Managed Challenge und Bot-Management erkennen, ohne Schutzmechanismen zu umgehen.'
slug: cloudflare-waf-blockiert-ki-crawler
resource: 'https://saasradar.de/wissen/cloudflare-waf-blockiert-ki-crawler'
language: de
status: published
visibility: public
intent: informational
schema: Article
priority: high
created_at: '2026-07-26T18:15:00+00:00'
updated_at: '2026-07-26T18:15:00+00:00'
reviewed_at: '2026-07-26T00:00:00+00:00'
tags:
  - cloudflare
  - waf
  - captcha
  - ki-crawler
entities:
  - Cloudflare
  - WAF
  - 'Bot Management'
  - CAPTCHA
related_entities:
  - Cloudflare
  - OAI-SearchBot
  - Claude-SearchBot
  - PerplexityBot
---

# Wenn Cloudflare oder eine WAF KI-Crawler blockiert

## Kurzfassung

Eine erlaubende robots.txt garantiert keinen Zugriff. CDN-, WAF- und Bot-Management-Regeln können Such-Crawler mit HTTP 403, 429, JavaScript-Challenges oder CAPTCHA-Seiten abweisen.

## Erkennen

Vergleiche einen normalen Abruf mit den dokumentierten Bot-User-Agents. Prüfe Statuscode, Response-Header, Redirectziel und typische Challenge-Texte. HTTP 200 ist nicht automatisch erfolgreich, wenn statt Produktinhalt eine Blockseite ausgeliefert wird.

## Beheben

1. Betroffene WAF-Regel im eigenen Dashboard identifizieren.
2. Nur den notwendigen öffentlichen Pfad und den konkreten Bot-Zweck freigeben.
3. Wenn der Betreiber IP-Verifikation anbietet, ausschließlich dessen aktuelle offizielle Endpunkte verwenden.
4. Rate Limits und Cache-Verhalten prüfen.
5. Danach robots.txt- und aktiven Abruf erneut testen.

## Sicherheitsgrenze

SaaSRadar umgeht keine Challenges und gibt keine pauschalen IP-Freigaben aus. Bot-IP-Bereiche können sich ändern und müssen aus der jeweiligen Primärquelle stammen.

## Weiterführend

- [Perplexity Crawler und WAF-Hinweise](https://docs.perplexity.ai/docs/resources/perplexity-crawlers)
- [KI-Erreichbarkeitscheck](https://saasradar.de/ki-erreichbarkeitscheck)