KI-Crawler-Loganalyse: OAI-SearchBot, PerplexityBot & ClaudeBot auswerten
Pauschale WAF-Regeln gegen Bots lösen unbemerkt 403-Fehler bei Live-KI-Fetchern aus und verbergen, welche URLs echte RAG-Abfragen treiben.
Dmitry K., Technical SEO Lead · SEO Space
Technische Indexierungs-Benchmarks
- UA-Trennung
- Suche vs. Training
- IP-Prüfung
- ASN / offizielle Listen
- Fehlerziel
- <1% 403/429 bei Suchbots
Live-RAG-Fetcher von Massen-Trainingssammlern unterscheiden
In CDN- und Nginx-Access-Logs vermischen sich drei KI-Botklassen: Pre-Training-Crawler (`GPTBot`, `CCBot`, `Google-Extended`), Live-Suchindexer (`OAI-SearchBot`, `PerplexityBot`, `Claude-SearchBot`) sowie synchron vom Nutzer ausgelöste Fetcher (`ChatGPT-User`, `Perplexity-User`).
Wer Live-Fetcher mit strikten Bot-Fight-Regeln ausbremst, verschwindet direkt aus Echtzeit-Antworten – selbst wenn Googlebot problemlos durchkommt.
awk -F'"' '$6 ~ /(OAI-SearchBot|ChatGPT-User|PerplexityBot|Claude-SearchBot)/ {
print $2, $3, $6
}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -n 40 Stille WAF-Drosselung und Bot-Spoofing erkennen
Validieren Sie Bot-IPs anhand offizieller JSON-Bereiche von OpenAI, Anthropic und Perplexity, bevor Sie Edge-Ratenlimits lockern.
- Alarmieren Sie, sobald `403`, `429` oder `5xx` bei verifizierten `OAI-SearchBot`- oder `PerplexityBot`-Zugriffen über `1%` steigt.
- Messen Sie p95-TTFB für `ChatGPT-User` getrennt – langsame Origins brechen während der Antwortgenerierung per Timeout ab.
- Korrelieren Sie RAG-Abrufspitzen mit Direct-Traffic und Markensuchen.
KI-Bot-Klassifizierung & Edge-Policy-Matrix
Segmentieren Sie User-Agents sauber in ClickHouse oder BigQuery für belastbare Reports.
| Crawler-Klasse | Beispiel User-Agents | Empfohlene Edge-Regel |
|---|---|---|
| Live-Zitations-Indexer | OAI-SearchBot, PerplexityBot, Claude-SearchBot | Erlauben + schneller CDN-HTML-Cache |
| On-Demand-User-Fetcher | ChatGPT-User, Perplexity-User, Claude-User | Challenge-freier Fast-Bypass (<300 ms) |
| Trainings-Crawler | GPTBot, ClaudeBot, CCBot | Gemäß IP-/Lizenz-Governance steuern |
Soll Ihre aktuelle Indexierung direkt geprüft werden?
Senden Sie uns Ihre Domain – wir analysieren HTML-Parität, Log-Signale, Canonicals und Sitemap-Struktur innerhalb von 24 Stunden.