KI-Suche (GEO) Engineering-Playbook Aktualisiert 2026-11-16 3 Min. OAI-SearchBot · GPTBot · PerplexityBot · ClaudeBot

KI-Crawler-Loganalyse: OAI-SearchBot, PerplexityBot & ClaudeBot auswerten

Pauschale WAF-Regeln gegen Bots lösen unbemerkt 403-Fehler bei Live-KI-Fetchern aus und verbergen, welche URLs echte RAG-Abfragen treiben.

Dmitry K., Technical SEO Lead · SEO Space

Technische Indexierungs-Benchmarks

UA-Trennung
Suche vs. Training
IP-Prüfung
ASN / offizielle Listen
Fehlerziel
<1% 403/429 bei Suchbots

Live-RAG-Fetcher von Massen-Trainingssammlern unterscheiden

In CDN- und Nginx-Access-Logs vermischen sich drei KI-Botklassen: Pre-Training-Crawler (`GPTBot`, `CCBot`, `Google-Extended`), Live-Suchindexer (`OAI-SearchBot`, `PerplexityBot`, `Claude-SearchBot`) sowie synchron vom Nutzer ausgelöste Fetcher (`ChatGPT-User`, `Perplexity-User`).

Wer Live-Fetcher mit strikten Bot-Fight-Regeln ausbremst, verschwindet direkt aus Echtzeit-Antworten – selbst wenn Googlebot problemlos durchkommt.

awk -F'"' '$6 ~ /(OAI-SearchBot|ChatGPT-User|PerplexityBot|Claude-SearchBot)/ {
  print $2, $3, $6
}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -n 40

Stille WAF-Drosselung und Bot-Spoofing erkennen

Validieren Sie Bot-IPs anhand offizieller JSON-Bereiche von OpenAI, Anthropic und Perplexity, bevor Sie Edge-Ratenlimits lockern.

  • Alarmieren Sie, sobald `403`, `429` oder `5xx` bei verifizierten `OAI-SearchBot`- oder `PerplexityBot`-Zugriffen über `1%` steigt.
  • Messen Sie p95-TTFB für `ChatGPT-User` getrennt – langsame Origins brechen während der Antwortgenerierung per Timeout ab.
  • Korrelieren Sie RAG-Abrufspitzen mit Direct-Traffic und Markensuchen.

KI-Bot-Klassifizierung & Edge-Policy-Matrix

Segmentieren Sie User-Agents sauber in ClickHouse oder BigQuery für belastbare Reports.

Crawler-Klasse Beispiel User-Agents Empfohlene Edge-Regel
Live-Zitations-Indexer OAI-SearchBot, PerplexityBot, Claude-SearchBot Erlauben + schneller CDN-HTML-Cache
On-Demand-User-Fetcher ChatGPT-User, Perplexity-User, Claude-User Challenge-freier Fast-Bypass (<300 ms)
Trainings-Crawler GPTBot, ClaudeBot, CCBot Gemäß IP-/Lizenz-Governance steuern

Soll Ihre aktuelle Indexierung direkt geprüft werden?

Senden Sie uns Ihre Domain – wir analysieren HTML-Parität, Log-Signale, Canonicals und Sitemap-Struktur innerhalb von 24 Stunden.