KI-Suche (GEO) Praxisnotiz Aktualisiert 2026-11-16 3 Min. OAI-SearchBot · PerplexityBot · Claude

Robots.txt für KI-Crawler: Live-Suchzitate (OAI-SearchBot) von Training trennen

Wer OAI-SearchBot versehentlich zusammen mit Trainings-Bots sperrt, verschwindet aus aktuellen Empfehlungen in ChatGPT Search.

Dmitry K., Technical SEO Lead · SEO Space

Technische Indexierungs-Benchmarks

Live-KI-Suche
Allow: / für Zitate
Modelltraining
Getrennt steuerbar

Retrieval-Crawler explizit von Trainings-Bots unterscheiden

Halten Sie OAI-SearchBot, PerplexityBot und Claude-SearchBot explizit auf Allow: /, damit kaufbereite Nutzer aktuelle URLs und Preise sehen.

Ein pauschales Sperren aller KI-User-Agents in der `robots.txt` schließt Ihre Marke oft ungewollt aus Live-Zitaten von ChatGPT Search und Perplexity aus, obwohl lediglich Massen-Training unterbunden werden sollte.

  • Trennen Sie Live-Suchbots (`OAI-SearchBot`, `PerplexityBot`) klar von Trainings-Crawlern (`GPTBot`, `CCBot`).
  • Prüfen Sie echte Bot-Herkunft per offizieller ASN-/IP-Liste statt ungeprüfter Header.
  • Überwachen Sie Antwortzeiten und mögliche 403-Fehler für KI-Suchbots in Server-Logs.
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

Differenzierte robots.txt-Steuerung für Suche vs. Training

Geben Sie Live-Retrieval-Bots volle Sichtbarkeit auf Lösungen, Preise und Fachartikel, während Sie Trainings-Crawler gesondert nach Ihrer Datenpolitik steuern.

Echtzeit-Suchbots brechen langsame Anfragen nach 1–2 Sekunden ab. Halten Sie gecachtes SSR-HTML unter 400 ms und prüfen Sie WAF-Logs wöchentlich auf blockierte Abrufe.

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /private-datasets/

Soll Ihre aktuelle Indexierung direkt geprüft werden?

Senden Sie uns Ihre Domain – wir analysieren HTML-Parität, Log-Signale, Canonicals und Sitemap-Struktur innerhalb von 24 Stunden.