Robots.txt für KI-Crawler: Live-Suchzitate (OAI-SearchBot) von Training trennen
Wer OAI-SearchBot versehentlich zusammen mit Trainings-Bots sperrt, verschwindet aus aktuellen Empfehlungen in ChatGPT Search.
Dmitry K., Technical SEO Lead · SEO Space
Technische Indexierungs-Benchmarks
- Live-KI-Suche
- Allow: / für Zitate
- Modelltraining
- Getrennt steuerbar
Retrieval-Crawler explizit von Trainings-Bots unterscheiden
Halten Sie OAI-SearchBot, PerplexityBot und Claude-SearchBot explizit auf Allow: /, damit kaufbereite Nutzer aktuelle URLs und Preise sehen.
Ein pauschales Sperren aller KI-User-Agents in der `robots.txt` schließt Ihre Marke oft ungewollt aus Live-Zitaten von ChatGPT Search und Perplexity aus, obwohl lediglich Massen-Training unterbunden werden sollte.
- Trennen Sie Live-Suchbots (`OAI-SearchBot`, `PerplexityBot`) klar von Trainings-Crawlern (`GPTBot`, `CCBot`).
- Prüfen Sie echte Bot-Herkunft per offizieller ASN-/IP-Liste statt ungeprüfter Header.
- Überwachen Sie Antwortzeiten und mögliche 403-Fehler für KI-Suchbots in Server-Logs.
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Claude-SearchBot
Allow: / Differenzierte robots.txt-Steuerung für Suche vs. Training
Geben Sie Live-Retrieval-Bots volle Sichtbarkeit auf Lösungen, Preise und Fachartikel, während Sie Trainings-Crawler gesondert nach Ihrer Datenpolitik steuern.
Echtzeit-Suchbots brechen langsame Anfragen nach 1–2 Sekunden ab. Halten Sie gecachtes SSR-HTML unter 400 ms und prüfen Sie WAF-Logs wöchentlich auf blockierte Abrufe.
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /private-datasets/ Soll Ihre aktuelle Indexierung direkt geprüft werden?
Senden Sie uns Ihre Domain – wir analysieren HTML-Parität, Log-Signale, Canonicals und Sitemap-Struktur innerhalb von 24 Stunden.