KI-Crawling-Governance: robots.txt, Content-Usage-Header & Lizenzsignale
Moderne Publisher trennen Echtzeit-Suchbots von Trainings-Scrapern über gezielte robots.txt-Direktiven und maschinenlesbare Nutzungsheader.
Dmitry K., Technical SEO Lead · SEO Space
Technische Indexierungs-Benchmarks
- Bot-Trennung
- Suche vs. Modelltraining
- HTTP-Signale
- Content-Signal / TDMRep
- Rechts-Abgleich
- AGB + Maschinen-Policy
Weg vom binären „Alles erlauben“ oder „Alles blockieren“
Ein pauschales Blockieren aller KI-User-Agents in `robots.txt` kostet sofortige Markenzitate in ChatGPT Search, Perplexity und Claude, ohne bestehende Trainings-Snapshots zu löschen. Gleichzeitig schwächt unkontrolliertes Scraping exklusiver Datenbanken Lizenzmodelle.
Die Trennung von Live-Suchindexern (`OAI-SearchBot`, `PerplexityBot`, `Claude-SearchBot`) und Massen-Trainingsbots (`GPTBot`, `CCBot`, `Google-Extended`) inklusive Nutzungs-Headern schafft präzise Steuerung.
# Live-Antwortmaschinen für Suchzitate erlauben
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# Massen-Pretraining auf proprietären Datensätzen untersagen
User-agent: GPTBot
Disallow: /proprietary-datasets/
User-agent: Google-Extended
Disallow: /proprietary-datasets/ Edge-HTTP-Header mit öffentlichen Crawler-Regeln synchronisieren
Einheitliche maschinenlesbare Signale in `robots.txt`, `Content-Usage`-Headern und `.well-known/tdmrep.json` vermeiden rechtliche Grauzonen.
Legen Sie klare Stufen für Marketingseiten, offene Dokumentation und lizenzierte Datensätze fest.
| Bereich | Suchbots (Google / OAI-Search) | Trainingsbots (GPTBot / CCBot) |
|---|---|---|
| Produkt, Preise & Lösungen | Allow (volles SSR-HTML) | Allow oder gemäß Markenreichweite |
| Öffentliche Doku & Guides | Allow (inkl. /llms.txt) | Allow für Developer-Akzeptanz |
| Bezahlte / Exklusive Datensätze | Vorschau offen; Roh-DB geschützt | Disallow + TDM-Vorbehaltsheader |
- Vermeiden Sie globale `noai`-Tags auf kommerziellen Produktseiten, solange keine totale Unsichtbarkeit gewünscht ist.
- Gleichen Sie `robots.txt` quartalsweise mit offiziellen Bot-Verzeichnissen der KI-Anbieter ab.
- Prüfen Sie, dass CDN-Bot-Schutzregeln erlaubten Suchbots keine stillen `403`-Challenges zurückgeben.
Soll Ihre aktuelle Indexierung direkt geprüft werden?
Senden Sie uns Ihre Domain – wir analysieren HTML-Parität, Log-Signale, Canonicals und Sitemap-Struktur innerhalb von 24 Stunden.