KI-Suche (GEO) Praxisnotiz Aktualisiert 2026-11-16 3 Min. robots.txt · TDMRep · Content-Usage · KI-Lizenzen

KI-Crawling-Governance: robots.txt, Content-Usage-Header & Lizenzsignale

Moderne Publisher trennen Echtzeit-Suchbots von Trainings-Scrapern über gezielte robots.txt-Direktiven und maschinenlesbare Nutzungsheader.

Dmitry K., Technical SEO Lead · SEO Space

Technische Indexierungs-Benchmarks

Bot-Trennung
Suche vs. Modelltraining
HTTP-Signale
Content-Signal / TDMRep
Rechts-Abgleich
AGB + Maschinen-Policy

Weg vom binären „Alles erlauben“ oder „Alles blockieren“

Ein pauschales Blockieren aller KI-User-Agents in `robots.txt` kostet sofortige Markenzitate in ChatGPT Search, Perplexity und Claude, ohne bestehende Trainings-Snapshots zu löschen. Gleichzeitig schwächt unkontrolliertes Scraping exklusiver Datenbanken Lizenzmodelle.

Die Trennung von Live-Suchindexern (`OAI-SearchBot`, `PerplexityBot`, `Claude-SearchBot`) und Massen-Trainingsbots (`GPTBot`, `CCBot`, `Google-Extended`) inklusive Nutzungs-Headern schafft präzise Steuerung.

# Live-Antwortmaschinen für Suchzitate erlauben
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Massen-Pretraining auf proprietären Datensätzen untersagen
User-agent: GPTBot
Disallow: /proprietary-datasets/

User-agent: Google-Extended
Disallow: /proprietary-datasets/

Edge-HTTP-Header mit öffentlichen Crawler-Regeln synchronisieren

Einheitliche maschinenlesbare Signale in `robots.txt`, `Content-Usage`-Headern und `.well-known/tdmrep.json` vermeiden rechtliche Grauzonen.

Legen Sie klare Stufen für Marketingseiten, offene Dokumentation und lizenzierte Datensätze fest.

Bereich Suchbots (Google / OAI-Search) Trainingsbots (GPTBot / CCBot)
Produkt, Preise & Lösungen Allow (volles SSR-HTML) Allow oder gemäß Markenreichweite
Öffentliche Doku & Guides Allow (inkl. /llms.txt) Allow für Developer-Akzeptanz
Bezahlte / Exklusive Datensätze Vorschau offen; Roh-DB geschützt Disallow + TDM-Vorbehaltsheader
  • Vermeiden Sie globale `noai`-Tags auf kommerziellen Produktseiten, solange keine totale Unsichtbarkeit gewünscht ist.
  • Gleichen Sie `robots.txt` quartalsweise mit offiziellen Bot-Verzeichnissen der KI-Anbieter ab.
  • Prüfen Sie, dass CDN-Bot-Schutzregeln erlaubten Suchbots keine stillen `403`-Challenges zurückgeben.

Soll Ihre aktuelle Indexierung direkt geprüft werden?

Senden Sie uns Ihre Domain – wir analysieren HTML-Parität, Log-Signale, Canonicals und Sitemap-Struktur innerhalb von 24 Stunden.