robots.txt-Engineering: RFC 9309, Wildcards & typische Rendering-Blockaden
Eine einzige falsche Disallow-Zeile in der robots.txt kann ganze Kataloge ausschließen oder Google WRS für CSS- und JS-Bundles blind machen.
Dmitry K., Technical SEO Lead · SEO Space
1. Longest-Match-Vorrang nach Standard RFC 9309
Suchmaschinen verarbeiten Regeln innerhalb eines User-agent-Blocks nicht einfach von oben nach unten. Nach RFC 9309 bewerten Googlebot und Bingbot die Zeichenlänge jedes passenden Allow- und Disallow-Musters: Das längste Muster gewinnt, bei Gleichstand sticht Allow Disallow.
Wer sich blind auf die Zeilenreihenfolge verlässt, riskiert ungewollte Sperrungen wichtiger Umsatzseiten oder offene Parameter-Schleifen.
- Setze das Ende-Zeichen ($) gezielt für exakte Dateierweiterungen oder feste Wurzelpfade.
- Disallow verhindert das Crawlen, nicht jedoch eine reine URL-Indexierung über externe Backlinks.
- Google ignoriert Crawl-delay; steuere Last sauber über Antwortzeiten und 429/503-Signale.
User-agent: *
Allow: /assets/
Allow: /*.css$
Allow: /*.js$
Disallow: /checkout/
Disallow: /account/
Disallow: /*?sort=
Disallow: /*?filter=
Allow: /*?page= 2. Warum blockierte /assets/-Ordner und APIs das Rendering brechen
Sperrt robots.txt Stylesheets, Script-Chunks oder öffentliche Lese-APIs für Preise und Menüs, rendert Google WRS leere Seitenfragmente ohne sichtbare Inhalte oder interne Links.
| Ressourcenmuster | Empfehlung | Folge bei Blockade |
|---|---|---|
| /assets/*.css, *.js, *.woff2 | Allow | Fehlerhaftes Layout & Mobile-Bewertung in WRS |
| /api/v1/public/catalog/* | Allow (GET) | Leere Produkt-Skelette ohne Text und Links |
| /search?q=* & /filter?* | Disallow | Schützt Crawl-Budget vor Endlos-Facetten |
| /admin/, /cart/, /checkout/ | Disallow + noindex | Hält Sitzungs- und Bestellpfade sauber fern |
3. Automatisierte CI-Tests und CDN-Ausfallsicherheit
Liefert der Origin-Server bei einem Deployment HTTP 500 oder 503 für `/robots.txt`, stoppt Googlebot das Crawling der gesamten Domain bis zu 12 Stunden. Liefere die Datei direkt aus dem CDN-Edge-Cache mit festen Unit-Tests über 50+ Muster-URLs.
- HTTP 200 OK und Header text/plain; charset=utf-8 absichern.
- Dateigröße zuverlässig unter 500 KiB halten.
- Sitemap-Zeilen exakt auf den kanonischen HTTPS-Host ausrichten.
Soll Ihre aktuelle Indexierung direkt geprüft werden?
Senden Sie uns Ihre Domain – wir analysieren HTML-Parität, Log-Signale, Canonicals und Sitemap-Struktur innerhalb von 24 Stunden.