Crawling & Logs Aktualisiert 2026-11-16 3 Min. Googlebot · Bingbot · Crawler

robots.txt-Engineering: RFC 9309, Wildcards & typische Rendering-Blockaden

Eine einzige falsche Disallow-Zeile in der robots.txt kann ganze Kataloge ausschließen oder Google WRS für CSS- und JS-Bundles blind machen.

Dmitry K., Technical SEO Lead · SEO Space

1. Longest-Match-Vorrang nach Standard RFC 9309

Suchmaschinen verarbeiten Regeln innerhalb eines User-agent-Blocks nicht einfach von oben nach unten. Nach RFC 9309 bewerten Googlebot und Bingbot die Zeichenlänge jedes passenden Allow- und Disallow-Musters: Das längste Muster gewinnt, bei Gleichstand sticht Allow Disallow.

Wer sich blind auf die Zeilenreihenfolge verlässt, riskiert ungewollte Sperrungen wichtiger Umsatzseiten oder offene Parameter-Schleifen.

  • Setze das Ende-Zeichen ($) gezielt für exakte Dateierweiterungen oder feste Wurzelpfade.
  • Disallow verhindert das Crawlen, nicht jedoch eine reine URL-Indexierung über externe Backlinks.
  • Google ignoriert Crawl-delay; steuere Last sauber über Antwortzeiten und 429/503-Signale.
User-agent: *
Allow: /assets/
Allow: /*.css$
Allow: /*.js$
Disallow: /checkout/
Disallow: /account/
Disallow: /*?sort=
Disallow: /*?filter=
Allow: /*?page=

2. Warum blockierte /assets/-Ordner und APIs das Rendering brechen

Sperrt robots.txt Stylesheets, Script-Chunks oder öffentliche Lese-APIs für Preise und Menüs, rendert Google WRS leere Seitenfragmente ohne sichtbare Inhalte oder interne Links.

Ressourcenmuster Empfehlung Folge bei Blockade
/assets/*.css, *.js, *.woff2 Allow Fehlerhaftes Layout & Mobile-Bewertung in WRS
/api/v1/public/catalog/* Allow (GET) Leere Produkt-Skelette ohne Text und Links
/search?q=* & /filter?* Disallow Schützt Crawl-Budget vor Endlos-Facetten
/admin/, /cart/, /checkout/ Disallow + noindex Hält Sitzungs- und Bestellpfade sauber fern

3. Automatisierte CI-Tests und CDN-Ausfallsicherheit

Liefert der Origin-Server bei einem Deployment HTTP 500 oder 503 für `/robots.txt`, stoppt Googlebot das Crawling der gesamten Domain bis zu 12 Stunden. Liefere die Datei direkt aus dem CDN-Edge-Cache mit festen Unit-Tests über 50+ Muster-URLs.

  • HTTP 200 OK und Header text/plain; charset=utf-8 absichern.
  • Dateigröße zuverlässig unter 500 KiB halten.
  • Sitemap-Zeilen exakt auf den kanonischen HTTPS-Host ausrichten.

Soll Ihre aktuelle Indexierung direkt geprüft werden?

Senden Sie uns Ihre Domain – wir analysieren HTML-Parität, Log-Signale, Canonicals und Sitemap-Struktur innerhalb von 24 Stunden.