Crawling & Logs Aktualisiert 2026-11-16 3 Min. Googlebot · Bingbot · WAF

HTTP 429 & Host-Lastfehler: Rate-Limits ohne Indexverlust justieren

Zu enge IP-Limits beantworten Googlebot-Spitzen mit HTTP 429 und verlangsamen die Indexierung neuer Seiten tagelang.

Dmitry K., Technical SEO Lead · SEO Space

Technische Indexierungs-Benchmarks

Bot-429-Quote
< 0,1 %
Retry-After-Header
Sekunden ganzzahlig

Warum starre IP-Limits legitime Suchcrawler ausbremsen

Begrenzen API-Gateways Subnetze pauschal auf 60–100 Anfragen/Minute, löst Googlebot bei Katalog-Updates sofort HTTP 429 Too Many Requests aus und drosselt nachfolgend alle Host-Verbindungen massiv.

Liefern Sie öffentliches HTML direkt vom CDN-Edge aus und nehmen Sie verifizierte Suchbots über ASN-/rDNS-Validierung aus generischen IP-Zählern heraus.

  • Öffentliche HTML-Seiten vollständig vom Origin-Datenbankpool entkoppeln.
  • 429 niemals als künstliches „Crawl-Budget-Werkzeug“ missbrauchen.
  • `Retry-After` nur bei akuter technischer Überlast gezielt senden.

Host-Verfügbarkeit wöchentlich in der Search Console prüfen

Kontrollieren Sie unter Einstellungen -> Crawling-Statistiken -> Host-Status regelmäßig DNS-, Verbindungs- und robots.txt-Fehlerraten.

Server-Signal Crawler-Reaktion Lösung
Häufige 429 auf HTML Drastische Reduktion paralleler Abrufe Edge-Cache erhöhen + ASN-Allowlisting
503 + Retry-After Geplante kurze Pause Nur für Wartungsfenster einsetzen
Zufällige 502/504 Vertrauensverlust in Origin-Stabilität SSR-Worker skalieren & Cache vorwärmen

Selektiver Schutz für uncached API-Endpunkte

Beschränken Sie Schutz-Throttling gezielt auf interne Such-APIs statt auf kanonische Katalog- und Magazinseiten.

HTTP/2 429 Too Many Requests
Retry-After: 120
Cache-Control: no-store

Soll Ihre aktuelle Indexierung direkt geprüft werden?

Senden Sie uns Ihre Domain – wir analysieren HTML-Parität, Log-Signale, Canonicals und Sitemap-Struktur innerhalb von 24 Stunden.