HTTP 429 & Host-Lastfehler: Rate-Limits ohne Indexverlust justieren
Zu enge IP-Limits beantworten Googlebot-Spitzen mit HTTP 429 und verlangsamen die Indexierung neuer Seiten tagelang.
Dmitry K., Technical SEO Lead · SEO Space
Technische Indexierungs-Benchmarks
- Bot-429-Quote
- < 0,1 %
- Retry-After-Header
- Sekunden ganzzahlig
Warum starre IP-Limits legitime Suchcrawler ausbremsen
Begrenzen API-Gateways Subnetze pauschal auf 60–100 Anfragen/Minute, löst Googlebot bei Katalog-Updates sofort HTTP 429 Too Many Requests aus und drosselt nachfolgend alle Host-Verbindungen massiv.
Liefern Sie öffentliches HTML direkt vom CDN-Edge aus und nehmen Sie verifizierte Suchbots über ASN-/rDNS-Validierung aus generischen IP-Zählern heraus.
- Öffentliche HTML-Seiten vollständig vom Origin-Datenbankpool entkoppeln.
- 429 niemals als künstliches „Crawl-Budget-Werkzeug“ missbrauchen.
- `Retry-After` nur bei akuter technischer Überlast gezielt senden.
Host-Verfügbarkeit wöchentlich in der Search Console prüfen
Kontrollieren Sie unter Einstellungen -> Crawling-Statistiken -> Host-Status regelmäßig DNS-, Verbindungs- und robots.txt-Fehlerraten.
| Server-Signal | Crawler-Reaktion | Lösung |
|---|---|---|
| Häufige 429 auf HTML | Drastische Reduktion paralleler Abrufe | Edge-Cache erhöhen + ASN-Allowlisting |
| 503 + Retry-After | Geplante kurze Pause | Nur für Wartungsfenster einsetzen |
| Zufällige 502/504 | Vertrauensverlust in Origin-Stabilität | SSR-Worker skalieren & Cache vorwärmen |
Selektiver Schutz für uncached API-Endpunkte
Beschränken Sie Schutz-Throttling gezielt auf interne Such-APIs statt auf kanonische Katalog- und Magazinseiten.
HTTP/2 429 Too Many Requests
Retry-After: 120
Cache-Control: no-store Soll Ihre aktuelle Indexierung direkt geprüft werden?
Senden Sie uns Ihre Domain – wir analysieren HTML-Parität, Log-Signale, Canonicals und Sitemap-Struktur innerhalb von 24 Stunden.