Cloudflare Logpush zu BigQuery: Echtzeit-Alerting für Crawl-Anomalien & 5xx
Search-Console-Crawl-Statistiken hinken bis zu 48 Stunden hinterher. Der direkte Log-Stream in BigQuery deckt 5xx-Fehler und WAF-Blockaden nach Deployments noch in derselben Stunde auf.
Dmitry K., Technical SEO Lead · SEO Space
Technische Indexierungs-Benchmarks
- Ingest-Latenz
- < 5 Min. Edge-Stream
- Bot-Filterung
- Verifizierte Googlebot / OAI / Bing
- Alert-Schwelle
- > 1.5% 5xx oder -30% Crawl-Volumen
Warum Search-Console-Grafiken bei Produktionsausfällen zu spät kommen
Search Console aggregiert Crawl-Metriken zeitverzögert und nennt bei plötzlichen 502-Timeouts oder versehentlichen WAF-Sperren keine konkreten betroffenen URLs in Echtzeit.
Durch Partitionierung von Cloudflare Logpush in BigQuery entsteht ein deterministisches Frühwarnsystem für technisches SEO.
- Filtern Sie Logpush-Felder auf URI, User-Agent, EdgeResponseStatus, OriginResponseDurationMs und BotScore.
- Partitionieren Sie Tabellen täglich nach EdgeStartTimestamp und clustern Sie nach Host und Statuscode.
- Lösen Sie Alerts aus, sobald die 5xx-Quote verifizierter Bots 1 % im 30-Minuten-Fenster übersteigt.
Stündliche SQL-Abfrage für Bot-Statuscodes und Latenz
Vergleichen Sie aktuelle Bot-Antworten automatisiert mit dem 14-Tage-Durchschnitt derselben Tageszeit.
SELECT
TIMESTAMP_TRUNC(EdgeStartTimestamp, HOUR) AS hour_bucket,
COUNTIF(EdgeResponseStatus BETWEEN 200 AND 299) AS ok_2xx,
COUNTIF(EdgeResponseStatus >= 500) AS err_5xx,
APPROX_QUANTILES(OriginResponseDurationMs, 100)[OFFSET(95)] AS p95_origin_ms
FROM `seo_logs.cloudflare_http_requests`
WHERE EdgeStartTimestamp >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 24 HOUR)
AND REGEXP_CONTAINS(ClientRequestUserAgent, r'Googlebot|Bingbot|OAI-SearchBot')
GROUP BY 1
ORDER BY 1 DESC; Schwellenwerte für Incident-Playbooks
Trennen Sie echte Infrastrukturstörungen von normaler Crawl-Varianz.
| Log-Anomalie | Schwellenwert | Sofortmaßnahme |
|---|---|---|
| 5xx auf Suchbots | > 1.5% in 15 Min. | Autoscaling, Datenbank-Locks und letztes Release prüfen |
| 403 / 429 Spitzen | > 0.5% verifizierte Bots | WAF Managed Rules und Rate-Limits kontrollieren |
| Hohes P95 Origin-TTFB | > 800 ms anhaltend | Edge-HTML-Cache-Trefferquote verifizieren |
Soll Ihre aktuelle Indexierung direkt geprüft werden?
Senden Sie uns Ihre Domain – wir analysieren HTML-Parität, Log-Signale, Canonicals und Sitemap-Struktur innerhalb von 24 Stunden.