Crawling & Logs Aktualisiert 2026-11-16 3 Min. Googlebot · Cloudflare Logpush · BigQuery

Cloudflare Logpush zu BigQuery: Echtzeit-Alerting für Crawl-Anomalien & 5xx

Search-Console-Crawl-Statistiken hinken bis zu 48 Stunden hinterher. Der direkte Log-Stream in BigQuery deckt 5xx-Fehler und WAF-Blockaden nach Deployments noch in derselben Stunde auf.

Dmitry K., Technical SEO Lead · SEO Space

Technische Indexierungs-Benchmarks

Ingest-Latenz
< 5 Min. Edge-Stream
Bot-Filterung
Verifizierte Googlebot / OAI / Bing
Alert-Schwelle
> 1.5% 5xx oder -30% Crawl-Volumen

Warum Search-Console-Grafiken bei Produktionsausfällen zu spät kommen

Search Console aggregiert Crawl-Metriken zeitverzögert und nennt bei plötzlichen 502-Timeouts oder versehentlichen WAF-Sperren keine konkreten betroffenen URLs in Echtzeit.

Durch Partitionierung von Cloudflare Logpush in BigQuery entsteht ein deterministisches Frühwarnsystem für technisches SEO.

  • Filtern Sie Logpush-Felder auf URI, User-Agent, EdgeResponseStatus, OriginResponseDurationMs und BotScore.
  • Partitionieren Sie Tabellen täglich nach EdgeStartTimestamp und clustern Sie nach Host und Statuscode.
  • Lösen Sie Alerts aus, sobald die 5xx-Quote verifizierter Bots 1 % im 30-Minuten-Fenster übersteigt.

Stündliche SQL-Abfrage für Bot-Statuscodes und Latenz

Vergleichen Sie aktuelle Bot-Antworten automatisiert mit dem 14-Tage-Durchschnitt derselben Tageszeit.

SELECT
  TIMESTAMP_TRUNC(EdgeStartTimestamp, HOUR) AS hour_bucket,
  COUNTIF(EdgeResponseStatus BETWEEN 200 AND 299) AS ok_2xx,
  COUNTIF(EdgeResponseStatus >= 500) AS err_5xx,
  APPROX_QUANTILES(OriginResponseDurationMs, 100)[OFFSET(95)] AS p95_origin_ms
FROM `seo_logs.cloudflare_http_requests`
WHERE EdgeStartTimestamp >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 24 HOUR)
  AND REGEXP_CONTAINS(ClientRequestUserAgent, r'Googlebot|Bingbot|OAI-SearchBot')
GROUP BY 1
ORDER BY 1 DESC;

Schwellenwerte für Incident-Playbooks

Trennen Sie echte Infrastrukturstörungen von normaler Crawl-Varianz.

Log-Anomalie Schwellenwert Sofortmaßnahme
5xx auf Suchbots > 1.5% in 15 Min. Autoscaling, Datenbank-Locks und letztes Release prüfen
403 / 429 Spitzen > 0.5% verifizierte Bots WAF Managed Rules und Rate-Limits kontrollieren
Hohes P95 Origin-TTFB > 800 ms anhaltend Edge-HTML-Cache-Trefferquote verifizieren

Soll Ihre aktuelle Indexierung direkt geprüft werden?

Senden Sie uns Ihre Domain – wir analysieren HTML-Parität, Log-Signale, Canonicals und Sitemap-Struktur innerhalb von 24 Stunden.