Crawling & Logs Aktualisiert 2026-11-16 3 Min. Googlebot · Bingbot · BigQuery

Enterprise Crawl-Budget-Analyse: CDN-Logs direkt in BigQuery auswerten

Stichproben kleiner Log-Ausschnitte verbergen die größten Budget-Lecks. BigQuery SQL zeigt exakte Abrufanteile je Seitenvorlage.

Dmitry K., Technical SEO Lead · SEO Space

Technische Indexierungs-Benchmarks

Log-Historie
90–180 Tage roh
Bot-Prüfung
ASN / rDNS verifiziert
Anteil Umsatzseiten
> 75 % aller Hits

Edge-Access-Logs verlustfrei und ohne Sampling streamen

Große Kataloge erzeugen Millionen wöchentlicher Bot-Abrufe, an denen Desktop-Analysetools scheitern. Durch Streaming von Cloudflare Logpush in partitionierte BigQuery-Tabellen lassen sich echte Crawler-Hits präzise mit Search-Console-Daten verknüpfen.

Filtern Sie konsequent nach Reverse-DNS und offiziellen ASN-Netzen, um gefälschte Scraper auszublenden.

SELECT
  REGEXP_EXTRACT(ClientRequestURI, r'^(/[^/?]+)') AS root_dir,
  EdgeResponseStatus AS status,
  COUNT(*) AS bot_hits
FROM cdn_logs.verified_bots_daily
WHERE EdgeStartTimestamp >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 30 DAY)
GROUP BY 1, 2
ORDER BY bot_hits DESC;

Crawl-Verluste über HTTP-Status und Parameter beziffern

Teilen Sie jeden Abruf in produktive kanonische 200er, Noindex-200er, Weiterleitungen (301/302), 404/410 sowie 5xx/429 ein. Verzeichnisse mit > 15 % Verlustanteil benötigen strukturelle Bereinigung.

  • Abgleich mit XML-Sitemaps zur Entdeckung gecrawlter Waisen-Seiten.
  • Origin-Latenz parallel beobachten: > 600 ms drosselt die Googlebot-Rate.
  • Mobile- und Desktop-Crawler getrennt auf Parität prüfen.

Wöchentliche SQL-Alerts für Entwicklung und SEO-Teams

Richten Sie automatische Wochenberichte ein, sobald Kernbereiche > 20 % Crawl-Frequenz verlieren oder Parameter-Pfade in die Top-10-Abrufe rutschen.

Log-Kohorte Zielwert Maßnahme
Indexierbare 200 OK > 75 % Bei Abfall interne Verlinkung & TTFB prüfen
301-/302-Ketten < 5 % Template-Links auf finale Ziel-URLs umstellen
5xx / 429 Fehler < 0,2 % Edge-Caching ausbauen & WAF prüfen

Soll Ihre aktuelle Indexierung direkt geprüft werden?

Senden Sie uns Ihre Domain – wir analysieren HTML-Parität, Log-Signale, Canonicals und Sitemap-Struktur innerhalb von 24 Stunden.