Enterprise Crawl-Budget-Analyse: CDN-Logs direkt in BigQuery auswerten
Stichproben kleiner Log-Ausschnitte verbergen die größten Budget-Lecks. BigQuery SQL zeigt exakte Abrufanteile je Seitenvorlage.
Dmitry K., Technical SEO Lead · SEO Space
Technische Indexierungs-Benchmarks
- Log-Historie
- 90–180 Tage roh
- Bot-Prüfung
- ASN / rDNS verifiziert
- Anteil Umsatzseiten
- > 75 % aller Hits
Edge-Access-Logs verlustfrei und ohne Sampling streamen
Große Kataloge erzeugen Millionen wöchentlicher Bot-Abrufe, an denen Desktop-Analysetools scheitern. Durch Streaming von Cloudflare Logpush in partitionierte BigQuery-Tabellen lassen sich echte Crawler-Hits präzise mit Search-Console-Daten verknüpfen.
Filtern Sie konsequent nach Reverse-DNS und offiziellen ASN-Netzen, um gefälschte Scraper auszublenden.
SELECT
REGEXP_EXTRACT(ClientRequestURI, r'^(/[^/?]+)') AS root_dir,
EdgeResponseStatus AS status,
COUNT(*) AS bot_hits
FROM cdn_logs.verified_bots_daily
WHERE EdgeStartTimestamp >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 30 DAY)
GROUP BY 1, 2
ORDER BY bot_hits DESC; Crawl-Verluste über HTTP-Status und Parameter beziffern
Teilen Sie jeden Abruf in produktive kanonische 200er, Noindex-200er, Weiterleitungen (301/302), 404/410 sowie 5xx/429 ein. Verzeichnisse mit > 15 % Verlustanteil benötigen strukturelle Bereinigung.
- Abgleich mit XML-Sitemaps zur Entdeckung gecrawlter Waisen-Seiten.
- Origin-Latenz parallel beobachten: > 600 ms drosselt die Googlebot-Rate.
- Mobile- und Desktop-Crawler getrennt auf Parität prüfen.
Wöchentliche SQL-Alerts für Entwicklung und SEO-Teams
Richten Sie automatische Wochenberichte ein, sobald Kernbereiche > 20 % Crawl-Frequenz verlieren oder Parameter-Pfade in die Top-10-Abrufe rutschen.
| Log-Kohorte | Zielwert | Maßnahme |
|---|---|---|
| Indexierbare 200 OK | > 75 % | Bei Abfall interne Verlinkung & TTFB prüfen |
| 301-/302-Ketten | < 5 % | Template-Links auf finale Ziel-URLs umstellen |
| 5xx / 429 Fehler | < 0,2 % | Edge-Caching ausbauen & WAF prüfen |
Soll Ihre aktuelle Indexierung direkt geprüft werden?
Senden Sie uns Ihre Domain – wir analysieren HTML-Parität, Log-Signale, Canonicals und Sitemap-Struktur innerhalb von 24 Stunden.