Cloudflare Logpush hacia BigQuery: alertas de rastreo y 5xx en tiempo real
Esperar 48 horas a que Search Console muestre caídas de rastreo cuesta posicionamiento. Transmitir logs de borde a BigQuery detecta errores 5xx y bloqueos en menos de una hora.
Dmitry K., Technical SEO Lead · SEO Space
Objetivos técnicos de referencia
- Latencia de ingesta
- < 5 min flujo edge en vivo
- Segmentación bot
- Googlebot / OAI / Bing verificados
- Umbral de alerta
- > 1.5% 5xx o -30% hits
Por qué Search Console no basta durante despliegues críticos
Search Console muestra promedios agregados con hasta 48 horas de retraso y no lista en vivo qué URLs sufren 502 o bloqueos WAF tras un despliegue.
Conectar Cloudflare Logpush a tablas particionadas en BigQuery ofrece observabilidad inmediata sobre el comportamiento real de rastreadores.
- Filtra los campos clave: URI, User-Agent, EdgeResponseStatus, OriginResponseDurationMs y BotScore.
- Particiona por día en EdgeStartTimestamp y agrupa por host y código de respuesta.
- Dispara alertas automáticas cuando la tasa 5xx para Googlebot supere el 1% en ventanas de 30 minutos.
Consulta SQL horaria de estado y latencia de bots
Compara cada hora la distribución de respuestas de bots contra la línea base de las dos últimas semanas.
SELECT
TIMESTAMP_TRUNC(EdgeStartTimestamp, HOUR) AS hour_bucket,
COUNTIF(EdgeResponseStatus BETWEEN 200 AND 299) AS ok_2xx,
COUNTIF(EdgeResponseStatus >= 500) AS err_5xx,
APPROX_QUANTILES(OriginResponseDurationMs, 100)[OFFSET(95)] AS p95_origin_ms
FROM `seo_logs.cloudflare_http_requests`
WHERE EdgeStartTimestamp >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 24 HOUR)
AND REGEXP_CONTAINS(ClientRequestUserAgent, r'Googlebot|Bingbot|OAI-SearchBot')
GROUP BY 1
ORDER BY 1 DESC; Matriz de umbrales operativos
Ajusta las alertas según el impacto real en indexación y presupuesto de rastreo.
| Anomalía en logs | Umbral | Acción inmediata |
|---|---|---|
| Errores 5xx a bots | > 1.5% en 15 min | Revisar autoscaling, bloqueos de base de datos y últimos deploys |
| Picos 403 / 429 | > 0.5% bots verificados | Revisar reglas WAF y límites de frecuencia |
| TTFB P95 elevado | > 800 ms sostenidos | Validar hit-ratio de caché HTML en CDN |
¿Quieres auditar la indexación real de tu dominio?
Envíanos tu URL y revisamos paridad HTML, logs, canónicas y arquitectura de sitemaps en 24 horas.