Rastreo y Logs Actualizado 2026-11-16 3 min Googlebot · Cloudflare Logpush · BigQuery

Cloudflare Logpush hacia BigQuery: alertas de rastreo y 5xx en tiempo real

Esperar 48 horas a que Search Console muestre caídas de rastreo cuesta posicionamiento. Transmitir logs de borde a BigQuery detecta errores 5xx y bloqueos en menos de una hora.

Dmitry K., Technical SEO Lead · SEO Space

Objetivos técnicos de referencia

Latencia de ingesta
< 5 min flujo edge en vivo
Segmentación bot
Googlebot / OAI / Bing verificados
Umbral de alerta
> 1.5% 5xx o -30% hits

Por qué Search Console no basta durante despliegues críticos

Search Console muestra promedios agregados con hasta 48 horas de retraso y no lista en vivo qué URLs sufren 502 o bloqueos WAF tras un despliegue.

Conectar Cloudflare Logpush a tablas particionadas en BigQuery ofrece observabilidad inmediata sobre el comportamiento real de rastreadores.

  • Filtra los campos clave: URI, User-Agent, EdgeResponseStatus, OriginResponseDurationMs y BotScore.
  • Particiona por día en EdgeStartTimestamp y agrupa por host y código de respuesta.
  • Dispara alertas automáticas cuando la tasa 5xx para Googlebot supere el 1% en ventanas de 30 minutos.

Consulta SQL horaria de estado y latencia de bots

Compara cada hora la distribución de respuestas de bots contra la línea base de las dos últimas semanas.

SELECT
  TIMESTAMP_TRUNC(EdgeStartTimestamp, HOUR) AS hour_bucket,
  COUNTIF(EdgeResponseStatus BETWEEN 200 AND 299) AS ok_2xx,
  COUNTIF(EdgeResponseStatus >= 500) AS err_5xx,
  APPROX_QUANTILES(OriginResponseDurationMs, 100)[OFFSET(95)] AS p95_origin_ms
FROM `seo_logs.cloudflare_http_requests`
WHERE EdgeStartTimestamp >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 24 HOUR)
  AND REGEXP_CONTAINS(ClientRequestUserAgent, r'Googlebot|Bingbot|OAI-SearchBot')
GROUP BY 1
ORDER BY 1 DESC;

Matriz de umbrales operativos

Ajusta las alertas según el impacto real en indexación y presupuesto de rastreo.

Anomalía en logs Umbral Acción inmediata
Errores 5xx a bots > 1.5% en 15 min Revisar autoscaling, bloqueos de base de datos y últimos deploys
Picos 403 / 429 > 0.5% bots verificados Revisar reglas WAF y límites de frecuencia
TTFB P95 elevado > 800 ms sostenidos Validar hit-ratio de caché HTML en CDN

¿Quieres auditar la indexación real de tu dominio?

Envíanos tu URL y revisamos paridad HTML, logs, canónicas y arquitectura de sitemaps en 24 horas.