Análisis de Logs de Servidor: Auditoría Real de Rastreo de Googlebot
Un crawler simula una visita teórica; los logs brutos de Nginx o Cloudflare revelan exactamente dónde invierten recursos los motores de búsqueda.
Dmitry K., Technical SEO Lead · SEO Space
1. Verificación DNS inversa y detección de desperdicio
Valida siempre las IP de Googlebot para aislar scrapers falsos y cruza los endpoints con errores 301/404 frente a tu sitemap prioritario.
Los registros de acceso del servidor muestran el comportamiento real de Googlebot y los crawlers IA en tiempo real, revelando errores 5xx, bucles de parámetros y zonas ignoradas mucho antes de que Search Console actualice informes.
awk '$9 ~ /^(301|302|404|500|503)$/ && $12 ~ /Googlebot|Bingbot|OAI-SearchBot/ {print $7, $9}' access.log | sort | uniq -c | sort -nr | head -n 30 2. Cruce de logs reales con XML Sitemap y URLs de ingresos
Compara las hits reales por ruta frente a tu inventario prioritario para detectar páginas comerciales huérfanas sin rastreo semanal y puntos finales con parámetros que acaparan miles de peticiones inútiles.
- Separa tráfico genuino de bots mediante DNS inverso y listas ASN.
- Agrupa hits por códigos HTTP (200, 301, 404, 403, 5xx) y tipo de plantilla.
- Prioriza correcciones donde el desperdicio de presupuesto supere el 15%.
3. Alertas automáticas diarias de errores 5xx y caídas de rastreo
Envía logs Edge a BigQuery o resúmenes diarios para vigilar tasa HTTP 200, latencia p95 de Googlebot y bloqueos 403.
| Anomalía en logs | Causa probable | Acción |
|---|---|---|
| Subida de 403 en bots | Regla estricta en WAF/Cloudflare | Whitelist por ASN + rDNS |
| 30%+ hits en ?sort=/ ?page= | Enlaces con parámetros abiertos | Bloqueo robots.txt o estado JS |
| Latencia p95 > 800ms | SSR sin caché en origen | Caché HTML Edge / ISR |
- Valida bots vía rDNS antes de permitir acceso.
- Limpia enlaces internos a URLs 301/404 con alto consumo.
- Compara visitas de Googlebot vs. OAI-SearchBot mensualmente.
¿Quieres auditar la indexación real de tu dominio?
Envíanos tu URL y revisamos paridad HTML, logs, canónicas y arquitectura de sitemaps en 24 horas.