Análisis de Logs de Bots IA: OAI-SearchBot, PerplexityBot y ClaudeBot
Aplicar las mismas reglas WAF a todos los bots oculta bloqueos 403 contra buscadores IA en vivo e impide ver qué URLs impulsan consultas RAG.
Dmitry K., Technical SEO Lead · SEO Space
Objetivos técnicos de referencia
- División UA
- Búsqueda vs Entrenamiento
- Validación IP
- ASN / rangos oficiales
- Objetivo HTTP
- <1% 403/429 en bots de búsqueda
Separar Recuperadores RAG en Vivo de Scrapers Masivos
Los registros de CDN y Nginx mezclan tres categorías distintas de tráfico IA: rastreadores de preentrenamiento (`GPTBot`, `CCBot`, `Google-Extended`), indexadores de búsqueda en vivo (`OAI-SearchBot`, `PerplexityBot`, `Claude-SearchBot`) y fetchers iniciados por el usuario (`ChatGPT-User`, `Perplexity-User`).
Limitar o desafiar fetchers iniciados por usuarios con reglas agresivas de firewall elimina tu dominio de respuestas conversacionales en tiempo real.
awk -F'"' '$6 ~ /(OAI-SearchBot|ChatGPT-User|PerplexityBot|Claude-SearchBot)/ {
print $2, $3, $6
}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -n 40 Detectar Estrangulamiento Silencioso del WAF y Spoofing
Verifica las IPs de rastreadores frente a listas JSON oficiales de OpenAI, Anthropic y Perplexity antes de eximir límites en el edge.
- Genera alertas si `403`, `429` o `5xx` supera el `1%` en tráfico verificado de `OAI-SearchBot` o `PerplexityBot`.
- Mide latencia p95 separada para `ChatGPT-User`: orígenes lentos agotan el tiempo antes de completar la respuesta.
- Cruza picos de lectura RAG con incrementos de tráfico directo y búsquedas de marca.
Clasificación de Bots IA y Política Edge
Etiqueta cada User-Agent en BigQuery o ClickHouse para obtener métricas accionables.
| Clase de Crawler | Ejemplos User-Agent | Política Edge Recomendada |
|---|---|---|
| Indexadores Búsqueda Viva | OAI-SearchBot, PerplexityBot, Claude-SearchBot | Permitir + caché HTML rápido en CDN |
| Fetchers bajo Demanda | ChatGPT-User, Perplexity-User, Claude-User | Bypass sin desafíos (<300 ms) |
| Bots de Entrenamiento | GPTBot, ClaudeBot, CCBot | Según política corporativa de licencias |
¿Quieres auditar la indexación real de tu dominio?
Envíanos tu URL y revisamos paridad HTML, logs, canónicas y arquitectura de sitemaps en 24 horas.