Búsqueda IA (GEO) Guía técnica Actualizado 2026-11-16 3 min OAI-SearchBot · GPTBot · PerplexityBot · ClaudeBot

Análisis de Logs de Bots IA: OAI-SearchBot, PerplexityBot y ClaudeBot

Aplicar las mismas reglas WAF a todos los bots oculta bloqueos 403 contra buscadores IA en vivo e impide ver qué URLs impulsan consultas RAG.

Dmitry K., Technical SEO Lead · SEO Space

Objetivos técnicos de referencia

División UA
Búsqueda vs Entrenamiento
Validación IP
ASN / rangos oficiales
Objetivo HTTP
<1% 403/429 en bots de búsqueda

Separar Recuperadores RAG en Vivo de Scrapers Masivos

Los registros de CDN y Nginx mezclan tres categorías distintas de tráfico IA: rastreadores de preentrenamiento (`GPTBot`, `CCBot`, `Google-Extended`), indexadores de búsqueda en vivo (`OAI-SearchBot`, `PerplexityBot`, `Claude-SearchBot`) y fetchers iniciados por el usuario (`ChatGPT-User`, `Perplexity-User`).

Limitar o desafiar fetchers iniciados por usuarios con reglas agresivas de firewall elimina tu dominio de respuestas conversacionales en tiempo real.

awk -F'"' '$6 ~ /(OAI-SearchBot|ChatGPT-User|PerplexityBot|Claude-SearchBot)/ {
  print $2, $3, $6
}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -n 40

Detectar Estrangulamiento Silencioso del WAF y Spoofing

Verifica las IPs de rastreadores frente a listas JSON oficiales de OpenAI, Anthropic y Perplexity antes de eximir límites en el edge.

  • Genera alertas si `403`, `429` o `5xx` supera el `1%` en tráfico verificado de `OAI-SearchBot` o `PerplexityBot`.
  • Mide latencia p95 separada para `ChatGPT-User`: orígenes lentos agotan el tiempo antes de completar la respuesta.
  • Cruza picos de lectura RAG con incrementos de tráfico directo y búsquedas de marca.

Clasificación de Bots IA y Política Edge

Etiqueta cada User-Agent en BigQuery o ClickHouse para obtener métricas accionables.

Clase de Crawler Ejemplos User-Agent Política Edge Recomendada
Indexadores Búsqueda Viva OAI-SearchBot, PerplexityBot, Claude-SearchBot Permitir + caché HTML rápido en CDN
Fetchers bajo Demanda ChatGPT-User, Perplexity-User, Claude-User Bypass sin desafíos (<300 ms)
Bots de Entrenamiento GPTBot, ClaudeBot, CCBot Según política corporativa de licencias

¿Quieres auditar la indexación real de tu dominio?

Envíanos tu URL y revisamos paridad HTML, logs, canónicas y arquitectura de sitemaps en 24 horas.