Gobernanza de Bots IA en robots.txt: Separar Búsqueda de Entrenamiento
Bloquear por error a OAI-SearchBot oculta tus precios y marca dentro de las respuestas comerciales de ChatGPT Search.
Dmitry K., Technical SEO Lead · SEO Space
Objetivos técnicos de referencia
- Búsqueda IA
- Allow: / siempre
- Entrenamiento
- Decisión independiente
Diferenciar rastreadores de citación viva frente a entrenamiento
Permite explícitamente OAI-SearchBot, PerplexityBot y Claude-SearchBot en robots.txt para asegurar visibilidad en respuestas en tiempo real.
Bloquear indiscriminadamente a todos los bots de IA en `robots.txt` elimina citas con enlace directo en ChatGPT Search y Perplexity cuando solo se deseaba limitar el entrenamiento masivo.
- Distingue en `robots.txt` los bots de búsqueda en vivo (`OAI-SearchBot`, `PerplexityBot`) frente a los de entrenamiento (`GPTBot`, `CCBot`).
- Valida la identidad real de los rastreadores por ASN o rangos oficiales de IP.
- Monitoriza en registros del servidor bloqueos 403 y tiempos de respuesta para bots IA.
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Claude-SearchBot
Allow: / Plantilla robots.txt granular: permitir citas, regular entrenamiento
Permite el acceso limpio de rastreadores de respuesta en vivo a tus páginas de servicios, precios y guías mientras defines reglas separadas para rastreo de corpus de entrenamiento.
Los agentes de búsqueda conversacional agotan el tiempo de espera rápidamente por encima de 1–2 segundos. Sirve HTML en caché por debajo de 400 ms y revisa semanalmente los registros WAF.
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /private-datasets/ ¿Quieres auditar la indexación real de tu dominio?
Envíanos tu URL y revisamos paridad HTML, logs, canónicas y arquitectura de sitemaps en 24 horas.