Gobernanza de Rastreo IA: robots.txt, Señales Content-Usage y Licencias
Los editores modernos separan bots de citas en tiempo real de scrapers de entrenamiento mediante robots.txt granular y cabeceras HTTP explícitas.
Dmitry K., Technical SEO Lead · SEO Space
Objetivos técnicos de referencia
- Separación bots
- Búsqueda vs Entrenamiento
- Señal HTTP
- Content-Signal / TDMRep
- Alineación legal
- Términos + política técnica
Superar el Dilema Binario de "Permitir Todo" o "Bloquear Todo"
Bloquear por completo todos los User-Agent de IA en `robots.txt` sacrifica citas en vivo en ChatGPT Search, Perplexity y Claude sin borrar entrenamientos previos. Permitir extracción ilimitada de bases propietarias debilita acuerdos de licencia.
Separar indexadores de búsqueda viva (`OAI-SearchBot`, `PerplexityBot`, `Claude-SearchBot`) de bots masivos de entrenamiento (`GPTBot`, `CCBot`, `Google-Extended`) junto a cabeceras legibles otorga control preciso.
# Permitir citas en motores de búsqueda en vivo
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# Restringir ingesta masiva de datasets propietarios
User-agent: GPTBot
Disallow: /proprietary-datasets/
User-agent: Google-Extended
Disallow: /proprietary-datasets/ Alinear Cabeceras HTTP en Edge con Políticas Públicas
Estandarizar preferencias en `robots.txt`, cabeceras `Content-Usage` y `.well-known/tdmrep.json` elimina ambigüedades normativas.
Define niveles claros entre marketing público, documentación y repositorios licenciables.
| Sección del Sitio | Bots de Búsqueda (Google / OAI-Search) | Bots de Entrenamiento (GPTBot / CCBot) |
|---|---|---|
| Producto, Precios y Soluciones | Allow (HTML SSR íntegro) | Allow o según alcance de marca |
| Docs Públicas y Guías Técnicas | Allow (más /llms.txt) | Allow para adopción en ecosistema dev |
| Datasets Pagos / Propietarios | Vista previa pública; base restringida | Disallow + cabeceras reserva TDM |
- Evita etiquetas globales `noai` en páginas comerciales salvo que busques exclusión total de resúmenes.
- Revisa `robots.txt` cada trimestre frente a listados oficiales de nuevos rastreadores especializados.
- Comprueba que las reglas anti-bot del CDN no devuelvan `403` ocultos a bots permitidos.
¿Quieres auditar la indexación real de tu dominio?
Envíanos tu URL y revisamos paridad HTML, logs, canónicas y arquitectura de sitemaps en 24 horas.