Búsqueda IA (GEO) Nota de campo Actualizado 2026-11-16 3 min robots.txt · TDMRep · Content-Usage · Licencias IA

Gobernanza de Rastreo IA: robots.txt, Señales Content-Usage y Licencias

Los editores modernos separan bots de citas en tiempo real de scrapers de entrenamiento mediante robots.txt granular y cabeceras HTTP explícitas.

Dmitry K., Technical SEO Lead · SEO Space

Objetivos técnicos de referencia

Separación bots
Búsqueda vs Entrenamiento
Señal HTTP
Content-Signal / TDMRep
Alineación legal
Términos + política técnica

Superar el Dilema Binario de "Permitir Todo" o "Bloquear Todo"

Bloquear por completo todos los User-Agent de IA en `robots.txt` sacrifica citas en vivo en ChatGPT Search, Perplexity y Claude sin borrar entrenamientos previos. Permitir extracción ilimitada de bases propietarias debilita acuerdos de licencia.

Separar indexadores de búsqueda viva (`OAI-SearchBot`, `PerplexityBot`, `Claude-SearchBot`) de bots masivos de entrenamiento (`GPTBot`, `CCBot`, `Google-Extended`) junto a cabeceras legibles otorga control preciso.

# Permitir citas en motores de búsqueda en vivo
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Restringir ingesta masiva de datasets propietarios
User-agent: GPTBot
Disallow: /proprietary-datasets/

User-agent: Google-Extended
Disallow: /proprietary-datasets/

Alinear Cabeceras HTTP en Edge con Políticas Públicas

Estandarizar preferencias en `robots.txt`, cabeceras `Content-Usage` y `.well-known/tdmrep.json` elimina ambigüedades normativas.

Define niveles claros entre marketing público, documentación y repositorios licenciables.

Sección del Sitio Bots de Búsqueda (Google / OAI-Search) Bots de Entrenamiento (GPTBot / CCBot)
Producto, Precios y Soluciones Allow (HTML SSR íntegro) Allow o según alcance de marca
Docs Públicas y Guías Técnicas Allow (más /llms.txt) Allow para adopción en ecosistema dev
Datasets Pagos / Propietarios Vista previa pública; base restringida Disallow + cabeceras reserva TDM
  • Evita etiquetas globales `noai` en páginas comerciales salvo que busques exclusión total de resúmenes.
  • Revisa `robots.txt` cada trimestre frente a listados oficiales de nuevos rastreadores especializados.
  • Comprueba que las reglas anti-bot del CDN no devuelvan `403` ocultos a bots permitidos.

¿Quieres auditar la indexación real de tu dominio?

Envíanos tu URL y revisamos paridad HTML, logs, canónicas y arquitectura de sitemaps en 24 horas.