Espejos Markdown y Cabecera Accept: Contexto Limpio para Agentes IA
Eliminar menús, iconos SVG y ruido de hidratación hacia Markdown reduce el consumo de tokens en un 80% manteniendo intactos los canónicos HTML.
Dmitry K., Technical SEO Lead · SEO Space
Objetivos técnicos de referencia
- Cabecera
- Accept: text/markdown
- Ahorro tokens
- 70-85% menos peso
- Seguridad índice
- X-Robots-Tag: noindex en .md
Por Qué el HTML Superfluo Desperdicia Ventanas de Contexto RAG
Una página típica de documentación SaaS envía 120 KB de HTML donde el 80% corresponde a barras laterales, iconos SVG, pies de página y JSON de hidratación. Cuando un agente lee cinco páginas competidoras, el ruido DOM recorta datos técnicos clave.
Entregar Markdown puro vía `Accept: text/markdown` (con `Vary: Accept`) o endpoints `.md` declarados en `llms.txt` maximiza la densidad factual con mínima carga.
export default {
async fetch(request) {
const accept = request.headers.get('Accept') || '';
if (accept.includes('text/markdown')) {
const mdUrl = new URL(request.url.replace(/\/$/, '') + '/index.md');
const res = await fetch(mdUrl);
return new Response(res.body, {
headers: { 'Content-Type': 'text/markdown; charset=utf-8', 'Vary': 'Accept', 'X-Robots-Tag': 'noindex' }
});
}
return fetch(request);
}
}; Evitar Que las Rutas Markdown Compitan en SERPs Orgánicas
Los archivos Markdown existen solo para consumo de agentes IA y pipelines RAG: nunca permitas que aparezcan junto al HTML en buscadores.
- Envía `X-Robots-Tag: noindex` y cabecera HTTP `Link: <html-canonical>; rel="canonical"` en toda ruta `.md`.
- Emite siempre `Vary: Accept` al negociar formatos en la misma URL para impedir envenenamiento de caché CDN.
- Compila los `.md` desde la misma fuente de verdad en CI que genera el HTML SSR.
Salvaguardas de Implementación de Negociación IA
Compara rutas `.md` dedicadas frente a negociación dinámica por cabecera en el edge.
| Enfoque | Seguridad Caché y SEO | Caso Ideal |
|---|---|---|
| Ruta /slug/index.md + llms.txt | Cero colisiones Vary; añadir X-Robots-Tag: noindex | Portales de documentación y blogs |
| Negociación Accept: text/markdown | Exige Vary: Accept en clave de caché CDN | URL canónica única para agentes |
| Conversor HTML->MD en Edge | Bajo mantenimiento, ahorro moderado | CMS heredados sin fuente Markdown |
¿Quieres auditar la indexación real de tu dominio?
Envíanos tu URL y revisamos paridad HTML, logs, canónicas y arquitectura de sitemaps en 24 horas.