Markdown-зеркала и Accept: text/markdown: чистый контекст для ИИ-агентов
Очистка меню, SVG-иконок и скриптов гидратации в лаконичный Markdown сокращает объём токенов на 80% при полной сохранности HTML-каноникалов.
Дмитрий К., Technical SEO Lead · SEO Space
Ориентиры корректной индексации
- Заголовок
- Accept: text/markdown
- Экономия токенов
- На 70-85% меньше веса
- Защита индекса
- X-Robots-Tag: noindex на .md
Почему HTML-обвязка сжигает контекстное окно RAG
Обычная страница SaaS-документации весит 120 КБ HTML, где до 80% занимают мега-меню, инлайн-SVG, футер и стейт гидратации. При загрузке пяти источников в контекст агента лишний DOM вытесняет ключевые спецификации.
Отдача чистого Markdown через заголовок `Accept: text/markdown` (с обязательным `Vary: Accept`) или выделенные `.md`-эндпоинты в `llms.txt` даёт 100% фактов при минимальном расходе токенов.
export default {
async fetch(request) {
const accept = request.headers.get('Accept') || '';
if (accept.includes('text/markdown')) {
const mdUrl = new URL(request.url.replace(/\/$/, '') + '/index.md');
const res = await fetch(mdUrl);
return new Response(res.body, {
headers: { 'Content-Type': 'text/markdown; charset=utf-8', 'Vary': 'Accept', 'X-Robots-Tag': 'noindex' }
});
}
return fetch(request);
}
}; Защита от конкуренции .md-версий в органической выдаче
Markdown-файлы предназначены исключительно для ИИ-агентов и RAG-конвейеров — не позволяйте поисковым роботам индексировать `.md` вместо HTML.
- Отдавайте `X-Robots-Tag: noindex` и HTTP-заголовок `Link: <html-canonical-url>; rel="canonical"` на всех `.md`-маршрутах.
- Обязательно добавляйте `Vary: Accept` при согласовании контента на одном URL, чтобы CDN не отдал сырой Markdown браузеру.
- Генерируйте `.md`-зеркала из того же источника данных в CI, что и SSR HTML, исключая рассинхрон фактов.
Предохранители при внедрении Content Negotiation
Выберите оптимальный способ поставки чистого текста под вашу архитектуру.
| Подход | Безопасность кэша и SEO | Где применять |
|---|---|---|
| Отдельный /slug/index.md + llms.txt | Нет риска коллизии Vary; ставим X-Robots-Tag: noindex | Порталы документации и блоги |
| Согласование Accept: text/markdown | Требует Vary: Accept в ключе CDN | Единые канонические URL для агентов |
| Edge HTML->Markdown конвертер | Меньше ручной поддержки, средняя экономия | Устаревшие CMS без исходников Markdown |
Нужно проверить индексацию вашего проекта?
Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.