ИИ-поиск (GEO) Обновлено 2026-11-16 3 мин LLM · Edge Workers · Content Negotiation

Markdown-зеркала и Accept: text/markdown: чистый контекст для ИИ-агентов

Очистка меню, SVG-иконок и скриптов гидратации в лаконичный Markdown сокращает объём токенов на 80% при полной сохранности HTML-каноникалов.

Дмитрий К., Technical SEO Lead · SEO Space

Ориентиры корректной индексации

Заголовок
Accept: text/markdown
Экономия токенов
На 70-85% меньше веса
Защита индекса
X-Robots-Tag: noindex на .md

Почему HTML-обвязка сжигает контекстное окно RAG

Обычная страница SaaS-документации весит 120 КБ HTML, где до 80% занимают мега-меню, инлайн-SVG, футер и стейт гидратации. При загрузке пяти источников в контекст агента лишний DOM вытесняет ключевые спецификации.

Отдача чистого Markdown через заголовок `Accept: text/markdown` (с обязательным `Vary: Accept`) или выделенные `.md`-эндпоинты в `llms.txt` даёт 100% фактов при минимальном расходе токенов.

export default {
  async fetch(request) {
    const accept = request.headers.get('Accept') || '';
    if (accept.includes('text/markdown')) {
      const mdUrl = new URL(request.url.replace(/\/$/, '') + '/index.md');
      const res = await fetch(mdUrl);
      return new Response(res.body, {
        headers: { 'Content-Type': 'text/markdown; charset=utf-8', 'Vary': 'Accept', 'X-Robots-Tag': 'noindex' }
      });
    }
    return fetch(request);
  }
};

Защита от конкуренции .md-версий в органической выдаче

Markdown-файлы предназначены исключительно для ИИ-агентов и RAG-конвейеров — не позволяйте поисковым роботам индексировать `.md` вместо HTML.

  • Отдавайте `X-Robots-Tag: noindex` и HTTP-заголовок `Link: <html-canonical-url>; rel="canonical"` на всех `.md`-маршрутах.
  • Обязательно добавляйте `Vary: Accept` при согласовании контента на одном URL, чтобы CDN не отдал сырой Markdown браузеру.
  • Генерируйте `.md`-зеркала из того же источника данных в CI, что и SSR HTML, исключая рассинхрон фактов.

Предохранители при внедрении Content Negotiation

Выберите оптимальный способ поставки чистого текста под вашу архитектуру.

Подход Безопасность кэша и SEO Где применять
Отдельный /slug/index.md + llms.txt Нет риска коллизии Vary; ставим X-Robots-Tag: noindex Порталы документации и блоги
Согласование Accept: text/markdown Требует Vary: Accept в ключе CDN Единые канонические URL для агентов
Edge HTML->Markdown конвертер Меньше ручной поддержки, средняя экономия Устаревшие CMS без исходников Markdown

Нужно проверить индексацию вашего проекта?

Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.