ИИ-поиск (GEO) Краткая заметка Обновлено 2026-11-16 3 мин robots.txt · TDMRep · Content-Usage · Лицензирование ИИ

Управление ИИ-краулингом: robots.txt, заголовки Content-Usage и правила доступа

Грамотные проекты разделяют индексаторы живых ИИ-цитат и парсеры обучения моделей через гибкие правила robots.txt и HTTP-заголовки.

Дмитрий К., Technical SEO Lead · SEO Space

Ориентиры корректной индексации

Разделение ботов
Поиск против обучения
HTTP-сигналы
Content-Signal / TDMRep
Синхронизация
Соответствие юридическим Terms

Отказ от бинарного выбора «разрешить всё» или «запретить всех»

Тотальная блокировка всех AI User-Agent в `robots.txt` лишает бренд живых ссылок в ChatGPT Search, Perplexity и Claude, не удаляя старые снимки обучения. А бесконтрольный парсинг закрытых исследований снижает коммерческую ценность баз данных.

Раздельное разрешение поисковых индексаторов (`OAI-SearchBot`, `PerplexityBot`, `Claude-SearchBot`) и ограничение массовых обучающих ботов (`GPTBot`, `CCBot`, `Google-Extended`) даёт точный контроль.

# Разрешаем индексаторам живых ответов со ссылками
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Ограничиваем загрузку проприетарных датасетов для обучения
User-agent: GPTBot
Disallow: /proprietary-datasets/

User-agent: Google-Extended
Disallow: /proprietary-datasets/

Согласование HTTP-заголовков на edge с публичными правилами

Единые машиночитаемые сигналы в `robots.txt`, заголовках `Content-Usage` и манифестах `.well-known/tdmrep.json` снимают юридическую двусмысленность.

Назначьте понятные уровни доступа для маркетинговых страниц, документации и платных баз данных.

Раздел сайта Поисковые боты (Google / OAI-Search) Боты обучения (GPTBot / CCBot)
Продукты, тарифы, решения Allow (полный SSR HTML) Allow или согласно брендовой политике
Публичные доки и статьи Allow (плюс /llms.txt) Allow для узнаваемости в экосистеме
Платные/закрытые базы данных Только открытое превью; база закрыта Disallow + заголовки TDM-резервирования
  • Не ставьте массовые метатеги `noai` на коммерческие лендинги, если не хотите исчезнуть из визуальных и текстовых сводок.
  • Раз в квартал сверяйте `robots.txt` со свежими списками официальных User-Agent поисковых и ИИ-платформ.
  • Убедитесь, что WAF CDN не отвечает скрытым `403` тем ботам, которым вы явно открыли доступ.

Нужно проверить индексацию вашего проекта?

Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.