Управление ИИ-краулингом: robots.txt, заголовки Content-Usage и правила доступа
Грамотные проекты разделяют индексаторы живых ИИ-цитат и парсеры обучения моделей через гибкие правила robots.txt и HTTP-заголовки.
Дмитрий К., Technical SEO Lead · SEO Space
Ориентиры корректной индексации
- Разделение ботов
- Поиск против обучения
- HTTP-сигналы
- Content-Signal / TDMRep
- Синхронизация
- Соответствие юридическим Terms
Отказ от бинарного выбора «разрешить всё» или «запретить всех»
Тотальная блокировка всех AI User-Agent в `robots.txt` лишает бренд живых ссылок в ChatGPT Search, Perplexity и Claude, не удаляя старые снимки обучения. А бесконтрольный парсинг закрытых исследований снижает коммерческую ценность баз данных.
Раздельное разрешение поисковых индексаторов (`OAI-SearchBot`, `PerplexityBot`, `Claude-SearchBot`) и ограничение массовых обучающих ботов (`GPTBot`, `CCBot`, `Google-Extended`) даёт точный контроль.
# Разрешаем индексаторам живых ответов со ссылками
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# Ограничиваем загрузку проприетарных датасетов для обучения
User-agent: GPTBot
Disallow: /proprietary-datasets/
User-agent: Google-Extended
Disallow: /proprietary-datasets/ Согласование HTTP-заголовков на edge с публичными правилами
Единые машиночитаемые сигналы в `robots.txt`, заголовках `Content-Usage` и манифестах `.well-known/tdmrep.json` снимают юридическую двусмысленность.
Назначьте понятные уровни доступа для маркетинговых страниц, документации и платных баз данных.
| Раздел сайта | Поисковые боты (Google / OAI-Search) | Боты обучения (GPTBot / CCBot) |
|---|---|---|
| Продукты, тарифы, решения | Allow (полный SSR HTML) | Allow или согласно брендовой политике |
| Публичные доки и статьи | Allow (плюс /llms.txt) | Allow для узнаваемости в экосистеме |
| Платные/закрытые базы данных | Только открытое превью; база закрыта | Disallow + заголовки TDM-резервирования |
- Не ставьте массовые метатеги `noai` на коммерческие лендинги, если не хотите исчезнуть из визуальных и текстовых сводок.
- Раз в квартал сверяйте `robots.txt` со свежими списками официальных User-Agent поисковых и ИИ-платформ.
- Убедитесь, что WAF CDN не отвечает скрытым `403` тем ботам, которым вы явно открыли доступ.
Нужно проверить индексацию вашего проекта?
Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.