Управление ИИ-ботами в robots.txt: разделение поискового цитирования и обучения моделей
Блокировка OAI-SearchBot вместе с обучающими скраперами лишает ваш сайт живых ссылок в рекомендациях ChatGPT Search.
Дмитрий К., Technical SEO Lead · SEO Space
Ориентиры корректной индексации
- Боты ИИ-поиска
- Allow: / для цитат
- Обучение LLM
- Гибкая политика отдельно
Раздельные директивы для поисковых RAG-ботов
Все ведущие ИИ-системы разделяют агентов живого поиска (OAI-SearchBot, PerplexityBot, Claude-SearchBot) и обходчиков для обучения. Держите поисковых агентов открытыми.
Слепая блокировка всех ИИ-ботов в `robots.txt` лишает бренд живых ссылок из ChatGPT Search и Perplexity, даже если владелец сайта хотел ограничить лишь массовый сбор датасетов для обучения моделей.
- Разделяйте поисковых RAG-ботов (`OAI-SearchBot`, `PerplexityBot`) и краулеров предобучения (`GPTBot`, `CCBot`).
- Подтверждайте подлинность ботов по официальным подсетям и ASN, а не по строке заголовка.
- Контролируйте долю ошибок 403/429 и время ответа сервера для RAG-ботов по логам.
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Claude-SearchBot
Allow: / Гранулярная конфигурация robots.txt для цитат и обучения
Откройте поисковым ИИ-агентам доступ к коммерческим страницам, тарифам и экспертным статьям ради прямых ссылок в ответах, отдельно настроив правила для тренировочных парсеров.
Системы живого поиска сбрасывают ожидание уже через 1–2 секунды. Отдавайте быстрый кэшированный SSR HTML менее чем за 400 мс и следите в логах WAF за отсутствием скрытых 403.
# Разрешаем индексацию для живых ИИ-ответов со ссылками
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# Отдельно регулируем сбор корпусов для обучения
User-agent: GPTBot
Disallow: /private-datasets/ Нужно проверить индексацию вашего проекта?
Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.