ИИ-поиск (GEO) Краткая заметка Обновлено 2026-11-16 3 мин OAI-SearchBot · PerplexityBot · Claude

Управление ИИ-ботами в robots.txt: разделение поискового цитирования и обучения моделей

Блокировка OAI-SearchBot вместе с обучающими скраперами лишает ваш сайт живых ссылок в рекомендациях ChatGPT Search.

Дмитрий К., Technical SEO Lead · SEO Space

Ориентиры корректной индексации

Боты ИИ-поиска
Allow: / для цитат
Обучение LLM
Гибкая политика отдельно

Раздельные директивы для поисковых RAG-ботов

Все ведущие ИИ-системы разделяют агентов живого поиска (OAI-SearchBot, PerplexityBot, Claude-SearchBot) и обходчиков для обучения. Держите поисковых агентов открытыми.

Слепая блокировка всех ИИ-ботов в `robots.txt` лишает бренд живых ссылок из ChatGPT Search и Perplexity, даже если владелец сайта хотел ограничить лишь массовый сбор датасетов для обучения моделей.

  • Разделяйте поисковых RAG-ботов (`OAI-SearchBot`, `PerplexityBot`) и краулеров предобучения (`GPTBot`, `CCBot`).
  • Подтверждайте подлинность ботов по официальным подсетям и ASN, а не по строке заголовка.
  • Контролируйте долю ошибок 403/429 и время ответа сервера для RAG-ботов по логам.
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

Гранулярная конфигурация robots.txt для цитат и обучения

Откройте поисковым ИИ-агентам доступ к коммерческим страницам, тарифам и экспертным статьям ради прямых ссылок в ответах, отдельно настроив правила для тренировочных парсеров.

Системы живого поиска сбрасывают ожидание уже через 1–2 секунды. Отдавайте быстрый кэшированный SSR HTML менее чем за 400 мс и следите в логах WAF за отсутствием скрытых 403.

# Разрешаем индексацию для живых ИИ-ответов со ссылками
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Отдельно регулируем сбор корпусов для обучения
User-agent: GPTBot
Disallow: /private-datasets/

Нужно проверить индексацию вашего проекта?

Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.