ИИ-поиск (GEO) Инженерный плейбук Обновлено 2026-11-16 3 мин OAI-SearchBot · GPTBot · PerplexityBot · ClaudeBot

Анализ серверных логов ИИ-ботов: OAI-SearchBot, PerplexityBot и ClaudeBot

Сплошные правила WAF против ботов тихо режут запросы живых RAG-поисковиков (403/429) и лишают сайт цитат в ответах нейросетей.

Дмитрий К., Technical SEO Lead · SEO Space

Ориентиры корректной индексации

Сегментация UA
Поиск против обучения
Проверка IP
ASN / официальные списки
Порог ошибок
<1% 403/429 для поиск-ботов

Отделение живых RAG-фетчеров от массовых парсеров обучения

В серверных логах Nginx и CDN смешиваются три класса ИИ-трафика: боты предобучения (`GPTBot`, `CCBot`, `Google-Extended`), индексаторы живого поиска (`OAI-SearchBot`, `PerplexityBot`, `Claude-SearchBot`) и синхронные пользовательские фетчеры (`ChatGPT-User`, `Perplexity-User`).

Агрессивная защита WAF на пользовательских фетчерах выбивает ваш сайт из живых ИИ-ответов, даже если стандартные поисковые боты проходят без сбоев.

awk -F'"' '$6 ~ /(OAI-SearchBot|ChatGPT-User|PerplexityBot|Claude-SearchBot)/ {
  print $2, $3, $6
}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -n 40

Поиск тихих WAF-блокировок и поддельных User-Agent

Сверяйте IP-адреса ботов с официальными JSON-списками OpenAI, Anthropic и Perplexity перед ослаблением лимитов на CDN.

  • Настройте алерт при росте доли `403`, `429` или `5xx` свыше `1%` на верифицированных запросах `OAI-SearchBot` и `PerplexityBot`.
  • Отдельно отслеживайте p95 TTFB для `ChatGPT-User` — медленный origin отваливается по таймауту во время генерации ответа.
  • Сопоставляйте всплески обращений RAG-фетчеров к URL с ростом брендовых запросов и прямых конверсий.

Классификация ИИ-ботов и политика edge-доступа

Разметьте классы агентов в хранилище логов (ClickHouse/BigQuery) для прозрачной аналитики.

Класс бота Примеры User-Agent Рекомендуемая политика Edge
Индексаторы живого поиска OAI-SearchBot, PerplexityBot, Claude-SearchBot Разрешить + быстрый CDN-кэш HTML
Синхронные фетчеры юзера ChatGPT-User, Perplexity-User, Claude-User Мгновенный пропуск без капчи (<300 мс)
Тренировочные краулеры GPTBot, ClaudeBot, CCBot Регулируется политикой лицензирования ИС

Нужно проверить индексацию вашего проекта?

Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.