Анализ серверных логов ИИ-ботов: OAI-SearchBot, PerplexityBot и ClaudeBot
Сплошные правила WAF против ботов тихо режут запросы живых RAG-поисковиков (403/429) и лишают сайт цитат в ответах нейросетей.
Дмитрий К., Technical SEO Lead · SEO Space
Ориентиры корректной индексации
- Сегментация UA
- Поиск против обучения
- Проверка IP
- ASN / официальные списки
- Порог ошибок
- <1% 403/429 для поиск-ботов
Отделение живых RAG-фетчеров от массовых парсеров обучения
В серверных логах Nginx и CDN смешиваются три класса ИИ-трафика: боты предобучения (`GPTBot`, `CCBot`, `Google-Extended`), индексаторы живого поиска (`OAI-SearchBot`, `PerplexityBot`, `Claude-SearchBot`) и синхронные пользовательские фетчеры (`ChatGPT-User`, `Perplexity-User`).
Агрессивная защита WAF на пользовательских фетчерах выбивает ваш сайт из живых ИИ-ответов, даже если стандартные поисковые боты проходят без сбоев.
awk -F'"' '$6 ~ /(OAI-SearchBot|ChatGPT-User|PerplexityBot|Claude-SearchBot)/ {
print $2, $3, $6
}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -n 40 Поиск тихих WAF-блокировок и поддельных User-Agent
Сверяйте IP-адреса ботов с официальными JSON-списками OpenAI, Anthropic и Perplexity перед ослаблением лимитов на CDN.
- Настройте алерт при росте доли `403`, `429` или `5xx` свыше `1%` на верифицированных запросах `OAI-SearchBot` и `PerplexityBot`.
- Отдельно отслеживайте p95 TTFB для `ChatGPT-User` — медленный origin отваливается по таймауту во время генерации ответа.
- Сопоставляйте всплески обращений RAG-фетчеров к URL с ростом брендовых запросов и прямых конверсий.
Классификация ИИ-ботов и политика edge-доступа
Разметьте классы агентов в хранилище логов (ClickHouse/BigQuery) для прозрачной аналитики.
| Класс бота | Примеры User-Agent | Рекомендуемая политика Edge |
|---|---|---|
| Индексаторы живого поиска | OAI-SearchBot, PerplexityBot, Claude-SearchBot | Разрешить + быстрый CDN-кэш HTML |
| Синхронные фетчеры юзера | ChatGPT-User, Perplexity-User, Claude-User | Мгновенный пропуск без капчи (<300 мс) |
| Тренировочные краулеры | GPTBot, ClaudeBot, CCBot | Регулируется политикой лицензирования ИС |
Нужно проверить индексацию вашего проекта?
Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.