Обход и логи Технический аудит Обновлено 2026-11-16 3 мин WAF · Bot Management · Googlebot

WAF Bot Fight Mode и верификация IP краулеров: защита от парсеров без блокировки поиска

Жёсткие антибот-пресеты часто выдают JS-капчу легитимным краулерам, что обрушивает органический трафик за считанные дни. Двусторонняя DNS-верификация отсекает спуферов и гарантирует зелёный свет поиску.

Дмитрий К., Technical SEO Lead · SEO Space

Ориентиры корректной индексации

Верификация
Официальные CIDR + обратный PTR
Отсев спуферов
Блокировка фейковых UA на edge
Безопасность SEO
Обход JS-челленджей для белых IP

Чем опасны агрессивные пресеты антибот-защиты для индексации

При всплеске DDoS-атак или агрессивного парсинга служба безопасности часто включает Bot Fight Mode или строгий rate-limiting. Поскольку поисковые и AI-боты не проходят интерактивные капчи и Turnstile-проверки, страницы отдают 403, и индексация останавливается.

При этом простое правило пропуска по строке User-Agent открывает дыру: любой парсер может представиться Googlebot. Надёжное решение опирается на официальные IP-префиксы и прямую/обратную проверку DNS.

  • Автоматически подтягивайте JSON-диапазоны Googlebot, Яндекс и Bingbot на уровень правил CDN/WAF.
  • Блокируйте запросы с поисковым User-Agent, приходящие с IP вне верифицированных подсетей.
  • Исключайте подтверждённых поисковых роботов из правил JS-challenge и жёсткого троттлинга.

Проверка подлинности бота через Forward-Confirmed Reverse DNS

Если на балансировщике нет готового списка верифицированных ботов, используйте кэшированную PTR-проверку.

# Верификация IP поискового робота
host_name=$(dig -x "$CLIENT_IP" +short | sed 's/\.$//')
if [[ "$host_name" == *.googlebot.com || "$host_name" == *.yandex.ru || "$host_name" == *.yandex.net ]]; then
  resolved_ip=$(dig "$host_name" +short | head -n1)
  [[ "$resolved_ip" == "$CLIENT_IP" ]] && echo "VERIFIED_SEARCH_BOT"
fi

Политика доступа по категориям ботов

Согласуйте с безопасностью единую таблицу исключений перед релизом новых WAF-фильтров.

Агент краулера Источник верификации Политика на WAF
Googlebot / InspectionTool developers.google.com/.../googlebot.json Безусловный bypass JS-проверок на белых CIDR
YandexBot / Mail.RU Официальный PTR (.yandex.ru/.net/.com) Bypass при подтверждённом обратном DNS
OAI-SearchBot / PerplexityBot Опубликованные диапазоны IP Разрешать поисковую индексацию, ограничивать всплески

Безопасный белый список без отключения защиты от DDoS

Сверяйте подсети легитимных поисковых и ИИ-краулеров через Verified Bots на уровне edge-правил и ежемесячно проверяйте ответ сервера через cURL с заголовками ботов.

Нужно проверить индексацию вашего проекта?

Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.