WAF Bot Fight Mode и верификация IP краулеров: защита от парсеров без блокировки поиска
Жёсткие антибот-пресеты часто выдают JS-капчу легитимным краулерам, что обрушивает органический трафик за считанные дни. Двусторонняя DNS-верификация отсекает спуферов и гарантирует зелёный свет поиску.
Дмитрий К., Technical SEO Lead · SEO Space
Ориентиры корректной индексации
- Верификация
- Официальные CIDR + обратный PTR
- Отсев спуферов
- Блокировка фейковых UA на edge
- Безопасность SEO
- Обход JS-челленджей для белых IP
Чем опасны агрессивные пресеты антибот-защиты для индексации
При всплеске DDoS-атак или агрессивного парсинга служба безопасности часто включает Bot Fight Mode или строгий rate-limiting. Поскольку поисковые и AI-боты не проходят интерактивные капчи и Turnstile-проверки, страницы отдают 403, и индексация останавливается.
При этом простое правило пропуска по строке User-Agent открывает дыру: любой парсер может представиться Googlebot. Надёжное решение опирается на официальные IP-префиксы и прямую/обратную проверку DNS.
- Автоматически подтягивайте JSON-диапазоны Googlebot, Яндекс и Bingbot на уровень правил CDN/WAF.
- Блокируйте запросы с поисковым User-Agent, приходящие с IP вне верифицированных подсетей.
- Исключайте подтверждённых поисковых роботов из правил JS-challenge и жёсткого троттлинга.
Проверка подлинности бота через Forward-Confirmed Reverse DNS
Если на балансировщике нет готового списка верифицированных ботов, используйте кэшированную PTR-проверку.
# Верификация IP поискового робота
host_name=$(dig -x "$CLIENT_IP" +short | sed 's/\.$//')
if [[ "$host_name" == *.googlebot.com || "$host_name" == *.yandex.ru || "$host_name" == *.yandex.net ]]; then
resolved_ip=$(dig "$host_name" +short | head -n1)
[[ "$resolved_ip" == "$CLIENT_IP" ]] && echo "VERIFIED_SEARCH_BOT"
fi Политика доступа по категориям ботов
Согласуйте с безопасностью единую таблицу исключений перед релизом новых WAF-фильтров.
| Агент краулера | Источник верификации | Политика на WAF |
|---|---|---|
| Googlebot / InspectionTool | developers.google.com/.../googlebot.json | Безусловный bypass JS-проверок на белых CIDR |
| YandexBot / Mail.RU | Официальный PTR (.yandex.ru/.net/.com) | Bypass при подтверждённом обратном DNS |
| OAI-SearchBot / PerplexityBot | Опубликованные диапазоны IP | Разрешать поисковую индексацию, ограничивать всплески |
Безопасный белый список без отключения защиты от DDoS
Сверяйте подсети легитимных поисковых и ИИ-краулеров через Verified Bots на уровне edge-правил и ежемесячно проверяйте ответ сервера через cURL с заголовками ботов.
Нужно проверить индексацию вашего проекта?
Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.