Обход и логи Обновлено 2026-11-16 3 мин Cloudflare · Qrator · WAF

Настройка CDN и WAF: как перестать случайно блокировать поисковых и ИИ-ботов кодом 403

Одна строгая настройка защиты от парсеров на CDN способна за неделю обрушить органику, отдавая официальным краулерам JS-заглушку 403.

Дмитрий К., Technical SEO Lead · SEO Space

Ориентиры корректной индексации

Ложные 403 ботам
0% в логах WAF
Метод пропуска
ASN + rDNS проверка

Как защитные JS-капчи незаметно отрезают индексацию

При включении агрессивной фильтрации трафика CDN отправляет подозрительным клиентам страницу проверки браузера (Turnstile / JS Challenge). Ни лёгкие ИИ-парсеры, ни значительная часть поисковых обходчиков её не проходят.

Никогда не открывайте доступ только по строке User-Agent — скраперы легко её подделывают. Используйте встроенные категории Verified Bots (Cloudflare) или валидацию подсетей по ASN и обратному DNS.

Проверка событий безопасности по реальным агентам

Настройте регулярный отчёт по кодам ответа не-200 для верифицированных ботов поисковиков и ИИ-ассистентов.

# Выражение исключения WAF в Cloudflare
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot" and ip.src in $verified_openai_cidrs)

Верификация подлинности ботов без открытия дыр для скраперов

Правила пропуска по голому заголовку `User-Agent` мгновенно эксплуатируются агрессивными парсерами. Пропускайте обходчиков строго по принадлежности к официальным ASN-сетям и прямому/обратному DNS (`crawl-*.googlebot.com`, `yandex.ru`, `search.msn.com`).

После любых правок правил безопасности проверяйте в логах WAF процент 403/429 по Googlebot, YandexBot, OAI-SearchBot и PerplexityBot.

Группа ботов Метод проверки Политика на Edge
Googlebot / YandexBot / Bingbot rDNS + официальный ASN Обход JS-капчи и лимитов частоты
OAI-SearchBot / PerplexityBot Проверенные подсети CIDR Быстрая отдача SSR HTML < 400 мс
Поддельные парсеры Провал проверки ASN / rDNS Лимитирование или блокировка 403

Нужно проверить индексацию вашего проекта?

Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.