Настройка CDN и WAF: как перестать случайно блокировать поисковых и ИИ-ботов кодом 403
Одна строгая настройка защиты от парсеров на CDN способна за неделю обрушить органику, отдавая официальным краулерам JS-заглушку 403.
Дмитрий К., Technical SEO Lead · SEO Space
Ориентиры корректной индексации
- Ложные 403 ботам
- 0% в логах WAF
- Метод пропуска
- ASN + rDNS проверка
Как защитные JS-капчи незаметно отрезают индексацию
При включении агрессивной фильтрации трафика CDN отправляет подозрительным клиентам страницу проверки браузера (Turnstile / JS Challenge). Ни лёгкие ИИ-парсеры, ни значительная часть поисковых обходчиков её не проходят.
Никогда не открывайте доступ только по строке User-Agent — скраперы легко её подделывают. Используйте встроенные категории Verified Bots (Cloudflare) или валидацию подсетей по ASN и обратному DNS.
Проверка событий безопасности по реальным агентам
Настройте регулярный отчёт по кодам ответа не-200 для верифицированных ботов поисковиков и ИИ-ассистентов.
# Выражение исключения WAF в Cloudflare
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot" and ip.src in $verified_openai_cidrs) Верификация подлинности ботов без открытия дыр для скраперов
Правила пропуска по голому заголовку `User-Agent` мгновенно эксплуатируются агрессивными парсерами. Пропускайте обходчиков строго по принадлежности к официальным ASN-сетям и прямому/обратному DNS (`crawl-*.googlebot.com`, `yandex.ru`, `search.msn.com`).
После любых правок правил безопасности проверяйте в логах WAF процент 403/429 по Googlebot, YandexBot, OAI-SearchBot и PerplexityBot.
| Группа ботов | Метод проверки | Политика на Edge |
|---|---|---|
| Googlebot / YandexBot / Bingbot | rDNS + официальный ASN | Обход JS-капчи и лимитов частоты |
| OAI-SearchBot / PerplexityBot | Проверенные подсети CIDR | Быстрая отдача SSR HTML < 400 мс |
| Поддельные парсеры | Провал проверки ASN / rDNS | Лимитирование или блокировка 403 |
Нужно проверить индексацию вашего проекта?
Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.