Cloudflare Logpush в BigQuery: алерты аномалий краулинга и 5xx в реальном времени
Графики статистики обхода в Search Console обновляются с задержкой на 1–2 дня и скрывают точные проблемные URL. Стриминг edge-логов в BigQuery позволяет ловить ошибки 5xx и блокировки ботов в течение часа.
Дмитрий К., Technical SEO Lead · SEO Space
Ориентиры корректной индексации
- Задержка логов
- < 5 минут после запроса на edge
- Сегментация
- Verified Googlebot / OAI / Яндекс / Bing
- Порог алерта
- >1.5% 5xx или -30% объёма хитов
Почему стандартной статистики Search Console недостаточно при релизах
Отчёты краулинга в Search Console и Вебмастере агрегируют данные задним числом: к моменту появления спада в консоли неправильное правило WAF или редиректа уже успевает выкинуть сотни коммерческих URL из индекса.
Настройка Cloudflare Logpush с прямой доставкой в партиционированные таблицы BigQuery превращает edge-логи в автоматическую систему раннего предупреждения.
- Фильтруйте поля при инжесте: оставляйте URI, User-Agent, EdgeResponseStatus, OriginResponseDurationMs и BotScore.
- Делайте дневные партиции по EdgeStartTimestamp и кластеризацию по хосту и статус-коду — это снижает стоимость SQL-запросов в десятки раз.
- Настройте алерты в мессенджер при росте доли 5xx среди поисковых ботов выше 1% за скользящие 30 минут.
Почасовой SQL-мониторинг статусов и TTFB для поисковых ботов
Запускайте плановый запрос каждый час и сравнивайте отклик с базовой медианой за предыдущие 14 дней.
SELECT
TIMESTAMP_TRUNC(EdgeStartTimestamp, HOUR) AS hour_bucket,
COUNTIF(EdgeResponseStatus BETWEEN 200 AND 299) AS ok_2xx,
COUNTIF(EdgeResponseStatus BETWEEN 300 AND 399) AS redir_3xx,
COUNTIF(EdgeResponseStatus >= 500) AS err_5xx,
APPROX_QUANTILES(OriginResponseDurationMs, 100)[OFFSET(95)] AS p95_origin_ms
FROM `seo_logs.cloudflare_http_requests`
WHERE EdgeStartTimestamp >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 24 HOUR)
AND REGEXP_CONTAINS(ClientRequestUserAgent, r'Googlebot|YandexBot|OAI-SearchBot')
GROUP BY 1
ORDER BY 1 DESC; Матрица порогов реагирования для SEO-команды
Разделяйте критические инфраструктурные инциденты и допустимые флуктуации обхода.
| Аномалия в логах | Порог срабатывания | Первое действие |
|---|---|---|
| Ошибки 5xx по ботам | > 1.5% за 15 минут | Проверить автоскейлинг, пулы БД и последний релиз |
| Всплеск 403 / 429 | > 0.5% по верифицированным IP | Проверить правила WAF Bot Management и Rate Limit |
| Рост P95 TTFB | > 800 мс дольше 30 минут | Проверить hit-ratio HTML-кэша на CDN |
Нужно проверить индексацию вашего проекта?
Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.