Обход и логи Обновлено 2026-11-16 3 мин Googlebot · Cloudflare Logpush · BigQuery

Cloudflare Logpush в BigQuery: алерты аномалий краулинга и 5xx в реальном времени

Графики статистики обхода в Search Console обновляются с задержкой на 1–2 дня и скрывают точные проблемные URL. Стриминг edge-логов в BigQuery позволяет ловить ошибки 5xx и блокировки ботов в течение часа.

Дмитрий К., Technical SEO Lead · SEO Space

Ориентиры корректной индексации

Задержка логов
< 5 минут после запроса на edge
Сегментация
Verified Googlebot / OAI / Яндекс / Bing
Порог алерта
>1.5% 5xx или -30% объёма хитов

Почему стандартной статистики Search Console недостаточно при релизах

Отчёты краулинга в Search Console и Вебмастере агрегируют данные задним числом: к моменту появления спада в консоли неправильное правило WAF или редиректа уже успевает выкинуть сотни коммерческих URL из индекса.

Настройка Cloudflare Logpush с прямой доставкой в партиционированные таблицы BigQuery превращает edge-логи в автоматическую систему раннего предупреждения.

  • Фильтруйте поля при инжесте: оставляйте URI, User-Agent, EdgeResponseStatus, OriginResponseDurationMs и BotScore.
  • Делайте дневные партиции по EdgeStartTimestamp и кластеризацию по хосту и статус-коду — это снижает стоимость SQL-запросов в десятки раз.
  • Настройте алерты в мессенджер при росте доли 5xx среди поисковых ботов выше 1% за скользящие 30 минут.

Почасовой SQL-мониторинг статусов и TTFB для поисковых ботов

Запускайте плановый запрос каждый час и сравнивайте отклик с базовой медианой за предыдущие 14 дней.

SELECT
  TIMESTAMP_TRUNC(EdgeStartTimestamp, HOUR) AS hour_bucket,
  COUNTIF(EdgeResponseStatus BETWEEN 200 AND 299) AS ok_2xx,
  COUNTIF(EdgeResponseStatus BETWEEN 300 AND 399) AS redir_3xx,
  COUNTIF(EdgeResponseStatus >= 500) AS err_5xx,
  APPROX_QUANTILES(OriginResponseDurationMs, 100)[OFFSET(95)] AS p95_origin_ms
FROM `seo_logs.cloudflare_http_requests`
WHERE EdgeStartTimestamp >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 24 HOUR)
  AND REGEXP_CONTAINS(ClientRequestUserAgent, r'Googlebot|YandexBot|OAI-SearchBot')
GROUP BY 1
ORDER BY 1 DESC;

Матрица порогов реагирования для SEO-команды

Разделяйте критические инфраструктурные инциденты и допустимые флуктуации обхода.

Аномалия в логах Порог срабатывания Первое действие
Ошибки 5xx по ботам > 1.5% за 15 минут Проверить автоскейлинг, пулы БД и последний релиз
Всплеск 403 / 429 > 0.5% по верифицированным IP Проверить правила WAF Bot Management и Rate Limit
Рост P95 TTFB > 800 мс дольше 30 минут Проверить hit-ratio HTML-кэша на CDN

Нужно проверить индексацию вашего проекта?

Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.