Обход и логи Обновлено 2026-11-16 3 мин Googlebot · Bingbot · BigQuery

Сегментация краулингового бюджета в BigQuery: анализ сырых CDN-логов

Выборка пары мегабайт логов вручную скрывает реальную картину. Потоковая выгрузка в BigQuery SQL показывает долю обхода по каждому шаблону.

Дмитрий К., Technical SEO Lead · SEO Space

Ориентиры корректной индексации

Глубина логов
90–180 дней
Верификация ботов
ASN / обратный DNS
Доля целевых URL
> 75% всех хитов

Потоковый сбор логов Edge без потерь и сэмплирования

Крупные порталы и магазины генерируют миллионы запросов в неделю, на которых десктопные парсеры зависают задолго до выявления аномалий. Выгрузка Cloudflare Logpush или Nginx-логов в секционированные таблицы BigQuery позволяет в реальном времени сопоставлять хиты ботов с выгрузками Search Console и XML Sitemap.

Фильтруйте запросы строго по подтверждённому rDNS и официальным сетям ASN, чтобы замаскированные скраперы не искажали частоту обхода.

SELECT
  REGEXP_EXTRACT(ClientRequestURI, r'^(/[^/?]+)') AS root_dir,
  EdgeResponseStatus AS status,
  COUNT(*) AS bot_hits
FROM cdn_logs.verified_bots_daily
WHERE EdgeStartTimestamp >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 30 DAY)
GROUP BY 1, 2
ORDER BY bot_hits DESC;

Подсчёт потерь на редиректах, ошибках и мусорных параметрах

Разбейте заходы ботов на 5 когорт: полезные канонические 200 OK, дубли/noindex 200 OK, редиректы (301/302), ошибки 404/410 и сбои 5xx/429. Любой шаблон, забирающий свыше 15% бюджета на неиндексируемые адреса, требует правки роутинга.

  • Сверяйте таблицы логов с XML Sitemap для выявления сиротских URL.
  • Отслеживайте TTFB: скачки выше 600 мс автоматически замедляют обход ботами.
  • Разделяйте статистику мобильных и десктопных агентов.

Автоматические еженедельные алерты для команды разработки

Настройте еженедельную SQL-сводку, сигнализирующую о падении частоты заходов на коммерческие разделы более чем на 20% или выходе параметров в топ-10 по объёму краулинга.

Когорта в логах Здоровая доля Действие при отклонении
Канонические 200 OK > 75% Проверить внутреннюю перелинковку и TTFB
Цепочки 301 / 302 < 5% Обновить ссылки в меню и шаблонах на прямой URL
Ошибки 5xx / 429 < 0.2% Усилить Edge-кэш и ослабить лимиты WAF

Нужно проверить индексацию вашего проекта?

Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.