Сегментация краулингового бюджета в BigQuery: анализ сырых CDN-логов
Выборка пары мегабайт логов вручную скрывает реальную картину. Потоковая выгрузка в BigQuery SQL показывает долю обхода по каждому шаблону.
Дмитрий К., Technical SEO Lead · SEO Space
Ориентиры корректной индексации
- Глубина логов
- 90–180 дней
- Верификация ботов
- ASN / обратный DNS
- Доля целевых URL
- > 75% всех хитов
Потоковый сбор логов Edge без потерь и сэмплирования
Крупные порталы и магазины генерируют миллионы запросов в неделю, на которых десктопные парсеры зависают задолго до выявления аномалий. Выгрузка Cloudflare Logpush или Nginx-логов в секционированные таблицы BigQuery позволяет в реальном времени сопоставлять хиты ботов с выгрузками Search Console и XML Sitemap.
Фильтруйте запросы строго по подтверждённому rDNS и официальным сетям ASN, чтобы замаскированные скраперы не искажали частоту обхода.
SELECT
REGEXP_EXTRACT(ClientRequestURI, r'^(/[^/?]+)') AS root_dir,
EdgeResponseStatus AS status,
COUNT(*) AS bot_hits
FROM cdn_logs.verified_bots_daily
WHERE EdgeStartTimestamp >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 30 DAY)
GROUP BY 1, 2
ORDER BY bot_hits DESC; Подсчёт потерь на редиректах, ошибках и мусорных параметрах
Разбейте заходы ботов на 5 когорт: полезные канонические 200 OK, дубли/noindex 200 OK, редиректы (301/302), ошибки 404/410 и сбои 5xx/429. Любой шаблон, забирающий свыше 15% бюджета на неиндексируемые адреса, требует правки роутинга.
- Сверяйте таблицы логов с XML Sitemap для выявления сиротских URL.
- Отслеживайте TTFB: скачки выше 600 мс автоматически замедляют обход ботами.
- Разделяйте статистику мобильных и десктопных агентов.
Автоматические еженедельные алерты для команды разработки
Настройте еженедельную SQL-сводку, сигнализирующую о падении частоты заходов на коммерческие разделы более чем на 20% или выходе параметров в топ-10 по объёму краулинга.
| Когорта в логах | Здоровая доля | Действие при отклонении |
|---|---|---|
| Канонические 200 OK | > 75% | Проверить внутреннюю перелинковку и TTFB |
| Цепочки 301 / 302 | < 5% | Обновить ссылки в меню и шаблонах на прямой URL |
| Ошибки 5xx / 429 | < 0.2% | Усилить Edge-кэш и ослабить лимиты WAF |
Нужно проверить индексацию вашего проекта?
Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.