Обход и логи Обновлено 2026-11-16 3 мин Googlebot · YandexBot

Анализ серверных логов: реальное поведение Googlebot и YandexBot

Краулер показывает, куда робот мог бы зайти; сырые access-логи Nginx и Cloudflare показывают, на что поисковики тратят бюджет прямо сейчас.

Дмитрий К., Technical SEO Lead · SEO Space

1. Проверка подлинности ботов и отсев парсеров

До 35% запросов с User-Agent Googlebot или YandexBot исходят от скраперов. Перед подсчётом частоты сканирования обязательно проверяйте IP-адреса через обратный DNS или официальные списки подсетей.

Сырые логи обращений Nginx и CDN показывают реальную картину обхода в день релиза: всплески 5xx, бесконечные циклы редиректов и частоту заходов поисковых и ИИ-ботов за недели до отчётов вебмастера.

awk '$9 ~ /^(301|302|404|500|503)$/ && $12 ~ /Googlebot|YandexBot/ {print $7, $9}' access.log | sort | uniq -c | sort -nr | head -n 30

2. Сопоставление логов с Sitemap и денежными страницами

Объедините выгрузку логов с матрицей приоритетных страниц. Если боты ежедневно бьются в цепочки 301 или параметрические дубли, обновления цен и новых разделов попадают в индекс с недельной задержкой.

3. Ежедневные алерты по логам на всплески 5xx и падение краулинга

Настройте выгрузку логов Edge CDN или Nginx в аналитическое хранилище для отслеживания доли HTTP 200, задержки p95 для `Googlebot` и внезапных блокировок 403.

Аномалия в логах Вероятная причина Быстрое исправление
Рост 403 на ботов Жёсткое правило WAF / Cloudflare Allowlist подтверждённых ASN + rDNS
30%+ хитов на ?sort= / ?page= Открытые мусорные ссылки в DOM Disallow в robots.txt / перенос в JS
p95 ответа > 800мс Медленный SSR без кэша Включить Edge HTML-кэш / ISR
  • Проверяйте подлинность ботов по rDNS перед внесением в белые списки.
  • Вычищайте внутренние ссылки на URL со статусами 301/404, тратящие бюджет.
  • Сравнивайте активность Googlebot и OAI-SearchBot по ключевым разделам.

Нужно проверить индексацию вашего проекта?

Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.