Обход и логи Краткая заметка Обновлено 2026-11-16 3 мин Googlebot · Bingbot · WAF

Ошибки HTTP 429 и перегрузка хоста: настройка лимитов без просадки индекса

Жёсткие лимиты запросов с одного IP принимают всплески обхода Googlebot за атаку и блокируют индексацию новых товаров кодом 429.

Дмитрий К., Technical SEO Lead · SEO Space

Ориентиры корректной индексации

Доля 429 у ботов
< 0.1%
Заголовок повтора
Retry-After (сек)

Почему типовые лимиты на IP тормозят поисковую индексацию

Многие API-шлюзы ограничивают частоту на уровне 60–100 запросов в минуту с подсети. Когда поисковый бот массово переобходит свежий раздел каталога, он мгновенно упирается в потолок и получает HTTP 429 Too Many Requests.

Официальные боты воспринимают 429/503 как сигнал деградации сервера и снижают скорость обхода всего домена на несколько дней.

  • Кэшируйте HTML публичных страниц на уровне Edge CDN, разгружая базу данных.
  • Исключайте верифицированных ботов из стандартных счётчиков rate-limit по ASN/rDNS.
  • Отдавайте `Retry-After` с точным числом секунд только при реальном пике нагрузки.

Мониторинг доступности хоста в отчёте «Статистика сканирования»

Еженедельно проверяйте раздел «Статус хоста» в Search Console на предмет сбоев DNS, таймаутов соединения и недоступности `robots.txt`.

Сигнал сервера Реакция краулера Инженерное решение
Частые HTTP 429 на HTML Резко режет параллельные потоки Включить Edge-кэш + белый список по ASN
503 + Retry-After Пауза до указанного времени Использовать только при техработах
Спонтанные 502 / 504 Падение воркеров сервера Масштабировать SSR и прогревать кэш

Точечная защита тяжёлых динамических эндпоинтов

При перегрузке применяйте лимитирование 429 исключительно к некэшируемому внутреннему поиску, не затрагивая канонические страницы категорий и статей.

HTTP/2 429 Too Many Requests
Retry-After: 120
Cache-Control: no-store

Нужно проверить индексацию вашего проекта?

Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.