Ошибки HTTP 429 и перегрузка хоста: настройка лимитов без просадки индекса
Жёсткие лимиты запросов с одного IP принимают всплески обхода Googlebot за атаку и блокируют индексацию новых товаров кодом 429.
Дмитрий К., Technical SEO Lead · SEO Space
Ориентиры корректной индексации
- Доля 429 у ботов
- < 0.1%
- Заголовок повтора
- Retry-After (сек)
Почему типовые лимиты на IP тормозят поисковую индексацию
Многие API-шлюзы ограничивают частоту на уровне 60–100 запросов в минуту с подсети. Когда поисковый бот массово переобходит свежий раздел каталога, он мгновенно упирается в потолок и получает HTTP 429 Too Many Requests.
Официальные боты воспринимают 429/503 как сигнал деградации сервера и снижают скорость обхода всего домена на несколько дней.
- Кэшируйте HTML публичных страниц на уровне Edge CDN, разгружая базу данных.
- Исключайте верифицированных ботов из стандартных счётчиков rate-limit по ASN/rDNS.
- Отдавайте `Retry-After` с точным числом секунд только при реальном пике нагрузки.
Мониторинг доступности хоста в отчёте «Статистика сканирования»
Еженедельно проверяйте раздел «Статус хоста» в Search Console на предмет сбоев DNS, таймаутов соединения и недоступности `robots.txt`.
| Сигнал сервера | Реакция краулера | Инженерное решение |
|---|---|---|
| Частые HTTP 429 на HTML | Резко режет параллельные потоки | Включить Edge-кэш + белый список по ASN |
| 503 + Retry-After | Пауза до указанного времени | Использовать только при техработах |
| Спонтанные 502 / 504 | Падение воркеров сервера | Масштабировать SSR и прогревать кэш |
Точечная защита тяжёлых динамических эндпоинтов
При перегрузке применяйте лимитирование 429 исключительно к некэшируемому внутреннему поиску, не затрагивая канонические страницы категорий и статей.
HTTP/2 429 Too Many Requests
Retry-After: 120
Cache-Control: no-store Нужно проверить индексацию вашего проекта?
Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.