Обход и логи Обновлено 2026-11-16 3 мин Googlebot · Яндекс · Postgres

Индексы БД и TTFB: как медленные SQL-запросы режут глубину обхода

При росте среднего ответа сервера выше 500 мс боты резко сокращают параллельность обхода — часто из-за неиндексированных выборок на глубоких страницах.

Дмитрий К., Technical SEO Lead · SEO Space

Ориентиры корректной индексации

Origin p95 TTFB
< 220 мс без кэша
Глубокие страницы p99
< 450 мс

Прямая связь задержек бэкенда и лимитов робота

Планировщики поисковых систем вычисляют допустимую частоту запросов к хосту по распределению времени ответа. Когда глубокая пагинация или фильтры запускают тяжёлое сканирование `OFFSET` в PostgreSQL, p95 TTFB улетает вверх.

Поскольку редкие карточки и глубокие фильтры часто отсутствуют в коротком кэше, боты первыми упираются в холодные SQL-запросы.

  • Замените `OFFSET / LIMIT` на больших таблицах выборкой по курсору или ключевому индексу.
  • Добавьте составные B-Tree индексы под частые фильтры `(category_id, status, published_at DESC)`.
  • Удалите каскадные N+1 запросы ORM внутри циклов отрисовки карточек.

Предрасчёт счётчиков фасетов в Redis и материализованных таблицах

Живой `COUNT(*)` по каждому свойству сайдбара на каждый запрос тормозит SSR; перенесите счётчики в Redis или материализованные представления.

CREATE INDEX CONCURRENTLY idx_catalog_active_cat
  ON catalog_items (category_id, stock_status, updated_at DESC)
  WHERE is_indexable = true;

Сверка графиков Вебмастера и APM-трейсов

Накладывайте график времени ответа из Search Console и Яндекс Вебмастера на APM-профиль SQL после каждого крупного релиза.

Зона TTFB Реакция поискового бота Приоритет разработки
< 150 мс Максимальная глубина и частота Поддерживать Edge-кэш
300–600 мс Умеренное сжатие обхода глубоких URL Убрать N+1 и добавить индексы
> 800 мс Жёсткое обрезание лимитов и таймауты Переписать SQL + включить stale-кэш

Нужно проверить индексацию вашего проекта?

Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.