Индексы БД и TTFB: как медленные SQL-запросы режут глубину обхода
При росте среднего ответа сервера выше 500 мс боты резко сокращают параллельность обхода — часто из-за неиндексированных выборок на глубоких страницах.
Дмитрий К., Technical SEO Lead · SEO Space
Ориентиры корректной индексации
- Origin p95 TTFB
- < 220 мс без кэша
- Глубокие страницы p99
- < 450 мс
Прямая связь задержек бэкенда и лимитов робота
Планировщики поисковых систем вычисляют допустимую частоту запросов к хосту по распределению времени ответа. Когда глубокая пагинация или фильтры запускают тяжёлое сканирование `OFFSET` в PostgreSQL, p95 TTFB улетает вверх.
Поскольку редкие карточки и глубокие фильтры часто отсутствуют в коротком кэше, боты первыми упираются в холодные SQL-запросы.
- Замените `OFFSET / LIMIT` на больших таблицах выборкой по курсору или ключевому индексу.
- Добавьте составные B-Tree индексы под частые фильтры `(category_id, status, published_at DESC)`.
- Удалите каскадные N+1 запросы ORM внутри циклов отрисовки карточек.
Предрасчёт счётчиков фасетов в Redis и материализованных таблицах
Живой `COUNT(*)` по каждому свойству сайдбара на каждый запрос тормозит SSR; перенесите счётчики в Redis или материализованные представления.
CREATE INDEX CONCURRENTLY idx_catalog_active_cat
ON catalog_items (category_id, stock_status, updated_at DESC)
WHERE is_indexable = true; Сверка графиков Вебмастера и APM-трейсов
Накладывайте график времени ответа из Search Console и Яндекс Вебмастера на APM-профиль SQL после каждого крупного релиза.
| Зона TTFB | Реакция поискового бота | Приоритет разработки |
|---|---|---|
| < 150 мс | Максимальная глубина и частота | Поддерживать Edge-кэш |
| 300–600 мс | Умеренное сжатие обхода глубоких URL | Убрать N+1 и добавить индексы |
| > 800 мс | Жёсткое обрезание лимитов и таймауты | Переписать SQL + включить stale-кэш |
Нужно проверить индексацию вашего проекта?
Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.