Краулинговый бюджет, логи сервера и IndexNow: как ускорить индексацию в Яндексе и Google
Почему поисковые боты тратят до 60% обхода на сортировки и 301-цепочки, и как связка логов, Clean-param и IndexNow возвращает страницы в ТОП.
Дмитрий К., Technical SEO Lead · SEO Space
Ориентиры корректной индексации
- Доля ответов 200 OK
- > 92% хитов ботов
- Редиректы в Sitemap
- 0 цепочек
- Дробление Sitemap
- < 10 тыс. URL / файл
- Пинг IndexNow
- < 5 сек после релиза
Почему падает частота обхода до просадки позиций
Поисковые системы не обходят все страницы сайта с одинаковым приоритетом. И Googlebot, и Yandexbot выделяют хосту ресурс обхода исходя из скорости ответа сервера (TTFB), доли ошибок 4xx/5xx и предсказуемости URL. Если сайт генерирует тысячи комбинаций сортировки, бесконечные параметры ?yclid=/?utm_ или внутренние ссылки через цепочки 301, бот тратит лимит впустую и неделями не доходит до обновлённых карточек услуг.
Отчёты Search Console и Яндекс Вебмастера фиксируют проблему с задержкой. Только сырые access-логи сервера показывают точное количество обращений ботов к каждой директории и реальную долю мусорных хитов.
Большинство команд замечают проблемы с индексацией с опозданием на 4–6 недель: падают заявки с коммерческих разделов, начинаются споры про заголовки и тексты, и только потом выясняется, что роботы Яндекса и Google тратят до 75% суточного обхода на параметры сортировки и старые цепочки редиректов.
Сырые access-логи Nginx или CDN показывают реальную картину в момент запроса: точный статус ответа, время генерации страницы на сервере, объём переданного HTML и реальный User-Agent каждого краулера.
Частая ошибка диагностики
Быстрая работа сайта в браузере пользователя через Service Worker или локальный кэш не гарантирует быстрый ответ для роботов: краулеры заходят на «холодный» HTML и резко снижают частоту обхода при росте серверного отклика выше 500–600 мс.
- Сегментируйте хиты Googlebot и Yandexbot по кодам ответа (200, 301, 404, 410, 5xx) за 14–30 дней.
- Сверяйте лог-файл со структурой меню: выявляйте сиротские URL, которые есть в поиске, но потеряли внутренние ссылки.
- Удаляйте внутренние ссылки на редиректы и битые документы прямо в шаблонах CMS/фреймворка.
Robots.txt, Clean-param для Яндекса и сегментация Sitemap
Один общий sitemap.xml скрывает проблемы конкретных разделов. Разделяйте карты сайта по типам страниц (услуги, категории, статьи журнала) и передавайте реальный lastmod только при изменении контента или цен.
Любой Disallow в robots.txt нужно синхронизировать с жизненным циклом индекса: закрыть уже проиндексированные дубли в robots.txt раньше, чем бот считает X-Robots-Tag noindex — значит законсервировать мусор в выдаче.
User-agent: Googlebot
Allow: /
Disallow: /search
Disallow: /*?sort=
User-agent: Yandex
Allow: /
Clean-param: utm_source&utm_medium&utm_campaign&yclid&gclid /
Sitemap: https://domain.online/sitemap-core.xml
Sitemap: https://domain.online/sitemap-blog.xml Мгновенная переиндексация через IndexNow
Для Яндекса и Bing публикация новой статьи или правка коммерческого лендинга должна автоматически отправлять запрос в IndexNow сразу при сборке или публикации. В паре с корректными заголовками Last-Modified это сокращает время попадания изменений в индекс с недель до часов.
Фильтрация поддельных ботов по IP и PTR-записям
Парсеры и скрейперы постоянно подставляют заголовки Googlebot и YandexBot. Анализ сырых логов без проверки подсетей искажает статистику и маскирует реальную нехватку краулинга приоритетных страниц.
Сверяйте IP-адреса в логах с официальными списками подсетей Google (`googlebot.json`), Яндекса и краулеров ИИ (OpenAI, Perplexity) перед построением дашбордов.
- Разделяйте `Googlebot Smartphone`, `Google-InspectionTool` и `YandexBot` по отдельным срезам.
- Отдельно отслеживайте скрытые ответы HTTP 429 (лимитирование скорости) и таймауты 5xx.
Последовательность чистки за 14 дней без провала позиций
Нельзя одновременно менять карту редиректов, закрывать разделы в robots.txt и пересобирать sitemap за один релиз. Безопасный порядок выглядит так:
- Снимите срез логов за 7 дней с разбивкой по шаблонам URL (/catalog/, /product/, /filter/, /blog/).
- Уберите из HTML-шаблонов ссылки с параметрами сортировки (?sort=, ?view=, utm-хвосты), чтобы боты перестали находить новые мусорные адреса.
- На существующие малоценные комбинации фильтров повесьте заголовок `X-Robots-Tag: noindex, follow`, оставив их временно открытыми для обхода.
- После выпадения мусорных страниц из индекса закройте шаблоны в robots.txt и разделите sitemap.xml на модули по типам сущностей.
Матрица решений: редирект, noindex или код 410
Выбирайте точный HTTP-инструмент под каждый тип лишних URL, не теряя накопленный ссылочный вес.
| Тип проблемы | Ошибочное действие | Правильное решение |
|---|---|---|
| Цепочки 301->301->200 | Игнорировать, т.к. финал 200 ОК | Склеить в 1 хоп и обновить внутренние ссылки |
| Сортировки и лишние фильтры в индексе | Сразу запретить в robots.txt | Сначала noindex, follow до вылета из индекса, затем Disallow |
| Пустой внутренний поиск (/search?q=) | Оставить индексируемым | Закрыть в robots.txt + мета-тег noindex |
| Удалённые товары без ссылок | Массовый 301 на главную | Код 410 Gone либо блок похожих аналогов при 200 OK |
Нужно проверить индексацию вашего проекта?
Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.