Каталоги и фильтры Инженерный плейбук Обновлено 2026-11-16 3 мин Googlebot · Яндекс · Поиск

Внутренний поиск по сайту: жёсткая блокировка ботов и майнинг спроса

Открытые страницы /search?q= провоцируют спам-инъекции чужих ключевиков, хотя сам лог поиска — кладезь идей для каталога.

Дмитрий К., Technical SEO Lead · SEO Space

Ориентиры корректной индексации

Статус в поиске
Disallow + noindex
Риск спам-инъекций
Фильтрация на WAF
Аудит логов поиска
Ежемесячно (0 выдач)

Защита от спам-инъекций и зацикливания краулера на поиске

Злоумышленники массово проставляют внешние ссылки на `site.ru/search?q=казино+онлайн`, чтобы поисковик проиндексировал ваш домен по спам-фразам.

Все маршруты поиска (`/search`, `/?s=`, `/catalogsearch/`) обязаны быть одновременно закрыты в `robots.txt` и помечены `X-Robots-Tag: noindex, nofollow`.

  • Добавьте `Disallow: /search`, `Disallow: /*?s=` и `Disallow: /*?q=` в `robots.txt`.
  • Отдавайте `X-Robots-Tag: noindex, nofollow` в HTTP-заголовке для подстраховки.
  • При точном вводе артикула или категории делайте удобный редирект для пользователей.

Поиск новых посадочных по логам нулевой выдачи

Ежемесячно выгружайте внутренние поисковые запросы без результатов — они показывают отсутствующие категории и синонимы товаров.

User-agent: *
Disallow: /search
Disallow: /catalogsearch/
Disallow: /*?s=
Disallow: /*?q=

Матрица обработки внутреннего поиска

Сочетайте непроницаемую защиту от краулинга с ростом ассортимента по реальному спросу.

Сигнал лога Реакция для роботов Развитие сайта
Частый запрос без категории Закрыт от ботов Создать статическую категорию
Точный SKU / Бренд Опционально 302 для юзера Мгновенный переход в карточку
Спам-инъекция (?q=spam) HTTP 400/410 + Disallow WAF-правило + ноль утечек

Нужно проверить индексацию вашего проекта?

Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.