Внутренний поиск по сайту: жёсткая блокировка ботов и майнинг спроса
Открытые страницы /search?q= провоцируют спам-инъекции чужих ключевиков, хотя сам лог поиска — кладезь идей для каталога.
Дмитрий К., Technical SEO Lead · SEO Space
Ориентиры корректной индексации
- Статус в поиске
- Disallow + noindex
- Риск спам-инъекций
- Фильтрация на WAF
- Аудит логов поиска
- Ежемесячно (0 выдач)
Защита от спам-инъекций и зацикливания краулера на поиске
Злоумышленники массово проставляют внешние ссылки на `site.ru/search?q=казино+онлайн`, чтобы поисковик проиндексировал ваш домен по спам-фразам.
Все маршруты поиска (`/search`, `/?s=`, `/catalogsearch/`) обязаны быть одновременно закрыты в `robots.txt` и помечены `X-Robots-Tag: noindex, nofollow`.
- Добавьте `Disallow: /search`, `Disallow: /*?s=` и `Disallow: /*?q=` в `robots.txt`.
- Отдавайте `X-Robots-Tag: noindex, nofollow` в HTTP-заголовке для подстраховки.
- При точном вводе артикула или категории делайте удобный редирект для пользователей.
Поиск новых посадочных по логам нулевой выдачи
Ежемесячно выгружайте внутренние поисковые запросы без результатов — они показывают отсутствующие категории и синонимы товаров.
User-agent: *
Disallow: /search
Disallow: /catalogsearch/
Disallow: /*?s=
Disallow: /*?q= Матрица обработки внутреннего поиска
Сочетайте непроницаемую защиту от краулинга с ростом ассортимента по реальному спросу.
| Сигнал лога | Реакция для роботов | Развитие сайта |
|---|---|---|
| Частый запрос без категории | Закрыт от ботов | Создать статическую категорию |
| Точный SKU / Бренд | Опционально 302 для юзера | Мгновенный переход в карточку |
| Спам-инъекция (?q=spam) | HTTP 400/410 + Disallow | WAF-правило + ноль утечек |
Нужно проверить индексацию вашего проекта?
Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.