Meta Robots против X-Robots-Tag: приоритет директив и управление сниппетами
При конфликте HTML meta robots и заголовка X-Robots-Tag всегда побеждает более жёсткое ограничение. Разбираем точный порядок приоритета.
Дмитрий К., Technical SEO Lead · SEO Space
Ориентиры корректной индексации
- Конфликт правил
- Побеждает строгий запрет
- Файлы PDF/XLSX
- Только X-Robots-Tag
- Скрытие блока
- Атрибут data-nosnippet
Разрешение конфликтов и защита от двойного блокирования
Если CDN-прокси отдаёт `X-Robots-Tag: noindex`, а HTML-код содержит `<meta name="robots" content="index, follow" />`, краулер безусловно применит более строгое правило `noindex`.
При одновременном `Disallow` в `robots.txt` бот не скачает ни HTML, ни заголовок ответа — поэтому уже проиндексированные страницы застрянут в выдаче.
location ~* \.(pdf|xlsx)$ {
add_header X-Robots-Tag "noindex, nofollow" always;
} Тонкая настройка сниппетов через data-nosnippet и max-snippet
Помечайте cookie-плашки и юридические сноски атрибутом `data-nosnippet`, чтобы в сниппеты и ИИ-цитаты попадал только целевой экспертный текст.
| Директива | Область действия | Когда применять |
|---|---|---|
| `noindex, follow` | Вся страница | Комбинации фильтров и внутренний поиск |
| `max-snippet:-1` | Сниппет и ИИ-превью | Коммерческие и экспертные страницы |
| `data-nosnippet` | Конкретный DOM-блок | Исключение дисклеймеров и служебных блоков |
Автопроверка продакшена на случайный noindex
После каждого выката добавляйте curl-проверку заголовков `X-Robots-Tag` и метатегов ключевых посадочных.
- Держите `index, follow` чистым на всех коммерческих и редакционных страницах.
- Используйте `X-Robots-Tag` для бинарных документов, API и тестовых поддоменов.
- Контролируйте отчёты «Исключено с помощью тега noindex» в панелях вебмастеров.
Нужно проверить индексацию вашего проекта?
Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.