Закрытие тестовых сред и preview-веток от утечки в поисковый индекс
Запрет Disallow: / в robots.txt не спасает тестовый домен от попадания в выдачу по ссылкам из баг-трекеров. Нужна связка Auth + X-Robots-Tag.
Дмитрий К., Technical SEO Lead · SEO Space
Почему Disallow: / на staging больше не гарантирует чистоту
Стоит разработчику переслать preview-ссылку в публичный чат или репозиторий, поисковик индексирует URL без чтения содержимого. При одновременном Disallow и HTML noindex бот просто не сможет прочитать директиву закрытия.
Закрывайте все не-продакшен домены авторизацией (HTTP 401/403) и дублируйте заголовок X-Robots-Tag: noindex, nofollow строго по условию хоста.
if ($host != "seo-space.online") {
add_header X-Robots-Tag "noindex, nofollow" always;
} Проверка продакшена после каждого деплоя
Включите в CI-пайплайн curl-проверку боевого домена, чтобы убедиться, что заголовок noindex не уехал на основной сайт.
Быстрое удаление тестового поддомена, если он уже попал в индекс
Если preview-ветка уже проиндексировалась, не закрывайте её через `robots.txt` вслепую — робот перестанет видеть `X-Robots-Tag: noindex` и URL надолго застрянет в выдаче. Временно разрешите обход с жёстким заголовком `noindex`, подайте запрос на удаление префикса в панелях вебмастеров, а после очистки закройте доступ через Basic Auth / Zero Trust.
- Отключайте счётчики аналитики продакшена и теги верификации на всех тестовых сборках.
- Задавайте базовый домен `canonical` через переменные среды со сверкой белого списка.
- Добавьте пост-деплой curl-тест: прод отдаёт `index, follow`, стенд — `401` / `noindex`.
Нужно проверить индексацию вашего проекта?
Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.