Обход и логи Краткая заметка Обновлено 2026-11-16 3 мин Google · Яндекс · Bing

Закрытие тестовых сред и preview-веток от утечки в поисковый индекс

Запрет Disallow: / в robots.txt не спасает тестовый домен от попадания в выдачу по ссылкам из баг-трекеров. Нужна связка Auth + X-Robots-Tag.

Дмитрий К., Technical SEO Lead · SEO Space

Почему Disallow: / на staging больше не гарантирует чистоту

Стоит разработчику переслать preview-ссылку в публичный чат или репозиторий, поисковик индексирует URL без чтения содержимого. При одновременном Disallow и HTML noindex бот просто не сможет прочитать директиву закрытия.

Закрывайте все не-продакшен домены авторизацией (HTTP 401/403) и дублируйте заголовок X-Robots-Tag: noindex, nofollow строго по условию хоста.

if ($host != "seo-space.online") {
  add_header X-Robots-Tag "noindex, nofollow" always;
}

Проверка продакшена после каждого деплоя

Включите в CI-пайплайн curl-проверку боевого домена, чтобы убедиться, что заголовок noindex не уехал на основной сайт.

Быстрое удаление тестового поддомена, если он уже попал в индекс

Если preview-ветка уже проиндексировалась, не закрывайте её через `robots.txt` вслепую — робот перестанет видеть `X-Robots-Tag: noindex` и URL надолго застрянет в выдаче. Временно разрешите обход с жёстким заголовком `noindex`, подайте запрос на удаление префикса в панелях вебмастеров, а после очистки закройте доступ через Basic Auth / Zero Trust.

  • Отключайте счётчики аналитики продакшена и теги верификации на всех тестовых сборках.
  • Задавайте базовый домен `canonical` через переменные среды со сверкой белого списка.
  • Добавьте пост-деплой curl-тест: прод отдаёт `index, follow`, стенд — `401` / `noindex`.

Нужно проверить индексацию вашего проекта?

Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.