Обход и логи Обновлено 2026-11-16 3 мин Googlebot · Bingbot · Краулеры

Инженерия robots.txt: приоритет Allow/Disallow, маски и ловушки Crawl-delay

Одна неточная директива Disallow способна закрыть от обхода коммерческий каталог или лишить рендерер Google доступа к бандлам стилей и скриптов.

Дмитрий К., Technical SEO Lead · SEO Space

1. Приоритет длиннейшего совпадения по стандарту RFC 9309

Поисковые роботы не читают директивы внутри секции User-agent просто сверху вниз. По спецификации RFC 9309 Googlebot и Bingbot оценивают длину каждого совпавшего шаблона Allow и Disallow в символах: побеждает правило с более длинным префиксом пути, а при равной длине приоритет отдаётся Allow.

Ошибочное убеждение, что нижняя строка всегда перебивает верхнюю, регулярно приводит к случайному закрытию целых разделов или утечке служебных параметров. Проверка масок на реальной матрице тестовых URL перед релизом снимает этот риск.

  • Используйте символ $ строго для точного окончания расширения файла или корневого пути без параметров.
  • Помните: Disallow запрещает сканирование, но не индексацию — ссылки с внешних сайтов всё равно могут попасть в выдачу без сниппета.
  • Не полагайтесь на Crawl-delay для управления нагрузкой Googlebot — Google игнорирует эту директиву и регулирует частоту по 429/503 ответам.
User-agent: *
Allow: /assets/
Allow: /*.css$
Allow: /*.js$
Disallow: /checkout/
Disallow: /account/
Disallow: /*?sort=
Disallow: /*?filter=
Allow: /*?page=

2. Почему закрытие /assets/, API и бандлов ломает рендеринг

Если robots.txt запрещает доступ к `/_next/static/`, шрифтам или публичным GET-эндпоинтам каталога, система рендеринга Google WRS собирает поломанную страницу без цен, меню и внутренних ссылок.

Главная опасность в том, что в логах не появляются 404-ошибки: падение видимости проявляется позже, когда поисковик не может подтвердить релевантность скрытых клиентским JS блоков текста.

Шаблон ресурса Рекомендуемая директива Последствие при блокировке
/assets/*.css, *.js, *.woff2 Allow Сбой проверки вёрстки и мобильного отображения
/api/v1/public/catalog/* Allow (GET) Пустые скелетоны вместо карточек товаров
/search?q=* и /filter?* Disallow Экономия краулингового бюджета на фасетах
/admin/, /cart/, /checkout/ Disallow + noindex Исключение сессионных и приватных маршрутов

3. Автоматическая проверка в CI и отказоустойчивость CDN

Если при обновлении сервера `/robots.txt` отдаёт ошибку 500 или 503, Googlebot воспринимает это как сигнал полной остановки обхода домена на срок до 12 часов. Раздавайте robots.txt напрямую из кэша CDN с длительным fallback TTL.

Добавьте в CI автотесты с парсером RFC 9309, прогоняющие минимум 50 контрольных URL перед выкладкой изменений на прод.

  • Проверяйте статус 200 OK и заголовок Content-Type: text/plain; charset=utf-8.
  • Держите размер файла строго ниже 500 KiB.
  • Сверяйте, чтобы ссылки Sitemap в robots.txt вели на канонический HTTPS-хост.

Нужно проверить индексацию вашего проекта?

Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.