Инженерия robots.txt: приоритет Allow/Disallow, маски и ловушки Crawl-delay
Одна неточная директива Disallow способна закрыть от обхода коммерческий каталог или лишить рендерер Google доступа к бандлам стилей и скриптов.
Дмитрий К., Technical SEO Lead · SEO Space
1. Приоритет длиннейшего совпадения по стандарту RFC 9309
Поисковые роботы не читают директивы внутри секции User-agent просто сверху вниз. По спецификации RFC 9309 Googlebot и Bingbot оценивают длину каждого совпавшего шаблона Allow и Disallow в символах: побеждает правило с более длинным префиксом пути, а при равной длине приоритет отдаётся Allow.
Ошибочное убеждение, что нижняя строка всегда перебивает верхнюю, регулярно приводит к случайному закрытию целых разделов или утечке служебных параметров. Проверка масок на реальной матрице тестовых URL перед релизом снимает этот риск.
- Используйте символ $ строго для точного окончания расширения файла или корневого пути без параметров.
- Помните: Disallow запрещает сканирование, но не индексацию — ссылки с внешних сайтов всё равно могут попасть в выдачу без сниппета.
- Не полагайтесь на Crawl-delay для управления нагрузкой Googlebot — Google игнорирует эту директиву и регулирует частоту по 429/503 ответам.
User-agent: *
Allow: /assets/
Allow: /*.css$
Allow: /*.js$
Disallow: /checkout/
Disallow: /account/
Disallow: /*?sort=
Disallow: /*?filter=
Allow: /*?page= 2. Почему закрытие /assets/, API и бандлов ломает рендеринг
Если robots.txt запрещает доступ к `/_next/static/`, шрифтам или публичным GET-эндпоинтам каталога, система рендеринга Google WRS собирает поломанную страницу без цен, меню и внутренних ссылок.
Главная опасность в том, что в логах не появляются 404-ошибки: падение видимости проявляется позже, когда поисковик не может подтвердить релевантность скрытых клиентским JS блоков текста.
| Шаблон ресурса | Рекомендуемая директива | Последствие при блокировке |
|---|---|---|
| /assets/*.css, *.js, *.woff2 | Allow | Сбой проверки вёрстки и мобильного отображения |
| /api/v1/public/catalog/* | Allow (GET) | Пустые скелетоны вместо карточек товаров |
| /search?q=* и /filter?* | Disallow | Экономия краулингового бюджета на фасетах |
| /admin/, /cart/, /checkout/ | Disallow + noindex | Исключение сессионных и приватных маршрутов |
3. Автоматическая проверка в CI и отказоустойчивость CDN
Если при обновлении сервера `/robots.txt` отдаёт ошибку 500 или 503, Googlebot воспринимает это как сигнал полной остановки обхода домена на срок до 12 часов. Раздавайте robots.txt напрямую из кэша CDN с длительным fallback TTL.
Добавьте в CI автотесты с парсером RFC 9309, прогоняющие минимум 50 контрольных URL перед выкладкой изменений на прод.
- Проверяйте статус 200 OK и заголовок Content-Type: text/plain; charset=utf-8.
- Держите размер файла строго ниже 500 KiB.
- Сверяйте, чтобы ссылки Sitemap в robots.txt вели на канонический HTTPS-хост.
Нужно проверить индексацию вашего проекта?
Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.