Инженерный справочник · Индексация
Словарь технического SEO и матрица директив
Точные определения, таблица поведения поисковых директив и конкретные технические пороги для работы с Google, Яндексом и AI-поиском.
Матрица директив индексации и HTTP-кодов
| Механизм | Где задаётся | Реакция поисковика | Частая ошибка |
|---|---|---|---|
| Disallow: /path/ | robots.txt | Запрещает скачивание байтов URL | Закрытие уже проиндексированных страниц оставляет их в выдаче без сниппета |
| X-Robots-Tag: noindex, follow | HTTP-заголовок ответа | Удаляет URL из выдачи, сохраняя передачу веса | Одновременный запрет в robots.txt не даёт роботу считать директиву |
| rel="canonical" | HTML <head> / HTTP Link | Сигнал склейки дублей с основным URL | Canonical с ?page=2..N на первую страницу скрывает глубокий каталог |
| Clean-param | robots.txt (Яндекс) | Отсекает метки и сортировки без потери веса страниц | Отсутствие правил Clean-param при дублях с фильтрами в Яндексе |
| 301 Moved Permanently | Nginx / Edge CDN | Постоянно переносит вес и индекс на новый адрес | Цепочки из 3+ редиректов или использование 302 при переезде |
| 410 Gone | HTTP-ответ сервера | Ускоряет удаление навсегда снятой страницы из индекса | Ответ 200 OK с текстом «Страница не найдена» (Soft-404) |
Краулинг и логи
Краулинговый бюджет
Совокупный лимит нагрузки на сервер и востребованности URL, определяющий сколько страниц Googlebot и YandexBot обойдут за сутки.
Правило инженерии: Доля валидных HTTP 200 на целевых страницах должна превышать 85% от заходов ботов.
Краулинг и логи
Анализ серверных логов (rDNS)
Разбор сырых access-логов Nginx или Cloudflare с верификацией IP ботов через обратный DNS для точного замера частоты сканирования.
Правило инженерии: Всегда отсеивайте поддельные User-Agent парсеров перед анализом бюджета.
Краулинг и логи
Протокол IndexNow
Открытый webhook-протокол (поддерживается Яндексом и Bing), мгновенно уведомляющий поисковики о новых, изменённых и удалённых URL.
Правило инженерии: Отправляйте пинг асинхронно при публикации в CMS, обновлении цен и редиректах.
JS и рендеринг
Двухволновая индексация JS (WRS)
Механизм Google: сначала парсится сырой HTML ответа сервера, затем с задержкой от часов до дней запускается рендер JavaScript в Chromium.
Правило инженерии: Отдавайте H1, текст, ссылки <a href>, canonical и JSON-LD в исходном HTML без ожидания JS.
JS и рендеринг
Паритет SSR / SSG / ISR
Серверный рендеринг и статическая генерация HTML на сервере или Edge, исключающие пустые заглушки при первом запросе поисковика.
Правило инженерии: Регулярно сравнивайте curl-ответ с отрендеренным DOM на полноту контента и ссылок.
JS и рендеринг
Core Web Vitals (LCP, INP, CLS)
Полевые метрики скорости из отчёта CrUX: загрузка главного элемента (LCP <= 2.5с), отзывчивость (INP <= 200мс) и стабильность сдвига (CLS <= 0.1).
Правило инженерии: Ориентируйтесь на 75-й перцентиль реальных мобильных пользователей в CrUX.
URL и структура
Раздувание индекса фильтрами
Неконтролируемая генерация десятков тысяч URL из комбинаций фильтров и сортировок, вымывающая вес из основных категорий.
Правило инженерии: Спрос-проверенные пересечения переводите на статические ЧПУ; остальные закрывайте.
URL и структура
Взаимный граф Hreflang
Двусторонние ссылки alternate между языковыми и региональными версиями (/en/, /ru/, /es/, /de/) с обязательным self-тегом и x-default.
Правило инженерии: Каждая версия в кластере должна взаимно ссылаться на все остальные канонические HTTP 200 URL.
URL и структура
Гейты качества Programmatic SEO
Автоматические пороги полноты данных на сервере, разрешающие индексацию шаблонной страницы только при достаточном числе уникальных объектов.
Правило инженерии: Открывайте index только при >= 3 активных карточках и > 45% уникальных данных.
URL и структура
Силосная перелинковка и PageRank
Иерархическая сетка ссылок, передающая статический вес из информационных хабов на коммерческие разделы на глубине не более 3 кликов.
Правило инженерии: Любая приоритетная страница услуг или каталога должна быть доступна в <= 3 кликах от главной.
Schema и доверие
Связанный JSON-LD @graph
Объединение сущностей WebSite, Organization, Service, TechArticle, Person и FAQPage в единый семантический граф через постоянные идентификаторы @id.
Правило инженерии: Связывайте объекты через @id вместо разрозненных несвязанных блоков скриптов.
Schema и доверие
GEO и индекс /llms.txt
Оптимизация под AI-поисковики (Perplexity, ChatGPT Search, Алиса/Нейро) с машиночитаемой картой /llms.txt и чистыми таблицами фактов.
Правило инженерии: Публикуйте структурированные таблицы сравнений и актуальный /llms.txt на домене.
Schema и доверие
YMYL и проверяемый E-E-A-T
Факторы опыта, экспертности, авторитетности и доверия, критически важные для финансов, медицины и права в Google и асессорских оценках.
Правило инженерии: Подключайте реальные страницы авторов, reviewedBy в Schema и ссылки на законы.
Schema и доверие
NAP и LocalBusiness Schema
Полное совпадение названия, адреса, телефона, координат и URL филиала на сайте и в профилях Яндекс Бизнеса и Google Карт.
Правило инженерии: Каждая точка на картах должна ссылаться на свою отдельную посадочную /locations/<city>/.
Schema и доверие
AEO и Answer-First (GEO-граундинг)
Проектирование разделов по формату «прямой факт за 40–60 слов» с HTML-таблицами и цифрами, чтобы Google AI Overviews, ChatGPT Search и Яндекс Нейро точно цитировали бренд.
Правило инженерии: Размещайте емкий вывод сразу под H2 и синхронизируйте цены и характеристики с JSON-LD.
Краулинг и логи
Content Pruning и чистка под Core Updates
Системная консолидация слабых, дублирующихся и бестрафиковых страниц (301/410) для восстановления общей оценки полезности домена в Google и Яндексе.
Правило инженерии: Объединяйте каннибализирующие статьи в один хаб или отдавайте HTTP 410 для устаревших URL без ссылок.
JS и рендеринг
Островная архитектура и селективная гидратация
Генерация чистого статического HTML для контента и SEO-блоков с отложенной JS-гидратацией только интерактивных калькуляторов, фильтров и форм.
Правило инженерии: Основной текст, ссылки и разметка Schema должны присутствовать в первичном SSR-документе без ожидания JS.
URL и структура
BOFU-кластеры коммерческого спроса
Посадочные страницы под горячие запросы («сравнение», «стоимость», «под ключ», «производитель/интеграция»), напрямую конвертирующие органику в B2B-лиды.
Правило инженерии: Разводите информационные статьи и коммерческие BOFU-страницы по интенту и связывайте их сквозными CTA.
URL и структура
Hreflang x-default и матрица подпапок
Взаимная разметка языковых и региональных версий (ru-RU, en-GB, de-CH) с резервным x-default для масштабирования на международные рынки.
Правило инженерии: Поддерживайте 100% взаимность тегов с кодом ответа 200 OK на всех связанных языковых URL.
Schema и доверие
Entity Co-Citation и цифровой PR
Редакционные упоминания бренда рядом с целевыми темами и профильные ссылки, усиливающие одновременно авторитет домена и цитируемость в LLM.
Правило инженерии: Связывайте упоминания в СМИ, профили экспертов и внешние каталоги через Organization sameAs.