Обход и логи Обновлено 2026-11-16 3 мин Googlebot · Яндекс · CDN Edge

Удаление Session ID и рекламных GET-параметров на уровне CDN

Идентификаторы сессий и кликовые метки размножают дубли URL в геометрической прогрессии, если не нормализовать ключ кэша на CDN.

Дмитрий К., Technical SEO Lead · SEO Space

Ориентиры корректной индексации

Белый список GET
< 5 нужных ключей
Действие CDN Edge
Нормализация cache key
Clean-param Яндекса
Синхронизирован
Снижение дублей
-85% фантомных URL

1. Почему временные GET-параметры перегружают очередь роботов

Любая внешняя рассылка с рекламной меткой, партнёрским рефералом или динамическим идентификатором сессии создаёт для поискового бота отдельный адрес, требующий обхода.

Даже при наличии rel="canonical" Googlebot и робот Яндекса сначала тратят лимиты хоста на скачивание одинакового HTML по тысячам вариаций параметров.

  • Сверьте серверные логи по GET-ключам, дающим более 1% обращений поисковых роботов.
  • Удаляйте рекламные метки (`yclid`, `gclid`, `utm_*`) из ключа кэширования CDN, чтобы роботы получали мгновенный Edge-хит.
  • Запретите генерацию session_id в URL для анонимных GET-запросов.

2. Очистка кэша на Edge без потери веб-аналитики

Считывайте рекламные параметры клиентским скриптом аналитики или пробрасывайте их в заголовок логирования, пока CDN отдаёт единый канонический HTML-кэш.

// Очистка ключа кэша в CDN Worker
const url = new URL(request.url);
['yclid', 'gclid', 'fbclid', 'session_id'].forEach((p) => url.searchParams.delete(p));
return fetch(request, { cf: { cacheKey: url.toString() } });

3. Связка Clean-param в robots.txt и 301-редиректов

В СНГ-сегменте закрепляйте очистку технических параметров через директиву `Clean-param` в robots.txt для Яндекса, а на нецелевые сессионные параметры ставьте прямой 301 на чистый путь.

Класс параметра Реакция для роботов Результат в поиске
Рекламные метки (yclid, gclid, utm) Игнор в cache key + Clean-param + canonical Аналитика цела, дублей 0
Session ID (?sid=) 301-редирект на чистый путь Остановка циклов обхода
Отладочные флаги (?debug=1) Disallow в robots + X-Robots-Tag noindex Нет утечек в индекс

Нужно проверить индексацию вашего проекта?

Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.