Удаление Session ID и рекламных GET-параметров на уровне CDN
Идентификаторы сессий и кликовые метки размножают дубли URL в геометрической прогрессии, если не нормализовать ключ кэша на CDN.
Дмитрий К., Technical SEO Lead · SEO Space
Ориентиры корректной индексации
- Белый список GET
- < 5 нужных ключей
- Действие CDN Edge
- Нормализация cache key
- Clean-param Яндекса
- Синхронизирован
- Снижение дублей
- -85% фантомных URL
1. Почему временные GET-параметры перегружают очередь роботов
Любая внешняя рассылка с рекламной меткой, партнёрским рефералом или динамическим идентификатором сессии создаёт для поискового бота отдельный адрес, требующий обхода.
Даже при наличии rel="canonical" Googlebot и робот Яндекса сначала тратят лимиты хоста на скачивание одинакового HTML по тысячам вариаций параметров.
- Сверьте серверные логи по GET-ключам, дающим более 1% обращений поисковых роботов.
- Удаляйте рекламные метки (`yclid`, `gclid`, `utm_*`) из ключа кэширования CDN, чтобы роботы получали мгновенный Edge-хит.
- Запретите генерацию session_id в URL для анонимных GET-запросов.
2. Очистка кэша на Edge без потери веб-аналитики
Считывайте рекламные параметры клиентским скриптом аналитики или пробрасывайте их в заголовок логирования, пока CDN отдаёт единый канонический HTML-кэш.
// Очистка ключа кэша в CDN Worker
const url = new URL(request.url);
['yclid', 'gclid', 'fbclid', 'session_id'].forEach((p) => url.searchParams.delete(p));
return fetch(request, { cf: { cacheKey: url.toString() } }); 3. Связка Clean-param в robots.txt и 301-редиректов
В СНГ-сегменте закрепляйте очистку технических параметров через директиву `Clean-param` в robots.txt для Яндекса, а на нецелевые сессионные параметры ставьте прямой 301 на чистый путь.
| Класс параметра | Реакция для роботов | Результат в поиске |
|---|---|---|
| Рекламные метки (yclid, gclid, utm) | Игнор в cache key + Clean-param + canonical | Аналитика цела, дублей 0 |
| Session ID (?sid=) | 301-редирект на чистый путь | Остановка циклов обхода |
| Отладочные флаги (?debug=1) | Disallow в robots + X-Robots-Tag noindex | Нет утечек в индекс |
Нужно проверить индексацию вашего проекта?
Пришлите домен: вручную проверим исходный HTML, логи обхода, дубли фильтров, canonical и карту сайта в течение 24 часов.