Référence technique · Indexation

Glossaire SEO technique & directives

Définitions production, comportement des directives HTTP/robots et seuils d’ingénierie pour Google, Bing et les crawlers IA.

Matrice directives & statuts HTTP

Mécanisme Où appliquer Comportement crawler Erreur fréquente
Disallow: /path/ robots.txt Empêche le crawl des octets URL Bloquer des pages déjà indexées laisse des extraits URL-only
X-Robots-Tag: noindex, follow En-tête HTTP Retire l’URL des SERP en conservant le PageRank Bloquer aussi dans robots.txt : le bot ne lit jamais l’en-tête
rel="canonical" HTML <head> / HTTP Link Consolide les variantes vers l’URL principale Canonicaliser ?page=2..N vers la page 1 masque les profondeurs
IndexNow Webhook API / hook CMS Ping immédiat des URLs publiées ou mises à jour Notifier des URLs non-200 ou noindex
301 Moved Permanently Nginx / CDN Transfère l’équité et la cible d’indexation Chaînes 301 de 3+ sauts ou 302 sur un move permanent
410 Gone Origine / edge HTTP Signal de suppression plus rapide qu’un 404 HTTP 200 avec HTML « introuvable » (soft-404)

Crawl & logs

Budget de crawl (Crawl Budget)

Capacité quotidienne allouée par Googlebot et Bingbot à un domaine, limitée par la charge serveur et la popularité des URLs.

Règle d’ingénierie : Garder > 85 % des hits bot sur des pages money 200 OK valides.

Crawl & logs

Analyse de logs bots vérifiés

Lecture des logs Nginx/Cloudflare validés par rDNS pour mesurer la distribution réelle des moteurs.

Règle d’ingénierie : Filtrer les faux User-Agent avant de mesurer le gaspillage.

Crawl & logs

Protocole IndexNow

Webhook HTTP supporté par Bing pour notifier immédiatement création, MAJ ou suppression d’URLs.

Règle d’ingénierie : Déclencher IndexNow à la publication CMS et sur 301/410.

JS & rendu

Indexation JavaScript en deux vagues (WRS)

Google parse d’abord le HTML initial, puis exécute le JS en headless Chromium avec délai.

Règle d’ingénierie : H1, texte, liens, canonical et JSON-LD dans le HTML curl brut.

JS & rendu

Parité SSR / SSG / ISR

Stratégies qui évitent les shells vides pour les crawlers sur sites React/Next/Astro.

Règle d’ingénierie : Comparer curl brut vs DOM rendu pour 100 % de parité.

JS & rendu

Core Web Vitals (LCP, INP, CLS)

Seuils CrUX : LCP ≤ 2,5 s, INP ≤ 200 ms, CLS ≤ 0,1 sur le p75 mobile terrain.

Règle d’ingénierie : Optimiser les métriques terrain, pas seulement le lab 100.

URLs & structure

Gonflement d’index par facettes

Explosion d’URLs filtre/tri peu utiles qui cannibalisent les catégories et le crawl.

Règle d’ingénierie : Statiser les facettes à demande ; noindex sur tris multi-attributs.

URLs & structure

Graphe hreflang réciproque

Alternates bidirectionnels entre /en/, /fr/, /de/ avec self-reference et x-default.

Règle d’ingénierie : Chaque page du cluster confirme toutes les paires en 200 OK.

Schema & autorité

JSON-LD @graph connecté

WebSite, Organization, Service, FAQPage liés par des @id persistants dans un seul graphe.

Règle d’ingénierie : Ancres @id cohérentes plutôt que snippets isolés.

Schema & autorité

GEO & indexation /llms.txt

Fichier Markdown /llms.txt pour aider les crawlers IA à résoudre URLs, offres et tarifs.

Règle d’ingénierie : Tableaux comparatifs SSR + JSON-LD + /llms.txt à jour.