Markdown-Spiegel & Accept-Header-Negotiation: Sauberer Kontext für KI-Agenten
Das Entfernen von Menüs, Inline-SVGs und Hydrations-Skripten in reines Markdown senkt den Tokenbedarf um 80% bei voller HTML-Canonical-Treue.
Dmitry K., Technical SEO Lead · SEO Space
Technische Indexierungs-Benchmarks
- Header-Check
- Accept: text/markdown
- Token-Ersparnis
- 70-85% kleinerer Payload
- Index-Schutz
- X-Robots-Tag: noindex auf .md
Warum HTML-Ballast knappe RAG-Kontextfenster verschwendet
Typische SaaS-Dokumentationen liefern 120 KB HTML aus, wovon 80% auf Navigation, SVG-Pfade, Footer und Hydration-State entfallen. Ruft ein KI-Agent fünf Quellen parallel ab, schneidet DOM-Ballast wichtige Spezifikationen ab.
Reines Markdown über `Accept: text/markdown` (inklusive `Vary: Accept`) oder dedizierte `.md`-URLs in `llms.txt` liefert 100% Faktendichte bei minimalem Byte-Volumen.
export default {
async fetch(request) {
const accept = request.headers.get('Accept') || '';
if (accept.includes('text/markdown')) {
const mdUrl = new URL(request.url.replace(/\/$/, '') + '/index.md');
const res = await fetch(mdUrl);
return new Response(res.body, {
headers: { 'Content-Type': 'text/markdown; charset=utf-8', 'Vary': 'Accept', 'X-Robots-Tag': 'noindex' }
});
}
return fetch(request);
}
}; Verhindern, dass Markdown-Routen im organischen Index konkurrieren
Markdown-Spiegel dienen ausschließlich KI-Agenten und RAG-Pipelines – lassen Sie `.md`-Endpunkte niemals neben HTML-Seiten indexieren.
- Senden Sie `X-Robots-Tag: noindex` sowie den HTTP-Header `Link: <html-canonical>; rel="canonical"` auf allen `.md`-Pfaden.
- Geben Sie bei Content Negotiation stets `Vary: Accept` aus, damit CDNs niemals rohes Markdown an Browser ausliefern.
- Generieren Sie Markdown-Artefakte im CI aus derselben Quelle wie das SSR-HTML, um Fakten-Drift auszuschließen.
Leitplanken für Edge Content Negotiation
Vergleichen Sie dedizierte `.md`-Pfade mit dynamischer `Accept`-Steuerung am Edge.
| Ansatz | Cache- & SEO-Sicherheit | Bester Einsatz |
|---|---|---|
| Separates /slug/index.md + llms.txt | Kein Vary-Risiko; X-Robots-Tag: noindex setzen | Doku-Portale & Developer Hubs |
| Accept: text/markdown Negotiation | Erfordert Vary: Accept im CDN-Cache-Key | Einheitliche Canonical-URLs für Agenten |
| Edge HTML->Markdown Konverter | Wenig Pflege, mittlere Token-Ersparnis | Legacy-CMS ohne Markdown-Basis |
Soll Ihre aktuelle Indexierung direkt geprüft werden?
Senden Sie uns Ihre Domain – wir analysieren HTML-Parität, Log-Signale, Canonicals und Sitemap-Struktur innerhalb von 24 Stunden.