Crawling & Logs Engineering-Playbook Aktualisiert 2026-11-16 3 Min. WAF · Bot Management · Googlebot

WAF Bot Fight Mode & Crawler-Verifizierung: Scraper stoppen ohne Google-Blockade

Strenge Sicherheits-Presets liefern Suchbots oft JavaScript-Challenges statt HTML aus und löschen Sichtbarkeit über Nacht. Reverse-DNS-Validierung trennt echte Crawler zuverlässig von Spoofern.

Dmitry K., Technical SEO Lead · SEO Space

Technische Indexierungs-Benchmarks

Prüfmethode
Offizielle CIDRs + PTR-DNS
Spoofer-Abwehr
Gefälschte User-Agents sofort blocken

Das Risiko pauschaler Anti-Bot-Presets

Sicherheitsteams aktivieren bei Scraping-Wellen häufig pauschale Bot-Challenges. Da Googlebot oder Bingbot keine interaktiven CAPTCHAs lösen, bricht der Index sofort ein.

Reine User-Agent-Allowlists sind wiederum trivial fälschbar. Produktive Sicherheit kombiniert offizielle IP-JSON-Listen mit Forward-Confirmed Reverse-DNS.

  • Synchronisieren Sie offizielle CIDR-Listen von Googlebot, Bingbot und OAI-SearchBot direkt im WAF.
  • Blockieren Sie Suchbot-User-Agents außerhalb dieser verifizierten IP-Bereiche.
  • Befreien Sie verifizierte Crawler von JavaScript-Challenges und strengen Burst-Limits.

Reverse-DNS-Prüfung auf Origin-Ebene

Prüfen Sie PTR-Eintrag und Vorwärtsauflösung gegen die anfragende IP-Adresse.

host_name=$(dig -x "$CLIENT_IP" +short | sed 's/\.$//')
if [[ "$host_name" == *.googlebot.com || "$host_name" == *.google.com ]]; then
  resolved_ip=$(dig "$host_name" +short | head -n1)
  [[ "$resolved_ip" == "$CLIENT_IP" ]] && echo "VERIFIED_GOOGLEBOT"
fi

Regelmatrix nach Crawler-Typ

Definieren Sie Ausnahmen klar pro Crawler-Kategorie.

Crawler-Agent Verifizierungsquelle Empfohlene WAF-Regel
Googlebot googlebot.json Feed Bypass für JS-Challenges auf verifizierten CIDRs
Bingbot bingbot.json Feed Freigabe bei bestätigtem Subnetz
KI-Suchbots Offizielle IP-Listen Suchindexierung erlauben, Massendumps drosseln

Soll Ihre aktuelle Indexierung direkt geprüft werden?

Senden Sie uns Ihre Domain – wir analysieren HTML-Parität, Log-Signale, Canonicals und Sitemap-Struktur innerhalb von 24 Stunden.