WAF Bot Fight Mode & Crawler-Verifizierung: Scraper stoppen ohne Google-Blockade
Strenge Sicherheits-Presets liefern Suchbots oft JavaScript-Challenges statt HTML aus und löschen Sichtbarkeit über Nacht. Reverse-DNS-Validierung trennt echte Crawler zuverlässig von Spoofern.
Dmitry K., Technical SEO Lead · SEO Space
Technische Indexierungs-Benchmarks
- Prüfmethode
- Offizielle CIDRs + PTR-DNS
- Spoofer-Abwehr
- Gefälschte User-Agents sofort blocken
Das Risiko pauschaler Anti-Bot-Presets
Sicherheitsteams aktivieren bei Scraping-Wellen häufig pauschale Bot-Challenges. Da Googlebot oder Bingbot keine interaktiven CAPTCHAs lösen, bricht der Index sofort ein.
Reine User-Agent-Allowlists sind wiederum trivial fälschbar. Produktive Sicherheit kombiniert offizielle IP-JSON-Listen mit Forward-Confirmed Reverse-DNS.
- Synchronisieren Sie offizielle CIDR-Listen von Googlebot, Bingbot und OAI-SearchBot direkt im WAF.
- Blockieren Sie Suchbot-User-Agents außerhalb dieser verifizierten IP-Bereiche.
- Befreien Sie verifizierte Crawler von JavaScript-Challenges und strengen Burst-Limits.
Reverse-DNS-Prüfung auf Origin-Ebene
Prüfen Sie PTR-Eintrag und Vorwärtsauflösung gegen die anfragende IP-Adresse.
host_name=$(dig -x "$CLIENT_IP" +short | sed 's/\.$//')
if [[ "$host_name" == *.googlebot.com || "$host_name" == *.google.com ]]; then
resolved_ip=$(dig "$host_name" +short | head -n1)
[[ "$resolved_ip" == "$CLIENT_IP" ]] && echo "VERIFIED_GOOGLEBOT"
fi Regelmatrix nach Crawler-Typ
Definieren Sie Ausnahmen klar pro Crawler-Kategorie.
| Crawler-Agent | Verifizierungsquelle | Empfohlene WAF-Regel |
|---|---|---|
| Googlebot | googlebot.json Feed | Bypass für JS-Challenges auf verifizierten CIDRs |
| Bingbot | bingbot.json Feed | Freigabe bei bestätigtem Subnetz |
| KI-Suchbots | Offizielle IP-Listen | Suchindexierung erlauben, Massendumps drosseln |
Soll Ihre aktuelle Indexierung direkt geprüft werden?
Senden Sie uns Ihre Domain – wir analysieren HTML-Parität, Log-Signale, Canonicals und Sitemap-Struktur innerhalb von 24 Stunden.