WAF Bot Fight Mode y verificación IP: frenar scrapers sin bloquear a Google
Las defensas antibot genéricas suelen servir retos JavaScript a rastreadores legítimos, hundiendo el tráfico orgánico. La verificación DNS inversa bloquea impostores y protege el rastreo.
Dmitry K., Technical SEO Lead · SEO Space
Objetivos técnicos de referencia
- Método seguro
- CIDR oficiales + PTR DNS
- Anti-spoofing
- Bloqueo de User-Agent falso
El coste invisible de activar presets antibot agresivos
Al activar Bot Fight Mode o desafíos Turnstile globales, los rastreadores no resuelven pruebas interactivas y reciben respuestas 403.
La solución de producción sincroniza prefijos IP oficiales de buscadores y valida DNS inverso en origen.
- Sincroniza listados JSON de Googlebot, Bingbot y OAI-SearchBot en tu CDN/WAF.
- Bloquea cualquier IP fuera de esos rangos que declare User-Agent de buscador.
- Exime a los rastreadores verificados de retos JavaScript y límites estrictos por segundo.
Validación de DNS inverso en el servidor origen
Confirma la titularidad del bot resolviendo PTR y validando la IP directa antes de permitir acceso sin límites.
host_name=$(dig -x "$CLIENT_IP" +short | sed 's/\.$//')
if [[ "$host_name" == *.googlebot.com || "$host_name" == *.google.com ]]; then
resolved_ip=$(dig "$host_name" +short | head -n1)
[[ "$resolved_ip" == "$CLIENT_IP" ]] && echo "VERIFIED_GOOGLEBOT"
fi Política recomendada por tipo de bot
Revisa cada agente antes de aplicar cambios en el firewall.
| Agente | Fuente de verificación | Regla WAF |
|---|---|---|
| Googlebot | googlebot.json oficial | Permitir y saltar JS challenge en rangos verificados |
| Bingbot | bingbot.json oficial | Bypass garantizado en CIDR válidos |
| Bots de búsqueda IA | CIDR oficiales publicados | Permitir búsqueda; limitar ráfagas de scraping masivo |
¿Quieres auditar la indexación real de tu dominio?
Envíanos tu URL y revisamos paridad HTML, logs, canónicas y arquitectura de sitemaps en 24 horas.