Rastreo y Logs Actualizado 2026-11-16 3 min Googlebot · Bingbot · Rastreadores

Ingeniería de robots.txt: precedencia RFC 9309, comodines y errores de bloqueo

Una sola línea Disallow mal ubicada puede dejar fuera un catálogo completo o impedir que Google WRS cargue los scripts críticos de hidratación.

Dmitry K., Technical SEO Lead · SEO Space

1. Precedencia por longitud de coincidencia bajo RFC 9309

Los motores de búsqueda no evalúan las reglas de robots.txt estrictamente de arriba hacia abajo. Bajo RFC 9309, Googlebot y Bingbot comparan la longitud en caracteres de cada patrón Allow y Disallow coincidente: gana la regla más específica y, en caso de empate, Allow prevalece sobre Disallow.

Confiar en el orden visual de las líneas sin probar rutas reales frente a un analizador RFC provoca exclusiones accidentales de URLs comerciales o fugas de parámetros.

  • Reserva el ancla final ($) exclusivamente para extensiones concretas o rutas exactas.
  • Recuerda que Disallow bloquea el rastreo pero no garantiza la desindexación si existen enlaces externos.
  • No utilices Crawl-delay esperando limitar a Googlebot; Google ignora esta directiva y ajusta su tasa según latencia y errores 429/503.
User-agent: *
Allow: /assets/
Allow: /*.css$
Allow: /*.js$
Disallow: /checkout/
Disallow: /account/
Disallow: /*?sort=
Disallow: /*?filter=
Allow: /*?page=

2. El peligro de bloquear /assets/, APIs públicas y bundles JS

Cuando robots.txt impide el acceso a hojas CSS, scripts o endpoints JSON públicos de catálogo, Google WRS renderiza esqueletos vacíos sin precios ni enlaces internos visibles.

Al no generar errores 404 evidentes en logs, la pérdida de posicionamiento suele detectarse semanas después, cuando el texto clave deja de evaluarse.

Patrón de recurso Directiva recomendada Impacto si se bloquea
/assets/*.css, *.js, *.woff2 Allow Fallo de renderizado y diseño en Google WRS
/api/v1/public/catalog/* Allow (GET) Componentes React sin fichas ni enlaces
/search?q=* y /filter?* Disallow Protege el crawl budget contra facetas infinitas
/admin/, /cart/, /checkout/ Disallow + noindex Aísla rutas privadas y transaccionales

3. Validación automática en CI y alta disponibilidad en el borde

Si tu servidor devuelve HTTP 500 o 503 al solicitar /robots.txt, Googlebot detiene todo el rastreo del dominio hasta 12 horas. Sirve robots.txt directamente desde caché CDN con respaldo inmutable e integra pruebas unitarias frente a 50+ URLs de muestra en cada despliegue.

  • Verifica cabecera HTTP 200 OK y Content-Type: text/plain; charset=utf-8.
  • Mantén el archivo muy por debajo del límite de 500 KiB.
  • Asegura que la línea Sitemap apunte al dominio HTTPS canónico definitivo.

¿Quieres auditar la indexación real de tu dominio?

Envíanos tu URL y revisamos paridad HTML, logs, canónicas y arquitectura de sitemaps en 24 horas.