Crawl budget
Definición
Cantidad de URLs que Googlebot crawleará en tu sitio dentro de un periodo (típicamente diario). Determinada por dos factores: crawl rate limit (qué tanto puede el servidor sin caer) y crawl demand (qué tanto Google quiere crawlear según popularidad y freshness).
Por qué importa
En sitios grandes (>10k URLs), crawl budget mal gestionado significa que páginas importantes no se re-crawlean a tiempo. Resultado: cambios tardan semanas en reflejarse en SERP.
Cómo aplicarlo
- 01Bloquea con robots.txt URLs sin valor SEO: search results, filtros profundos, paginación infinita.
- 02Mantén el sitemap limpio — solo URLs indexables.
- 03Reduce redirects en cadena, soft 404s, contenido duplicado — desperdiciadores típicos.
- 04Servidor rápido = más crawl rate disponible. TTFB <200ms es target.