Crawl budget é uma forma de falar sobre a capacidade e a prioridade de rastreamento que os sistemas de busca atribuem a um site. O tema tende a ser mais relevante em sites muito grandes, com mudanças frequentes ou muitas URLs duplicadas, e menos urgente para um site pequeno e estável.
A resposta não é pedir que o Google rastreie tudo com mais frequência. É facilitar a descoberta das páginas que importam e reduzir desperdício em caminhos sem valor, sem bloquear conteúdo que deveria ser acessível.
Confirme se existe um problema de rastreamento
Compare os logs do servidor, relatórios de rastreamento e a lista de URLs importantes. Procure atraso persistente na descoberta de páginas novas, grande volume de requisições a parâmetros sem utilidade, erros de servidor ou muitas rotas repetidas.
Não confunda rastreamento com indexação. Uma página pode ser rastreada e não ser indexada por conteúdo duplicado, qualidade insuficiente, canonical ou outras decisões. Verifique qual etapa está falhando antes de mexer em robots.txt.
Reduza URLs de baixo valor
Revise filtros, parâmetros de sessão, ordenação, pesquisa interna, calendários e combinações que produzem páginas equivalentes. Crie regras claras para caminhos que precisam ser rastreados e para aqueles que podem ser limitados.
Mantenha páginas importantes acessíveis por links, sitemaps consistentes e respostas HTTP corretas. Não use bloqueio amplo que impeça a leitura de sinais técnicos necessários nem esconda as páginas que a empresa espera encontrar na busca.
Melhore a eficiência do site
Corrija erros 5xx, redirecionamentos encadeados e páginas lentas ou instáveis. Em catálogos, ligue categorias, subcategorias e produtos de maneira previsível; não dependa exclusivamente do campo de busca da loja para expor itens.
Sitemaps devem conter URLs canônicas que a empresa quer ver indexadas. Atualize lastmod somente quando houver mudança relevante e remova endereços quebrados ou não canônicos.
Quando vale a pena acompanhar o crawl budget de perto
O Google descreve este guia como avançado e voltado sobretudo a sites com cerca de 1 milhão ou mais de URLs únicas atualizadas semanalmente, sites com 10 mil ou mais URLs que mudam diariamente, ou propriedades em que muitas URLs aparecem como “Descoberta, atualmente não indexada”. São referências aproximadas, não limites rígidos. Para a maioria dos sites menores e estáveis, o Google recomenda manter o sitemap atualizado e acompanhar o relatório de indexação.
Gerenciamento do crawl budget — Google Crawling Infrastructure
Acompanhe o resultado por grupos de URLs
Monitore as rotas prioritárias e as fontes de desperdício ao longo do tempo. Uma melhoria útil reduz erros e facilita descobrir conteúdo relevante; não precisa aumentar o número bruto de requisições do robô.
Exemplo de aplicação
Em um catálogo com grande número de produtos e filtros, logs mostram robôs acessando milhões de combinações de ordem e sessão enquanto páginas recentes demoram a ser descobertas. A equipe cruza requisições com URLs prioritárias e confirma que há desperdício antes de alterar robots ou canonical.
Depois, corrige parâmetros, melhora links entre categorias e publica um sitemap só com páginas canônicas que deseja indexar. O indicador de sucesso é o acesso mais confiável às páginas importantes e menos erros, não o aumento bruto de requisições.
Aplicação prática e acompanhamento
Antes de mexer em robots.txt, identifique quais páginas importantes demoram a ser rastreadas e que caminhos recebem requisições repetidas. Em um catálogo grande, a equipe agrupa logs e relatórios por modelo de URL, separa produtos, filtros e ordenações e confere se as páginas prioritárias têm links internos claros. Só então reduz combinações sem utilidade e corrige respostas lentas ou erros do servidor. A validação compara os mesmos grupos antes e depois e verifica que a regra nova não bloqueou recursos ou páginas que precisam ser acessados. Esse método evita tratar aumento de rastreamento como objetivo isolado.
Checklist antes de publicar
A análise faz mais sentido em sites grandes, com mudança frequente ou muitos caminhos redundantes. Para um site pequeno e estável, confirme primeiro problemas concretos de rastreamento antes de investir em uma operação avançada de logs.
- Há evidência de URLs importantes não descobertas.
- Parâmetros redundantes foram identificados.
- Sitemap contém destinos canônicos indexáveis.
- A política não bloqueia recursos necessários.
Perguntas frequentes
Crawl budget importa para qualquer site? Em geral, sites pequenos e estáveis não precisam de uma operação especial de crawl budget. O tema merece investigação quando há muitas URLs, atualizações frequentes ou evidência de que páginas importantes demoram a ser descobertas.
Aumentar requisições do Googlebot melhora indexação? Não por si só. Rastreamento e indexação são etapas diferentes. O foco é facilitar acesso a conteúdo útil e reduzir caminhos redundantes, não aumentar um número bruto de requisições.