O que é crawl budget? Como funciona o orçamento de rastreamento do Google

Crawl budget, ou orçamento de rastreamento, é o conjunto de URLs de um site que o Google consegue e quer rastrear em um período. Ele resulta de dois fatores: o limite que o servidor aguenta sem perder desempenho e o interesse do Google nas páginas. Em sites grandes, define o que é visitado primeiro.

A maioria dos sites não precisa se preocupar com isso. Um blog ou site institucional com poucas centenas de páginas é rastreado sem dificuldade. O tema vira prioridade em e-commerces, portais e marketplaces, onde o robô gasta visitas em filtros e URLs sem valor e deixa páginas importantes esperando.

Como funciona o crawl budget

A documentação do Google divide o orçamento em duas partes:

• Limite de capacidade de rastreamento (crawl capacity limit). É o teto de conexões que o Googlebot mantém com o servidor. Começa conservador e muda conforme a saúde do site: respostas rápidas elevam o limite, enquanto lentidão, erros 5xx e respostas 429 derrubam.
• Demanda de rastreamento (crawl demand). É o quanto o Google quer visitar o site. Depende do inventário de URLs conhecidas, incluindo duplicadas, da popularidade das páginas e da frequência com que o conteúdo muda.

O orçamento nasce da combinação dos dois. Um servidor forte com páginas de pouco interesse recebe poucas visitas, e um site popular com servidor lento também, porque o Google reduz o ritmo para não derrubá-lo.

Quem precisa se preocupar com crawl budget

O guia do Google é voltado a três perfis, com números que a própria documentação trata como estimativas:

1. Sites com mais de 1 milhão de páginas únicas e conteúdo que muda cerca de uma vez por semana.
2. Sites com mais de 10 mil páginas únicas e conteúdo que muda todos os dias.
3. Sites com grande parte das URLs marcadas como "Detectada, mas não indexada" no Search Console.

Fora desses casos, a demora para aparecer no Google costuma ter outra causa, como qualidade do conteúdo ou falta de links internos. Vale investigar a indexação antes de culpar o orçamento.

Nos dados do SE Ranking para o Brasil, "crawl budget" tem 50 buscas por mês e dificuldade 9, enquanto "orçamento de rastreamento" aparece sem volume. O termo em inglês é o que o mercado brasileiro pesquisa, e é um assunto de nicho técnico.

Por que o crawl budget importa para SEO

Em um site grande, o rastreamento é um recurso finito, e o desperdício tem três consequências:

1. Páginas novas demoram a entrar. Lançamentos ficam na fila atrás de milhares de URLs de filtro.
2. Atualizações demoram a aparecer. Preço, estoque e título mudam no site, mas o resultado segue antigo até a próxima visita.
3. Sinais se perdem em URLs fracas. O robô passa tempo em conteúdo duplicado e thin content em vez das páginas que vendem.

Como otimizar o crawl budget

1. Meça a situação. Abra Configurações, Estatísticas de rastreamento no Search Console e veja requisições por dia, tempo médio de resposta e distribuição por código de status.
2. Analise os logs do servidor. Eles mostram quais URLs o Googlebot visita de verdade. Agrupe por pasta e por parâmetro para encontrar o desperdício.
3. Bloqueie no robots.txt o que nunca deve ser rastreado, como filtros combinados e busca interna. Exemplo de regra: Disallow: /*?ordem=. O guia de robots.txt explica a sintaxe.
4. Devolva 404 ou 410 em páginas removidas de vez. O Google trata o 404 como sinal forte para parar de visitar a URL. Elimine também os soft 404, que continuam sendo rastreados.
5. Encurte as cadeias de redirecionamento e aponte os links internos direto para a URL final.
6. Mantenha o sitemap XML atualizado, com a tag lastmod nas páginas que mudaram. O guia de sitemaps mostra como montar o arquivo.
7. Melhore o tempo de resposta do servidor e use cache HTTP com resposta 304 para páginas que não mudaram.

Um exemplo concreto: uma loja de moda tem 80 mil produtos com preços atualizados todos os dias, então se encaixa no segundo perfil do Google. Os logs mostram que a maior parte das visitas do Googlebot vai para combinações como /vestidos?cor=azul&tamanho=m&ordem=preco, e os produtos novos levam semanas para aparecer. A equipe bloqueia as combinações de filtro e de ordenação no robots.txt, mantém apenas as categorias com busca real, corrige os links internos que apontavam para URLs com parâmetro e passa a gerar o sitemap só com produtos ativos. As Estatísticas de rastreamento mostram então para onde as visitas migraram.

Se você quer saber onde o Google está gastando as visitas no seu site, o diagnóstico de SEO gratuito da ASM Digital cruza o rastreamento com os dados do Search Console.

Erros comuns

• Usar noindex para economizar orçamento. O Google precisa baixar a página para ler a tag, então a visita acontece do mesmo jeito. A documentação recomenda o robots.txt nesse caso.
• Usar o robots.txt como ajuste temporário. O Google orienta usá-lo para o que não deve ser rastreado de forma permanente, não para redistribuir visitas por alguns dias.
• Tratar crawl budget como fator de ranqueamento. Mais visitas do robô não melhoram a posição. O ganho é colocar e atualizar as páginas certas no índice.
• Otimizar crawl budget em site pequeno. Em um site de 300 páginas, o esforço rende mais em conteúdo e links internos.

Crawl budget vs crawl rate

Crawl rate é a velocidade: quantas requisições o robô faz por segundo. Ela é parte do limite de capacidade. Crawl budget é o conjunto total de URLs que o Google rastreia, somando a capacidade e a demanda. Aumentar a velocidade do servidor eleva o teto, mas o Google só usa esse espaço se tiver interesse nas páginas.

Perguntas frequentes

Como saber se tenho problema de crawl budget?

Dois sinais apontam para isso: muitas URLs em "Detectada, mas não indexada" no relatório de páginas e um volume de URLs muito maior do que o Googlebot visita por dia nas Estatísticas de rastreamento. Em sites pequenos, esses sinais costumam vir de qualidade, não de orçamento.

Como aumentar o crawl budget?

Melhore o tempo de resposta do servidor para elevar o limite de capacidade e aumente a popularidade das páginas com links internos e externos. Reduzir URLs inúteis libera visitas para as páginas que importam, o que funciona mais rápido do que tentar aumentar o total.

Links nofollow gastam crawl budget?

Se o Googlebot encontrar a URL por outro caminho, ele rastreia a página normalmente, e isso entra no orçamento. O nofollow não substitui o bloqueio no robots.txt para quem quer evitar o rastreamento.

Termos relacionados

• Rastreamento
• Indexação
• Googlebot
• Conteúdo duplicado

Tem um site grande e páginas importantes fora do Google? Conheça o SEO técnico da ASM Digital.