Crawl budget: o que é o orçamento de rastreamento do Google

Crawl budget é o nome em inglês para a quantidade de endereços que o Google consegue e quer rastrear num site. Por aqui, o termo virou "orçamento de rastreamento", e a tradução oficial do Google usa "cota de rastreamento". É a mesma coisa nos três casos, e quase todo dono de site pequeno se preocupa com ela antes da hora.

O que é crawl budget?

É a fatia de tempo e de pedidos que o Google reserva para ler um site. A web tem endereços demais para qualquer robô visitar todos, então o Google reparte a capacidade dele. A documentação define o orçamento como o conjunto de URLs que o Google pode e quer rastrear. Os dois verbos importam: "pode" depende do seu servidor, "quer" depende das suas páginas.

Quatro detalhes ajudam a entender o resto:

• A conta é por nome de host. Para o Google, www.sualoja.com.br e blog.sualoja.com.br são sites separados, cada um com a sua cota. Se o domínio abre com e sem www, as duas versões também são hosts diferentes.
• Tudo o que o robô busca entra na conta: a página, o CSS, o JavaScript, as chamadas que o JavaScript faz ao servidor e as versões em outro idioma.
• Rastrear não é indexar. Depois de ler uma página, o Google ainda avalia se ela merece lugar no índice. Quando a página é lida e fica de fora, a causa é outra, explicada no guia sobre o que fazer quando a página foi rastreada e mesmo assim ficou fora do Google.
• Não é fator de ranqueamento. O Google avisa que rastrear mais não leva a uma posição melhor. O rastreamento é condição para aparecer, não sinal de qualidade.

Uma mudança que os tutoriais ainda não acompanharam: em dezembro de 2025, o guia de orçamento de rastreamento saiu da Central da Pesquisa e foi para o site da infraestrutura de rastreamento do Google, porque vale também para outros produtos, como Shopping e Google Ads. O endereço antigo redireciona, e a última revisão do texto é de 22 de julho de 2026.

Como o Google calcula o limite de capacidade e a demanda?

O orçamento sai do encontro de duas medidas, uma olhando para o seu servidor e outra para o interesse nas suas páginas.

Todo site começa com o mesmo limite de capacidade, propositalmente baixo, e o Google aumenta aos poucos se há demanda e o servidor aguenta. Esse limite é dividido entre todos os robôs do Google. Uma loja com anúncios dinâmicos de pesquisa recebe mais visitas do AdsBot; com feed no Merchant Center, mais visitas do robô de compras. Quando um deles pede muito, sobra menos para o Googlebot da busca.

Na demanda, o fator que você mais controla é o inventário percebido: a lista de endereços que o Google conhece no seu site. Popularidade e frequência de mudança completam a conta. E tem o ponto que muita gente perde: com demanda baixa, o Google rastreia pouco mesmo que o servidor aguente muito mais. Trocar de hospedagem não faz um site sem interesse ser mais visitado.

Quem precisa se preocupar com o orçamento de rastreamento?

Só quem tem site muito grande ou que muda todo dia. O Google chama o guia de avançado e dá números para você se localizar:

São estimativas, não limites exatos, avisa o Google. Ele também desmente um medo comum: site pequeno não é rastreado menos por ser pequeno. Conteúdo importante que muda com frequência é visitado com frequência.

No Brasil, a faixa de risco costuma reunir loja com catálogo grande, portal de notícias, classificados de imóveis e de carros e marketplace. Site institucional, clínica, escritório e blog de empresa ficam longe. O Nota do Site tem 66 endereços no sitemap nesta semana; para nós, acompanhar cota de rastreamento seria perder tempo.

A exceção que pega loja pequena de surpresa são os filtros, porque o Google conta os endereços que enxerga, não os produtos do cadastro. Faça a conta numa loja de 400 produtos: 8 cores, 6 tamanhos, 5 faixas de preço e 4 ordenações dão 960 combinações por categoria. Com 25 categorias, são 24 mil endereços para um catálogo que cabe numa planilha.

O que desperdiça o rastreamento do Google?

Todo endereço que o robô pede e não deveria pedir. Os casos da documentação, com a correção de cada um:

Para os filtros, o modelo de robots.txt para loja com filtros e ordenação traz as linhas prontas. Nas cópias, o critério é simples: canonical quando a versão repetida precisa continuar abrindo, como o link da newsletter com ?utm_source=, e 301 quando ela pode sumir.

Um caso que surpreende: o 404 não desperdiça orçamento. O Google trata como mito a ideia de que páginas com 4xx (fora o 429) gastam cota, porque o robô recebe o código e não baixa conteúdo. E o 404 ainda é um sinal forte para não voltar àquele endereço. Já o endereço bloqueado no robots.txt fica muito mais tempo na fila e é lido de novo quando o bloqueio sai. Para página removida de vez, a resposta é 404 ou 410, não Disallow. Link quebrado continua sendo problema, mas para o visitante.

O soft 404 faz o caminho inverso e é comum: no teste do endereço inventado, 15 de 53 sites brasileiros responderam 200 a um endereço que nunca existiu. O passo a passo para o servidor devolver 404 de verdade mostra a configuração em cada plataforma.

Como corrigir redirecionamentos em cadeia e o domínio com e sem www?

Leve cada endereço antigo ao destino final num salto só, com 301, e deixe uma única versão do domínio abrindo. No relatório de Estatísticas de rastreamento, cada salto aparece como um pedido separado: se A leva a B e B leva a C, o Google registra três pedidos para entregar uma página.

Para saber quanto isso aparece por aqui, separamos os redirecionamentos de 53 sites .br que o validador leu em outubro de 2026, da home a algumas páginas internas. Duas páginas iniciais chegam ao destino por redirecionamento temporário (302 ou 307), e uma passa por dois redirecionamentos seguidos. A variante do domínio foi o ponto fraco. Em 7 de 52 sites, digitar o endereço na outra forma (sem www, quando o oficial tem, ou o contrário) abre uma segunda cópia do site, sem redirecionamento nenhum. Em outros 5, o redirecionamento existe, mas com código temporário.

Para conferir e corrigir:

1. Teste as quatro portas de entrada: com e sem www, cada uma em http:// e em https://. Cada linha HTTP é um salto, e location mostra para onde ele vai.

curl -sIL http://suaempresa.com.br/ | grep -iE "^(HTTP|location)"

2. Conte os saltos. O certo é um 301 (ou 308) e depois o 200. Dois 301 seguidos, como http para https e depois sem www para com www, pedem uma regra só que leve direto ao endereço final.
3. Troque o temporário pelo permanente. Segundo a Ajuda do Search Console, página que mudou de lugar para sempre deve responder 301, e não 302.
4. Atualize links internos, canonical e sitemap para o endereço final. Link interno que aponta para um redirecionamento faz o robô pedir duas vezes.

As regras de 301 para Apache, nginx, WordPress e Cloudflare estão no post sobre redirecionamento, com os erros comuns de cada ambiente.

Como ler o relatório de Estatísticas de rastreamento?

No Search Console, clique em Configurações e, em Estatísticas de rastreamento, em Abrir relatório. Ele aparece só para propriedades de domínio ou de prefixo na raiz (https://suaempresa.com.br). Propriedade de pasta, como /blog, fica sem os dados.

Três cuidados. O relatório conta o endereço pedido de fato, sem juntar as cópias na versão canônica como fazem outros relatórios. Os exemplos de URL são uma amostra, não a lista completa. E parte dos pedidos pode ficar fora da contagem, então o número não bate exatamente com o log do servidor. As outras telas estão no roteiro de uso do Search Console, tela por tela.

Por que o rastreamento caiu ou disparou?

O ritmo deve ficar estável ao longo de uma ou duas semanas. Quando cai de repente, a Ajuda aponta quatro suspeitos: uma regra nova ou ampla demais no robots.txt (às vezes bloqueando o CSS e o JavaScript de que o Google precisa), servidor respondendo mais devagar, mais erros de servidor e conteúdo que muda pouco ou que o Google julga fraco.

O disparo vem de liberar uma parte grande do site que estava bloqueada, publicar uma seção nova grande ou criar muitos alvos de anúncios dinâmicos de pesquisa. No último caso, quem aparece em "Tipo do Googlebot" é o AdsBot, que volta a cada duas semanas.

Há uma terceira situação: o total do relatório bem acima do que o log registra. A causa provável é o robots.txt fora do ar. Sem ler o arquivo, o Google para de rastrear e, mesmo assim, soma ao total os pedidos que teria feito. Confira em Status do host, no gráfico de busca do robots.txt.

O que não funciona para economizar rastreamento?

Boa parte das dicas que circulam não muda nada:

• Noindex para poupar cota. O Google precisa pedir a página para ler o noindex, então o pedido acontece igual. O alívio existe, mas é indireto e lento: com a página fora do índice, o robô tende a se ocupar de outras. Use noindex para tirar da busca, não para economizar visitas.
• Bloquear no robots.txt por uns dias para "empurrar" a cota para outras páginas. O Google só repassa a sobra se o site já estiver no limite de capacidade. Bloqueie apenas o que você nunca quer rastreado.
• Crawl-delay. O Google não processa essa linha.
• A ferramenta de parâmetros de URL do Search Console. Em 28 de março de 2022, o Google anunciou que a desligaria dali a um mês e contou que só cerca de 1% das configurações feitas nela ajudava o rastreamento. Ainda há tutorial em português mandando abrir essa tela.
• Mudar a data sem mudar o texto. O Google diz que fazer a página parecer nova com ajustes triviais não tem valor. No nosso sitemap, o lastmod só muda quando o texto muda.
• API de Indexação para qualquer página. Ela só aceita páginas de vaga de emprego (JobPosting) ou de transmissão ao vivo (BroadcastEvent dentro de um VideoObject).

Como reduzir o rastreamento numa emergência?

Responda 503, 500 ou 429 aos pedidos do Google por algumas horas, no máximo um ou dois dias. Diante de muitos endereços com esses códigos, o Google reduz o ritmo no nome de host inteiro, inclusive nas páginas que respondem normalmente, e volta a subir sozinho quando os erros somem. Com 503 ou 429, dá para dizer quando ele pode voltar:

HTTP/1.1 503 Service Unavailable
Retry-After: 3600

Mantido por vários dias no mesmo endereço, esse código pode tirar a página do índice. E frear o robô tem preço: páginas novas demoram a ser achadas, e preço e estoque de produto levam mais tempo para mudar na busca. Bloquear pelo robots.txt também funciona, mas pode levar até um dia para fazer efeito. Se o servidor não consegue responder com erro, há um formulário para relatar rastreamento excessivo. O contrário não existe: não dá para pedir ao Google que rastreie mais.

Como fazer o Google rastrear mais o que importa?

Servidor rápido, só o que vale a pena à vista do robô e motivos para ele voltar:

• Capacidade. Se a Inspeção de URL mostrar "Carga do host excedida", o Google recomenda mais recurso de servidor. Antes de trocar de plano, meça o tempo de resposta do servidor separado do peso da página.
• Resposta 304. Se a página não mudou, o servidor responde 304 sem reenviar o conteúdo, e o Google usa a cópia guardada. Para isso, a resposta precisa trazer ETag ou Last-Modified, que saem da configuração do servidor ou do sistema do site.
• Links a partir da página inicial. Páginas ligadas direto da inicial podem ser rastreadas com mais frequência, diz o Google, o que não significa posição melhor.
• Qualidade. Para a busca, pesam popularidade, valor para o usuário, conteúdo único e capacidade de servir as páginas.

Meça o desperdício com três testes rápidos

1. Redirecionamentos. O curl da seção acima nas quatro versões do domínio. Mais de um salto ou código 302 é a primeira correção.
2. Página inexistente. O comando curl -s -o /dev/null -w "%{http_code}" https://www.suaempresa.com.br/teste-endereco-falso-987 precisa devolver 404. Se vier 200, o site gera soft 404.
3. Filtros. Abra uma categoria, aplique dois filtros e cole o caminho no testador de robots.txt para ver se o Googlebot está liberado para aquela combinação.

O validador gratuito roda os dois primeiros testes de uma vez, junto com o sitemap e a unificação do www. Se o site passar de mil páginas, aí sim abra as Estatísticas de rastreamento uma vez por mês e compare com o mês anterior.