Como ler o resultado
Cada linha da tabela é um robô. A coluna Resultado diz se ele pode rastrear o endereço informado, e a coluna Regra que decidiu mostra a linha do arquivo que valeu, com o número dela. Quando nenhuma regra se aplica, o robô está liberado: o robots.txt só bloqueia o que diz bloquear.
Embaixo da regra aparece o grupo que o robô seguiu. Isso importa porque cada robô obedece a um grupo só:
- Grupo próprio: existe um
User-agentcom o nome dele. Ele segue só esse grupo e ignora oUser-agent: *inteiro. - Grupo geral: não há grupo com o nome dele, então valem as regras do
User-agent: *.
Alguns robôs aceitam mais de um nome. O Googlebot-Image, por exemplo, também segue o grupo do Googlebot quando não tem um grupo próprio.
Três casos que costumam confundir
O grupo próprio que libera demais. O arquivo bloqueia /admin/ para todos e depois cria um grupo só para o GPTBot com Allow: /. Como o GPTBot passa a seguir só o grupo dele, o /admin/ fica liberado para ele. Se a ideia era manter o bloqueio, repita o Disallow: /admin/ dentro do grupo do GPTBot.
O caminho com outra caixa. Disallow: /Produtos não bloqueia /produtos. O caminho é comparado letra por letra, maiúscula diferente de minúscula.
A regra que parece mais forte e perde. Com Disallow: /blog e Allow: /blog/, o post /blog/meu-post fica liberado, porque o Allow é mais longo e, portanto, mais específico. Já o endereço /blog, sem a barra no fim, continua bloqueado.
Teste antes de publicar
Um robots.txt errado pode bloquear o site inteiro para o Google, e ele costuma guardar o arquivo por até 24 horas antes de ler de novo. Por isso vale testar a mudança antes: marque a opção de rascunho, cole o arquivo novo e teste as páginas que mais importam, como a inicial, uma categoria, um produto ou post e uma página que deveria continuar bloqueada.
No modo rascunho nada é buscado no seu site. Dá para informar só o caminho, como /blog/meu-post.
Liberado aqui não quer dizer que aparece no Google
O robots.txt controla o rastreamento, não a indexação. Uma página bloqueada ainda pode aparecer na busca, sem descrição, se outros sites apontarem para ela. Para tirar uma página do Google, o caminho é o contrário: deixe a página liberada e coloque noindex nela, para o robô conseguir ler o aviso.
Também há o que o arquivo não alcança. Firewall, CDN e serviços contra robôs podem barrar o acesso mesmo com tudo liberado no robots.txt. A análise completa faz uma requisição com o nome de cada robô de IA e compara com a resposta dada a um navegador comum.
Para escolher quais robôs de IA liberar, veja o verificador de robots.txt para IA e o guia robôs de IA no robots.txt: quais liberar e quais bloquear.
Perguntas frequentes
Dá para testar o robots.txt no Search Console?
O Search Console tem o relatório de robots.txt, que mostra os arquivos que o Google encontrou nos 20 principais hosts do site, quando foram lidos e os erros de leitura. Para saber se uma URL específica está bloqueada, ele indica a Inspeção de URL. Esta ferramenta faz o teste direto, robô por robô, e aceita um rascunho antes de publicar.
Quando Allow e Disallow se contradizem, qual vale?
Vale a regra mais específica, ou seja, a de caminho mais longo. Se as duas tiverem o mesmo tamanho, o Google fica com a menos restritiva, o Allow. Por isso Allow: /$ com Disallow: / libera só a página inicial e bloqueia o resto.
O robots.txt diferencia maiúsculas de minúsculas?
No caminho, sim: Disallow: /fotos não bloqueia /Fotos. Já o nome do campo (Disallow, disallow) e o nome do robô no User-agent podem vir de qualquer jeito.
Por que crawl-delay e noindex aparecem como ponto de atenção?
Porque o Google só lê quatro campos no robots.txt: user-agent, allow, disallow e sitemap. O resto ele ignora, então um noindex no robots.txt não tira página nenhuma do Google. Para isso, use a meta tag robots com noindex na própria página.
O que acontece se o robots.txt der erro?
Depende do erro. Com 404 e os outros 4xx (menos o 429), o Google age como se o arquivo não existisse e rastreia tudo. Com 5xx ou 429, ele para de rastrear o site e continua tentando ler o arquivo, então um robots.txt fora do ar pode travar a indexação.
O rascunho que eu colo fica salvo?
Não. O rascunho é avaliado na hora e não é guardado, e nesse modo a ferramenta nem acessa o seu site. Vale lembrar que o Google lê só os primeiros 500 KiB do arquivo; regras depois disso são ignoradas.
Fontes
As regras desta ferramenta seguem a documentação oficial:
- Como o Google interpreta a especificação do robots.txt
- Relatório de robots.txt (Ajuda do Search Console)
- Robôs comuns do Google e seus tokens
- RFC 9309: Robots Exclusion Protocol
Outras ferramentas grátis
- Como a IA vê sua página: Veja o texto, os títulos e os dados estruturados que um robô de IA recebe da sua página sem executar JavaScript, e se o robots.txt deixa ele entrar.
- Verificador de robots.txt para IA: Veja na hora quais robôs de IA o robots.txt do seu site libera ou bloqueia: OAI-SearchBot, GPTBot, ClaudeBot, PerplexityBot, Google-Extended e outros.
- Validador de llms.txt: Confira se o seu site publica um llms.txt e se ele segue o formato proposto: título, resumo, seções e links em Markdown.
- Teste de dados estruturados: Teste grátis dos dados estruturados de uma página: JSON-LD válido, tipos do Schema.org, propriedades obrigatórias, Organization, WebSite, breadcrumb e FAQ.
- Gerador de llms.txt: Gere grátis o llms.txt do seu site a partir da página inicial e do sitemap, no formato de llmstxt.org, pronto para revisar, copiar e publicar.
- Verificador de meta tags: Confira grátis as meta tags de uma página: título, meta description, H1, canonical, indexação, idioma, Open Graph e Twitter Card.
Para ver tudo de uma vez, faça a análise completa, com as 81 regras descritas na metodologia.
