Como ler o resultado
O robots.txt é um arquivo de texto na raiz do site que diz aos robôs quais endereços eles podem rastrear. A ferramenta lê o seu e mostra, para cada robô de IA conhecido, se ele está liberado ou bloqueado na página informada.
- Busca: robôs que leem as páginas para responder na hora, com link para a fonte (OAI-SearchBot, Claude-SearchBot, PerplexityBot). Bloquear tira o site dessas respostas.
- Treinamento: robôs e tokens que decidem se o conteúdo pode treinar modelos (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot). Bloquear é uma escolha de negócio e não afeta a busca.
- Acesso do usuário: visitas feitas porque alguém pediu, como colar um link na conversa (ChatGPT-User, Claude-User, Perplexity-User).
Quando aparece regra própria, o robots.txt tem um grupo com o nome daquele robô. Ele passa a seguir só esse grupo e ignora o User-agent: *. É a origem mais comum de bloqueio sem querer.
O que esta ferramenta não mostra
O robots.txt é um pedido. O firewall, a CDN ou o serviço de proteção contra robôs podem barrar o acesso mesmo com tudo liberado aqui. A análise completa faz uma requisição com o user-agent de cada robô e compara com a resposta de um navegador comum.
Para entender cada robô e copiar um robots.txt pronto, leia o guia robôs de IA no robots.txt: quais liberar e quais bloquear.
Perguntas frequentes
Bloquear o GPTBot tira meu site do ChatGPT?
Não. Segundo a OpenAI, o GPTBot coleta conteúdo para treinamento, e quem coloca o site nas respostas com busca do ChatGPT é o OAI-SearchBot. As duas configurações são independentes.
O que significa "regra própria" no resultado?
Que o robots.txt tem um grupo User-agent com o nome daquele robô. Nesse caso ele segue só as regras desse grupo e ignora as do grupo geral (User-agent: *), por isso vale conferir se nada importante ficou bloqueado ou liberado por engano.
Robots.txt liberado garante que o robô consegue entrar?
Não. Firewalls, CDNs e serviços de proteção contra robôs podem barrar o acesso mesmo com o robots.txt liberado. A análise completa do validador faz uma requisição com o user-agent de cada robô para conferir isso.
Onde fica o robots.txt e ele vale para os subdomínios?
Fica na raiz do endereço, como seusite.com.br/robots.txt. Segundo o Google, ele vale só para o host, o protocolo e a porta onde está publicado: o arquivo do www não vale para blog.seusite.com.br, que precisa do próprio.
Bloquear uma página no robots.txt tira ela do Google?
Não necessariamente. O Google explica que uma URL bloqueada ainda pode aparecer nos resultados, só que sem descrição, se outros sites apontarem para ela. Para tirar uma página do índice, use noindex e deixe o robô ler a página.
Quanto tempo leva para uma mudança no robots.txt valer?
O Google costuma guardar o robots.txt em cache por até 24 horas, e a OpenAI informa cerca de 24 horas para a busca do ChatGPT se ajustar. Faça a mudança, espere um dia e confira de novo nesta ferramenta.
Fontes
As regras desta ferramenta seguem a documentação oficial:
- Overview of OpenAI Crawlers
- Anthropic: como bloquear os robôs
- Perplexity Crawlers
- Como o Google interpreta o robots.txt
- Introdução ao robots.txt (Google Search Central)
Outras ferramentas grátis
- Testador de robots.txt: Teste grátis se uma página está liberada no robots.txt para Googlebot, Bingbot e robôs de IA, veja a linha que decidiu e teste rascunhos.
- Como a IA vê sua página: Veja o texto, os títulos e os dados estruturados que um robô de IA recebe da sua página sem executar JavaScript, e se o robots.txt deixa ele entrar.
- Validador de llms.txt: Confira se o seu site publica um llms.txt e se ele segue o formato proposto: título, resumo, seções e links em Markdown.
- Teste de dados estruturados: Teste grátis dos dados estruturados de uma página: JSON-LD válido, tipos do Schema.org, propriedades obrigatórias, Organization, WebSite, breadcrumb e FAQ.
- Gerador de llms.txt: Gere grátis o llms.txt do seu site a partir da página inicial e do sitemap, no formato de llmstxt.org, pronto para revisar, copiar e publicar.
- Verificador de meta tags: Confira grátis as meta tags de uma página: título, meta description, H1, canonical, indexação, idioma, Open Graph e Twitter Card.
Para ver tudo de uma vez, faça a análise completa, com as 81 regras descritas na metodologia.
