Bloquear o GPTBot tira meu site do ChatGPT?

Não. O GPTBot coleta conteúdo para treinamento. Quem coloca o site nas respostas com busca do ChatGPT é o OAI-SearchBot. Segundo a OpenAI, as duas configurações são independentes: dá para bloquear o GPTBot e continuar aparecendo na busca, desde que o OAI-SearchBot esteja liberado no robots.txt e no firewall.

Bloquear o Google-Extended afeta meu ranking no Google?

Não. O Google afirma que o Google-Extended não afeta a inclusão do site na Pesquisa e não é usado como sinal de ranking. Ele só controla o uso do conteúdo para treinar os modelos Gemini e para embasar respostas nos apps do Gemini e no Vertex AI.

O robots.txt impede que a IA use meu conteúdo?

Só em parte. O robots.txt é um pedido que os robôs das grandes empresas seguem, mas não é uma trava técnica. Ele também não apaga o que já foi coletado antes. Para conteúdo que não pode vazar de jeito nenhum, use login ou bloqueio no servidor.

Preciso de um robots.txt para cada subdomínio?

Sim. O robots.txt vale só para o host, o protocolo e a porta onde está publicado. O arquivo do www não vale para blog, loja ou qualquer outro subdomínio. Cada um precisa do próprio arquivo na raiz.

Quanto tempo leva para a mudança valer?

O Google costuma manter o robots.txt em cache por até 24 horas, e a OpenAI informa cerca de 24 horas para a busca se ajustar. Faça a mudança, espere um dia e confira nos logs do servidor se os robôs estão recebendo a resposta esperada.

Robôs de IA no robots.txt: quais liberar e quais bloquear

O robots.txt é um arquivo de texto na raiz do site que diz aos robôs quais endereços eles podem rastrear. Decidir o que fazer nele com os robôs de IA virou uma das escolhas mais importantes do arquivo, e é fácil errar: muita gente bloqueia o GPTBot achando que está protegendo o conteúdo e, sem perceber, bloqueia junto o robô que coloca o site nas respostas do ChatGPT. Ou faz o contrário. Este guia separa os robôs pela função, mostra um robots.txt pronto para os dois cenários mais comuns e lista os erros que mais vemos nas análises.

Robô de busca, de treinamento ou do usuário?

As empresas de IA não usam um robô só. Elas separam três funções, e cada uma pede uma decisão diferente:

Busca: lê as páginas para responder perguntas na hora, com link para a fonte. Bloquear tira o site das respostas.
Treinamento: coleta conteúdo para treinar os próximos modelos. Bloquear não afeta a busca.
Acesso do usuário: visita uma página porque alguém pediu, por exemplo colando um link na conversa.

Empresa	Busca	Treinamento	Acesso do usuário
OpenAI	OAI-SearchBot	GPTBot	ChatGPT-User
Anthropic	Claude-SearchBot	ClaudeBot	Claude-User
Perplexity	PerplexityBot	—	Perplexity-User
Google	Googlebot	Google-Extended (token)	—
Apple	Applebot	Applebot-Extended (token)	—

A própria OpenAI diz, na documentação dos robôs, que as configurações são independentes: dá para liberar o OAI-SearchBot e bloquear o GPTBot. A Perplexity afirma que o PerplexityBot não coleta conteúdo para treinar modelos de base.

Google-Extended e Applebot-Extended não são robôs

Esses dois nomes confundem muita gente porque aparecem no robots.txt como se fossem robôs. Não são.

Google-Extended é um token de controle. Segundo o Google, ele não tem user agent próprio: o rastreamento continua sendo feito pelos robôs normais do Google. O token decide se o conteúdo pode ser usado para treinar os modelos Gemini e para embasar respostas nos apps do Gemini e no Vertex AI. O Google afirma que ele não afeta a inclusão do site na Pesquisa e não é sinal de ranking.
Applebot-Extended funciona do mesmo jeito na Apple. Ele não rastreia páginas; só define se o que o Applebot coletou pode treinar os modelos de IA da Apple. Páginas que bloqueiam o Applebot-Extended continuam aparecendo na busca da Siri, do Spotlight e do Safari.

Já os resumos de IA da busca do Google usam o que o Googlebot rastreia. Bloquear o Googlebot para fugir deles tira o site do Google inteiro.

Dois robots.txt prontos

Cenário 1: aparecer nas IAs e liberar treinamento

Se o objetivo é visibilidade máxima, não é preciso listar robô por robô. Um robots.txt sem bloqueios já libera todos:

User-agent: *
Disallow: /admin/

Sitemap: https://www.seusite.com.br/sitemap.xml

Cenário 2: aparecer nas IAs, sem treinar modelos

É o equilíbrio que mais recomendamos para quem vende conteúdo ou produz material exclusivo. Os robôs de busca continuam entrando; os de treinamento ficam de fora.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Disallow: /admin/

Sitemap: https://www.seusite.com.br/sitemap.xml

Várias linhas User-agent seguidas formam um grupo só, com as mesmas regras. O resto dos robôs, inclusive OAI-SearchBot, Claude-SearchBot e PerplexityBot, cai no grupo * e continua liberado.

Os erros que mais derrubam sites

Achar que o grupo do robô herda as regras do `*`

Este é o erro mais comum nos exemplos que circulam por aí. Pela documentação do Google, cada robô segue só o grupo mais específico que combina com o nome dele; os grupos não se somam. Se você cria um grupo User-agent: OAI-SearchBot com Allow: /, ele passa a ignorar o Disallow: /admin/ que estava no *. Repita no grupo específico tudo o que precisa continuar bloqueado.

Esquecer os subdomínios

O robots.txt vale só para o host, o protocolo e a porta onde está publicado. O arquivo de www.seusite.com.br não vale para blog.seusite.com.br nem para loja.seusite.com.br. Cada subdomínio precisa do próprio arquivo, e a Anthropic repete essa orientação na documentação dela.

Liberar no robots.txt e bloquear no firewall

O robots.txt é um pedido. A decisão real acontece antes, no firewall, na CDN ou no serviço de proteção contra robôs. É comum o arquivo liberar o OAI-SearchBot enquanto uma regra de segurança devolve erro 403 para ele. Quando isso acontece, o robots.txt certo não adianta nada. Na análise do validador, a gente confere as duas coisas: o que o arquivo diz e o que o servidor responde para cada robô.

Confundir rastreamento com indexação

Bloquear uma página no robots.txt não a tira do Google. Segundo o Google, a URL pode continuar nos resultados, só sem o trecho de texto. Para tirar uma página do índice, use noindex e deixe o robô ler a página.

Esperar efeito imediato

O Google costuma guardar o robots.txt em cache por até 24 horas. A OpenAI informa um prazo parecido, de cerca de 24 horas, para os sistemas de busca se ajustarem. Mude, espere um dia e só então confira.

Como conferir se está funcionando

Abra seusite.com.br/robots.txt no navegador e confira se o arquivo é o que você espera. Muitos sites publicam por engano o arquivo do ambiente de testes, com Disallow: / para todo mundo.
Repita para cada subdomínio que tem conteúdo público.
Nos logs do servidor, procure os nomes dos robôs e veja o código de resposta. Robô de busca recebendo 403 ou 503 é sinal de bloqueio no firewall.
Desconfie de quem usa o nome de um robô. A OpenAI publica a lista de IPs de cada um dos seus robôs (por exemplo, openai.com/searchbot.json). Confira o IP antes de liberar ou bloquear por nome.
Rode uma análise do site para ver, robô por robô, quem está liberado, quem está bloqueado e onde.

Se o assunto for a visibilidade nas IAs como um todo, e não só o robots.txt, veja também o que é GEO e como preparar seu site para as IAs.

Quando bloquear o treinamento faz sentido

Não existe resposta única. Bloquear os robôs de treinamento é uma decisão de negócio legítima, comum em sites de notícias, cursos e conteúdo pago. Liberar pode fazer sentido para quem quer que a marca seja conhecida pelos modelos. O que não faz sentido é bloquear os robôs de busca por acidente: no validador, isso é tratado como problema crítico, enquanto o bloqueio de treinamento é só um alerta de baixa prioridade.

Comece pelo cenário 2 se estiver em dúvida. Ele preserva a visibilidade nas respostas e mantém o controle sobre o uso do conteúdo.