O Claude é o assistente de IA da Anthropic, e aparecer nele é ter uma página sua entre as fontes que ele lista quando pesquisa na web para responder. Não há inscrição nem pagamento. Há três condições, e quem fica de fora costuma tropeçar logo na primeira: os robôs da Anthropic precisam conseguir entrar, o texto precisa vir no código que o servidor envia e a página precisa ganhar das concorrentes na hora de explicar o assunto.
O que segue se apoia na central de ajuda do Claude e na documentação da plataforma para desenvolvedores, lidas em 3 de novembro de 2026, e no log de acesso do nosso próprio servidor. Onde a Anthropic não diz nada, a gente avisa.
Quando o Claude pesquisa na web e como mostra as fontes?
Ele pesquisa quando a dúvida depende de dado recente ou de detalhe que o modelo não sabe de cor, e mostra as fontes como links na própria resposta. A central de ajuda descreve dois jeitos de usar o recurso.
Na experiência nova do aplicativo não existe botão: o Claude decide sozinho quando a busca ajuda. Nas contas que ainda têm o controle, ele fica no botão "+" da caixa de mensagem, na opção de busca na web. Nos planos Team e Enterprise, o dono da conta precisa liberar a busca para a organização inteira antes que alguém consiga usá-la. As contas gratuitas também pesquisam, e cada busca conta no limite de uso, que se renova a cada cinco horas.
Segundo a mesma página, toda resposta com pesquisa traz citações. Três detalhes interessam a quem tem um site:
- a localização de quem pergunta, deduzida do IP, pode entrar na busca quando o resultado depende do lugar. Uma pergunta sobre conserto de geladeira feita em Campinas pode trazer fontes da região;
- as imagens que acompanham algumas respostas vêm da busca de imagens do Bing e levam à página de origem;
- com a busca ligada, o Claude também abre um endereço específico, como o link que a pessoa cola na conversa, e lê a página inteira.
A decisão de buscar ou não segue critérios que a Anthropic publica na documentação da ferramenta para programadores: preço, notícia e dado de empresa disparam a busca; conceito estável, não. O caminho completo, da pergunta ao trecho citado, está no passo a passo de como a IA decide buscar e recorta as páginas.
Quais robôs da Anthropic visitam o seu site?
Três, cada um com uma função, e a Anthropic diz o que acontece quando você barra cada um. A página da central de ajuda sobre rastreamento, datada de 7 de abril de 2026, resume assim:
| Robô | O que faz | Se você bloquear |
|---|---|---|
| ClaudeBot | Coleta conteúdo público que pode entrar no treino dos modelos | O material publicado dali em diante fica fora dos dados de treino |
| Claude-SearchBot | Lê as páginas para melhorar a relevância e a precisão da busca do Claude | O site pode perder visibilidade nos resultados de busca |
| Claude-User | Abre páginas quando alguém faz ao Claude uma pergunta que precisa delas | O site pode perder visibilidade nas buscas feitas a pedido das pessoas |
Duas frases da mesma página mudam o jeito de ler a tabela. A primeira: os robôs da Anthropic respeitam os sinais de "não rastrear" do robots.txt e não tentam passar por CAPTCHA. A OpenAI e a Perplexity avisam que os robôs delas acionados por uma pessoa podem ignorar o arquivo; a Anthropic não faz essa ressalva para o Claude-User. Na prática, uma linha Disallow com o nome dele funciona e impede o Claude de abrir a sua página até quando o cliente cola o link na conversa.
A segunda: o bloqueio do ClaudeBot olha para a frente. O texto fala em excluir do treino os materiais futuros do site e não menciona o que já foi coletado.
Listas prontas de robots.txt ainda trazem nomes como anthropic-ai e Claude-Web. Eles não aparecem na documentação atual, que só traz os três da tabela. Manter essas linhas não faz mal; elas só não substituem as regras com os nomes certos.
Como recusar o treino sem sair das respostas do Claude?
Barrando só o ClaudeBot, o robô que coleta para treino, e deixando os outros dois da Anthropic no grupo geral do arquivo. Um grupo com o nome dele basta:
User-agent: ClaudeBot
Disallow: /
Como o Claude-SearchBot e o Claude-User não aparecem nesse grupo, eles seguem o User-agent: *, que costuma liberar as páginas públicas. O tropeço frequente é o inverso: alguém copia uma lista para fugir do treino, a lista inclui todos os nomes com "Claude", e o site some da busca junto. Procure no seu arquivo as palavras Claude-SearchBot e Claude-User e veja que regra vem logo abaixo de cada uma.
Se a preocupação é o peso no servidor, e não o treino, existe meio-termo. A Anthropic aceita a diretiva Crawl-delay, que não faz parte do padrão do robots.txt, para espaçar as visitas:
User-agent: ClaudeBot
Crawl-delay: 1
O número é o intervalo em segundos entre um pedido e o seguinte. Lembre ainda que cada subdomínio tem o próprio arquivo: a regra do www não vale para loja. nem para blog.. Para saber o que o arquivo publicado diz a cada nome, rode o endereço na conferência do robots.txt para robôs de IA. Se a decisão envolve também a OpenAI, o Google e a Apple, veja a decisão sobre os robôs das outras empresas de IA, nome por nome.
De onde vêm os resultados de busca do Claude?
A Anthropic não diz. Nem a central de ajuda nem a documentação da ferramenta de busca informa qual buscador fornece os links de texto; o único parceiro nomeado é o Bing, e só para as imagens. Vários guias estrangeiros afirmam que os resultados vêm do Brave Search, com base na lista de subprocessadores da empresa. Tentamos conferir essa lista no portal oficial, que não mostra o conteúdo sem JavaScript, e por isso não afirmamos.
O que está documentado é que a Anthropic tem robô próprio para a busca. O Claude-SearchBot lê páginas para melhorar os resultados, e o Claude-User lê a página na hora da pergunta. A orientação prática sai daí: não aposte num buscador só. Uma página bem indexada no Google e no Bing, com o Claude-SearchBot liberado, cobre as hipóteses.
Existe ainda um caminho menos visível. Empresas que montam assistentes sobre o Claude, pela API, podem limitar a busca a uma lista de domínios ou excluir domínios dela. O atendimento virtual de um banco ou de uma loja feito com o Claude pode, portanto, citar só os sites que o programador permitiu. Aí nada que você mude no seu site faz diferença.
O que barra o Claude antes do robots.txt?
O firewall, a proteção contra robôs da CDN e o JavaScript. As duas primeiras barreiras decidem antes de o robô chegar ao arquivo, e a Anthropic acrescenta um detalhe: como os robôs dela não tentam resolver CAPTCHA, uma tela de desafio do tipo "confirme que você é humano" encerra a visita ali.
No nosso caso, a Cloudflare fica entre o visitante e o servidor do Nota do Site, mas não mexe no arquivo de regras. Em 3 de novembro de 2026, o robots.txt servido em www.notadosite.com.br era o que o próprio site produz, sem nenhum acréscimo da CDN: a primeira linha é o comentário # Nota do Site - gerado automaticamente, e o conteúdo libera todos os robôs, com User-agent: * e Allow: /. No mesmo dia, os controles de robôs do painel da Cloudflare estavam em Security → Settings, no grupo "Bot traffic", com os itens "AI Crawler and Agent access policies", "AI Labyrinth" (em versão beta), "Bot fight mode" e "Challenge passage". É ali que você confere o que a CDN faz com os robôs de IA no seu site. No log do período detalhado mais abaixo, 264 dos 273 pedidos do ClaudeBot receberam a página com código 200; sobraram 2 respostas 304 (página sem alteração), 5 respostas 404 (endereço que não existe) e apenas 2 respostas 403.
Se o site passa pela Cloudflare, confira o que mudou no bloqueio de robôs de IA para domínios novos na Cloudflare. Para liberar com segurança, a Anthropic publica uma lista de endereços IP em claude.com/crawling/bots.json. O arquivo que baixamos em 3 de novembro de 2026 tem data de criação de 20 de outubro de 2026 e 14 entradas: uma faixa e 13 endereços avulsos. A OpenAI e a Perplexity mantêm um arquivo para cada robô; o da Anthropic é um arquivo só, e a central de ajuda não diz quais dos três robôs ele cobre. Uma liberação segura no firewall confere duas coisas ao mesmo tempo: se o user-agent traz o nome do robô e se o endereço de origem consta do arquivo. O caminho oposto, bloquear por IP, a empresa desaconselha: o robô deixa de ler o robots.txt e a recusa pode não se manter.
O JavaScript fecha a terceira porta. A documentação da ferramenta que abre páginas para o Claude, na API, diz que ela ainda não lida com sites montados com JavaScript e aceita só texto, HTML e PDF. Para ver o que sobra da sua página sem os scripts, use o simulador de leitura de robô sem JavaScript.
O que dez sites brasileiros conhecidos dizem aos robôs da Anthropic?
Nos quatro arquivos que conseguimos ler, nada: nenhum cita ClaudeBot, Claude-SearchBot ou Claude-User, e os três ficam com a regra geral, que libera as páginas públicas. Os outros seis nem deixaram o robots.txt ser lido.
Em 3 de novembro de 2026, o NotaDoSiteBot, nosso robô, pediu o robots.txt de dez marcas brasileiras conhecidas, escolhidas por busca pública em setores diferentes: varejo, banco digital, telefonia, farmácia, companhia aérea, portal de imóveis, delivery, seguros, saúde e ensino superior. Os nomes ficam de fora.
| O que medimos | Resultado |
|---|---|
| Recusaram o pedido do robots.txt com erro 403 | 6 de 10 |
| Arquivos lidos que citam algum dos três robôs da Anthropic | 0 de 4 |
| Arquivos lidos que citam qualquer robô de IA | 0 de 4 |
| Arquivos lidos em que a página inicial fica liberada para os três | 4 de 4 |
As seis recusas vieram de páginas de bloqueio de serviços de CDN e de proteção contra robôs, entregues antes de qualquer regra de arquivo. O nosso robô não é o da Anthropic, e essas proteções costumam manter listas de robôs conhecidos com tratamento diferente, então o teste não prova que o Claude fica de fora desses seis sites. Ele mostra onde a decisão mora. Nos sites grandes, o robots.txt diz "pode entrar" por omissão, e quem decide de verdade é o firewall. A amostra é pequena, e o retrato vale para o dia do teste.
O que o nosso log mostra sobre as visitas da Anthropic?
Que o robô de treino é, de longe, o visitante mais assíduo da Anthropic, e que o de busca ainda não tinha aparecido. O Nginx do servidor do Nota do Site guarda uma linha por pedido, e separamos o que a Anthropic fez entre 22 de outubro de 2026, dia em que o site entrou no ar, e 3 de novembro: 13 dias ao todo, com perto de 80 páginas públicas.
Ficaram fora da conta os pedidos que o nosso próprio validador faz ao testar o site com o nome de cada robô.
| Robô | Pedidos | Dias com visita (de 13) | Endereços distintos | IP na lista da Anthropic / fora dela | O que mais pediu |
|---|---|---|---|---|---|
| ClaudeBot | 273 | 12 | 106 | 264 / 9 | sitemap (136), posts (68), robots.txt (31) |
| Claude-User | 5 | 2 | 5 | 0 / 5 | ferramentas (2), um post (1) |
| Claude-SearchBot | 0 | — | — | — | nenhuma visita real |
Três leituras, com cuidado. Só um dos 13 dias passou sem o ClaudeBot, e o arquivo que ele mais quis ver foi o sitemap: 136 pedidos, contra 68 a posts. Para um site novo, o sitemap é o atalho para a lista inteira de páginas, e o robô voltou a ele muitas vezes no período. Quase tudo o que chegou com o nome dele saiu de endereços do bots.json: só 9 pedidos usaram o nome ClaudeBot a partir de IPs que não estão no arquivo. O Claude-User é o caso oposto. Nenhuma das cinco visitas partiu de um endereço da lista publicada, e como a Anthropic não diz se a lista inclui esse robô, não dá para chamar as visitas de falsas nem de verdadeiras. Se vieram mesmo do Claude, cada uma corresponde a uma página aberta dentro de uma conversa, e o log não diz de quem; é o sinal mais próximo de um uso real numa resposta. E o Claude-SearchBot não passou por aqui no período, pelo menos não com esse nome.
Os limites contam tanto quanto os números. A amostra é um único site, recém-lançado, observado por menos de duas semanas: os números ilustram como ler o log e não dizem o que acontece no mercado. A Cloudflare fica na frente do servidor, e o que ela entregou do próprio cache não chega ao log.
Como saber se o Claude já cita o seu site?
Cruzando o log, o GA4 e o próprio Claude, já que a Anthropic não oferece a donos de sites um relatório de citações. Não encontramos na documentação nada parecido com o painel que o Bing mantém para o Copilot.
- Log de acesso. Procure os três nomes. Visitas do Claude-User mostram que alguém usou a sua página numa conversa, e a presença do Claude-SearchBot mostra que o site entrou no radar da busca. Os comandos que contam os códigos de resposta de cada robô, que mostramos para o Perplexity, servem trocando o nome. Um 403 ou um 503 para esses nomes indica recusa no servidor.
- GA4. A visita de quem clica numa fonte dentro do Claude aparece pela origem da sessão, com
claudeno nome, quando o navegador repassa o endereço de onde a pessoa veio. O grupo de canais do GA4 que separa as visitas vindas de assistentes junta essas sessões às de outras IAs. - O próprio Claude. Com a busca ligada, pergunte o que um cliente perguntaria, com cidade e detalhe, e confira os links listados como fonte. Volte às mesmas perguntas na semana seguinte, porque a lista de fontes varia. E lembre que a localização entra na busca: o resultado que você vê em São Paulo pode não ser o de quem pergunta em Recife.
Se o Claude já faz parte da sua rotina, dá para conectar o nosso validador à conversa e pedir a análise do site sem sair dela.
Qual dos três robôs da Anthropic o seu site recebe hoje?
Dá para descobrir em dez minutos, usando a página que mais traz clientes e seguindo esta ordem, do teste mais rápido ao que depende de outra pessoa:
- Leia o robots.txt publicado e procure
ClaudeBot,Claude-SearchBot,Claude-Usere umDisallow: /no grupo*. - Analise essa página de graça no validador. O teste pede a página se apresentando como cada robô de IA, mostra se o servidor atende ou recusa e diz o que o robots.txt libera para cada um.
- Se o servidor recusar, encaminhe à hospedagem ou à CDN a lista
bots.jsonda Anthropic e peça uma exceção que confira o user-agent e o endereço de origem. - Passe a mesma página pelo simulador de leitura sem JavaScript.
Com as portas abertas, o que decide a citação passa a ser a página: a resposta logo no começo de cada seção, com o nome da empresa e da cidade escritos por extenso.
