Por que olhar a página sem JavaScript
Quando alguém pergunta algo ao ChatGPT, ao Claude ou ao Perplexity com busca ligada, um robô baixa as páginas candidatas e entrega o texto ao modelo. Esses robôs não executam JavaScript: segundo um levantamento da Vercel publicado em dezembro de 2024, os da OpenAI e da Anthropic até baixam os arquivos de script, mas não rodam o código. O que a página só mostra depois que o navegador executa os scripts, para eles, não existe.
O Google é diferente: ele coloca a página numa fila e a renderiza com um navegador antes de indexar. Por isso um site pode ir bem no Google e sumir das respostas das IAs, e só uma ferramenta que olha o HTML cru mostra a diferença.
Como ler o resultado
- Palavras no conteúdo principal: o texto da página sem menu, rodapé e scripts. Abaixo de 50 palavras, a página está praticamente vazia para esses robôs.
- Montada por JavaScript?: o HTML tem uma raiz típica de aplicação (
<div id="root">,<div id="__next">e parecidas) que costuma vir vazia e ser preenchida no navegador. - Estrutura: o título e os subtítulos que o robô usa para entender do que trata cada trecho.
- O texto: as primeiras 400 palavras, na ordem em que aparecem no HTML. Se a resposta principal da página não está aqui, ela não chega à IA.
Os robôs na tabela mostram, ainda, quem o robots.txt deixa entrar nesta página. Se um robô de busca de IA aparece bloqueado, o texto pode estar perfeito e mesmo assim não ser lido.
O que fazer quando o conteúdo some
A correção é entregar o conteúdo principal no HTML que o servidor envia. Os caminhos mais comuns são renderização no servidor (SSR), geração estática das páginas e pré-renderização para robôs. Frameworks como Next.js, Nuxt e Astro já fazem isso quando configurados para tal. Menus, filtros e efeitos podem continuar em JavaScript; o texto que responde à pergunta do leitor precisa estar no HTML.
Depois da mudança, rode esta ferramenta de novo e faça a análise completa, que testa também se o firewall deixa cada robô de IA entrar. Para escolher quais robôs liberar, use o testador de robots.txt.
Perguntas frequentes
Os robôs de IA executam JavaScript?
Os da OpenAI, da Anthropic e da Perplexity, não. Um levantamento da Vercel, de dezembro de 2024, mostrou que eles até baixam os arquivos JavaScript, mas não os executam. O Gemini usa a estrutura do Googlebot, que renderiza JavaScript, e o robô da Apple também renderiza.
Meu site é feito em React. A IA consegue ler?
Depende de como as páginas são entregues. Com renderização no servidor (SSR) ou geração estática, o texto já vem no HTML e os robôs leem normalmente. Se a página chega como uma div vazia que o JavaScript preenche no navegador, para esses robôs ela está em branco.
Por que a ferramenta mostra menos texto do que eu vejo no navegador?
Porque ela lê só o HTML que o servidor envia, sem executar scripts, e separa o conteúdo principal do menu e do rodapé. O que aparece no navegador e não aparece aqui foi montado por JavaScript ou está fora do conteúdo principal.
O Google também lê só o HTML?
Não. O Google coloca a página numa fila e a renderiza com um Chromium antes de indexar, o que pode levar de segundos a mais tempo. Mesmo assim, ele diz que renderizar no servidor ou pré-renderizar continua sendo uma ótima ideia, porque deixa o site mais rápido e nem todo robô executa JavaScript.
Liberar o robots.txt basta para a IA ler a página?
Não. O robots.txt diz se o robô pode entrar; esta ferramenta mostra o que ele encontra lá dentro. E ainda existe o firewall, que pode recusar o robô mesmo com o robots.txt liberado: a análise completa do validador testa isso com o user-agent de cada robô.
O que fazer se o conteúdo não aparece?
Peça a quem desenvolve o site para entregar o conteúdo principal no HTML: renderização no servidor, geração estática ou pré-renderização das páginas que importam. Menus e efeitos podem continuar em JavaScript; o texto que responde à pergunta do leitor, não.
Fontes
As regras desta ferramenta seguem a documentação oficial:
- The rise of the AI crawler (Vercel, dez. 2024)
- Overview of OpenAI Crawlers
- Noções básicas de SEO para JavaScript (Google Search Central)
Outras ferramentas grátis
- Testador de robots.txt: Teste grátis se uma página está liberada no robots.txt para Googlebot, Bingbot e robôs de IA, veja a linha que decidiu e teste rascunhos.
- Verificador de robots.txt para IA: Veja na hora quais robôs de IA o robots.txt do seu site libera ou bloqueia: OAI-SearchBot, GPTBot, ClaudeBot, PerplexityBot, Google-Extended e outros.
- Validador de llms.txt: Confira se o seu site publica um llms.txt e se ele segue o formato proposto: título, resumo, seções e links em Markdown.
- Teste de dados estruturados: Teste grátis dos dados estruturados de uma página: JSON-LD válido, tipos do Schema.org, propriedades obrigatórias, Organization, WebSite, breadcrumb e FAQ.
- Gerador de llms.txt: Gere grátis o llms.txt do seu site a partir da página inicial e do sitemap, no formato de llmstxt.org, pronto para revisar, copiar e publicar.
- Verificador de meta tags: Confira grátis as meta tags de uma página: título, meta description, H1, canonical, indexação, idioma, Open Graph e Twitter Card.
Para ver tudo de uma vez, faça a análise completa, com as 81 regras descritas na metodologia.
