Testador de robots.txt: o Google e as IAs leem o seu site?

Digite seu domínio e use o testador de robots.txt para ver, em segundos, o que o Google, o ChatGPT, o Claude e o Perplexity podem ler.

Grátis, sem cadastro

Como usar o testador de robots.txt

  1. Primeiro, digite o domínio e clique em Analisar. A ferramenta busca o arquivo do site, que fica sempre em /robots.txt.
  2. Depois, veja o veredito para o Google, as IAs de busca e o treinamento de IA.
  3. Por fim, abra “Ver o robots.txt e testar URLs” para checar uma URL específica ou testar uma regra antes de publicá-la.
Testador de robots.txt: resultado de um exemplo, com o Google liberado e o OAI-SearchBot bloqueado entre os crawlers de IA

O que é o robots.txt?

É um arquivo de texto na raiz do site que diz aos crawlers quais caminhos eles podem acessar. O Google segue essas regras ao rastrear, e os crawlers de IA, como o GPTBot e o ClaudeBot, também têm as suas.

Mas ele não serve para tirar uma página do Google: segundo a documentação do Google, para isso é preciso usar noindex ou proteger a página com senha.

Exemplos de robots.txt

Liberar tudo

User-agent: *
Disallow:

Bloquear o GPTBot e manter o OAI-SearchBot

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

Quer mais modelos? Veja o modelo de robots.txt para IA.

Blog

Artigos sobre robots.txt e IA

Dúvidas comuns

Perguntas frequentes sobre o testador de robots.txt

O Google ainda tem um testador de robots.txt?

Em 2023 o Google substituiu o testador antigo do Search Console por um relatório de robots.txt, que mostra os arquivos encontrados, erros e avisos, mas não testa URLs. Por isso, esta ferramenta cobre essa lacuna com as regras documentadas pelo Google.

Esta é uma ferramenta oficial do Google?

Não. É uma implementação independente, baseada na documentação pública do Google. Para ver como o Googlebot trata uma URL específica, use a Inspeção de URL do Search Console.

Bloquear o GPTBot tira meu site do ChatGPT?

Não necessariamente. Segundo a OpenAI, o GPTBot coleta conteúdo que pode treinar modelos e o OAI-SearchBot define se o site aparece na busca do ChatGPT; as duas configurações são independentes. Portanto, para ficar fora da busca, o bloqueio é do OAI-SearchBot.

O que faz cada crawler de IA?

A Anthropic separa o ClaudeBot (treinamento), o Claude-SearchBot (busca) e o Claude-User (pedidos de usuários). O Google-Extended controla o uso do conteúdo no Gemini e não afeta a Busca do Google.

O que acontece se meu site não tem robots.txt?

Se o servidor responde 404 ou outro 4xx (exceto 429), o Google trata como se não houvesse restrições e rastreia todo o site.

Allow ou Disallow: qual vence?

Vence a regra mais específica, a de caminho mais longo. Se as duas têm o mesmo tamanho, então vence a menos restritiva, o Allow.

Preciso testar cada subdomínio?

Sim. Cada host tem o próprio robots.txt: blog.exemplo.com é separado de exemplo.com. Por isso, consulte um de cada vez.

Um robots.txt liberado garante que a IA vai citar minha marca?

Não. O robots.txt controla rastreamento, não indexação nem citação. Além disso, um firewall ou CDN também pode barrar crawlers sem deixar rastro no arquivo. Por isso, medir se a IA cita a sua marca, comparada aos concorrentes, é o trabalho da NotHuman.

Demo

Liberar o acesso é só o primeiro passo

Agende uma demo e veja como a sua marca aparece nas respostas de IA, com o acompanhamento de um especialista em GEO.

Agendar demo

Sua privacidade

Usamos cookies necessários para o site funcionar e cookies de estatística do Google Analytics e do Microsoft Clarity para melhorar o conteúdo. Você pode recusar os de estatística; na União Europeia, no Reino Unido e na Suíça, eles só são ativados depois que você aceitar. Política de Cookies.

Preferências de cookies

Política de Cookies