Tempo de leitura: 13 minutos
O robots.txt para IA é o conjunto de regras que diz a cada robô de IA o que ele pode rastrear. Para que o site apareça nas respostas, libere no robots.txt os robôs de busca, como o OAI-SearchBot do ChatGPT, o Claude-SearchBot e o PerplexityBot. Já os de treino, como GPTBot e ClaudeBot, podem ficar bloqueados no robots.txt sem tirar o site dessas respostas.
Em resumo
- Na maioria das empresas de IA, o robots.txt controla a busca e o treino em separado. Assim, quem decide se o site aparece nas respostas é o robô de busca.
- Bloquear o GPTBot no robots.txt não tira o site da busca do ChatGPT. Já bloquear o OAI-SearchBot no robots.txt tira o site das respostas com busca do ChatGPT, segundo a OpenAI.
- Bloquear o Google-Extended no robots.txt não tira o site das Visões gerais criadas por IA. Isso porque ele limita outra coisa: o treino do Gemini e o embasamento nos apps do Gemini.
- O robots.txt é um pedido, não uma trava. A hospedagem ou a CDN podem barrar um robô que o arquivo libera, então teste cada user agent.
Quais robôs de IA existem e o que cada um faz?
Os robôs de IA fazem três trabalhos: buscar páginas para citar nas respostas, coletar conteúdo para treinar modelos e abrir páginas a pedido de um usuário. OpenAI e Anthropic, por exemplo, têm um robô para cada trabalho. Google e Apple, por outro lado, controlam o treino por um token à parte no robots.txt, sem robô próprio.
| Empresa | Robô de busca | Robô ou token de treino |
|---|---|---|
| OpenAI | OAI-SearchBot | GPTBot |
| Anthropic | Claude-SearchBot | ClaudeBot |
| Perplexity | PerplexityBot | Nenhum declarado |
| Googlebot | Google-Extended (token) | |
| Apple | Applebot (Siri, Spotlight e Safari) | Applebot-Extended (token) |
| Amazon | Amzn-SearchBot (Alexa) | Amazonbot (uso misto) |
| Meta | Nenhum só de busca | meta-externalagent (uso misto) |
| Common Crawl | Não faz busca | CCBot (acervo aberto) |
| Microsoft | Bingbot (Bing e Copilot) | Sem token de treino |
Há ainda os robôs que abrem páginas a pedido de um usuário: ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher e Amzn-User. Eles merecem cuidado, porque nem todos seguem o robots.txt. De acordo com a documentação do Perplexity, o Perplexity-User em geral ignora o arquivo, pois quem pede a visita é uma pessoa. Da mesma forma, a OpenAI diz que as regras do robots.txt podem não valer para o ChatGPT-User. Meta e Amazon avisam o mesmo sobre os robôs delas. Já a Anthropic afirma que os robôs dela, inclusive o Claude-User, seguem o robots.txt.
Como Apple e Microsoft tratam o robots.txt?
Na Apple, há uma armadilha. De acordo com a documentação do Applebot, se o robots.txt não cita o Applebot, mas cita o Googlebot, o robô da Apple segue as regras do Googlebot. Assim, um bloqueio pensado para o Google pode valer também para a busca da Siri e do Spotlight.
Atualmente, a Microsoft não tem token de IA no robots.txt. Segundo a Cloudflare, a Microsoft prevê para o início de 2027 o suporte à recusa de treino pelo arquivo. Enquanto isso, o Bingbot rastreia para o Bing e para o Copilot, e as diretrizes do Bing pedem para não bloqueá-lo. Para tirar uma página das respostas do Copilot, o Bing indica a meta tag NOARCHIVE.
Quantos sites já têm regras para robôs de IA no robots.txt?
Poucos sites escrevem regras para esses robôs. No Web Almanac 2025, do HTTP Archive, o GPTBot aparecia no robots.txt de 4,5% dos sites na versão desktop, em julho de 2025. Em 2024, eram 2,9%. No entanto, citar o robô não quer dizer bloquear, porque a regra pode liberar o site ou restringir só uma pasta.
Quase ninguém bloqueia a busca. De acordo com a Cloudflare, que vende controle de robôs, menos de 1% dos sites da rede dela bloqueiam robôs de busca. Em contrapartida, 17% usam algum bloqueio de treino. O Web Almanac 2025 resume a mudança no papel do arquivo:
“O robots.txt virou um ponto de controle com dupla função, que equilibra a visibilidade na busca e a proteção contra a coleta de dados em grande escala.” (tradução nossa)
Capítulo de SEO do Web Almanac 2025, HTTP Archive (2026)
Bloquear o GPTBot tira o site do ChatGPT?
Não. O GPTBot coleta conteúdo para treinar os modelos da OpenAI, enquanto o OAI-SearchBot decide se o site aparece na busca do ChatGPT. De acordo com a OpenAI, o site que bloqueia o OAI-SearchBot no robots.txt sai das respostas com busca do ChatGPT. Ainda assim, ele pode surgir como link de navegação.
Na documentação de robôs da OpenAI, as regras de cada robô no robots.txt são independentes. Por isso, dá para liberar o OAI-SearchBot e bloquear o GPTBot no mesmo robots.txt. Se os dois estiverem liberados, a OpenAI pode usar um só rastreamento para os dois fins, o que evita visitas repetidas.
O bloqueio do GPTBot, porém, tem um custo para GEO. Sem busca, o ChatGPT responde com o que o modelo aprendeu no treino. Com o GPTBot bloqueado no robots.txt, o site sinaliza que o conteúdo não deve entrar no treino dos próximos modelos. Assim, na memória desses modelos, a marca passa a depender do que outros sites dizem dela. A diferença entre memória e busca está no guia sobre o que é GEO.
O ChatGPT-User é outro caso. Ele abre páginas quando um usuário do ChatGPT pede, e a OpenAI diz que o robots.txt pode não valer para essas visitas. A regra do ChatGPT-User no robots.txt também não decide quem aparece na busca. O papel de cada robô e o do Bing estão no guia de como aparecer no ChatGPT.
Como liberar a busca e bloquear o treino da IA no robots.txt?
No robots.txt, bloqueie só os robôs e tokens de treino, como o GPTBot, e deixe os de busca seguirem as regras gerais. Isso funciona porque um robô sem grupo próprio obedece ao grupo User-agent: *. Assim, se esse grupo não bloqueia o site, OAI-SearchBot, Claude-SearchBot e PerplexityBot já estão liberados no robots.txt, sem nenhuma linha a mais.
Por exemplo, uma loja que quer aparecer nas respostas da IA pode bloquear o GPTBot e outros robôs de treino com este robots.txt:
# Treino de modelos: recusado
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: CCBot
Disallow: /
# Todos os outros, inclusive os robôs de busca das IAs
User-agent: *
Disallow: /carrinho/
Disallow: /minha-conta/
Sitemap: https://www.sualoja.com.br/sitemap.xmlO CCBot monta o acervo aberto da Common Crawl, que qualquer pessoa pode acessar. A Cloudflare, inclusive, o inclui na lista de robôs de treino do robots.txt que ela gera. Amazonbot e meta-externalagent também coletam conteúdo para treino, segundo Amazon e Meta, mas servem a outros produtos das empresas. Logo, decida esses dois caso a caso.
Cada robô segue um só grupo: o que traz o nome dele ou, na falta, o grupo *. Pela especificação do Google, o robô ignora os outros grupos. Portanto, se o robots.txt ganhar um grupo para o OAI-SearchBot com Allow: /, esse robô deixa de obedecer às regras do *, como o bloqueio do carrinho. Nesse caso, repita no grupo novo as regras que ainda valem.
O Google-Extended ficou fora do exemplo de propósito. Bloqueado, ele recusa o treino do Gemini, mas também tira o conteúdo do embasamento das respostas nos apps do Gemini. Por isso, quem quer aparecer como fonte no app do Gemini deve deixá-lo liberado.
Por que o robots.txt não barra um robô de IA sozinho?
O robots.txt é um pedido, e não uma trava. Segundo a Cloudflare, seguir o arquivo é voluntário, e ele não impede o acesso no nível técnico. Para impor o bloqueio, portanto, a regra vai para a CDN ou o firewall. Na Cloudflare, por exemplo, a opção Disallow para o treino, com o Bot Preference Sync ligado, escreve as regras no robots.txt. Ela ainda barra na borda os robôs só de treino. O passo a passo está no guia de como checar e liberar os robôs de IA na Cloudflare.
Google-Extended afeta as Visões gerais criadas por IA?
Não. As Visões gerais criadas por IA e o Modo IA fazem parte da Pesquisa Google e, por isso, seguem as regras do Googlebot. O Google-Extended controla outra coisa: o uso do conteúdo no treino dos modelos Gemini e no embasamento das respostas dos apps do Gemini. Portanto, bloqueá-lo no robots.txt não tira o site da Pesquisa nem das Visões gerais criadas por IA.
De acordo com a documentação do Google, o Google-Extended não afeta a inclusão do site na Pesquisa nem é sinal de classificação. Além disso, ele não tem user agent próprio: os robôs normais do Google fazem o rastreamento, e o token só indica o uso permitido. Dessa forma, ele não aparece nos logs.
Para tirar o site das Visões gerais e do Modo IA, há dois caminhos. O primeiro é o controle de IA generativa do Search Console, liberado para todos os sites em 31 de agosto de 2026. O segundo são os controles de visualização na página, como o nosnippet, porque esses recursos só usam páginas que podem aparecer com trecho.
| Controle | O que tira | O que não tira |
|---|---|---|
| Google-Extended | Treino do Gemini e embasamento nos apps | Pesquisa, Visões gerais e Modo IA |
| Controle do Search Console | Visões gerais, Modo IA e IA do Discover | Resto da Pesquisa e treino |
| nosnippet | Trechos da página, inclusive nas Visões gerais | Índice da Pesquisa |
Segundo a ajuda do Search Console, o controle não afeta o treino de IA. Para limitar o treino dos modelos que geram essas respostas, o Google indica o Google-Extended. Por outro lado, o noindex tira a página da Pesquisa inteira. Os detalhes do controle, como a herança entre propriedades, estão no guia do Modo IA e das Visões gerais do Google.
Como testar se o robots.txt libera os robôs de IA?
Teste em três camadas: o arquivo, as regras e a resposta do servidor. Em primeiro lugar, abra o robots.txt de cada host. Em seguida, descubra qual grupo vale para cada robô e veja como a hospedagem responde a cada user agent. Afinal, um arquivo certo não basta se o servidor ou a CDN barra o robô antes.
- Abra o arquivo em cada host. O endereço
https://www.seusite.com.br/robots.txtprecisa responder 200, com texto puro. Cada subdomínio e cada protocolo têm o próprio arquivo, e um não herda as regras do outro. - Ache o grupo de cada robô. Procure o nome de cada robô de busca e de treino. Sem grupo próprio, vale o
*. Então, confira se nenhumDisallow: /pega um robô de busca. - Use os relatórios gratuitos. O relatório de robots.txt do Search Console mostra os arquivos que o Google achou, a data da última leitura e os erros. Já o testador do Bing Webmaster Tools mostra qual linha bloqueia uma URL, mas só para os robôs do Bing.
- Confira os logs. Filtre por robô e conte os códigos de resposta. Quando busca o arquivo, a OpenAI pode pôr a marca “robots.txt” no user agent. Uma vez que qualquer um imita um user agent, confira o IP nas listas que as empresas publicam.
- Teste o servidor com cada user agent. O bloqueio pode estar na hospedagem ou na CDN, fora do robots.txt e do CMS. O script abaixo pede o arquivo e a página inicial com o nome de cada robô.
SITE="https://www.seusite.com.br"
for ROBO in OAI-SearchBot ChatGPT-User GPTBot Claude-SearchBot ClaudeBot PerplexityBot; do
UA="Mozilla/5.0 (compatible; $ROBO)"
R=$(curl -sL -o /dev/null -w "%{http_code}" -A "$UA" "$SITE/robots.txt")
H=$(curl -sL -o /dev/null -w "%{http_code}" -A "$UA" "$SITE/")
echo "$ROBO | robots.txt: $R | página inicial: $H"
doneQuando o bloqueio está fora do robots.txt?
Na NotHuman, o robots.txt do blog não bloqueia GPTBot, Google-Extended nem CCBot, por decisão de GEO. Ainda assim, num teste nosso, fizemos um pedido de um IP comum com o user agent completo do GPTBot. O servidor da hospedagem respondeu 429, inclusive no robots.txt. Os pedidos com os user agents do OAI-SearchBot, do ChatGPT-User, do ClaudeBot e de um navegador receberam 200. Não sabemos se o robô real, vindo dos IPs da OpenAI, também recebe 429, porque o teste não reproduz o IP. A lição é testar cada user agent e olhar os logs, já que o bloqueio pode estar na hospedagem, fora do robots.txt e do WordPress.
Se um robô recebe 403, 429 ou 503 e o navegador recebe 200, o bloqueio vem do servidor ou da CDN. O script acima, porém, usa só o nome de cada robô. Para o user agent completo e para ver o texto que o robô recebe, use o teste do guia de JavaScript SEO para robôs de IA.
Um erro do servidor ao entregar o arquivo também bloqueia. Pela RFC 9309, o padrão do robots.txt, um erro 5xx obriga o robô a presumir que tudo está proibido. Depois de corrigir o robots.txt, a OpenAI fala em cerca de 24 horas para a busca do ChatGPT se ajustar. Por fim, o robots.txt é só a primeira das causas de a IA não citar uma marca. Depois dele vêm CDN, índice e conteúdo.
Perguntas frequentes
Não garante. O robots.txt é um pedido que os robôs das grandes empresas dizem seguir, não uma trava técnica. Alguns robôs que abrem páginas a pedido do usuário, como o Perplexity-User, em geral ignoram o arquivo. Por isso, para impedir o acesso de fato, a regra precisa estar no servidor, na CDN ou no firewall.
Cerca de 24 horas nos robôs que informam o prazo. A OpenAI e a Amazon falam em cerca de 24 horas, enquanto o Perplexity fala em até 24 horas. O Google costuma guardar o robots.txt em cache por até 24 horas. Por fim, o robô ainda precisa voltar às páginas.
Não necessariamente. De acordo com a OpenAI, o ChatGPT-User abre páginas a pedido de usuários, e as regras do robots.txt podem não valer para essas visitas. Além disso, o ChatGPT-User não decide se o site aparece na busca do ChatGPT. Para a busca, vale a regra do OAI-SearchBot no robots.txt.
Não. Segundo a proposta do llms.txt, os dois arquivos têm funções diferentes. O robots.txt diz que acesso é aceitável, enquanto o llms.txt oferece um resumo do site para a IA consultar. O Google, aliás, diz que não é preciso criar arquivos de texto para IA para aparecer nas Visões gerais e no Modo IA. Veja para que serve o llms.txt e se vale criar um.
Quer saber como sua marca aparece hoje nas respostas de IA?
A NotHuman está abrindo vagas para agências e marcas acompanharem como aparecem nas respostas de IA. Entre na lista de espera e avisamos quando houver uma vaga para você.
Fontes principais
- OpenAI, Overview of OpenAI Crawlers (2026).
- Anthropic, robôs da Anthropic e como bloqueá-los (2026).
- Perplexity, Perplexity Crawlers (2026).
- Google Search Central, rastreadores comuns do Google e o token Google-Extended (2026).
- Ajuda do Search Console, controle de uso na IA generativa da Pesquisa (2026).
- Google Search Central, como o Google interpreta a especificação do robots.txt (2026).
- IETF, RFC 9309, Robots Exclusion Protocol (2022).
- HTTP Archive, Web Almanac 2025, capítulo de SEO (2026).
