Tempo de leitura: 12 minutos
O user agent GPTBot e o user agent ClaudeBot coletam conteúdo que pode treinar modelos, enquanto o OAI-SearchBot e o Claude-SearchBot alimentam a busca. Esta lista de user agents reúne os robôs de IA que as empresas documentam, ou seja, a função de cada um e a regra sobre o robots.txt.
Em resumo
- A lista vem só das páginas oficiais de 11 empresas, então robô sem página oficial ficou de fora.
- Cada robô tem uma de três funções: treino, busca ou ação do usuário. Na maioria das empresas, o robô de busca decide se o site aparece nas respostas, pois o treino tem controle à parte.
- Os robôs de ação do usuário, como o ChatGPT-User e o Perplexity-User, podem ignorar o robots.txt, de acordo com as próprias empresas.
- A lista muda, então confira a página oficial antes de editar o robots.txt.
Qual é a lista de user agents dos robôs de IA?
A lista de user agents abaixo vem das páginas oficiais de 11 empresas. Cada robô tem uma de três funções: treino de modelos, busca ou ação do usuário. Portanto, copie os nomes como estão: são os tokens do robots.txt, e a regra de cada robô aparece junto da tabela.
Quais user agents servem ao treino de modelos?
Os robôs de treino coletam páginas que podem entrar nos dados dos modelos, ou seja, no que o modelo aprende. De acordo com a OpenAI e a Anthropic, bloquear o user agent GPTBot ou o user agent ClaudeBot sinaliza que o conteúdo não deve treinar os modelos.
| Operadora e user agent | Função |
|---|---|
| OpenAI: GPTBot | Treino dos modelos |
| Anthropic: ClaudeBot | Treino dos modelos |
| Google: Google-Extended | Treino do Gemini e embasamento |
| Apple: Applebot-Extended | Treino dos modelos da Apple |
| Meta: meta-externalagent | Treino ou indexação de conteúdo |
| Amazon: Amazonbot | Melhoria de produtos e treino |
| Mistral: MistralAI-Training | Conjuntos de dados de treino |
| Common Crawl: CCBot | Acervo aberto da web |
Todos os robôs da tabela têm um nome para o Disallow no robots.txt, de acordo com as empresas. O Common Crawl, porém, só manda bloquear o CCBot pelo arquivo e não diz com essas palavras que o robô obedece. Dois dos nomes, além disso, não são robôs de verdade. O Google-Extended e o Applebot-Extended são tokens do robots.txt. Ou seja, o rastreamento usa os robôs normais das empresas, e o token só controla o uso do que foi coletado. Assim, nenhum dos dois aparece nos logs. De acordo com o Google, o Google-Extended não tem user agent próprio, e a Apple diz que o Applebot-Extended não rastreia páginas.
Amazonbot e meta-externalagent misturam treino e melhoria de produtos, conforme a Amazon e a Meta. Logo, decida esses dois caso a caso.
Quais user agents servem à busca das IAs?
Os robôs de busca indexam páginas para as respostas e as citações, e vários deles não treinam modelos. A Perplexity afirma isso do PerplexityBot, enquanto a Amazon, a DuckDuckGo e a Mistral dizem o mesmo do Amzn-SearchBot, do DuckAssistBot e do MistralAI-Index. Portanto, é nesta tabela que está o acesso que importa para ser citado.
| Operadora e user agent | Função |
|---|---|
| OpenAI: OAI-SearchBot | Busca do ChatGPT |
| Anthropic: Claude-SearchBot | Busca do Claude |
| Perplexity: PerplexityBot | Busca do Perplexity |
| Google: Googlebot | Pesquisa Google e seus recursos de IA |
| Microsoft: bingbot | Bing e Copilot |
| Apple: Applebot | Siri, Spotlight e Safari |
| Meta: meta-webindexer | Busca do Meta AI |
| Amazon: Amzn-SearchBot | Busca em produtos como a Alexa |
| DuckDuckGo: DuckAssistBot | Respostas de IA do DuckDuckGo |
| DuckDuckGo: DuckDuckBot | Busca do DuckDuckGo |
| Mistral: MistralAI-Index | Busca da Mistral |
Todos os robôs da tabela aceitam regras do robots.txt, de acordo com as empresas, mas a página do MistralAI-Index não detalha esse ponto. O Applebot, além disso, também pode treinar modelos da Apple, segundo a própria Apple, a menos que o Applebot-Extended esteja bloqueado. No Google, por exemplo, não existe robô só para a IA. De acordo com a página de recursos de IA do Google, a IA faz parte da Pesquisa, e o robots.txt do Googlebot é o controle. A Microsoft, por sua vez, usa o mesmo rastreamento para o Bing e o Copilot, conforme as diretrizes do Bing.
Quais user agents abrem páginas a pedido do usuário?
Esses robôs não rastreiam o site sozinhos, pois abrem uma página só quando uma pessoa faz uma pergunta ou pede uma tarefa a um assistente. Assim, como o pedido vem de um usuário, várias empresas avisam que o robots.txt pode não valer.
| Operadora e user agent | Função | Segue o robots.txt? |
|---|---|---|
| OpenAI: ChatGPT-User | Abre páginas a pedido no ChatGPT | Pode não valer |
| Anthropic: Claude-User | Abre páginas a pedido no Claude | Sim |
| Perplexity: Perplexity-User | Abre páginas a pedido no Perplexity | Em geral ignora |
| Google: Google-Agent | Agentes que agem a pedido do usuário | Em geral ignora |
| Google: Google-GeminiNotebook | Abre fontes escolhidas no Gemini Notebook | Em geral ignora |
| Meta: meta-externalfetcher | Abre links a pedido do usuário | Pode ignorar |
| Amazon: Amzn-User | Responde a consultas da Alexa | Pode ignorar parte |
| Mistral: MistralAI-User | Abre páginas a pedido na Vibe | Não detalhado pela operadora |
A Anthropic é a exceção, porque, segundo a empresa, os robôs dela respeitam o robots.txt. Nos outros casos, a regra varia. O Google, por exemplo, explica que o fetcher pedido por um usuário em geral ignora as regras, e a Mistral não detalha o ponto. Por isso, se o objetivo é barrar de fato, a regra vai para o firewall.
Quais outros user agents de IA aparecem nos logs?
Quatro robôs da lista de user agents não cabem nas três funções, mas aparecem nos logs. O GoogleOther é o rastreador genérico do Google, usado, por exemplo, em pesquisa e desenvolvimento. O Google-CloudVertexBot rastreia só a pedido de donos de site, porque serve para criar agentes no Vertex AI.
O OAI-AdsBot e o meta-externalads, por outro lado, ligam-se a anúncios. O primeiro valida as páginas enviadas como anúncio no ChatGPT e só visita essas páginas. A OpenAI diz que ele não treina modelos, mas a página não informa se o robots.txt vale para ele, e quem anuncia precisa liberá-lo. O segundo rastreia a web para melhorar produtos de publicidade.

Como os user agents aparecem nos logs?
Nos logs, o user agent GPTBot aparece como uma linha longa, ou seja, com o nome do robô, a versão e um endereço de contato. Filtre pelo nome, e não pela string inteira, porque a versão muda. Os exemplos abaixo vêm das páginas oficiais, então copie o nome do robô de lá.
GPTBot Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
PerplexityBot Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
Googlebot Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
bingbot Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
Amazonbot Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36
Amzn-SearchBot Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amzn-SearchBot/0.1) Chrome/W.X.Y.Z Safari/537.36
MistralAI-User Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; MistralAI-User/1.0; +https://docs.mistral.ai/robots)
CCBot CCBot/2.0 (https://commoncrawl.org/faq/)
DuckAssistBot DuckAssistBot/1.2; (+http://duckduckgo.com/duckassistbot.html)
meta-webindexer meta-webindexer/1.1
Três detalhes evitam erro na hora de filtrar:
- Anthropic: a empresa publica só os nomes ClaudeBot, Claude-SearchBot e Claude-User, sem a string completa. Assim, o user agent ClaudeBot se acha apenas pelo nome.
- Curinga: Google, Microsoft e Amazon usam Chrome/W.X.Y.Z no lugar da versão, então use um curinga nesse trecho.
- Marca robots.txt: sempre que busca o arquivo, a OpenAI pode pôr “robots.txt” na string do user agent GPTBot e na do OAI-SearchBot.
Os comandos para contar pedidos por robô estão, aliás, no guia de robôs de IA nos logs do servidor.
Como liberar ou bloquear os user agents no robots.txt?
Escreva um grupo User-agent para cada robô que você quer tratar de forma diferente, a partir da lista de user agents acima. As empresas dizem que cada configuração é independente das outras. Assim, para recusar o treino, escreva um grupo para o user agent GPTBot e outro para o user agent ClaudeBot, e deixe o OAI-SearchBot livre.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
Seis regras das páginas oficiais mudam o resultado:
- Sem grupo próprio: o Amzn-SearchBot segue as regras dos outros robôs de busca se o arquivo os cita, e o Applebot segue as do Googlebot se o arquivo cita o Googlebot.
- Cada subdomínio: a Anthropic pede que o bloqueio entre no robots.txt de todo subdomínio, ou seja, em um arquivo por host.
- Crawl-delay: a Anthropic aceita a diretiva, mas o Applebot e os robôs da Amazon não.
- Prazo: OpenAI e Amazon falam em cerca de 24 horas para a mudança valer, enquanto a Meta fala em até 24 horas e a DuckDuckGo, para o DuckAssistBot, em 72.
- Bloqueio por IP: a Anthropic avisa que ele pode falhar, porque impede a leitura do robots.txt.
- Ação do usuário: como o robots.txt pode não valer, o bloqueio exige firewall ou CDN.
A decisão de cada robô, porém, depende do objetivo, e os efeitos para GEO estão no guia de robots.txt para IA. Depois de editar o arquivo, siga o roteiro para testar se o robots.txt bloqueia o Google, o Bing ou os robôs de IA. Se o robô for barrado fora do arquivo, ou seja, na CDN, veja como liberar os robôs de busca de IA na Cloudflare. Para um arquivo completo, com busca liberada e treino recusado, copie o modelo de robots.txt para IA.
Como verificar que os user agents são verdadeiros?
Para conferir o user agent GPTBot, o user agent ClaudeBot e os demais, compare o IP do pedido com as listas oficiais. Afinal, qualquer um pode escrever um user agent falso. Aliás, o próprio Google avisa que a string pode ser falsificada, e o Common Crawl alerta para robôs que se passam por CCBot. Além disso, Google, Apple e Common Crawl descrevem o DNS reverso nas páginas deles.
- OpenAI: uma lista de IPs em JSON para cada robô, incluindo o GPTBot, o OAI-SearchBot e o ChatGPT-User.
- Anthropic: uma lista única, o bots.json, para os três robôs.
- Perplexity: uma lista para o PerplexityBot e outra para o Perplexity-User.
- Google: o common-crawlers.json e o DNS reverso com final googlebot.com. Os fetchers de usuário têm listas próprias.
- Microsoft: a ferramenta Verify Bingbot, do Bing Webmaster Tools.
- Apple: o DNS reverso em applebot.apple.com ou uma lista de blocos CIDR.
- Amazon: uma lista de IPs para o Amazonbot, o Amzn-SearchBot e o Amzn-User.
- DuckDuckGo, Mistral e Common Crawl: listas de IP em JSON. Na Mistral, elas cobrem o MistralAI-User e o MistralAI-Index. O Common Crawl também aceita o DNS reverso em crawl.commoncrawl.org.
- Meta: a página dos robôs de IA não publica lista de IPs.
Por fim, o script que cruza o IP do log com essas listas está no mesmo guia de logs.
Com que frequência a lista de user agents muda?
A lista de user agents muda sem calendário fixo, pois cada empresa edita a própria página. Na página do Google, por exemplo, o Google-NotebookLM aparece como agente antigo, com suporte até agosto de 2026, e o Google-GeminiNotebook ocupa o lugar dele. Em 2026, a Meta atualizou a página em maio, a Apple publicou a dela em setembro, e Google e Amazon editaram as suas em outubro.
A OpenAI, por exemplo, avisa que a versão do user agent GPTBot pode mudar, e a Anthropic publica só o nome do user agent ClaudeBot. A Cohere, por outro lado, diz que não usa robôs para treinar modelos hoje e que listaria um robô na tabela dela se isso mudar. Além disso, a Anthropic oferece um formulário para receber aviso quando o artigo dela mudar de forma relevante.
Por isso, trate a lista de user agents como retrato de um momento. Revise-a a cada trimestre ou depois de cada lançamento de um assistente novo. Prefira sempre as páginas oficiais, porque são elas que mudam primeiro.
Perguntas frequentes
O user agent GPTBot coleta conteúdo que pode treinar os modelos da OpenAI, enquanto o OAI-SearchBot mostra sites na busca do ChatGPT. As regras de cada um no robots.txt são independentes. Assim, bloquear só o GPTBot recusa o treino sem tirar o site da busca, como mostra o guia de robots.txt para IA.
Não necessariamente. Segundo a Anthropic, o user agent ClaudeBot coleta conteúdo que pode contribuir para o treino, enquanto a busca do Claude usa o Claude-SearchBot. Desativar o Claude-SearchBot, porém, pode reduzir a visibilidade e a precisão do site nos resultados de busca do Claude.
Não. O Google-Extended não tem user agent próprio. O Google rastreia com os user agents de sempre, e o token só controla o uso do conteúdo no treino e no embasamento do Gemini. Portanto, o robots.txt é o único lugar em que ele aparece.
Primeiro, veja se ele é de ação do usuário, porque as empresas dizem que o robots.txt pode não valer para esses robôs. Em seguida, confirme o IP nas listas oficiais. Para barrar, use o firewall ou a CDN, como no guia sobre o ChatGPT bloqueado na Cloudflare.
Fontes principais
- OpenAI, Overview of OpenAI Crawlers (2026).
- Anthropic, robôs da Anthropic e como bloqueá-los (2026).
- Google Search Central, lista de rastreadores comuns do Google (2026).
- Google Search Central, lista de fetchers acionados por usuários (2026).
- Perplexity, Perplexity Crawlers (2026).
- Apple, About Applebot (2026).
- Amazon, Amazon Web Search crawlers (2026).
- Meta, Meta Web Crawlers (2026).



