Lista de user agents de robôs de IA: GPTBot, OAI-SearchBot e outros

A lista de user agents dos robôs de IA que as próprias empresas documentam: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot e outros, com a função de cada um, a string nos logs, o robots.txt e a verificação do IP.
Escrito com IA e revisado por humanos

Neste artigo

Veja como sua marca aparece nas respostas da IA

Agende uma demo e descubra o que corrigir primeiro, com um especialista em GEO.

Agendar demo

Tempo de leitura: 12 minutos

O user agent GPTBot e o user agent ClaudeBot coletam conteúdo que pode treinar modelos, enquanto o OAI-SearchBot e o Claude-SearchBot alimentam a busca. Esta lista de user agents reúne os robôs de IA que as empresas documentam, ou seja, a função de cada um e a regra sobre o robots.txt.

Em resumo

  • A lista vem só das páginas oficiais de 11 empresas, então robô sem página oficial ficou de fora.
  • Cada robô tem uma de três funções: treino, busca ou ação do usuário. Na maioria das empresas, o robô de busca decide se o site aparece nas respostas, pois o treino tem controle à parte.
  • Os robôs de ação do usuário, como o ChatGPT-User e o Perplexity-User, podem ignorar o robots.txt, de acordo com as próprias empresas.
  • A lista muda, então confira a página oficial antes de editar o robots.txt.

Qual é a lista de user agents dos robôs de IA?

A lista de user agents abaixo vem das páginas oficiais de 11 empresas. Cada robô tem uma de três funções: treino de modelos, busca ou ação do usuário. Portanto, copie os nomes como estão: são os tokens do robots.txt, e a regra de cada robô aparece junto da tabela.

Quais user agents servem ao treino de modelos?

Os robôs de treino coletam páginas que podem entrar nos dados dos modelos, ou seja, no que o modelo aprende. De acordo com a OpenAI e a Anthropic, bloquear o user agent GPTBot ou o user agent ClaudeBot sinaliza que o conteúdo não deve treinar os modelos.

Operadora e user agentFunção
OpenAI: GPTBotTreino dos modelos
Anthropic: ClaudeBotTreino dos modelos
Google: Google-ExtendedTreino do Gemini e embasamento
Apple: Applebot-ExtendedTreino dos modelos da Apple
Meta: meta-externalagentTreino ou indexação de conteúdo
Amazon: AmazonbotMelhoria de produtos e treino
Mistral: MistralAI-TrainingConjuntos de dados de treino
Common Crawl: CCBotAcervo aberto da web

Todos os robôs da tabela têm um nome para o Disallow no robots.txt, de acordo com as empresas. O Common Crawl, porém, só manda bloquear o CCBot pelo arquivo e não diz com essas palavras que o robô obedece. Dois dos nomes, além disso, não são robôs de verdade. O Google-Extended e o Applebot-Extended são tokens do robots.txt. Ou seja, o rastreamento usa os robôs normais das empresas, e o token só controla o uso do que foi coletado. Assim, nenhum dos dois aparece nos logs. De acordo com o Google, o Google-Extended não tem user agent próprio, e a Apple diz que o Applebot-Extended não rastreia páginas.

Amazonbot e meta-externalagent misturam treino e melhoria de produtos, conforme a Amazon e a Meta. Logo, decida esses dois caso a caso.

Quais user agents servem à busca das IAs?

Os robôs de busca indexam páginas para as respostas e as citações, e vários deles não treinam modelos. A Perplexity afirma isso do PerplexityBot, enquanto a Amazon, a DuckDuckGo e a Mistral dizem o mesmo do Amzn-SearchBot, do DuckAssistBot e do MistralAI-Index. Portanto, é nesta tabela que está o acesso que importa para ser citado.

Operadora e user agentFunção
OpenAI: OAI-SearchBotBusca do ChatGPT
Anthropic: Claude-SearchBotBusca do Claude
Perplexity: PerplexityBotBusca do Perplexity
Google: GooglebotPesquisa Google e seus recursos de IA
Microsoft: bingbotBing e Copilot
Apple: ApplebotSiri, Spotlight e Safari
Meta: meta-webindexerBusca do Meta AI
Amazon: Amzn-SearchBotBusca em produtos como a Alexa
DuckDuckGo: DuckAssistBotRespostas de IA do DuckDuckGo
DuckDuckGo: DuckDuckBotBusca do DuckDuckGo
Mistral: MistralAI-IndexBusca da Mistral

Todos os robôs da tabela aceitam regras do robots.txt, de acordo com as empresas, mas a página do MistralAI-Index não detalha esse ponto. O Applebot, além disso, também pode treinar modelos da Apple, segundo a própria Apple, a menos que o Applebot-Extended esteja bloqueado. No Google, por exemplo, não existe robô só para a IA. De acordo com a página de recursos de IA do Google, a IA faz parte da Pesquisa, e o robots.txt do Googlebot é o controle. A Microsoft, por sua vez, usa o mesmo rastreamento para o Bing e o Copilot, conforme as diretrizes do Bing.

Quais user agents abrem páginas a pedido do usuário?

Esses robôs não rastreiam o site sozinhos, pois abrem uma página só quando uma pessoa faz uma pergunta ou pede uma tarefa a um assistente. Assim, como o pedido vem de um usuário, várias empresas avisam que o robots.txt pode não valer.

Operadora e user agentFunçãoSegue o robots.txt?
OpenAI: ChatGPT-UserAbre páginas a pedido no ChatGPTPode não valer
Anthropic: Claude-UserAbre páginas a pedido no ClaudeSim
Perplexity: Perplexity-UserAbre páginas a pedido no PerplexityEm geral ignora
Google: Google-AgentAgentes que agem a pedido do usuárioEm geral ignora
Google: Google-GeminiNotebookAbre fontes escolhidas no Gemini NotebookEm geral ignora
Meta: meta-externalfetcherAbre links a pedido do usuárioPode ignorar
Amazon: Amzn-UserResponde a consultas da AlexaPode ignorar parte
Mistral: MistralAI-UserAbre páginas a pedido na VibeNão detalhado pela operadora

A Anthropic é a exceção, porque, segundo a empresa, os robôs dela respeitam o robots.txt. Nos outros casos, a regra varia. O Google, por exemplo, explica que o fetcher pedido por um usuário em geral ignora as regras, e a Mistral não detalha o ponto. Por isso, se o objetivo é barrar de fato, a regra vai para o firewall.

Quais outros user agents de IA aparecem nos logs?

Quatro robôs da lista de user agents não cabem nas três funções, mas aparecem nos logs. O GoogleOther é o rastreador genérico do Google, usado, por exemplo, em pesquisa e desenvolvimento. O Google-CloudVertexBot rastreia só a pedido de donos de site, porque serve para criar agentes no Vertex AI.

O OAI-AdsBot e o meta-externalads, por outro lado, ligam-se a anúncios. O primeiro valida as páginas enviadas como anúncio no ChatGPT e só visita essas páginas. A OpenAI diz que ele não treina modelos, mas a página não informa se o robots.txt vale para ele, e quem anuncia precisa liberá-lo. O segundo rastreia a web para melhorar produtos de publicidade.

Lista de user agents de robôs de IA: ilustração de uma tabela em que cada robô carrega um crachá com o nome do user agent

Como os user agents aparecem nos logs?

Nos logs, o user agent GPTBot aparece como uma linha longa, ou seja, com o nome do robô, a versão e um endereço de contato. Filtre pelo nome, e não pela string inteira, porque a versão muda. Os exemplos abaixo vêm das páginas oficiais, então copie o nome do robô de lá.

GPTBot          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
PerplexityBot   Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
Googlebot       Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
bingbot         Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
Amazonbot       Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36
Amzn-SearchBot  Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amzn-SearchBot/0.1) Chrome/W.X.Y.Z Safari/537.36
MistralAI-User  Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; MistralAI-User/1.0; +https://docs.mistral.ai/robots)
CCBot           CCBot/2.0 (https://commoncrawl.org/faq/)
DuckAssistBot   DuckAssistBot/1.2; (+http://duckduckgo.com/duckassistbot.html)
meta-webindexer meta-webindexer/1.1

Três detalhes evitam erro na hora de filtrar:

  • Anthropic: a empresa publica só os nomes ClaudeBot, Claude-SearchBot e Claude-User, sem a string completa. Assim, o user agent ClaudeBot se acha apenas pelo nome.
  • Curinga: Google, Microsoft e Amazon usam Chrome/W.X.Y.Z no lugar da versão, então use um curinga nesse trecho.
  • Marca robots.txt: sempre que busca o arquivo, a OpenAI pode pôr “robots.txt” na string do user agent GPTBot e na do OAI-SearchBot.

Os comandos para contar pedidos por robô estão, aliás, no guia de robôs de IA nos logs do servidor.

Como liberar ou bloquear os user agents no robots.txt?

Escreva um grupo User-agent para cada robô que você quer tratar de forma diferente, a partir da lista de user agents acima. As empresas dizem que cada configuração é independente das outras. Assim, para recusar o treino, escreva um grupo para o user agent GPTBot e outro para o user agent ClaudeBot, e deixe o OAI-SearchBot livre.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

Seis regras das páginas oficiais mudam o resultado:

  • Sem grupo próprio: o Amzn-SearchBot segue as regras dos outros robôs de busca se o arquivo os cita, e o Applebot segue as do Googlebot se o arquivo cita o Googlebot.
  • Cada subdomínio: a Anthropic pede que o bloqueio entre no robots.txt de todo subdomínio, ou seja, em um arquivo por host.
  • Crawl-delay: a Anthropic aceita a diretiva, mas o Applebot e os robôs da Amazon não.
  • Prazo: OpenAI e Amazon falam em cerca de 24 horas para a mudança valer, enquanto a Meta fala em até 24 horas e a DuckDuckGo, para o DuckAssistBot, em 72.
  • Bloqueio por IP: a Anthropic avisa que ele pode falhar, porque impede a leitura do robots.txt.
  • Ação do usuário: como o robots.txt pode não valer, o bloqueio exige firewall ou CDN.

A decisão de cada robô, porém, depende do objetivo, e os efeitos para GEO estão no guia de robots.txt para IA. Depois de editar o arquivo, siga o roteiro para testar se o robots.txt bloqueia o Google, o Bing ou os robôs de IA. Se o robô for barrado fora do arquivo, ou seja, na CDN, veja como liberar os robôs de busca de IA na Cloudflare. Para um arquivo completo, com busca liberada e treino recusado, copie o modelo de robots.txt para IA.

Como verificar que os user agents são verdadeiros?

Para conferir o user agent GPTBot, o user agent ClaudeBot e os demais, compare o IP do pedido com as listas oficiais. Afinal, qualquer um pode escrever um user agent falso. Aliás, o próprio Google avisa que a string pode ser falsificada, e o Common Crawl alerta para robôs que se passam por CCBot. Além disso, Google, Apple e Common Crawl descrevem o DNS reverso nas páginas deles.

  • OpenAI: uma lista de IPs em JSON para cada robô, incluindo o GPTBot, o OAI-SearchBot e o ChatGPT-User.
  • Anthropic: uma lista única, o bots.json, para os três robôs.
  • Perplexity: uma lista para o PerplexityBot e outra para o Perplexity-User.
  • Google: o common-crawlers.json e o DNS reverso com final googlebot.com. Os fetchers de usuário têm listas próprias.
  • Microsoft: a ferramenta Verify Bingbot, do Bing Webmaster Tools.
  • Apple: o DNS reverso em applebot.apple.com ou uma lista de blocos CIDR.
  • Amazon: uma lista de IPs para o Amazonbot, o Amzn-SearchBot e o Amzn-User.
  • DuckDuckGo, Mistral e Common Crawl: listas de IP em JSON. Na Mistral, elas cobrem o MistralAI-User e o MistralAI-Index. O Common Crawl também aceita o DNS reverso em crawl.commoncrawl.org.
  • Meta: a página dos robôs de IA não publica lista de IPs.

Por fim, o script que cruza o IP do log com essas listas está no mesmo guia de logs.

Com que frequência a lista de user agents muda?

A lista de user agents muda sem calendário fixo, pois cada empresa edita a própria página. Na página do Google, por exemplo, o Google-NotebookLM aparece como agente antigo, com suporte até agosto de 2026, e o Google-GeminiNotebook ocupa o lugar dele. Em 2026, a Meta atualizou a página em maio, a Apple publicou a dela em setembro, e Google e Amazon editaram as suas em outubro.

A OpenAI, por exemplo, avisa que a versão do user agent GPTBot pode mudar, e a Anthropic publica só o nome do user agent ClaudeBot. A Cohere, por outro lado, diz que não usa robôs para treinar modelos hoje e que listaria um robô na tabela dela se isso mudar. Além disso, a Anthropic oferece um formulário para receber aviso quando o artigo dela mudar de forma relevante.

Por isso, trate a lista de user agents como retrato de um momento. Revise-a a cada trimestre ou depois de cada lançamento de um assistente novo. Prefira sempre as páginas oficiais, porque são elas que mudam primeiro.

Perguntas frequentes

Qual a diferença entre GPTBot e OAI-SearchBot?

O user agent GPTBot coleta conteúdo que pode treinar os modelos da OpenAI, enquanto o OAI-SearchBot mostra sites na busca do ChatGPT. As regras de cada um no robots.txt são independentes. Assim, bloquear só o GPTBot recusa o treino sem tirar o site da busca, como mostra o guia de robots.txt para IA.

Bloquear o ClaudeBot impede o Claude de citar o meu site?

Não necessariamente. Segundo a Anthropic, o user agent ClaudeBot coleta conteúdo que pode contribuir para o treino, enquanto a busca do Claude usa o Claude-SearchBot. Desativar o Claude-SearchBot, porém, pode reduzir a visibilidade e a precisão do site nos resultados de busca do Claude.

O Google-Extended aparece nos logs do servidor?

Não. O Google-Extended não tem user agent próprio. O Google rastreia com os user agents de sempre, e o token só controla o uso do conteúdo no treino e no embasamento do Gemini. Portanto, o robots.txt é o único lugar em que ele aparece.

O que fazer com um robô de IA que ignora o robots.txt?

Primeiro, veja se ele é de ação do usuário, porque as empresas dizem que o robots.txt pode não valer para esses robôs. Em seguida, confirme o IP nas listas oficiais. Para barrar, use o firewall ou a CDN, como no guia sobre o ChatGPT bloqueado na Cloudflare.

Quer saber como sua marca aparece hoje nas respostas de IA?

Agende uma demo e veja como a sua marca aparece nas respostas de IA, com o acompanhamento de um especialista em GEO.

Fontes principais

Sobre este artigoEscrito com IA e revisado por humanos, com fontes verificadas. Encontrou algo desatualizado? Escreva para a Equipe NotHuman.

Receba os novos artigos da NotHuman

Ao assinar, você aceita receber os artigos do blog por e-mail e concorda com a Política de Privacidade. Cancele quando quiser.

Continue lendo

Demo

Quer saber como sua marca aparece hoje nas respostas de IA?

Agende uma demo e veja como a sua marca aparece nas respostas de IA, com o acompanhamento de um especialista em GEO.

Agendar demo

Sua privacidade

Usamos cookies necessários para o site funcionar e cookies de estatística do Google Analytics e do Microsoft Clarity para melhorar o conteúdo. Você pode recusar os de estatística; na União Europeia, no Reino Unido e na Suíça, eles só são ativados depois que você aceitar. Política de Cookies.

Preferências de cookies

Política de Cookies