Modelo de robots.txt para IA: copie, cole e ajuste

Três blocos de robots.txt prontos para copiar, com o que cada um faz: liberar os robôs de IA, bloquear só o treino e bloquear os robôs de IA listados. Inclui os nomes dos robôs da OpenAI, da Anthropic, do Google, do Perplexity e da Microsoft, os erros comuns e um roteiro de teste.
Escrito com IA e revisado por humanos

Neste artigo

Veja como sua marca aparece nas respostas da IA

Agende uma demo e descubra o que corrigir primeiro, com um especialista em GEO.

Agendar demo

Tempo de leitura: 12 minutos

Um modelo de robots.txt para IA precisa de um bloco para cada decisão: liberar tudo, bloquear só o treino ou bloquear os robôs de IA. Para aparecer nas respostas, libere os robôs de busca, mas trate os de treino como escolha do site. Abaixo estão três blocos prontos, com o que cada um faz e como testar.

Em resumo

  • Liberar o robô de busca de cada empresa é o primeiro passo para aparecer nas respostas de IA, mas não garante citação. De acordo com a OpenAI, bloquear o GPTBot, que é de treino, não tira o site da busca do ChatGPT.
  • O modelo de robots.txt para IA mais equilibrado libera a busca e serve para bloquear robôs de IA só de treino. Assim, GPTBot, ClaudeBot e Google-Extended vão em Disallow, e o resto segue o grupo *.
  • Um robô com grupo próprio ignora o grupo *, de acordo com o Google. Por isso, repita no grupo novo as regras que ainda valem.
  • Depois de editar, teste as regras, a resposta do servidor e os logs, porque a OpenAI fala em cerca de 24 horas para a busca se ajustar.

Qual a diferença entre robôs de busca e de treino no robots.txt para IA?

Robô de busca rastreia páginas para citá-las nas respostas, enquanto robô de treino coleta conteúdo para treinar modelos. OpenAI, Anthropic e Google separam os dois no robots.txt, então dá para liberar um e bloquear o outro. Os robôs de usuário, porém, abrem uma página só quando alguém pede, e nem todos seguem o arquivo.

EmpresaRobô de buscaRobô de treino
OpenAIOAI-SearchBotGPTBot
AnthropicClaude-SearchBotClaudeBot
PerplexityPerplexityBotNenhum declarado
GoogleGooglebotGoogle-Extended (token)
MicrosoftBingbotNenhum documentado

De acordo com a OpenAI, o OAI-SearchBot mostra sites na busca do ChatGPT, enquanto o GPTBot coleta conteúdo que pode treinar os modelos. Cada regra vale sozinha. Da mesma forma, a Anthropic separa os dois: o ClaudeBot coleta conteúdo que pode entrar no treino, e o Claude-SearchBot melhora a qualidade das buscas. Por outro lado, o Perplexity diz que o PerplexityBot não rastreia conteúdo para treinar modelos de base.

No Google, o Googlebot alimenta a Pesquisa, mas o Google-Extended é só um token. Assim, ele controla o treino de futuras gerações do Gemini e o embasamento nos apps do Gemini, sem afetar a inclusão do site na Pesquisa. De acordo com as diretrizes do Bing, o Bing e o Copilot usam a mesma base de rastreamento, e a Microsoft pede para não bloquear o Bingbot no robots.txt. A teoria completa de cada robô, porém, está no guia de quais robôs de IA liberar e quais bloquear.

E os robôs que agem a pedido do usuário?

ChatGPT-User, Claude-User, Perplexity-User e Google-Agent abrem páginas quando um usuário pede, ou seja, não rastreiam o site sozinhos. De acordo com a OpenAI, as regras do robots.txt podem não valer para o ChatGPT-User, e o Perplexity diz que o Perplexity-User em geral ignora o arquivo. A Anthropic, por outro lado, afirma que os robôs dela respeitam o robots.txt. Da mesma forma, os fetchers acionados por usuário do Google costumam ignorar o arquivo. O OAI-AdsBot, que só visita páginas enviadas como anúncio no ChatGPT, fica fora dos modelos: a OpenAI não diz se o robots.txt vale para ele, e quem anuncia precisa liberá-lo. A lista completa, com o user agent e o IP de cada robô, está na lista de user agents dos robôs de IA.

Modelo de robots.txt para IA: ilustração de um arquivo de regras com três blocos de código e robôs diante de portões

Qual modelo de robots.txt para IA libera todos os robôs?

Para liberar todos os robôs de IA, basta não bloqueá-los, porque sem regra de bloqueio o acesso é livre. Ainda assim, vale um bloco explícito: ele registra a decisão e mantém fechadas as pastas privadas. Então, copie o Modelo 1 e troque /carrinho/ e /minha-conta/ pelas pastas do seu site.

# Modelo 1: libera a busca e o treino
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: GPTBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
Disallow: /carrinho/
Disallow: /minha-conta/
Allow: /

# Todos os outros, inclusive Googlebot e Bingbot
User-agent: *
Disallow: /carrinho/
Disallow: /minha-conta/

Sitemap: https://www.seusite.com.br/sitemap.xml

Assim, o grupo com os nomes junta os robôs de busca, de usuário e de treino sob as mesmas regras. Googlebot e Bingbot ficam de fora, porque seguem o grupo *. Cada robô segue um só grupo: de acordo com a especificação do Google, vale o grupo mais específico, e o grupo * não se soma a ele. Por isso, o Modelo 1 repete as pastas privadas no grupo dos robôs de IA. A linha Sitemap, aliás, não pertence a nenhum grupo e vale para todos os robôs.

Esse modelo de robots.txt para IA vale para qualquer tipo de site. Se o site não tem pastas privadas, então apague as linhas Disallow e deixe só Allow: /. Liberar só permite a leitura das páginas e não garante citação.

Como bloquear só o treino da IA no robots.txt?

Para bloquear os robôs de IA de treino, ponha GPTBot, ClaudeBot e Google-Extended em Disallow: / e deixe os robôs de busca no grupo *. Assim, OAI-SearchBot, Claude-SearchBot, PerplexityBot e Bingbot seguem liberados sem nenhuma linha própria. Esse é o cenário que a OpenAI descreve, ou seja, liberar o OAI-SearchBot para aparecer na busca e bloquear o GPTBot.

# Modelo 2: libera a busca e recusa o treino
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

# Todos os outros, inclusive os robôs de busca das IAs
User-agent: *
Disallow: /carrinho/
Disallow: /minha-conta/

Sitemap: https://www.seusite.com.br/sitemap.xml

Este modelo de robots.txt para IA deixa a busca livre e fecha o treino daqui para frente. Porém, quatro detalhes mudam o resultado:

  • Google-Extended: bloqueá-lo recusa o treino de futuras gerações do Gemini, mas também tira o conteúdo do embasamento nos apps do Gemini. Além disso, ele não afeta a Pesquisa. Por isso, quem quer que o Gemini possa usar o conteúdo como fonte deve tirar essa linha do bloco.
  • Perplexity e Microsoft: não há robô de treino a bloquear: o Perplexity diz que o PerplexityBot não rastreia conteúdo para modelos de base, e o Bing não documenta robô de treino.
  • Alcance do bloqueio: ele vale daqui para frente. A Anthropic fala em conteúdo futuro, e nenhuma das páginas das empresas promete tirar o que já foi coletado.
  • Custo para o GEO: com o GPTBot e o ClaudeBot bloqueados, o site sinaliza que o conteúdo não deve entrar no treino. Por isso, o guia sobre o custo de bloquear o treino mostra o que isso muda para a marca.

Como bloquear os robôs de IA no robots.txt?

Para bloquear os robôs de IA deste guia, repita Disallow: / em cada um deles. O preço é sair das respostas: de acordo com a OpenAI, quem bloqueia o OAI-SearchBot não aparece na busca do ChatGPT, mas pode surgir como link de navegação. Portanto, use esse robots.txt para robôs de IA só se a decisão for não ser citado.

# Modelo 3: bloqueia os robôs de IA deste guia
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: GPTBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
Disallow: /

# Todos os outros, inclusive Googlebot e Bingbot
User-agent: *
Disallow: /carrinho/
Disallow: /minha-conta/

Sitemap: https://www.seusite.com.br/sitemap.xml

O Modelo 3 cobre só os robôs listados, e outros, como o CCBot e o Applebot-Extended, pedem linhas próprias. Ele também deixa o Googlebot e o Bingbot de fora de propósito, porque os dois alimentam a busca tradicional. De acordo com o Google, a diretiva do Googlebot é o controle de rastreamento da Pesquisa, ou seja, bloqueá-lo afeta a Pesquisa inteira. Para limitar só o que a Pesquisa mostra, o Google indica nosnippet, data-nosnippet, max-snippet ou noindex. No Bing, porém, a meta tag NOARCHIVE impede o uso do conteúdo nas respostas do Copilot.

Por fim, o robots.txt é um pedido, e não uma trava, já que o RFC 9309 diz que o protocolo não substitui medidas de segurança. Para bloquear os robôs de IA de fato, use então o firewall ou a CDN. Na Cloudflare, por exemplo, o guia de como liberar os robôs de busca de IA sem abrir o site para scrapers mostra como manter o treino barrado.

Como testar o modelo de robots.txt para IA depois de editar?

Teste o modelo de robots.txt para IA em três etapas: as regras, a resposta do servidor e os logs, pois cada uma pega um erro diferente. Primeiramente, confira num script local quais robôs o arquivo libera. Em seguida, publique o arquivo e teste o servidor com o user agent de cada robô.

Para testar as regras antes de publicar, salve o modelo como robots.txt e rode o script abaixo na mesma pasta. Ele usa só a biblioteca padrão do Python, então mostra, robô por robô, se a página de teste está liberada.

from urllib.robotparser import RobotFileParser

PAGINA = "https://www.seusite.com.br/produto/exemplo"
ROBOS = ["OAI-SearchBot", "ChatGPT-User", "GPTBot", "Claude-SearchBot",
         "Claude-User", "ClaudeBot", "PerplexityBot", "Perplexity-User",
         "Google-Extended", "Googlebot", "Bingbot"]

regras = RobotFileParser()
with open("robots.txt", encoding="utf-8") as arquivo:
    regras.parse(arquivo.read().splitlines())

for robo in ROBOS:
    estado = "liberado" if regras.can_fetch(robo, PAGINA) else "BLOQUEADO"
    print(f"{robo:18} {estado}")

O script, porém, mostra só o que o arquivo diz e não vê a CDN, o firewall nem a hospedagem. Além disso, até o Python 3.12 a biblioteca aplica a primeira regra que bate, e não a mais longa, então ponha a regra específica antes da geral, como nos modelos. Por isso, depois de publicar, faça três checagens:

  1. Publicação: suba o arquivo na raiz de cada host, porque ele vale só para o protocolo, a porta e o host de onde o robô o leu. Além disso, a Anthropic pede o bloqueio em cada subdomínio.
  2. Resposta: abra o arquivo no navegador, pois ele precisa responder 200, em texto puro com codificação UTF-8.
  3. Servidor: teste cada user agent, porque o arquivo certo não basta se a hospedagem ou a CDN barra o robô. Assim, o guia de como testar o robots.txt no Google, no Bing e na IA traz o comando com curl e a leitura de cada código.

Que erros comuns derrubam o rastreamento?

Os erros mais comuns fecham o site inteiro, como um Disallow: / no grupo * ou uma resposta de erro do servidor, ou deixam de fora só os robôs de IA, como um grupo novo que apaga as regras do *. Os seis itens abaixo cobrem cada caso.

  • Disallow: / no grupo *: a barra sozinha bloqueia o site para todo robô sem grupo próprio, por exemplo quando um arquivo de homologação vai para o ar.
  • Grupo nomeado que apaga o *: quem ganha um grupo próprio deixa de seguir o *, então repita nele as pastas privadas, como no Modelo 1.
  • Nome de robô errado: o grupo só vale se o nome for o que a empresa publica, como OAI-SearchBot, porque com outro nome o robô cai no grupo *.
  • Arquivo fora do padrão: de acordo com o Google, o arquivo deve ser UTF-8, e o Google ignora o conteúdo além de 500 KiB. Além disso, se vier HTML no lugar, ele tenta extrair as regras e descarta o resto.
  • Erro de servidor: de acordo com o RFC 9309, um erro 5xx obriga o robô a presumir bloqueio total. Da mesma forma, o Google para de rastrear o site nas primeiras 12 horas de erro 5xx. Já o 429, ao contrário dos outros 4xx, não equivale a um arquivo ausente para o Google.
  • Bloqueio por IP ou firewall: a Anthropic avisa que bloquear os IPs dos robôs dela pode impedir a leitura do robots.txt. Assim, o robô não vê nem a regra que o libera. Por exemplo, na Cloudflare, o guia de como checar e liberar os robôs de IA mostra onde olhar.

Como confirmar nos logs que os robôs voltaram?

Espere cerca de 24 horas, porque a OpenAI e o Perplexity dizem que a mudança leva até esse prazo. Em seguida, filtre o log pelo nome de cada robô e veja duas coisas: se ele leu o /robots.txt e qual código recebeu nas páginas. Assim, o código 200 nos dois indica que o robô voltou e recebeu a página.

LOG=access.log   # log compactado (.gz): troque grep por zgrep

for ROBO in OAI-SearchBot GPTBot Claude-SearchBot ClaudeBot PerplexityBot; do
  echo "== $ROBO (pedidos por dia, tipo e código)"
  grep -i "$ROBO" "$LOG" \
    | awk '{ tipo = ($7 == "/robots.txt") ? "robots.txt" : "pagina"; print substr($4, 2, 11), tipo, $9 }' \
    | sort | uniq -c
done

O comando lê o formato combinado do Apache e do Nginx, então ajuste os campos se o seu log for diferente. Por exemplo, um robô com 403 ou 429 só nas páginas indica bloqueio fora do robots.txt. Se ele não aparece, o arquivo pode estar errado ou o robô ainda não voltou.

Qualquer um copia um user agent, então confirme o IP. A OpenAI publica listas de IP em JSON para o OAI-SearchBot e o GPTBot, assim como o Perplexity faz para os robôs dele. Além disso, quando busca o robots.txt, a OpenAI pode pôr a marca “robots.txt” no user agent, o que ajuda a separar esses pedidos. O Google-Extended não aparece nos logs, porque não tem user agent próprio. Os comandos de conferência de IP, por fim, estão no guia de como saber nos logs se o ChatGPT, o Perplexity e o Googlebot visitam o site.

Perguntas frequentes

Preciso listar o Googlebot e o Bingbot no robots.txt para IA?

Não, porque, sem grupo próprio, os dois seguem o grupo * e ficam liberados se ele não bloqueia o site. O Googlebot controla o rastreamento da Pesquisa, inclusive dos recursos de IA, e as diretrizes do Bing pedem para não bloquear o Bingbot. Portanto, crie um grupo para eles só se precisar de uma regra diferente.

Dá para liberar o GPTBot só no blog e bloquear o resto?

Dá, porque, pelo RFC 9309, vale a regra mais específica, a de caminho mais longo. Com Allow: /blog/ e Disallow: / no grupo do GPTBot, o robô lê só o blog. Ainda assim, rode o script de teste antes de publicar, para conferir páginas de dentro e de fora da pasta.

Bloquear o Google-Extended prejudica o meu posicionamento no Google?

Não, de acordo com o Google, porque o Google-Extended não afeta a inclusão do site na Pesquisa nem funciona como sinal de ranqueamento. Ele controla só o treino do Gemini e o embasamento nos apps do Gemini. Já a Pesquisa e os recursos de IA dela seguem o Googlebot.

Quer saber como sua marca aparece hoje nas respostas de IA?

Agende uma demo e veja como a sua marca aparece nas respostas de IA, com o acompanhamento de um especialista em GEO.

Fontes principais

Sobre este artigoEscrito com IA e revisado por humanos, com fontes verificadas. Encontrou algo desatualizado? Escreva para a Equipe NotHuman.

Receba os novos artigos da NotHuman

Ao assinar, você aceita receber os artigos do blog por e-mail e concorda com a Política de Privacidade. Cancele quando quiser.

Continue lendo

Demo

Quer saber como sua marca aparece hoje nas respostas de IA?

Agende uma demo e veja como a sua marca aparece nas respostas de IA, com o acompanhamento de um especialista em GEO.

Agendar demo

Sua privacidade

Usamos cookies necessários para o site funcionar e cookies de estatística do Google Analytics e do Microsoft Clarity para melhorar o conteúdo. Você pode recusar os de estatística; na União Europeia, no Reino Unido e na Suíça, eles só são ativados depois que você aceitar. Política de Cookies.

Preferências de cookies

Política de Cookies