Tempo de leitura: 13 minutos
Um robots.txt tester mostra se uma regra do robots.txt impede um robô de rastrear uma URL. Para testar o robots.txt no Google e no Bing, use o Search Console, com a Inspeção de URL, e o testador do Bing Webmaster Tools. Para os robôs de IA, porém, teste a regra e também a resposta do servidor.
Em resumo
- Em novembro de 2023, o Google trocou o robots.txt tester do Search Console por um relatório. Assim, para testar uma URL, ele indica a Inspeção de URL.
- O Bing Webmaster Tools, por outro lado, ainda tem testador: ele aponta a linha que bloqueia a URL e testa mudanças antes de publicar.
- OpenAI, Anthropic e Perplexity não oferecem testador. Por isso, para o GPTBot e os outros, use um testador de terceiros e o curl.
- O robots.txt é só uma camada. Afinal, a CDN, o firewall e a hospedagem podem barrar um robô que o arquivo libera.
Como testar o robots.txt depois do fim do testador antigo do Search Console?
No Google, o teste agora tem duas partes. O relatório de robots.txt do Search Console mostra o arquivo que o Google leu, a data da leitura e os erros. Já a Inspeção de URL diz se uma página está bloqueada. Esse relatório, aliás, tomou em novembro de 2023 o lugar do robots.txt tester antigo.
Segundo a ajuda do Search Console, o relatório lista os arquivos dos 20 hosts principais do site, mas só em propriedades de domínio ou de prefixo sem caminho. Os erros impedem o uso de uma regra, enquanto os avisos não impedem.
Depois de corrigir um erro, peça um novo rastreamento no próprio relatório, embora isso não garanta a visita imediata às URLs liberadas. Já para testar o robots.txt antes de publicar, o Google aponta a sua biblioteca de código aberto, usada na Pesquisa Google e indicada a desenvolvedores.
Como saber se uma URL está bloqueada para o Googlebot?
Use a Inspeção de URL, porque o campo “O rastreamento é permitido?” mostra se uma regra do robots.txt bloqueia a página. Depois de mudar o arquivo, clique em “Testar o URL publicado”, porque o resultado padrão vem da última versão indexada.
Além disso, o teste em tempo real ajuda a achar CSS e JavaScript bloqueados. Conforme a ajuda da Inspeção de URL, diferenças na captura de tela podem vir de recursos bloqueados. Mas cada propriedade tem um limite diário desses testes.
Como ver se uma regra bloqueia o Googlebot, o Bingbot ou o GPTBot?
Para testar o robots.txt robô a robô, cada um pede uma ferramenta. Para o Googlebot, use a Inspeção de URL, e, para o Bingbot, o testador do Bing Webmaster Tools. Já para o GPTBot e os outros robôs de IA, não há ferramenta oficial: use um testador de terceiros e confirme com curl.
| Robô | Onde testar | O que o teste mostra |
|---|---|---|
| Googlebot | Inspeção de URL do Search Console | Se o robots.txt bloqueia a URL |
| Bingbot e AdIdxbot | Testador do Bing Webmaster Tools | A linha que bloqueia a URL |
| GPTBot, ClaudeBot e outros | Testador de terceiros | A regra que vale, pela leitura da ferramenta |
| Qualquer robô | curl com o user agent | Se o servidor responde ao robô |
Antes de tudo, descubra qual grupo vale para cada robô. Pela especificação do Google e pela RFC 9309, o padrão do robots.txt, o robô segue só o grupo com o nome dele ou, na falta, o grupo *. Quais robôs de IA liberar está no guia de robots.txt para IA.
Bingbot: o robots.txt tester do Bing Webmaster Tools
O Bing Webmaster Tools ainda tem um robots.txt tester. Conforme a ajuda do Bing, você digita a URL, escolhe entre Bingbot e AdIdxbot e vê se ela está bloqueada, por qual linha e para qual robô. O teste, porém, usa o texto do editor, que pode ter mudanças ainda não publicadas.
Por isso, no Bing, dá para testar o robots.txt editado antes de publicar. Em seguida, baixe o arquivo, suba na raiz do site e peça ao Bing que leia a versão nova. Se o site ainda não está no Bing Webmaster Tools, veja como indexar o site no Bing.
GPTBot e outros robôs de IA: testadores de terceiros
OpenAI, Anthropic e Perplexity explicam as regras dos seus robôs, mas não oferecem testador. Assim, para testar o robots.txt com o GPTBot, o ClaudeBot ou o PerplexityBot, use um robots.txt tester de terceiros que aceite qualquer user agent. A ajuda do Search Console, aliás, manda usar um validador, sem indicar qual.
Trate o resultado como triagem, porque, segundo o Google, cada implementação lê o robots.txt de um jeito um pouco diferente. O Google-Extended, por sua vez, não tem user agent próprio, então o teste dele fica na leitura do arquivo.
Como testar o servidor com curl e o user agent de cada robô de IA?
Peça o robots.txt e uma página importante com o user agent de cada robô e compare com um navegador. Esse teste, porém, não lê as regras do arquivo. Em vez disso, ele mostra se o servidor, a CDN ou o firewall respondem diferente a cada robô, algo que nenhum testador de robots.txt vê.
Os user agents são os publicados pela OpenAI, pelo Perplexity, pelo Google e pelo Bing. Da Anthropic, por outro lado, só há os nomes dos robôs, que servem no teste. Rode no terminal do Mac, do Linux ou no Git Bash do Windows, com o seu SITE e a sua PAGINA.
SITE="https://www.seusite.com.br"
PAGINA="/" # troque por uma página importante, como /categoria/produto
while IFS='|' read -r ROBO UA; do
R=$(curl -sL -m 30 -o /dev/null -A "$UA" -w "%{http_code} %{content_type}" "$SITE/robots.txt")
P=$(curl -sL -m 30 -o /dev/null -A "$UA" -w "%{http_code}" "$SITE$PAGINA")
echo "$ROBO | robots.txt: $R | página: $P"
done <<'LISTA'
Navegador|Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/141.0.0.0 Safari/537.36
Googlebot|Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Bingbot|Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
OAI-SearchBot|Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
GPTBot|Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
ChatGPT-User|Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
PerplexityBot|Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Claude-SearchBot|Claude-SearchBot
ClaudeBot|ClaudeBot
LISTAComo ler o resultado do teste?
Compare cada robô com a linha do navegador. Se só o robô recebe erro, o bloqueio está no servidor, na CDN ou no firewall, e não no robots.txt. Já um erro no próprio arquivo muda como o robô trata o site inteiro.
| Resultado | O que indica | O que fazer |
|---|---|---|
| 200 e text/plain no robots.txt | O robô recebe as regras | Teste as regras de cada robô |
| 404 no robots.txt | Sem arquivo, tudo liberado | Nada, se não quer bloquear |
| 200 e text/html no robots.txt | Provável página no lugar do arquivo | Publique um arquivo de texto |
| 5xx ou 429 no robots.txt | Erro de servidor para o Google | Corrija o servidor primeiro |
| 403, 429 ou 000 (sem resposta) só para um robô | Bloqueio fora do robots.txt | Revise CDN, firewall e hospedagem |
Segundo a especificação do Google, se o robots.txt responde 5xx, o Google para de rastrear o site nas primeiras 12 horas. O 429, para o Google, também conta como erro de servidor. Já os outros erros 4xx no arquivo valem como se não houvesse robots.txt. Pela RFC 9309, aliás, um erro 5xx obriga os robôs a presumir bloqueio total.
O teste, porém, sai do seu IP. Google e Bing avisam que qualquer um imita um user agent, e o servidor pode conferir o IP. Assim, um 403 para o Googlebot do teste pode ser só essa checagem. Da mesma forma, um firewall que libera o PerplexityBot por user agent e IP, como o Perplexity recomenda, pode barrar o teste e liberar o robô real. Por isso, só os logs mostram o que o robô real recebeu.
O que o robots.txt tester não pega?
Nenhum robots.txt tester enxerga o que acontece antes do arquivo. Regras da CDN, do firewall ou da hospedagem podem barrar um robô que o robots.txt libera. Além disso, os testadores do Google e do Bing não simulam os robôs de IA. Por isso, o curl e os logs completam o diagnóstico.
Na NotHuman, um teste de user agents no nosso site mostra por que testar o servidor. Num pedido feito de um IP comum com o user agent completo do GPTBot, o servidor da hospedagem respondeu 429, inclusive no robots.txt. Por outro lado, os pedidos com os user agents do OAI-SearchBot, do ChatGPT-User, do ClaudeBot e de um navegador receberam 200. Mas o teste não reproduz o IP, então não sabemos se o robô real, vindo dos IPs da OpenAI, também recebe 429. Testar cada user agent e olhar os logs, portanto, faz parte do teste do robots.txt: o bloqueio pode estar na hospedagem, fora do arquivo e do WordPress.
Em sites na Cloudflare, as políticas de IA e o firewall podem barrar robôs de busca com o robots.txt liberado. Veja como checar e liberar os robôs de IA na Cloudflare. Bloquear IPs, aliás, tem efeito colateral: segundo a Anthropic, barrar os IPs dos robôs dela pode impedir a leitura do robots.txt. O acesso dos robôs, afinal, é a base técnica do SEO para a era da IA. Por isso, o teste do robots.txt abre a auditoria técnica de SEO.
Quais erros comuns de robots.txt bloqueiam o site inteiro?
Três erros podem fechar o site inteiro: Disallow: / no grupo *, um curinga que vira barra e o erro de servidor, visto no teste com curl. Outros escondem só uma parte do site, como grupos novos que anulam as regras gerais e CSS ou JavaScript bloqueados.
Disallow: /no grupo*. A barra sozinha bloqueia o site para todo robô sem grupo próprio, por exemplo quando o arquivo de homologação vai para o ar. JáDisallow:vazio não bloqueia nada, porque o Google ignora regras sem caminho.- Curinga que vira barra. Pela especificação do Google,
Disallow: /*equivale aDisallow: /. Pela mesma regra do curinga,Disallow: /*?bloqueia toda URL com parâmetro, inclusive filtros que você quer no Google. - Grupo novo que anula as regras gerais. Um grupo para o Googlebot ou o GPTBot faz o robô ignorar o
*. Depois de criar o grupo, volte a testar o robots.txt com as URLs que o*bloqueava. - CSS e JavaScript bloqueados. O Google pede para não bloquear recursos que fazem falta na análise da página. Confira na Inspeção de URL e, para os robôs de IA, no checklist de SEO JavaScript.
Robots.txt ou noindex: qual usar para tirar páginas da busca?
Para tirar uma página da busca, use noindex e deixe o robô rastrear a URL. O robots.txt controla o rastreamento, e não a indexação: uma URL bloqueada ainda pode aparecer no Google, sem descrição, se outras páginas linkarem para ela. Já para poupar o servidor, o robots.txt serve.
Conforme a documentação do noindex, o robô só vê a tag se puder rastrear a página. Assim, com a URL bloqueada, a Inspeção de URL mostra “Sim” em “A indexação é permitida?”. No relatório de indexação, a página pode aparecer como “Página indexada, mas bloqueada pelo robots.txt”, e o Google indica tirar o bloqueio e usar noindex. Noindex dentro do robots.txt, aliás, o Google não aceita.
Na IA, o bloqueio no robots.txt também não apaga a URL. De acordo com as diretrizes do Bing, o robots.txt controla o acesso, e não a indexação, e o noindex tira uma URL do Bing e do Copilot. Já na OpenAI, o site que bloqueia o OAI-SearchBot sai das respostas com busca do ChatGPT, mas ainda pode aparecer como link de navegação.
Como Wix, VTEX e WordPress geram o robots.txt?
Nas três plataformas, o robots.txt muda pelo painel, por um app ou por plugin. Por isso, testar o robots.txt é igual em todas: abra o /robots.txt publicado e passe as URLs importantes no Search Console e no testador do Bing. Muda, porém, onde editar e o que vem de fábrica.
Wix. O Wix gera o arquivo e, por padrão, libera todas as páginas, salvo as com senha, as só para membros e as marcadas para não indexar. Conforme a ajuda do Wix, o arquivo se atualiza sempre que você publica uma página. Para editar, use o Editor de Robots.txt, em SEO e GEO. Diante do erro “Bloqueado pelo robots.txt”, o Wix manda conferir essas configurações em vez de mexer no arquivo.
VTEX. De acordo com a ajuda da VTEX, a plataforma tem uma interface nativa, em Store Settings > Storefront > Settings > SEO > Robots.txt. A VTEX pede para conferir se cada regra é necessária, se pega as URLs certas e se o sitemap está listado. Num arquivo cheio de Disallow, teste uma URL de cada tipo: categoria, produto e filtro.
WordPress. O WordPress gera um robots.txt padrão, que bloqueia /wp-admin/ e libera o admin-ajax.php, e plugins podem mudar esse texto. Desde a versão 5.3, porém, a opção que pede aos buscadores para não indexar o site deixou de escrever Disallow: /, conforme a documentação do WordPress. Ela põe noindex nas páginas: o robots.txt tester não vê, mas a Inspeção de URL mostra.
Perguntas frequentes
Não existe, pois OpenAI e Anthropic publicam os nomes dos robôs e explicam como bloqueá-los, mas não oferecem testador. Para esses robôs, use um testador de terceiros que aceite qualquer user agent ou a biblioteca de código aberto do Google. Em seguida, confirme com curl que o servidor responde 200 ao robô.
Em geral, até 24 horas, porque o Google costuma guardar o robots.txt em cache por esse prazo. Depois de corrigir um erro, peça um novo rastreamento no relatório de robots.txt do Search Console. Ainda assim, o pedido não garante o rastreamento imediato das URLs liberadas.
Não, porque o Google-Extended não tem user agent próprio: o Google rastreia com os robôs de sempre e usa o token só como controle no robots.txt. Por isso, o teste do Google-Extended fica na leitura do arquivo. Confira se o grupo dele traz a regra que você quer.
Vale para o robô que alimenta os dois. Segundo as diretrizes do Bing, a busca do Bing e o Copilot usam a mesma base de rastreamento e indexação. Por isso, testar o Bingbot no robots.txt tester do Bing também cobre o rastreamento que serve ao Copilot.
Quer saber como sua marca aparece hoje nas respostas de IA?
A NotHuman está abrindo vagas para agências e marcas acompanharem como aparecem nas respostas de IA. Entre na lista de espera e avisamos quando houver uma vaga para você.
Fontes principais
- Ajuda do Search Console, relatório de robots.txt (2026).
- Ajuda do Search Console, Ferramenta de inspeção de URL (2026).
- Google Search Central, como o Google interpreta a especificação do robots.txt (2026).
- Bing Webmaster Tools, ajuda do robots.txt tester (2026).
- OpenAI, Overview of OpenAI Crawlers (2026).
- Perplexity, Perplexity Crawlers (2026).
- Google Search Central, bloquear a indexação com noindex (2025).
- IETF, RFC 9309, Robots Exclusion Protocol (2022).
