Tempo de leitura: 11 minutos
Se a Cloudflare está bloqueando o ChatGPT, corrija pelo painel. Deixe Search e Agent em Allow nas políticas de IA para liberar o OAI-SearchBot e o ChatGPT-User. Em Training, o Disallow com o Bot Preference Sync barra o GPTBot e registra a recusa no robots.txt servido pela Cloudflare. Por fim, revise o WAF da Cloudflare e o Bot Fight Mode.
Em resumo
- Na Cloudflare, o OAI-SearchBot entra na política Search, o ChatGPT-User na Agent e o GPTBot na Training. Por isso, dá para manter a busca e barrar o treino, com a recusa no robots.txt da Cloudflare.
- Uma regra Skip no WAF da Cloudflare libera os robôs de busca verificados. Mas ela não pode valer para todo robô verificado, porque o GPTBot também é um.
- O Bot Fight Mode do plano gratuito não aceita exceção por regra. Assim, se ele barrar um robô de busca, desligue o recurso ou libere os IPs do robô.
- O PerplexityBot está fora da lista de robôs verificados da Cloudflare. Por isso, a liberação dele depende das faixas de IP que o Perplexity publica.
A Cloudflare bloqueia robôs de IA por padrão?
Não para a busca. Desde 15 de setembro de 2026, os presets de domínios novos deixam Search em Allow. Então, quando a Cloudflare está bloqueando o ChatGPT, a causa pode ser uma escolha antiga ou uma regra própria. Por exemplo, sites com o antigo Block AI bots ligado, que nunca usaram as três políticas, passaram a barrar o ChatGPT-User nas páginas com anúncio.
O diagnóstico está no guia de como checar se a Cloudflare barra os robôs de IA. A configuração final fica assim:
| Robô | Política na Cloudflare | Configuração |
|---|---|---|
| OAI-SearchBot e Claude-SearchBot | Search | Allow |
| ChatGPT-User e Claude-User | Agent | Allow |
| GPTBot e ClaudeBot | Training | Disallow |
| PerplexityBot e Perplexity-User | Fora da lista de verificados | Regra por IP no WAF |
As categorias são as do Cloudflare Radar. Já a função de cada robô está no guia sobre o que é GEO.
Como liberar os robôs de busca na Cloudflare e bloquear os de treino?
A configuração tem quatro partes: políticas de IA, lista de robôs do AI Crawl Control, regras do WAF e proteção contra robôs. As regras personalizadas do WAF da Cloudflare rodam antes das soluções de robôs. Por isso, uma regra antiga pode manter a Cloudflare bloqueando o ChatGPT mesmo com as políticas liberadas.
- Políticas de IA: em Security Settings, filtre por Bot traffic e abra Configure AI bot policies. Deixe Search e Agent em Allow e escolha Disallow em Training. Em seguida, ligue o Bot Preference Sync, que leva a recusa ao robots.txt servido pela Cloudflare. Evite Block no treino, porque desde 15 de setembro de 2026 ele barra também Googlebot, Bingbot e Applebot.
- AI Crawl Control: na lista de robôs, deixe os robôs de busca e os agentes em Allow. Use Block só para robôs que a política de treino não cobre.
- Regra de exceção: crie no WAF da Cloudflare a regra Skip da seção seguinte, logo abaixo da regra do AI Crawl Control.
- Proteção contra robôs: no plano gratuito, veja se o Bot Fight Mode agiu sobre algum robô de busca. Nos planos pagos, porém, deixe Verified bots em Allow no Super Bot Fight Mode.
Como criar no WAF da Cloudflare a regra que libera o ChatGPT?
Se a Cloudflare está bloqueando o ChatGPT por uma regra antiga, a exceção resolve sem desligar a proteção. Em Security rules, crie uma regra personalizada com a ação Skip. A condição junta o campo Known Bots, que indica os robôs verificados pela Cloudflare, ao nome de cada robô no user agent. Como a verificação usa IP, DNS reverso ou assinatura, deduzimos que um scraper que só copia o nome fica fora da exceção:
cf.client.bot and (
http.user_agent contains "OAI-SearchBot" or
http.user_agent contains "ChatGPT-User" or
http.user_agent contains "Claude-SearchBot" or
http.user_agent contains "Claude-User"
)Em seguida, escolha o que pular entre as opções de Skip, como as regras personalizadas seguintes e o Super Bot Fight Mode. Além disso, mantenha ligada a opção Log matching requests, que registra nos eventos cada pedido liberado.
Cuidado com dois erros:
- Usar só o Known Bots: o GPTBot e o ClaudeBot também são verificados. Por isso, uma regra acima do bloqueio do AI Crawl Control que pule as regras seguintes deixa os dois escaparem.
- Esquecer o limite: o plano gratuito tem 5 regras personalizadas, mas um bloqueio no AI Crawl Control ocupa uma delas.
Por que o PerplexityBot precisa de uma regra por IP?
Porque o PerplexityBot e o Perplexity-User não estão no diretório de robôs verificados do Cloudflare Radar. Em agosto de 2025, a Cloudflare tirou o Perplexity da lista ao acusá-lo de rastrear sites sem se identificar. No mesmo dia, o Perplexity contestou: disse que a Cloudflare confundiu com ele o tráfego de um navegador na nuvem de terceiros. Como o Known Bots só marca robôs verificados, deduzimos que ele não vale para os robôs do Perplexity.
A documentação do Perplexity mostra a regra no WAF da Cloudflare: user agent PerplexityBot ou Perplexity-User e IP de origem nas faixas publicadas. No entanto, ela usa a ação Allow, das antigas regras de firewall. Nas regras personalizadas, use Skip e guarde as faixas numa lista de IPs, que o plano gratuito também tem:
(http.user_agent contains "PerplexityBot" or
http.user_agent contains "Perplexity-User")
and ip.src in $ips_perplexityComo manter os scrapers e o treino bloqueados?
Com o Disallow no treino e o Bot Preference Sync ligado, a Cloudflare barra na borda os robôs de treino. Os de uso misto, porém, como Googlebot e Bingbot, seguem liberados. Contra scrapers que não se identificam, há mais duas camadas:
- Proteção contra robôs: o Bot Fight Mode ou, nos planos pagos, Definitely automated em Block no Super Bot Fight Mode.
- AI Labyrinth: disponível em todos os planos, prende num labirinto de links os robôs de IA que ignoram as regras. De acordo com a Cloudflare, isso não afeta o SEO.
O que muda com os agentes que assinam os pedidos?
O navegador na nuvem do ChatGPT (ChatGPT agent, na Cloudflare) prova quem é com uma assinatura, o Web Bot Auth. De acordo com a OpenAI, os pedidos trazem o cabeçalho Signature-Agent “https://chatgpt.com”, e a Cloudflare confere a assinatura sozinha.
Desde 1º de julho de 2026, a Cloudflare trata esses agentes como robôs verificados, com o rótulo de intermediário. Como o ChatGPT agent está na categoria Agent, deduzimos que a política Agent também vale para ele. A OpenAI ensina, inclusive, uma regra pelo Bot Detection ID 129220581, mas esse campo exige o Bot Management do plano Enterprise.
O Bot Fight Mode bloqueia o ChatGPT e outros robôs de IA?
A documentação não diz que ele mire robôs de IA. O Bot Fight Mode desafia tráfego com padrão de robôs conhecidos, mas os robôs verificados ficaram, historicamente, fora das configurações padrão. No entanto, o recurso do plano gratuito não aceita exceção, nem por regra do WAF da Cloudflare.
Assim, se a Cloudflare está bloqueando o ChatGPT por esse recurso, os eventos de segurança mostram Bot Fight Mode no campo Service. Nesse caso, há três saídas documentadas:
- Desligar o recurso em Security Settings.
- Criar IP Access rules com a ação Allow para os IPs do robô. Afinal, o Bot Fight Mode não age quando uma dessas regras casa com o pedido antes.
- Passar ao plano Pro, que traz o Super Bot Fight Mode, com regras Skip e a opção Verified bots em Allow.
Porém, de acordo com a documentação das IP Access rules, o Allow pula as regras personalizadas, o rate limiting e as regras gerenciadas. Ele também não aparece nos eventos. Além disso, a regra só aceita IP único ou faixas /24 e /16, mas as listas da OpenAI e do Perplexity têm faixas menores.
O robots.txt gerenciado da Cloudflare substitui o meu?
Não. Se o site já tem robots.txt, a Cloudflare põe o bloco gerenciado antes do conteúdo do arquivo e entrega os dois numa resposta só. Por outro lado, sem arquivo, a Cloudflare cria um robots.txt com bloqueios para robôs de IA conhecidos. No entanto, o bloco só aparece com o Bot Preference Sync ligado e alguma política restritiva.
No arquivo público, confira três pontos:
- Google-Extended: o exemplo da documentação traz Disallow para esse token. De acordo com o Google, ele também controla o embasamento das respostas nos apps do Gemini.
- Sinais de conteúdo: o bloco traz Content Signals, como search=yes e ai-train=no. A Cloudflare avisa, inclusive, que o Search Console às vezes marca essas linhas do robots.txt como sintaxe não reconhecida, sem efeito observado.
- Pedido, e não trava: como o robots.txt é voluntário, a Cloudflare barra na borda com Disallow no treino ou Block no AI Crawl Control.
Para decidir robô a robô, veja quais robôs liberar e quais bloquear no robots.txt.
Como confirmar que a Cloudflare não está bloqueando o ChatGPT?
Confirme em três telas do painel e, depois, fora dele. O Trace simula o pedido, os eventos mostram as regras que agiram e o Security Analytics mostra se o pedido chegou ao servidor. Por fim, um teste de fora revela bloqueios na hospedagem.
- Trace: simule um GET com o user agent do OAI-SearchBot. O resultado lista as regras na ordem em que agem, mas não mostra as IP Access rules. Sem o IP do robô, a parte Known Bots da regra Skip pode não casar ali.
- Eventos de segurança: na página Analytics, aba Events, filtre pelo user agent do robô. Com o log ligado, a regra Skip do WAF da Cloudflare aparece em cada pedido liberado.
- Security Analytics: veja se os pedidos do robô aparecem como Served by origin, ou seja, se chegaram ao servidor.
- Teste de fora: peça a página com o user agent de cada robô, como no teste com curl do guia de SEO JavaScript. O teste não reproduz o IP do robô, mas mostra bloqueios por user agent.
Se a Cloudflare continuar bloqueando o ChatGPT depois dos ajustes, o campo Service dos eventos indica qual recurso agiu. Na Cloudflare, a maioria dos bloqueios de segurança responde 403, enquanto o rate limiting responde 429. Mas um 429 também pode vir da hospedagem, como mostra a seção seguinte.
Enfim, dê tempo: a OpenAI fala em cerca de 24 horas para a busca refletir uma mudança no robots.txt.
Outros firewalls e CDNs fazem o mesmo?
Sim. Qualquer firewall, CDN ou hospedagem pode barrar um robô de IA antes mesmo do robots.txt. Por isso, as empresas de IA orientam exceções. A OpenAI recomenda aceitar as faixas de IP do OAI-SearchBot, e o Perplexity mostra a regra para o AWS WAF. Em qualquer painel, a exceção segura junta user agent e IP, conforme recomenda o Perplexity.
Há ainda estes caminhos:
- Anthropic: uma lista única de IPs. Mas a Anthropic avisa que bloquear IPs pode impedir a leitura do robots.txt.
- Google: DNS reverso ou as listas de IP dos rastreadores, conforme a documentação do Google.
- Agentes assinados: a OpenAI traz orientações para o navegador do ChatGPT na Akamai, na Vercel e na HUMAN.
Se a Cloudflare não está bloqueando o ChatGPT e o robô ainda falha, olhe a hospedagem. O firewall do servidor também pode barrar um robô, e o Perplexity avisa que qualquer WAF pode exigir a liberação explícita dos robôs. Por isso, teste cada user agent e confira os logs, como mostra o guia de quando o bloqueio está fora do robots.txt.
Afinal, a CDN é só uma das camadas técnicas que o guia de SEO e IA cobre. A checagem completa da CDN entra na auditoria técnica de SEO para a era da IA.
Perguntas frequentes
Dá. O plano gratuito tem as políticas de IA, o AI Crawl Control, até 5 regras personalizadas no WAF da Cloudflare e as IP Access rules. Ele não tem o Super Bot Fight Mode. Por isso, se o Bot Fight Mode barrar um robô de busca, a saída é desligá-lo ou liberar os IPs do robô.
Pode copiar o nome, mas não a verificação. A regra com o campo Known Bots só vale para robôs que a Cloudflare confirmou pelo IP, pelo DNS reverso ou pela assinatura. Assim, um scraper que usa o user agent do ChatGPT-User continua sujeito às outras proteções do site.
Depende da regra. Com o campo Known Bots, a própria Cloudflare mantém a verificação dos robôs. Por outro lado, a regra por IP do Perplexity depende das faixas atuais, e o Perplexity recomenda automatizar a atualização a partir das listas oficiais.
Quer saber como sua marca aparece hoje nas respostas de IA?
A NotHuman está abrindo vagas para agências e marcas acompanharem como aparecem nas respostas de IA. Entre na lista de espera e avisamos quando houver uma vaga para você.
Fontes principais
- Cloudflare Docs, Verified bots (2026).
- Cloudflare Docs, Available skip options (2026).
- Cloudflare Docs, Bot Fight Mode (2026).
- Cloudflare Docs, robots.txt setting e Bot Preference Sync (2026).
- OpenAI, Overview of OpenAI Crawlers (2026).
- OpenAI, ChatGPT Work’s Cloud browser allowlisting (2026).
- Perplexity, Perplexity Crawlers e configuração de WAF (2026).
- Cloudflare, Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives, 4 de agosto de 2025.
