Tempo de leitura: 13 minutos
O Cloudflare AI Crawl Control é o painel que mostra quais robôs de IA acessam o site e permite liberar ou bloquear cada um. Ele convive com as políticas de IA da Cloudflare, que desde julho de 2026 separam busca, agente e treino. Por isso, para o site aparecer no ChatGPT, o bloqueio da Cloudflare não pode atingir a busca.
Em resumo
- Desde 15 de setembro de 2026, a Cloudflare oferece a domínios novos presets com a busca liberada. Em sites com anúncios, porém, o preset recusa o treino.
- Quem tinha o antigo “Block AI bots” ligado e nunca usou as três políticas migrou para “Disallow AI Training”. Essa opção barra GPTBot e ClaudeBot, mas mantém Googlebot e Bingbot. Além disso, a Cloudflare passou a barrar os agentes, como o ChatGPT-User, nas páginas com anúncio.
- Escolher “Block” ou “Block on pages with ads” no treino agora barra também Googlebot, Bingbot e Applebot, com efeito na busca tradicional.
- Marcar “Allow” no AI Crawl Control não cria regra de liberação. Por isso, outras regras do WAF e as políticas de IA da Cloudflare ainda podem barrar o OAI-SearchBot, o robô de busca do ChatGPT.
A Cloudflare bloqueia robôs de IA por padrão?
Hoje, não para a busca. Desde 15 de setembro de 2026, os dois presets oferecidos a domínios novos deixam a busca liberada. No preset de sites sem anúncios, as políticas de IA da Cloudflare começam sem nenhum bloqueio. Já o preset de sites com anúncios recusa o treino e barra agentes nas páginas com anúncio, mas mantém a busca. Os domínios antigos migraram conforme as escolhas anteriores.
Ainda assim, um bloqueio na CDN é uma das causas mais comuns de a IA não citar uma marca, e a Cloudflare é o primeiro lugar a checar.
De onde vem a fama de bloqueio da Cloudflare?
A fama de bloqueio vem de 2025. Em 1º de julho daquele ano, a Cloudflare anunciou que passava a bloquear por padrão robôs de IA sem permissão nem pagamento. Daí em diante, cada domínio novo passou a responder, no cadastro, se queria liberar esses robôs.
Em 1º de julho de 2026, o post “Your site, your rules” trocou o botão único da Cloudflare por três políticas de IA. Search cobre robôs que indexam o conteúdo para responder depois. Agent cobre robôs que agem em tempo real por uma pessoa, como o ChatGPT-User. Por fim, Training cobre robôs que treinam modelos. De acordo com a documentação, o antigo “Block AI bots” barrava robôs de treino, mas deixava de fora os de uso misto, que fazem busca e treino.
O que mudou no bloqueio da Cloudflare em 15 de setembro?
Em 15 de setembro, o post “Have it both ways” definiu o que vale hoje. A tabela resume os presets de domínios novos, bem como a migração de quem nunca mexeu nas três políticas:
| Situação do domínio | Training | Agent |
|---|---|---|
| Novo, sem anúncios | Allow | Allow |
| Novo, com anúncios | Disallow AI Training | Block on pages with ads |
| Antigo, com “Block AI bots” ligado | Disallow AI Training | Block on pages with ads |
| Antigo, sem “Block AI bots” | Allow | Allow |
Ou seja, nos quatro casos, Search fica em Allow. Quem já tinha configurado as três políticas manteve o efeito prático, e Block ou Block on pages with ads no treino viraram Disallow AI Training. Além disso, dá para trocar os presets de domínios novos no cadastro ou depois.
Segundo a mesma publicação, menos de 1% dos sites da Cloudflare bloqueiam robôs de busca, e 17% ativam algum bloqueio de treino. Mas o dado é da própria Cloudflare, que vende serviços de controle de robôs. Atenção: a página Block AI Bots da documentação, atualizada em 1º de julho, ainda descreve o plano anterior a 15 de setembro.
Quais controles da Cloudflare podem barrar o ChatGPT?
Na Cloudflare, três pontos decidem o acesso dos robôs da OpenAI: as políticas de IA, a aba Crawlers do AI Crawl Control e as regras personalizadas do WAF. Além disso, cada robô cai numa política diferente: o OAI-SearchBot é busca, o GPTBot é treino e o ChatGPT-User é agente. Por fim, o Bot Fight Mode também merece uma checagem.
No diretório de robôs do Cloudflare Radar, o OAI-SearchBot aparece na categoria Search, o GPTBot em Training e o ChatGPT-User em Agent. No entanto, a coluna Category do AI Crawl Control usa os nomes antigos AI Search, AI Crawler e AI Assistant, como mostra a referência de robôs da Cloudflare.
| Controle | Onde fica | O que barra |
|---|---|---|
| Search | Configure AI bot policies | Robôs de busca, como o OAI-SearchBot |
| Training | Configure AI bot policies | GPTBot e ClaudeBot; em Block, também Googlebot, Bingbot e Applebot |
| Agent | Configure AI bot policies | Robôs a pedido do usuário, como o ChatGPT-User |
| Action | AI Crawl Control, aba Crawlers | O robô escolhido, por uma regra do WAF |
| Regras personalizadas | Security rules | O que a regra definir |
O peso de cada um muda: de acordo com a documentação da OpenAI, sites que bloqueiam o OAI-SearchBot não aparecem nas respostas da busca do ChatGPT. Por outro lado, barrar o GPTBot só recusa o treino. Barrar o Bingbot na Cloudflare também pesa, porque o Bing alimenta o ChatGPT, como mostra o guia de como aparecer no ChatGPT.
O Bot Fight Mode desafia tráfego com padrão de robô e não aceita exceção por regra do WAF. Sempre que ele age, o evento aparece com o serviço Bot Fight Mode. Os robôs de busca e de treino dos outros motores estão na tabela do guia sobre o que é GEO.
Como ver nos logs se o GPTBot e o OAI-SearchBot foram barrados?
Comece pelo que qualquer pessoa vê: o robots.txt público. Em seguida, abra a aba Crawlers do AI Crawl Control, o gráfico de status na aba Metrics e os eventos de segurança. Juntos, eles mostram se o robô chegou, se recebeu um código de bloqueio e qual recurso o barrou.
- Abra o robots.txt do site. Procure os blocos “BEGIN Cloudflare Managed content” ou “BEGIN Cloudflare Bot Preference Sync”. Um “Disallow: /” sob GPTBot recusa o treino. Sob OAI-SearchBot, porém, tira o site da busca do ChatGPT.
- Veja a aba Crawlers. Em AI Crawl Control, encontre GPTBot e OAI-SearchBot. A coluna Action mostra Allow ou Block.
- Filtre a aba Metrics pelo robô. O gráfico Status code distribution separa respostas 2xx de 4xx. O 4xx inclui, por exemplo, o 403 de bloqueio e o 402 de cobrança.
- Abra os eventos de segurança. Na página Analytics, aba Events, procure o robô entre os user agents de Top events by source e, em seguida, selecione Filter. A seção Events by service mostra qual recurso agiu, como uma regra personalizada ou o Bot Fight Mode.
- Confira a ordem das regras. Em Security rules, filtre por Custom rules. A regra do AI Crawl Control se chama “AI Crawl Control”. Uma regra acima dela, porém, pode barrar um robô liberado ali.
O que mais conferir nos dados de bloqueio da Cloudflare?
Em primeiro lugar, o robots.txt gerenciado merece atenção para o Gemini. Isso porque o exemplo da documentação do robots.txt da Cloudflare traz “Disallow: /” para o Google-Extended. De acordo com o Google, esse token controla o embasamento dos apps do Gemini, como explica o guia de como aparecer no Gemini, no Perplexity e no Claude.
Em segundo lugar, a documentação traz quatro ressalvas para ler esses dados:
- No plano gratuito, o AI Crawl Control reconhece robôs só pelo user agent, e a aba Metrics cobre as últimas 24 horas.
- Da mesma forma, no plano gratuito, os eventos de segurança mostram só os registros amostrados.
- A coluna Requests soma acessos liberados e malsucedidos. Um acesso malsucedido pode vir de qualquer regra ou de um erro do servidor.
- Depois que o robots.txt muda, a aba Directives pode marcar como violação acessos antigos que o arquivo permitia.
Como liberar robôs de busca e manter bloqueado o treino?
Para o site continuar no ChatGPT, deixe Search em Allow e, em Training, escolha a opção Disallow, que a Cloudflare chama de Disallow AI Training. Ela barra robôs só de treino, como GPTBot e ClaudeBot, mas mantém Googlebot, Bingbot e Applebot na busca. Em seguida, confira no AI Crawl Control da Cloudflare se os robôs de busca estão em Allow.
Os passos abaixo seguem a documentação do robots.txt. O painel permite trocar o idioma, mas os nomes abaixo são os da documentação, em inglês.
- Na página Security Settings, filtre por Bot traffic e, em seguida, selecione Configure AI bot policies.
- Em Search, escolha Allow.
- Em Training, escolha Disallow. Evite Block e Block on pages with ads, porque agora eles barram também Googlebot, Bingbot e Applebot.
- Em Agent, decida com o cliente. Com Block on pages with ads, a Cloudflare deixa o ChatGPT-User fora das páginas com anúncio.
- Ative Enable Bot Preference Sync e selecione Save. Assim, o robots.txt passa a refletir as políticas.
- Por fim, na aba Crawlers do AI Crawl Control, deixe OAI-SearchBot, PerplexityBot e Claude-SearchBot em Allow.
O post de 15 de setembro é direto sobre a opção Block no treino:
“Isso vai impedir que Applebot, Bingbot e Googlebot cheguem ao seu site, busca incluída.” (tradução nossa)
Bryan Becker, Cloudflare (2026)
Por que o Allow não desfaz todo bloqueio da Cloudflare?
Marcar Allow no AI Crawl Control da Cloudflare não cria uma regra de liberação. Segundo a documentação do AI Crawl Control com o WAF, a regra dele só inclui os robôs bloqueados. Assim, um robô liberado ali ainda pode cair numa regra que roda antes, e essa regra pode não aparecer na análise do AI Crawl Control. Nesse caso, ajuste a regra que barra o robô.
Além disso, o Allow não desfaz um bloqueio nas políticas de IA da Cloudflare. Afinal, na ordem descrita pela mesma documentação, as soluções de bots da Cloudflare agem depois da regra do AI Crawl Control. Por isso, confira as duas telas.
Há, porém, uma exceção no Bing. Isso porque a Microsoft prevê para o início de 2027 o suporte à recusa de treino pelo robots.txt. Até lá, o Disallow AI Training não comunica essa recusa ao Bing, de acordo com o mesmo post de 15 de setembro. Para decidir robô a robô, veja quais robôs liberar e quais bloquear no robots.txt.
O AI Crawl Control da Cloudflare cobra pelo acesso dos robôs?
Não por padrão. O AI Crawl Control está em todos os planos da Cloudflare, inclusive no gratuito. Mas a cobrança é um recurso à parte, o pay per crawl, em beta fechado. Nele, o dono do site define um preço. Assim, o robô que não apresenta a intenção de pagar recebe o código 402 em vez da página.
Segundo a documentação do pay per crawl, a Cloudflare atua como intermediária do pagamento. O preço é um só para todos os robôs marcados com Charge, e arquivos como robots.txt e sitemap.xml são sempre gratuitos. Bloqueios do WAF e do Bot Management passam na frente da cobrança.
Para GEO, cobrar um robô de busca tem o mesmo efeito prático de bloqueá-lo enquanto ele não pagar. Por isso, leia o código com cuidado nos logs. Nos planos pagos, a resposta de bloqueio pode ser 403 ou 402, com texto próprio, segundo a página Manage AI crawlers. Ou seja, um 402 nem sempre indica cobrança ativa.
Quanto tempo leva para a IA voltar a citar depois de liberar?
Não há prazo garantido. A OpenAI e o Perplexity falam em cerca de 24 horas para os sistemas deles refletirem uma mudança nas regras. Depois disso, porém, o robô precisa voltar a rastrear as páginas, e a citação ainda depende da pergunta e do conteúdo.
Na documentação da OpenAI, o prazo é de cerca de 24 horas após a atualização do robots.txt, para os resultados de busca. Da mesma forma, na documentação do Perplexity, as mudanças podem levar até 24 horas. Mas os dois prazos tratam de regras do robots.txt. Para acompanhar a volta, siga três passos:
- Confirme o acesso. No gráfico Status code distribution, as requisições do OAI-SearchBot devem voltar a receber 2xx.
- Confira o Bing. Se o Bingbot esteve barrado, reenvie o sitemap e as páginas principais no Bing Webmaster Tools. O passo a passo está no guia de como indexar o site no Bing.
- Meça com prompts fixos. Compare semanas, não respostas isoladas, porque a resposta muda a cada execução.
O protocolo de medição, com número de execuções e margem de erro, está no guia de como medir menções e citações da sua marca em IA. Por fim, as visitas que voltam pelo ChatGPT aparecem no tráfego de IA no GA4.
O que encontramos nas páginas em português sobre o bloqueio da Cloudflare
Lemos as 7 páginas em português que apareceram nas nossas buscas sobre o bloqueio de robôs de IA pela Cloudflare. Todas são notícias: duas de 2024, quatro de julho de 2025 e uma de julho de 2026. Nenhuma cita o OAI-SearchBot nem o AI Crawl Control.
Uma cita o AI Audit, nome antigo do painel. Além disso, nenhuma mostra como checar se o site está bloqueado, e nenhuma menciona o Googlebot. Por fim, a única de 2026 descreve o plano de julho, anterior às mudanças de 15 de setembro.
Perguntas frequentes
Não. Segundo a OpenAI, barrar o GPTBot só recusa o treino. O que tira o site das respostas da busca do ChatGPT é o bloqueio do OAI-SearchBot, que a Cloudflare classifica como robô de busca. Barrar o Bingbot na Cloudflare também pesa, porque o Bing alimenta o ChatGPT.
Ainda não. Segundo o post da Cloudflare de 15 de setembro de 2026, a Microsoft prevê para o início de 2027 o suporte à recusa de treino pelo robots.txt. Até lá, portanto, o Disallow AI Training não comunica essa recusa ao Bing.
O código 402 é a resposta do pay per crawl para o robô que não apresenta a intenção de pagar. Mas um 402 nem sempre indica cobrança ativa. Nos planos pagos, a resposta de bloqueio do AI Crawl Control da Cloudflare pode ser 403 ou 402, com texto próprio.
Quer saber como sua marca aparece hoje nas respostas de IA?
A NotHuman está abrindo vagas para agências e marcas acompanharem como aparecem nas respostas de IA. Entre na lista de espera e avisamos quando houver uma vaga para você.
Fontes principais
- Cloudflare, Have it both ways: stay discoverable in search while disallowing AI training, 15 de setembro de 2026.
- Cloudflare, Your site, your rules: new AI traffic options for all customers, 1º de julho de 2026.
- Cloudflare Docs, AI Crawl Control with Cloudflare WAF (2026).
- Cloudflare Docs, robots.txt setting e Bot Preference Sync (2026).
- OpenAI, Overview of OpenAI Crawlers (2026).
