Cloudflare e OpenAI: piloto encontrou centenas de milhões de páginas que o ChatGPT não achava

Rodando em cerca de 1% da rede da Cloudflare, o piloto de pesquisa de Cloudflare e OpenAI permitiu que a OpenAI descobrisse e indexasse centenas de milhões de páginas web que rastreadores baseados em seguir links não teriam encontrado. Os resultados foram divulgados nesta semana no blog da Cloudflare, três meses depois de as duas empresas anunciarem a parceria, em 8 de julho de 2026.

Quem mantém um site no Brasil sente o efeito direto, seja um blog, uma loja virtual, um portal regional ou uma página institucional: a infraestrutura que fica na frente do seu site passa a avisar a OpenAI quando há conteúdo novo, em vez de esperar que um robô chegue lá sozinho.

O que a Cloudflare envia para a OpenAI

São metadados sobre a web, não o conteúdo das páginas, de acordo com a Cloudflare. A lista inclui sinais de frescor do conteúdo, eventos de mudança de página, detecção de endereços inexistentes, identificação de redirecionamentos e de conteúdo duplicado, e sinalização de páginas comprometidas. A empresa cita como exemplo um site legítimo com uma única página invadida, como um formulário falso de login plantado por um atacante, e afirma que marcar aquela página, e não o domínio inteiro, protege as pessoas sem penalizar o dono do site.

A Cloudflare declara que não há compartilhamento de conteúdo das páginas para treinamento de modelo. Os sinais de descoberta, segundo a empresa, também não dão acesso ao conteúdo por si só: nas palavras do blog, um sinal sobre uma página não concede permissão para acessá-la, e para ler a página o rastreador ainda precisa fazer a requisição, com o controle seguindo nas mãos do dono do domínio.

Parte do ganho do piloto veio de economia, e não só de descoberta. A Cloudflare relata que os sinais ajudaram a identificar padrões de desperdício, como robôs pedindo repetidamente arquivos que não existem ou sites que redirecionam quase qualquer endereço para a página inicial, o que corta requisições inúteis antes mesmo da busca pelo conteúdo.

Por que isso é uma virada de postura

Porque, até agora, a Cloudflare vendia o oposto. A empresa passou cerca de um ano criando ferramentas para que sites bloqueassem rastreadores de IA que não pagassem pelo conteúdo, além de um protocolo para separar humanos de bots, sob o lema de que o conteúdo é do dono do site. O The Next Web destaca a tensão: a mesma empresa que vende bloqueio agora alimenta o rastreador.

A escala explica o interesse da OpenAI. A infraestrutura da Cloudflare está na frente de mais de 20% da web global, segundo o Tech Times, o que torna esses sinais uma fonte de descoberta difícil de replicar.

Em julho, ao anunciar o piloto, o vice-presidente de pesquisa da OpenAI, Nick Ryder, afirmou que informação atualizada é importante para entregar respostas precisas a quem usa o ChatGPT. O CEO da Cloudflare, Matthew Prince, disse que a parceria busca tornar a busca com IA mais eficiente e ajudar as pessoas a obter respostas de qualidade mais rápido.

O que muda para quem tem site no Brasil

Ser descoberto mais rápido não é o mesmo que receber visita, e o próprio piloto deixa essa parte em aberto. Dados do Chartbeat de março de 2026, citados pelo Tech Times, indicam que os encaminhamentos do ChatGPT responderam por menos de 1% de todos os encaminhamentos para páginas vistas de publishers, ainda que tenham crescido mais de 200% no período de dois anos analisado. O mesmo levantamento aponta que publishers pequenos, de 1.000 a 10.000 páginas vistas por dia, perderam 60% do tráfego de encaminhamento de busca nesses dois anos, contra 47% dos médios e 22% dos grandes.

Ou seja: o conteúdo entra na base de respostas, e a conversão disso em cliques segue sendo a dúvida. A Cloudflare diz que a próxima fase do trabalho pretende melhorar a seleção de páginas, testar sinais de mudança mais rápidos e confiáveis e medir o que acontece depois que o conteúdo é descoberto.

Como controlar ou sair do programa

Pelo painel AI Crawl Control, que a Cloudflare descreve como a ferramenta para entender e administrar como sistemas de IA acessam o site. Segundo a documentação da empresa, ali é possível definir regras de permitir ou bloquear rastreadores de IA individualmente, acompanhar quais deles respeitam as diretrizes do seu robots.txt e criar regras de cumprimento a partir disso.

Vale a conferência mesmo para quem não pretende mudar nada: o piloto rodou em uma fatia pequena da rede, mas a tendência indicada pelas duas empresas é de expansão, e a configuração atual do seu domínio é o que vai valer quando isso acontecer.