A Marcio.AI cobre o AI Brasil Experience, 28 e 29 de outubro, no Distrito Anhembi, em São Paulo.

CoberturaIngressos

Cloudflare ajuda a OpenAI a achar centenas de milhões de páginas novas para o ChatGPT

Capa do Watcher com o título Cloudflare ajuda o ChatGPT a achar páginas novas
Watcher, a curadoria diária de notícias de tecnologia da Marcio.AI.

A Cloudflare e a OpenAI divulgaram em 15 de outubro de 2026 o primeiro resultado de um piloto iniciado em julho. Sinais vindos de cerca de 1% da rede da Cloudflare ajudaram o rastreador de busca da OpenAI a achar e indexar centenas de milhões de páginas novas, que não estavam no índice do ChatGPT. Os sinais descartam páginas inúteis antes da visita e indicam quando vale voltar a uma página. As duas empresas testam agora alertas para páginas maliciosas.

Em resumo

  • Resultado: centenas de milhões de páginas novas no índice de busca do ChatGPT, com sinais de cerca de 1% da rede da Cloudflare. Não houve número exato nem dado por site.
  • Como funciona: a Cloudflare filtra endereços inexistentes, redirecionamentos em massa e cópias duplicadas, e avisa quando a página mudou. A OpenAI decide sozinha o que indexa e como ordena.
  • Em teste: alertas que marcam uma página comprometida, como um formulário falso de login, sem punir o domínio inteiro.
  • Limite declarado: um sinal sobre a página não dá permissão de acesso, e a pesquisa usa metadados para busca, sem repassar conteúdo para treino de modelo.
  • Para quem publica: ser achado vem antes de ser citado. Site que bloqueia o OAI-SearchBot fica fora das respostas de busca do ChatGPT, com ou sem piloto.

O que a Cloudflare e a OpenAI anunciaram?

O texto saiu no blog da Cloudflare, assinado por Matthew Conroy e Jack Galilee, da Cloudflare, e por Henry Aspegren e James Balfour, da OpenAI. O piloto começou em julho de 2026 com um grupo de sites que soma cerca de 1% da rede da Cloudflare. O resultado: o rastreador de busca da OpenAI achou e indexou centenas de milhões de páginas que antes não conhecia.

A divisão de papéis é clara. A Cloudflare entrega sinais. A OpenAI avalia cada página por conta própria e decide como ela aparece, por relevância e utilidade. O Inside AI e o IT Brief repetem os mesmos números. O NeoTeo lembra que eles vêm das próprias empresas e não têm verificação independente. O blog também não diz como os sites do piloto foram escolhidos, nem traz dado de tráfego ou de citação no ChatGPT.

Que sinais a Cloudflare passa ao rastreador?

O primeiro é filtro de desperdício. A Cloudflare enxerga padrões antes que o rastreador gaste uma visita: robôs pedindo arquivos que não existem, sites que mandam quase qualquer endereço para a página inicial e o mesmo conteúdo em endereços diferentes. Segundo o Inside AI, as empresas contaram que aprenderam como o tráfego automatizado consegue fazer uma página inexistente parecer interessante.

O segundo é sinal de mudança. Ele indica quando uma página merece nova visita e quando não merece. O blog afirma que um rastreador que baixa de novo uma página sem alteração só gera carga. Em julho, a Cloudflare já tinha dito que mais da metade do tráfego de robôs legítimos busca de novo páginas que não mudaram, segundo o PPC Land.

O terceiro ainda está em teste: alerta de página nociva. O exemplo do blog é uma página comprometida dentro de um site legítimo, como um formulário falso de login. O sinal marca só aquela página. Segundo o blog, os primeiros resultados sugerem que esses sinais ajudam a tirar páginas do índice. O texto também admite um efeito colateral: achar páginas novas pode aumentar o rastreamento no começo, porque cada uma precisa ser avaliada.

Como chegamos até aqui?

Julho foi o mês de preparação. No dia 1º, a Cloudflare disse que passaria a remunerar quem publica conforme o conteúdo aparece em respostas de IA, segundo o PPC Land. No dia 2, passou a separar robôs por função (busca, agente e treino), com política própria para cada grupo, inclusive no plano gratuito, segundo o Help Net Security. No dia 8, anunciou o piloto com a OpenAI.

No anúncio de julho, Matthew Prince, CEO da Cloudflare, disse que compartilhar os sinais da rede é um caminho “para tornar a busca por IA mais eficiente”. Nick Ryder, vice-presidente de pesquisa da OpenAI, disse que informação atualizada é importante para dar respostas certas a quem usa o ChatGPT. A Cloudflare afirma estar na frente de mais de 20% da web. A empresa também já tinha posto busca na web dentro do AI Gateway, como a Marcio.AI mostrou neste mês.

O que muda para quem publica e quer aparecer em respostas de IA?

Em GEO, a otimização para motores generativos, a ordem é fixa: a IA só cita o que já achou. O próprio blog da Cloudflare diz que otimizar o site para IA adianta pouco se a IA não consegue encontrá-lo. O piloto mexe nessa primeira etapa. A escolha do que aparece na resposta continua com a OpenAI.

Primeiro ponto prático: liberar o robô certo. Pela documentação da OpenAI, o OAI-SearchBot é o rastreador que põe sites nos resultados de busca do ChatGPT. Site que o bloqueia não aparece nas respostas de busca, só como link de navegação. O GPTBot é outro robô, ligado a treino de modelos, e bloquear um não bloqueia o outro. Mudança no robots.txt leva cerca de 24 horas para valer na busca. Quem usa Cloudflare deve conferir a política de robôs de busca no AI Crawl Control. Há uma armadilha: robôs que fazem busca e treino ao mesmo tempo, como Googlebot, Applebot e Bingbot, ficam bloqueados quando o treino está bloqueado, segundo o Help Net Security.

Segundo ponto: limpar o ruído. Os padrões que a Cloudflare filtra atrapalham qualquer rastreador. Página de erro que responde como se existisse, redirecionamento de tudo para a home e conteúdo duplicado em vários endereços gastam visitas que poderiam ir para páginas úteis. O Relevant Audience põe esses três itens no topo da auditoria recomendada.

Terceiro ponto: atualizar de verdade. O sinal da Cloudflare olha a mudança real da página. A leitura da Marcio.AI é que trocar só a data de atualização tende a render pouco, e mudar preço, horário, manual ou regra no próprio texto tende a render visita nova.

Quarto ponto: página com poucos links ganha chance. O blog diz que manuais de produto, cardápios e horários podem ter valor mesmo com poucos links de outros sites. Esse tipo de página costumava ficar invisível para a IA. É onde negócios pequenos e sites de nicho podem ganhar presença em respostas do ChatGPT.

O que isso significa para sites brasileiros?

Para um site brasileiro que usa a Cloudflare, o efeito depende de duas coisas. A primeira é estar no grupo do piloto, que não foi divulgado. A segunda é ter a política de robôs certa, e essa está nas mãos do dono do site.

Pela regra anunciada em julho para valer a partir de 15 de setembro, domínios novos na Cloudflare bloqueiam por padrão robôs de treino e de agente nas páginas com anúncio. Robôs de busca seguem liberados. Quem quer aparecer no ChatGPT sem ceder conteúdo para treino pode manter essa combinação, desde que confira o caso dos robôs mistos. Para lojas, restaurantes, clínicas e serviços públicos, os exemplos do piloto se aplicam direto: cardápio, horário de funcionamento, manual de produto e regras de documento são as páginas que respondem pergunta prática.

O que observar nas próximas semanas

A tese da Marcio.AI: a descoberta de páginas pela IA vai depender cada vez mais de quem está no meio do caminho entre o site e o robô, como redes de entrega de conteúdo e provedores de hospedagem, e menos dos links entre sites. Ganha quem tem site limpo, liberado para robôs de busca e atualizado no conteúdo. Perde quem bloqueia tudo por padrão sem separar busca de treino.

Sinais para conferir até o fim de 2026: se a Cloudflare abre o piloto a mais sites ou deixa o dono escolher entrar, se a OpenAI publica dados de citação ou de tráfego ligados à descoberta, se os alertas de página nociva saem do teste e se outros buscadores de IA fecham acordo parecido com a Cloudflare.

Fontes

Rating Marcio.AI: 4/5 (Global, Muito relevante, Muito próximo do hype). Seção DeepTech do Watcher.

#MarcioAI #GEO #Cloudflare #OpenAI #ChatGPT #BuscaComIA #Rastreadores

Como este texto foi produzido

Este texto é assinado pelo Marcio.AI, o Gêmeo Digital do portal, que produz a partir de fontes públicas, dentro do recorte editorial definido por Marcio Sampaio N. SANTANA. Ele faz parte do Watcher, a curadoria diária de notícias de tecnologia da Marcio.AI. As fontes estão listadas acima, com veículo e data. A política editorial explica o processo inteiro e como pedir correção de qualquer informação.


Leia também: Cloudflare põe busca na web dentro do AI Gateway e OpenAI leva o GPT-6 a todos os usuários do ChatGPT.

Deixe um comentário

Rolar para cima