Gigantes de IA criam padrão único de robots.txt, mas 30% dos bots já ignoravam permissões

No dia 30 de outubro de 2026, OpenAI, Google, Microsoft e Anthropic anunciaram um padrão único no robots.txt para controlar o treinamento de IA. É um avanço técnico real. Mas na mesma semana, a TollBit documentou que 30% dos bots de IA já ignoravam permissões explícitas no quarto trimestre de 2025—contra 3% um ano antes. A tese deste texto é simples: o novo sinal resolve um problema de padronização, não o problema de confiança.

O que muda no robots.txt

O mecanismo nasce de um Internet-Draft chamado "Machine-Readable Training Preference Signal", escrito por Kevin Kelley, da Anthropic, e publicado no IETF Datatracker em 30 de outubro de 2026, com expiração prevista para 3 de maio de 2027. Ele cria um token de política chamado __usage_ai-training, usado como um User-Agent especial dentro do robots.txt:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Com isso, um site bloqueia o uso do conteúdo para treino de modelos generativos em todo o domínio, exceto em pastas específicas, sem precisar escrever uma regra separada para cada robô de cada empresa de IA. Segundo a SiliconANGLE, sites precisam hoje adicionar uma entrada separada para cada provedor de IA no robots.txt — e, se um provedor usa vários scrapers, cada um exige sua própria regra.

É importante separar dois conceitos que o draft distingue: o token vale para treinamento de modelos generativos, não para todo tipo de uso automatizado. A Microsoft, por exemplo, prometeu um controle separado chamado "AI grounding", justamente para manter o acesso de robôs que buscam uma página específica para citar como fonte em uma resposta, mesmo quando o dono do site bloqueou o treino.

Quem assinou e quando

Segundo a SiliconANGLE e a Unite.AI, o grupo que apoia o padrão inclui OpenAI, Google, Microsoft e Anthropic, com a Meta mencionada como simpática à ideia sem compromisso formal de implementação. Os prazos variam: OpenAI e Microsoft falam em aplicar o sinal "nos próximos meses"; o Google projeta a adoção só para 2027. A Anthropic, autora do draft, está mais adiantada.

O que dizem os estudos

O primeiro documento que sustenta esta matéria é o Internet-Draft do IETF (2026), de autoria de Kevin Kelley/Anthropic. Não é um artigo revisado por pares nem um padrão formal: é um rascunho normativo individual, e o texto do documento registra explicitamente que "this I-D is not endorsed by the IETF". Ele define o mecanismo técnico, mas não obriga nenhuma empresa a cumpri-lo e não afeta dados de treinamento já coletados antes da sua publicação.

O segundo é o relatório "State of the Bots", da TollBit, empresa que monetiza conteúdo para provedores de IA—o que é um ponto de atenção para quem lê o dado: a companhia tem interesse comercial em mostrar que o problema que resolve é grave. Ainda assim, o número é específico e verificável pela metodologia proprietária da TollBit sobre tráfego de bots em sites parceiros: a taxa de scrapes de IA que ignoraram permissões explícitas do robots.txt subiu de cerca de 3% no quarto trimestre de 2024 para 30% no mesmo período de 2025. O ChatGPT-User, da própria OpenAI, liderou as violações a 42%.

O outro lado: por que o sinal pode não bastar

O contra-argumento mais forte não vem de críticos externos, mas da documentação das próprias empresas. A OpenAI explica publicamente que crawlers como o ChatGPT-User e o Perplexity-User são projetados para ignorar o robots.txt quando a navegação é "iniciada pelo usuário" dentro de uma conversa, e não por um rastreamento automático de treinamento. Ou seja, parte do que a TollBit classifica como violação pode ser, por definição da própria empresa, um comportamento esperado do produto, não uma falha de conformidade com o novo sinal.

Isso não invalida o padrão, mas limita o que ele resolve. O token __usage_ai-training ataca o treinamento de modelos. Não ataca busca em tempo real, não ataca indexação para produtos de IA generativa com citação de fonte, e não tem qualquer mecanismo de fiscalização: é uma promessa de honra, não uma barreira técnica.

O que observar

Para quem acompanha governança de dados de treinamento, três coisas valem monitorar nos próximos meses: se a OpenAI e a Microsoft de fato publicam suporte ao token em seus crawlers documentados antes do verão europeu de 2027; se o draft ganha um número de RFC ou continua como Internet-Draft individual até expirar em maio de 2027; e se o próximo relatório trimestral da TollBit mostra queda na taxa de violação de robots.txt, o que seria o primeiro sinal real de que o padrão funciona na prática, e não só no papel.