Como bloquear robôs de IA no robots.txt sem perder tráfego do Google

Impedir que o conteúdo do site da sua empresa alimente modelos de inteligência artificial passa por um arquivo de texto de poucas linhas na raiz do domínio, o robots.txt. É o caminho documentado pelas próprias donas dos modelos. A dificuldade não é técnica: cada empresa opera vários rastreadores, com nomes e funções diferentes, e bloquear o errado tira o seu site do Google em vez de tirá-lo do treinamento.

O assunto ganhou prazo. Os novos Termos Comerciais da Meta entram em vigor em 30 de outubro de 2026 e, segundo o PPC Land, o texto autoriza a empresa a usar rastreadores para acessar domínios ligados aos produtos e serviços de um negócio e usar esse conteúdo para treinar seus produtos. Questionada, a Meta afirmou, pelo porta-voz Andy Stone, que donos de conteúdo podem usar sinalizações no robots.txt para indicar suas preferências. Stone também contestou a leitura de que os termos liberem o rastreamento de sites jornalísticos: segundo o Search Engine Journal, ele disse que a mudança serve para obter informações precisas sobre produtos à venda em sites de terceiros, para recomendações de anúncios e de conteúdo.

O que o robots.txt faz — e o que ele não faz

Resposta direta: o robots.txt é um pedido, não uma tranca. Ele avisa a cada rastreador o que pode ou não ser buscado, e as grandes empresas de IA dizem respeitar o arquivo. Mas ele não impede que alguém copie a página manualmente, não remove o que já foi rastreado antes do bloqueio e não tem efeito sobre robôs que ignoram o padrão.

Vale saber também que o arquivo é público: qualquer pessoa abre o seu em seusite.com.br/robots.txt e vê as suas escolhas.

Como bloquear os robôs de IA no robots.txt, passo a passo

Resposta direta: crie um grupo User-agent para cada robô de treinamento que quiser barrar, com Disallow: /, e deixe os robôs de busca de fora da lista. O detalhe está em saber qual nome é qual.

1. Abra ou crie o arquivo na raiz do domínio. A documentação do Google Search Central é explícita: o arquivo tem de se chamar robots.txt, ser texto codificado em UTF-8 e ficar na raiz do host ao qual se aplica, como https://www.exemplo.com.br/robots.txt. Dentro de subpasta, não funciona. No WordPress, plugins de SEO costumam ter um editor próprio; em site estático, é um arquivo na pasta pública.

2. Decida o objetivo antes de escrever. São duas intenções diferentes. Sair do treinamento dos modelos e continuar aparecendo nas buscas, inclusive nas respostas do ChatGPT e do Gemini, é uma coisa. Sair de tudo, inclusive das citações em buscadores de IA, é outra — e custa visibilidade.

3. Saiba quais robôs fazem treinamento. A OpenAI documenta quatro rastreadores com funções distintas: OAI-SearchBot, para os recursos de busca do ChatGPT; OAI-AdsBot, que valida a segurança de páginas de destino de anúncios; GPTBot, que coleta conteúdo que pode ser usado no treinamento dos modelos de fundação; e ChatGPT-User, para ações iniciadas pelo usuário. A própria empresa afirma que as configurações do OAI-SearchBot e do GPTBot são independentes, então bloquear um não afeta o outro.

No Google, o token de treinamento é o Google-Extended. A documentação diz que publishers o usam para controlar se o conteúdo rastreado pode ser usado para treinar futuras gerações dos modelos Gemini, e afirma que ele não afeta a inclusão do site na Busca nem serve de sinal de ranqueamento. A Anthropic documenta o ClaudeBot para coleta de conteúdo web voltada aos modelos, além do Claude-User e do Claude-SearchBot. A Apple separa o Applebot, que alimenta Spotlight, Siri e Safari, do Applebot-Extended, usado pelo site para optar por não ter o conteúdo aproveitado no treinamento dos modelos de fundação de uso geral; páginas que bloqueiam o Applebot-Extended, diz a Apple, continuam podendo aparecer nos resultados.

4. Escreva um grupo por robô. A sintaxe é a mesma em todos: uma linha User-agent com o nome e uma linha Disallow com o caminho. Para bloquear o site inteiro para treinamento, mantendo busca e descoberta liberadas:

# Treinamento de modelos de IA: bloqueado
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

# Busca e descoberta: liberados
User-agent: Googlebot
Allow: /

User-agent: OAI-SearchBot
Allow: /

Sitemap: https://seusite.com.br/sitemap.xml

A linha da Meta aparece porque a empresa documenta o Meta-ExternalAgent como o rastreador usado para casos como treinar modelos de fundação e indexar conteúdo, e orienta quem quiser barrá-lo a acrescentar um Disallow para ele no robots.txt. A mesma documentação lista o Meta-WebIndexer, voltado à qualidade dos resultados de busca da Meta AI, e avisa que o Meta-ExternalFetcher pode ignorar o robots.txt, porque faz buscas pedidas pelo usuário.

Se quiser liberar só parte do site, troque a barra pelo caminho, como Disallow: /blog/. E vale lembrar o que o Google documenta sobre agrupamento: o rastreador obedece a um único conjunto de regras, o primeiro grupo mais específico que corresponde ao nome dele. Ou seja, um grupo com o nome exato do robô vence o grupo genérico User-agent: *.

5. Não bloqueie por engano o que traz tráfego. Na lista oficial de rastreadores comuns do Google aparecem Googlebot, Googlebot-Image, Googlebot-News, GoogleOther, Google-InspectionTool e Google-CloudVertexBot, entre outros. Bloquear o Googlebot é tirar o site da Busca, não da IA. O Google-InspectionTool alimenta ferramentas de teste e não afeta o ranqueamento. O Google-CloudVertexBot rastreia sites a pedido do próprio dono, para montar agentes no Vertex AI. Pelo mesmo motivo, bloquear o OAI-SearchBot derruba a sua chance de ser citado nas respostas do ChatGPT.

6. Publique e confira. Abra o endereço do arquivo no navegador, em janela anônima, e veja se o conteúdo é o que você escreveu. Confira também se a hospedagem ou o CDN não está servindo uma versão antiga em cache.

7. Espere o efeito e revise. A OpenAI avisa que pode levar cerca de 24 horas entre a atualização do robots.txt e o ajuste nos sistemas dela. Coloque na agenda uma revisão trimestral: a lista de robôs muda e nomes novos aparecem sem aviso.

Quanto custa e até onde o bloqueio vale

O custo é zero: são linhas de texto num arquivo que o seu site já serve. O limite é de comportamento, não de técnica, e há dois pontos de atenção documentados. O primeiro é que, segundo a OpenAI, as ações do ChatGPT-User são iniciadas pelo usuário e por isso as regras do robots.txt podem não se aplicar a elas. O segundo é o alerta da Anthropic: bloquear por endereço de IP pode impedir que o rastreador leia o próprio robots.txt, então editar o arquivo é o caminho correto.

Quem precisa de barreira de fato, e não de sinalização, trabalha em outra camada: autenticação, paywall ou regras no firewall de aplicação. Isso exige decisão técnica e de negócio, e tem impacto direto em SEO.

Erros comuns ao bloquear robôs de IA

O mais frequente é copiar lista pronta da internet com dezenas de nomes, robôs de busca incluídos, e perder tráfego orgânico sem perceber. Antes de colar qualquer coisa, confirme cada nome na documentação oficial da empresa dona do robô.

O segundo cuidado é jurídico. No caso da Meta, o PPC Land e o Search Engine Journal apontam que o texto dos termos não menciona o robots.txt: a declaração sobre preferências de rastreamento partiu do porta-voz, não do contrato. Se o conteúdo do seu site é ativo central do negócio, leve o tema ao jurídico da empresa antes de 30 de outubro. Este texto é informação geral e não substitui orientação de advogado ou de profissional de SEO para o seu caso.

Por fim, não trate o robots.txt como retroativo. Ele vale para o rastreamento daqui para frente, não para o que já foi coletado.