Decida por escrito quais robôs de IA leem o site

Bloquear o robô de treino não tira a sua empresa das respostas do ChatGPT nem do Claude; o que apaga a marca é bloquear o robô de busca por engano no firewall. Serve para quem recebeu a ordem de "tirar a empresa da IA" ou a proposta de "abrir o site para a IA" e precisa decidir por escrito. Você ganha a matriz das três funções, os dois controles do Google lado a lado e uma auditoria de 20 minutos no livro de visitas do servidor.

A regra que contraria quase todo post de rede social: bloquear GPTBot ou ClaudeBot não remove o seu site das respostas de busca. Os dois são crawlers (robôs que leem o site, como um leitor que visita cada página) de treino, e a citação de hoje vem de outro robô. A documentação de robôs da OpenAI resolve a dúvida em uma frase: "Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers". Sobre o outro robô, ela diz que "Disallowing GPTBot indicates a site's content should not be used in training".

A Anthropic escreve o equivalente na documentação de 07/04/2026: desativar o Claude-SearchBot pode reduzir a visibilidade do site nos resultados de busca do usuário. A mesma documentação da OpenAI lista um quarto robô, o OAI-AdsBot, que só visita páginas enviadas como anúncio no ChatGPT para validar a página de destino; um firewall que o barra reprova o anúncio.

O cenário caro é o inverso. Uma regra genérica de "proteção contra IA" no firewall devolve erro ao OAI-SearchBot, a marca some das respostas em semanas e nenhum painel de analytics registra a causa. O clique que deixou de existir não aparece em lugar nenhum.

Os demais operadores seguem a mesma divisão, com duas exceções que mudam a ferramenta de bloqueio. O Perplexity-User, que abre a página quando o usuário pede, "generally ignores robots.txt rules" segundo a documentação da Perplexity. Quem quer barrá-lo precisa de regra no servidor ou no WAF, o firewall que fica na frente do site. O Meta-ExternalFetcher faz o mesmo. Já o Meta-WebIndexer é o robô que decide citação no Meta AI, e a Meta escreve que liberá-lo no robots.txt ajuda o Meta AI a citar e linkar o conteúdo.

O Google tem dois controles com nomes parecidos e efeitos diferentes, e a confusão entre eles está por trás de boa parte das ordens mal executadas. O Google-Extended, na documentação de 14/07/2026, controla se o conteúdo alimenta o treinamento e o grounding (a consulta ao vivo que o modelo faz para compor a resposta) dos aplicativos Gemini e do Vertex AI. O Google escreve que ele não afeta a inclusão do site na Busca nem é sinal de ranqueamento; AI Overviews e AI Mode, servidos pelo índice do Googlebot, continuam mostrando o site.

O controle que tira o site de AI Overviews, AI Mode e do Discover generativo é outro: "Search generative AI", dentro do Search Console, o painel gratuito do Google para donos de site. Anunciado em 03/06/2026, ficou disponível para todos os sites do mundo em 31/08/2026. Tem três opções: incluir, que é o padrão, excluir e herdar da propriedade acima. Age em nível de site, faz efeito em um ou dois dias e não é sinal de ranqueamento no restante da Busca. Ele não afeta treinamento; para isso, o próprio Google remete ao Google-Extended.

As diretivas nosnippet, data-nosnippet e max-snippet continuam existindo para granularidade por página, com o efeito colateral de encolher o trecho orgânico também. Para a maioria das empresas, a combinação defensável é Google-Extended para recusar treino, e nada mais. O controle do Search Console entra só quando a decisão de sair das respostas geradas do Google tiver sido assinada com o custo em cliques ao lado.

Agora o exemplo trabalhado. O cenário: um site de conteúdo B2B que quer preservar visibilidade nas respostas de IA e, ao mesmo tempo, reduzir a coleta para treino, sem sacrificar a área logada. Cada bloco do arquivo abaixo carrega o motivo da decisão, porque robots.txt copiado de template é a origem mais comum de perda silenciosa de citação.

O texto da Cloudflare é preciso e vale ler como está. A partir de 15/09/2026 a empresa aplica novos padrões a domínios novos: "bots classified as Training or as Agent will be blocked on pages that display ads, and Search will remain allowed". A frase seguinte da documentação fecha o efeito colateral: "Mixed-purpose crawlers that combine Search and Training will also be blocked by all configurations". Em 15/09/2026 a regra ganhou exceção: o robô misto com o selo "Accountable" passa, e Apple, Google e Microsoft já o receberam.

O gatilho é domínio novo com página que exibe anúncio, e não o plano contratado; nenhum texto da Cloudflare fala em plano gratuito ou em "todos os robôs de IA". Menos de 1% dos sites bloqueia busca e 17% restringem treino, e os robôs mistos somam 36,6% do tráfego de robôs verificados, segundo a própria Cloudflare.

Três peças cercam essa data. O pay-per-crawl, em que o site cobra por acesso do robô, está em beta fechado, com preço mínimo de US$ 0,001 por acesso e a Cloudflare como Merchant of Record (a vendedora oficial na fatura). Não existe lista pública de robôs pagantes. O Bot Preference Sync, de 21/08/2026, disponível do plano gratuito ao Enterprise, escreve no robots.txt o que o painel decidir para Search, Agent e Training.

A terceira peça é a linha de Content Signals, em que o robots.txt declara o uso permitido do conteúdo. Ela ganhou a extensão content-use em teste (use=immediate, use=reference, use=full), e o robots.txt gerido pela Cloudflare passa a emitir "search=yes, ai-train=no, use=reference". A Search Engine Roundtable registra que o Google declarou que os Content Signals não têm efeito na Busca: é declaração de intenção, lida por quem quiser lê-la.

Com o mecanismo no lugar, o llms.txt fica fácil de julgar. O guia oficial do Google para busca com IA, publicado em 15/05/2026 e atualizado em 10/07/2026, afirma: "You don't need to create new machine readable files, AI text files, markup, or Markdown to appear in Google Search". Sobre esses arquivos, o mesmo guia diz que "Google Search ignores them". A entrada do changelog de 15/06/2026 reforça que eles não ajudam nem prejudicam a visibilidade e o ranqueamento.

John Mueller comparou o arquivo à meta tag keywords: sinal declarado pelo próprio site, sem custo de falsificação e, portanto, sem valor de ranqueamento.

Do lado de quem lê, o resultado é o mesmo. O Common Crawl analisou 584.107 arquivos llms.txt do rastreio de julho de 2026, em publicação de 31/08/2026. Do total, 68,27% foram gerados por plugin, 49,90% seguem a especificação completa, 22,56% não têm nenhum link e 6,59% carregam política de acesso que a especificação não prevê. Mueller acrescentou, em 31/08/2026, que nos sites de teste dele os únicos robôs que declaram aceitar Markdown são ferramentas de SEO. Nos logs de maio de 2026 de 137 mil domínios, a Ahrefs achou 97% dos arquivos llms.txt sem nenhuma requisição, e 77% dos robôs que os leram não eram de IA (15/06/2026). Um arquivo gerado por plugin sem revisão pode publicar uma política de robô que o robots.txt não aplica; onde ele existir, confira o conteúdo.

O que muda quando o Google ignora um arquivo que outro motor lê?

Muda o destinatário, e com ele muda quem cobra o resultado. Um arquivo que a Busca do Google ignora não é entregável de SEO e não entra em KPI de posição. O mesmo arquivo, quando outro motor o lê, vira uma instrução de para onde olhar, e passa a ter efeito real sobre qual URL sua aparece citada.

A medição própria deste projeto mostra as duas metades ao mesmo tempo. A atribuição por URL do monitor de citação registrou o Perplexity citando uma rota alias do site seis vezes por corrida, e o motivo estava escrito no próprio llms.txt, que apontava para ela em vez de apontar para a rota publicada. Nenhum ganho de posição no Google veio junto, e nem podia vir. O arquivo dirigiu o motor que o lê, e o dirigiu para o lugar errado.

A outra metade é o custo de manutenção, e ele também foi medido. Na varredura de 09/09/2026 do próprio site, das 481 URLs listadas no arquivo, 84 respondiam com redirecionamento, 77 delas para a mesma página de destino. Dezessete por cento dos links apontavam para endereço que mudou de lugar. Arquivo assim não é neutro: ele gasta o orçamento de leitura de quem o consome e entrega a URL errada para citar.

O caso de uso que sobra é estreito e tem leitor conhecido: documentação técnica de produto consumida por agentes de programação, como Cursor, Claude Code, Copilot e Windsurf. Entram aí também os servidores MCP (o protocolo pelo qual um agente conecta ferramentas e fontes de contexto), e nos dois casos o próprio time é quem lê o arquivo.

Se o seu produto tem API ou biblioteca que desenvolvedores usam dentro de um editor com agente, o arquivo custa quase nada e pode ficar. Se o objetivo declarado é aparecer no Google ou em qualquer motor de resposta, o guia oficial já respondeu, e o arquivo não entra em proposta, em KPI nem em fator.

Uma correção de rota importante para quem estudou material de 2024 e 2025: circulou muito a afirmação de que crawlers de IA não executam JavaScript, com exceção do Gemini. Essa generalização não tem verificação pública sólida e mudou de figura conforme os operadores evoluíram.

O argumento defensável para servir HTML no servidor continua existindo. Ele se apoia em velocidade de entrega e em não depender do comportamento de renderização (a montagem da página pelo navegador, quando o conteúdo depende de JavaScript) de cada operador, que ninguém publica em detalhe. Sustente a decisão de SSR por esse motivo, verificável, e não por uma regra categórica sobre robôs alheios.

Guia prático de outubro de 2026: o robots.txt por caso de marketing. A pergunta não é liberar ou bloquear a IA. É separar quem busca para citar de quem coleta para treinar. OpenAI e Perplexity documentam robôs diferentes para cada função, e cada regra vale de forma independente, com até 24 horas para surtir efeito.

Na segunda-feira, escreva a decisão em três linhas e peça o código de resposta dado ao OAI-SearchBot nos últimos 30 dias. Confira em 30 dias: zero resposta diferente de 200 para os robôs de busca.