Qual robô de IA pode ler o seu site: decida por escrito

Bloquear o robô de treino não tira a sua empresa das respostas do ChatGPT nem do Claude; o que apaga a marca é bloquear o robô de busca por engano no firewall. Serve para quem recebeu a ordem de "tirar a empresa da IA" ou a proposta de "abrir o site para a IA" e precisa decidir por escrito. Você ganha a matriz das três funções, os dois controles do Google lado a lado e uma auditoria de 20 minutos no livro de visitas do servidor.

A regra que contraria quase todo post de rede social: bloquear GPTBot ou ClaudeBot não remove o seu site das respostas de busca. Os dois são crawlers (robôs que leem o site, como um leitor que visita cada página) de treino, e a citação de hoje vem de outro robô. A documentação de robôs da OpenAI resolve a dúvida em uma frase: "Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers". Sobre o outro robô, ela diz que "Disallowing GPTBot indicates a site's content should not be used in training".

A Anthropic escreve o equivalente na documentação de 07/04/2026: desativar o Claude-SearchBot pode reduzir a visibilidade do site nos resultados de busca do usuário. A mesma documentação da OpenAI lista um quarto robô, o OAI-AdsBot, que só visita páginas enviadas como anúncio no ChatGPT para validar a página de destino; um firewall que o barra reprova o anúncio.

O cenário caro é o inverso. Uma regra genérica de "proteção contra IA" no firewall devolve erro ao OAI-SearchBot, a marca some das respostas em semanas e nenhum painel de analytics registra a causa. O clique que deixou de existir não aparece em lugar nenhum.

Os demais operadores seguem a mesma divisão, com duas exceções que mudam a ferramenta de bloqueio. O Perplexity-User, que abre a página quando o usuário pede, "generally ignores robots.txt rules" segundo a documentação da Perplexity. Quem quer barrá-lo precisa de regra no servidor ou no WAF, o firewall que fica na frente do site. O Meta-ExternalFetcher faz o mesmo. Já o Meta-WebIndexer é o robô que decide citação no Meta AI, e a Meta escreve que liberá-lo no robots.txt ajuda o Meta AI a citar e linkar o conteúdo.

O Google tem dois controles com nomes parecidos e efeitos diferentes, e a confusão entre eles está por trás de boa parte das ordens mal executadas. O Google-Extended, na documentação de 14/07/2026, controla se o conteúdo alimenta o treinamento e o grounding (a consulta ao vivo que o modelo faz para compor a resposta) dos aplicativos Gemini e do Vertex AI. O Google escreve que ele não afeta a inclusão do site na Busca nem é sinal de ranqueamento; AI Overviews e AI Mode, servidos pelo índice do Googlebot, continuam mostrando o site.

O controle que tira o site de AI Overviews, AI Mode e do Discover generativo é outro: "Search generative AI", dentro do Search Console, o painel gratuito do Google para donos de site. Anunciado em 03/06/2026, ficou disponível para todos os sites do mundo em 31/08/2026. Tem três opções: incluir, que é o padrão, excluir e herdar da propriedade acima. Age em nível de site, faz efeito em um ou dois dias e não é sinal de ranqueamento no restante da Busca. Ele não afeta treinamento; para isso, o próprio Google remete ao Google-Extended.

As diretivas nosnippet, data-nosnippet e max-snippet continuam existindo para granularidade por página, com o efeito colateral de encolher o trecho orgânico também. Para a maioria das empresas, a combinação defensável é Google-Extended para recusar treino, e nada mais. O controle do Search Console entra só quando a decisão de sair das respostas geradas do Google tiver sido assinada com o custo em cliques ao lado.

Agora o exemplo trabalhado. O cenário: um site de conteúdo B2B que quer preservar visibilidade nas respostas de IA e, ao mesmo tempo, reduzir a coleta para treino, sem sacrificar a área logada. Cada bloco do arquivo abaixo carrega o motivo da decisão, porque robots.txt copiado de template é a origem mais comum de perda silenciosa de citação.

O texto da Cloudflare é preciso e vale ler como está. A partir de 15/09/2026 a empresa aplica novos padrões a domínios novos: "bots classified as Training or as Agent will be blocked on pages that display ads, and Search will remain allowed". A frase seguinte da documentação fecha o efeito colateral: "Mixed-purpose crawlers that combine Search and Training will also be blocked by all configurations".

O gatilho é domínio novo com página que exibe anúncio, e não o plano contratado; nenhum texto da Cloudflare fala em plano gratuito ou em "todos os robôs de IA". O changelog de 01/07/2026 acrescenta que "All customers can opt out of the new defaults at any time before September 15".

Três peças cercam essa data. O pay-per-crawl, em que o site cobra por acesso do robô, está em beta fechado, com preço mínimo de US$ 0,001 por acesso e a Cloudflare como Merchant of Record (a vendedora oficial na fatura). Não existe lista pública de robôs pagantes. O Bot Preference Sync, de 21/08/2026, disponível do plano gratuito ao Enterprise, escreve no robots.txt o que o painel decidir para Search, Agent e Training.

A terceira peça é a linha de Content Signals, em que o robots.txt declara o uso permitido do conteúdo. Ela ganhou a extensão content-use em teste (use=immediate, use=reference, use=full), e o robots.txt gerido pela Cloudflare passa a emitir "search=yes, ai-train=no, use=reference". A Search Engine Roundtable registra que o Google declarou que os Content Signals não têm efeito na Busca: é declaração de intenção, lida por quem quiser lê-la.

Com o mecanismo no lugar, o llms.txt fica fácil de julgar. O guia oficial do Google para busca com IA, publicado em 15/05/2026 e atualizado em 10/07/2026, afirma: "You don't need to create new machine readable files, AI text files, markup, or Markdown to appear in Google Search". Sobre esses arquivos, o mesmo guia diz que "Google Search ignores them". A entrada do changelog de 15/06/2026 reforça que eles não ajudam nem prejudicam a visibilidade e o ranqueamento.

John Mueller comparou o arquivo à meta tag keywords: sinal declarado pelo próprio site, sem custo de falsificação e, portanto, sem valor de ranqueamento.

Do lado de quem lê, o resultado é o mesmo. O Common Crawl analisou 584.107 arquivos llms.txt do rastreio de julho de 2026, em publicação de 31/08/2026. Do total, 68,27% foram gerados por plugin, 49,90% seguem a especificação completa, 22,56% não têm nenhum link e 6,59% carregam política de acesso que a especificação não prevê. Mueller acrescentou, em 31/08/2026, que nos sites de teste dele os únicos robôs que declaram aceitar Markdown são ferramentas de SEO. Um arquivo gerado por plugin sem revisão pode publicar uma política de robô que o robots.txt não aplica; onde ele existir, confira o conteúdo.

O que muda quando o Google ignora um arquivo que outro motor lê?

Muda o destinatário, e com ele muda quem cobra o resultado. Um arquivo que a Busca do Google ignora não é entregável de SEO e não entra em KPI de posição. O mesmo arquivo, quando outro motor o lê, vira uma instrução de para onde olhar, e passa a ter efeito real sobre qual URL sua aparece citada.

A medição própria deste projeto mostra as duas metades ao mesmo tempo. A atribuição por URL do monitor de citação registrou o Perplexity citando uma rota alias do site seis vezes por corrida, e o motivo estava escrito no próprio llms.txt, que apontava para ela em vez de apontar para a rota publicada. Nenhum ganho de posição no Google veio junto, e nem podia vir. O arquivo dirigiu o motor que o lê, e o dirigiu para o lugar errado.

A outra metade é o custo de manutenção, e ele também foi medido. Na varredura de 09/09/2026 do próprio site, das 481 URLs listadas no arquivo, 84 respondiam com redirecionamento, 77 delas para a mesma página de destino. Dezessete por cento dos links apontavam para endereço que mudou de lugar. Arquivo assim não é neutro: ele gasta o orçamento de leitura de quem o consome e entrega a URL errada para citar.

O caso de uso que sobra é estreito e tem leitor conhecido: documentação técnica de produto consumida por agentes de programação, como Cursor, Claude Code, Copilot e Windsurf. Entram aí também os servidores MCP (o protocolo pelo qual um agente conecta ferramentas e fontes de contexto), e nos dois casos o próprio time é quem lê o arquivo.

Se o seu produto tem API ou biblioteca que desenvolvedores usam dentro de um editor com agente, o arquivo custa quase nada e pode ficar. Se o objetivo declarado é aparecer no Google ou em qualquer motor de resposta, o guia oficial já respondeu, e o arquivo não entra em proposta, em KPI nem em fator.

Uma correção de rota importante para quem estudou material de 2024 e 2025: circulou muito a afirmação de que crawlers de IA não executam JavaScript, com exceção do Gemini. Essa generalização não tem verificação pública sólida e mudou de figura conforme os operadores evoluíram.

O argumento defensável para servir HTML no servidor continua existindo. Ele se apoia em velocidade de entrega e em não depender do comportamento de renderização (a montagem da página pelo navegador, quando o conteúdo depende de JavaScript) de cada operador, que ninguém publica em detalhe. Sustente a decisão de SSR por esse motivo, verificável, e não por uma regra categórica sobre robôs alheios.