A política começa pelo uso do conteúdo
Uma regra de bots deve expressar uma decisão sobre uso e acesso ao conteúdo. "Liberar IA" é amplo demais: treinamento, busca e visita solicitada por uma pessoa têm finalidades e controles diferentes. A empresa precisa dizer quais usos aceita, em quais materiais e com quais limites operacionais.
Bloquear um rastreador pode afetar uma forma de descoberta ou recuperação, mas não apaga necessariamente toda menção à marca. Outros sites podem descrevê-la, e produtos podem usar contextos distintos. Da mesma forma, permitir acesso não garante seleção, citação ou posição numa resposta.
O Portal Leadlovers orienta começar por informação acessível e útil. Nesta revisão técnica, a documentação de cada fornecedor prevalece para identificar agentes e efeitos dos controles. A matriz foi conferida em 6 de outubro de 2026 e deve ser revisada quando uma finalidade ou identificação mudar.
Conteúdo restrito precisa de autenticação e autorização apropriadas. Robots.txt comunica regras a consumidores compatíveis; não é uma barreira de segurança. llms.txt pode organizar referências, mas também não protege acesso. Não publique informação confidencial esperando que um arquivo de texto impeça sua leitura.
Matriz de agentes e decisões documentadas
Use a matriz para formular a política, sem copiar uma liberação geral. Os nomes abaixo representam funções documentadas pelos fornecedores. A decisão final deve considerar o conteúdo, a operação e a identidade da requisição.
| Agente ou token | Finalidade documentada | Decisão e limite |
|---|---|---|
| OAI-SearchBot | Busca do ChatGPT | Permissão de busca separada de treinamento; exclusão ainda pode permitir links de navegação |
| GPTBot | Coleta que pode contribuir para treinamento OpenAI | Escolha própria sobre esse uso, independente de OAI-SearchBot |
| ChatGPT-User | Ações iniciadas pelo usuário | A documentação diz que robots.txt pode não se aplicar |
| Claude-SearchBot | Melhoria e indexação para busca Claude | Bloqueio pode reduzir presença e precisão em busca |
| ClaudeBot | Coleta potencial para treinamento Anthropic | Controle de materiais futuros conforme documentação |
| Claude-User | Recuperação solicitada por usuário Claude | Anthropic documenta controle desse acesso pelo proprietário |
| PerplexityBot | Exibição e links na busca Perplexity | Não é descrito como coleta para treinamento de modelos de base |
| Perplexity-User | Visita solicitada por usuário | A documentação informa que geralmente ignora robots.txt |
| Googlebot | Rastreamento para Google Search | Conferir indexação e controles de apresentação separadamente |
| Google-Extended | Token de controle para usos documentados em Gemini e serviços associados | Não possui user-agent HTTP próprio; não é sinal de ranking do Search |
Na documentação OpenAI, OAI-SearchBot e GPTBot são controles independentes. ChatGPT-User não determina a inclusão em Search. Portanto, contar todos como um único "bot do ChatGPT" esconde a decisão que você está implementando.
A Anthropic descreve três agentes com papéis distintos. A Perplexity também distingue busca e requisição do usuário. Não generalize o tratamento de visitas iniciadas por pessoas: o que um fornecedor declara para seu agente não prova o comportamento de outro.
Para Google-Extended, a documentação inclui treinamento futuro e determinados usos de fundamentação em Gemini Apps e Vertex AI. Ele não altera inclusão ou ranking no Google Search. Essa descrição é mais ampla que chamá-lo apenas de "bot de treino" e evita uma decisão baseada num rótulo incompleto.
No Google, confira também o controle generativo da propriedade
O Search Console tem um controle específico para inclusão do conteúdo em recursos generativos do Search. A inclusão é o padrão; propriedades filhas podem herdar a escolha de uma propriedade superior. Confira o estado efetivo e a herança antes de diagnosticar uma exclusão.
Segundo a documentação oficial, essa escolha é separada do ranking e da inclusão nas outras partes da busca e não controla treinamento. Ela também não substitui outras opções de participação em serviços. Portanto, mantenha no inventário controles de rastreamento, indexação, uso generativo e treinamento como decisões distintas.
Não recomende um opt-in manual obrigatório para todo site. A tarefa é verificar se a configuração efetiva corresponde à intenção do proprietário. Uma equipe pode examinar apenas a propriedade filha e deixar de perceber uma exclusão herdada; outra pode mudar a propriedade superior sem avaliar os caminhos afetados.
Registre propriedade, estado, origem da herança, responsável e data. Se houver mudança, acompanhe a propagação conforme a documentação e o comportamento observado. Não use uma consulta isolada logo após salvar como prova definitiva de aplicação.
O relatório generativo do Search Console, global desde 31 de agosto de 2026, informa impressões, que já integram Web. Use-o no escopo correto, sem somar os relatórios. Alterar um controle e observar variação não demonstra, sozinho, a causa de toda diferença de desempenho.
Um exemplo de grupos, com política limitada
O exemplo abaixo é fictício: a organização permite busca OpenAI, restringe GPTBot e não deseja rastreamento de uma área de prévias. Ele demonstra composição de regras, sem recomendar essa política para todos. A área de prévias continua precisando dos controles de acesso apropriados quando não puder ser pública.
# Exemplo didático: adaptar à política e ao site reais
User-agent: *
Disallow: /previas/
User-agent: OAI-SearchBot
Allow: /
Disallow: /previas/
User-agent: GPTBot
Disallow: /O grupo específico de OAI-SearchBot repete a restrição de prévias de propósito. Não presuma que o grupo genérico será somado automaticamente a todo grupo específico. O RFC 9309 define seleção de grupos e correspondência de regras; o comportamento deve ser conferido no consumidor e no validador utilizado.
Evite transformar a edição numa coleção de nomes encontrados em listas antigas. Alguns identificadores podem não corresponder a agentes documentados atuais. Use o token indicado pelo fornecedor e registre a fonte. Para Google-Extended, lembre que é um token de controle, não um agente HTTP separado a procurar nos logs.
Antes de substituir o arquivo, preserve a versão anterior e os sitemaps ou regras existentes que continuam necessários. Compare o resultado por agente e por caminho. Um teste apenas da página inicial pode aprovar uma alteração que bloqueou toda a documentação.
A sintaxe correta não basta. A requisição pode ser barrada na CDN, no firewall, por autenticação ou por um desafio de navegador. Valide essas camadas sem abrir material que a empresa decidiu manter restrito.
Logs mostram acesso; não medem valor comercial automaticamente
Uma requisição no log comprova um evento registrado, com as informações que sua infraestrutura reteve. Ela não demonstra treinamento, citação ou visita comercial resultante. Razões entre rastreamento e cliques precisam de fornecedor, período, cobertura e denominadores compatíveis para ter interpretação.
Não use só a string User-Agent para validar identidade. Ela pode ser declarada por outros clientes. Quando o fornecedor publica faixas de IP ou outro procedimento de verificação, confira a origem conforme a documentação atual. Uma chamada manual com nome de bot testa tratamento do cabeçalho, não comprova que o bot oficial chegou.
Também separe pedido recebido, resposta servida e corpo efetivamente útil. Um status 200 pode entregar uma página de desafio. Um redirecionamento pode terminar no login. Para a tarefa de leitura, verifique se a informação pública esperada está disponível no destino.
Quando houver suspeita de acesso contrário à política, investigue os registros e a identificação antes de atribuir o tráfego a uma empresa. Relatos públicos de terceiros podem levantar hipóteses, mas não substituem evidência do seu ambiente. A ação técnica deve ser proporcional ao que foi demonstrado.
Guarde amostras suficientes para diagnóstico e proteja endereços, identificadores e dados pessoais nos registros. Defina retenção e acesso. Não crie um acervo permanente de logs completos apenas para contar solicitações de bots quando um resumo verificável atende à decisão.
Permissão não compensa conteúdo indisponível ou divergente
Depois de conferir a política, examine a representação entregue. Compare o HTML recebido e a página renderizada para o consumidor relevante. A capacidade de executar JavaScript varia; não declare que todos os agentes funcionam da mesma forma. Registre o teste realizado e a informação que ficou ausente.
Uma página pública com preço correto no navegador e valor antigo num feed pode continuar produzindo divergência. A auditoria deve localizar as representações da oferta e sua cadeia de atualização. Corrigir robots.txt não resolve um dado vencido que está acessível em outra fonte.
Se existe um consumidor de llms.txt, o procedimento de teste de acesso e conteúdo do diretório verifica o arquivo e os destinos. Ele não substitui a política de bots.
Não altere simultaneamente todas as camadas para depois atribuir uma mudança de respostas a uma única regra. Quando possível, registre intervenções separadas e critérios de conclusão próprios. Isso não cria causalidade perfeita, mas torna o diagnóstico operacional menos ambíguo.
Caso hipotético: busca permitida, treinamento restrito e documento privado
Uma empresa fictícia mantém documentação pública e uma área de contratos de clientes. Ela decide permitir busca OpenAI, restringir GPTBot e preservar os contratos sob autenticação. A equipe registra três decisões separadas; não usa um bloqueio genérico de qualquer nome que contenha "AI".
No teste inicial, robots.txt permite OAI-SearchBot, mas a CDN devolve um desafio para as requisições verificadas do fornecedor. A correção é ajustar a regra pertinente aos caminhos públicos e à identidade documentada, mantendo limites operacionais. O teste de um contrato sem sessão continua exigindo autenticação.
Em seguida, a equipe descobre que uma propriedade filha no Search Console herdou exclusão generativa de uma propriedade superior. Confirma a intenção do responsável e ajusta o controle apropriado, registrando alcance e data. A mudança não exige liberar treinamento nem alterar ranking orgânico convencional.
Uma rodada posterior observa respostas com links de documentação. O relatório registra o fato, mas não afirma que liberar busca causou todo o resultado. O principal critério técnico foi demonstrar que a política e o acesso estavam coerentes e que o conteúdo restrito continuava protegido.
Se a resposta pública menciona a empresa a partir de um site de terceiro, isso não contradiz a restrição de GPTBot. A matriz controla usos documentados do conteúdo próprio; não fornece controle sobre toda informação pública a respeito da organização.
Ficha de mudança e critérios de aceite
Antes da edição, reúna intenção, regras e teste num único registro. A ficha abaixo ajuda a distinguir o que foi configurado do que foi observado e permite restaurar a versão anterior quando houver efeito indesejado.
POLÍTICA E TESTE
Conteúdo e caminhos:
Uso desejado: busca | treinamento | visita solicitada
Fornecedor, agente ou token:
Documentação e data:
Regra robots.txt:
Regra de infraestrutura:
Autenticação e autorização:
Controle generativo e herança, se aplicável:
Casos permitidos e restritos:
Identidade da requisição verificada?:
Status, destino e conteúdo recebido:
Versão anterior preservada:
Responsável:
Resultado e pendências:
Data de revisão da política:Aprove a mudança quando os caminhos permitidos entregam o conteúdo esperado ao consumidor verificado e os caminhos restritos mantêm o controle apropriado. Registre também os casos não testados. Não substitua esse aceite por uma promessa de citação.
Reavalie quando mudar o fornecedor, a documentação de agentes, a CDN ou a classificação do conteúdo. Uma política bem mantida acompanha essas mudanças com evidência e responsável. A quantidade de bots liberados não é uma medida de maturidade.
Fontes
- Portal Leadlovers: GEO e autoridade temática. Consulta em 6 de outubro de 2026.
- OpenAI: documentação dos crawlers. Consulta em 6 de outubro de 2026.
- Anthropic: crawlers e controles. Consulta em 6 de outubro de 2026.
- Perplexity: crawlers. Consulta em 6 de outubro de 2026.
- Google: crawlers comuns e Google-Extended. Consulta em 6 de outubro de 2026.
- Search Console: controle de IA generativa. Consulta em 6 de outubro de 2026.
- Search Console: relatório de desempenho generativo. Consulta em 6 de outubro de 2026.
- RFC 9309: Robots Exclusion Protocol. Consulta em 6 de outubro de 2026.