GEO Universal Framework · Capítulo 15 de 29 · 28 min
Permitir, cobrar ou bloquear os robôs de IA: a decisão por escrito
Você sai com a postura de acesso do seu site escrita, sabendo quem ganha o quê em cada opção, o que muda em 15/09/2026 na Cloudflare e por que, para a maioria, cobrar não existe.
Este capítulo faz parte do curso gratuito GEO Universal Framework. Para marcar como concluído e salvar o progresso, abra este capítulo na página do curso.
A decisão sobre os robôs de IA no seu site é permitir, cobrar ou bloquear, e para a maioria dos sites cobrar não existe, porque falta volume que obrigue o outro lado a negociar. Serve a quem responde pelo site, pelo conteúdo ou pela receita de audiência. Você sai com a postura escrita num memorando de uma página, com as três alavancas oficiais de acesso nomeadas, data de revisão e as métricas que avisam se a decisão derrubou a busca.
Para quem decide: a decisão é escolher entre permitir, cobrar e bloquear os robôs de IA, e assinar a escolha com data de revisão. Errar para o bloqueio pode derrubar a indexação no Google, porque o mesmo robô serve à busca e ao treino; errar pela inércia deixa a Cloudflare decidir por você em domínio novo a partir de 15/09/2026. A pergunta para a equipe: em qual quadrante da figura o nosso site cai, e com que dado?
1. Enquadrar o seu site numa das posturas de acesso e dizer quem ganha o quê em cada uma. 2. Decidir se pedágio ou bloqueio fazem sentido para o seu volume, e usar a razão de páginas lidas por visita devolvida sem o erro que a própria Cloudflare aponta. 3. Prever o efeito colateral de bloquear treino sobre a sua presença na busca e usar as três alavancas oficiais de acesso na ordem certa. 4. Escrever o memorando de decisão de acesso com critério de revisão, em vez de deixar a configuração no padrão por omissão.
Verificação rápida
Antes de entrar no módulo: um site de conteúdo precisa escolher uma única postura de acesso, ou permite rastreio livre, ou cobra, ou bloqueia, ou licencia. Essa premissa procede?
Glossário rápido
Crawl-to-refer
Razão entre requisições de HTML feitas pelos user agents de uma plataforma e as requisições cujo cabeçalho Referer aponta para aquela plataforma. Definição da Cloudflare. Lê-se como quantas páginas a plataforma pega para cada visita que devolve.
Pay-per-crawl
Modelo em que o site responde à requisição do robô com HTTP 402 (Payment Required) e o acesso só acontece se o operador do robô aceitar pagar o preço declarado, com um intermediário liquidando a cobrança.
Licenciamento de conteúdo
Contrato bilateral em que o fornecedor de IA paga pelo direito de usar um acervo, geralmente com acesso técnico privilegiado, atribuição combinada e prazo definido. Acontece em contrato, fora de qualquer painel de configuração.
Alavanca de negociação
A condição que permite cobrar: o conteúdo precisa ser difícil de substituir. Volume ajuda, exclusividade ajuda mais. Sem ela, bloquear apenas remove você da conversa sem custo para o outro lado.
Crawler multipropósito
Robô cujo mesmo user agent serve a mais de uma finalidade. Googlebot é o caso que dói, porque alimenta indexação de busca e também pode alimentar usos generativos, o que impede separar as duas decisões com um único bloqueio.
Se a figura ultrapassar a área visível, deslize para os lados. Pelo teclado, foque a figura e use as setas.
Numa reunião de conselho de um grupo editorial, o diretor de tecnologia mostra o gráfico de requisições de robôs de IA e propõe bloquear tudo. O diretor comercial pergunta quanto vale o tráfego que vem desses assistentes, e ninguém responde, porque essa medição é piso por construção. A discussão vira disputa de convicções e a configuração fica no padrão por inércia.
A figura acima existe para essa reunião durar 40 minutos. A recomendação padrão continua sendo liberar os crawlers de citação (crawler é o robô que lê o site, como um leitor que visita cada página), porque bloqueá-los tira a marca das respostas. Ela vale para o quadrante 1, onde está a maioria dos sites. O que muda é reconhecer o quadrante 3, onde o conteúdo é o produto e servir de matéria-prima gratuita para um assistente que responde no lugar do site tem custo real. Quem está no quadrante 3 e segue a receita do quadrante 1 financia o próprio substituto.
Quem ganha o quê em cada postura?
| Postura | O que você ganha | O que você entrega | Quando ela se sustenta |
|---|---|---|---|
| Permitir rastreio livre | Presença nas respostas, chance de citação, associação de marca na memória dos modelos | O conteúdo integral, sem contrapartida e sem controle sobre a forma da citação | Quando a receita depende de ser encontrado e o conteúdo é meio, não fim. Quadrante 1 da figura |
| Permitir busca e restringir treino | Mantém a citação de curto prazo e reduz a doação de acervo para modelos futuros | A associação de longo prazo entre a marca e o tema na memória paramétrica | Quando o acervo tem valor próprio e a marca já tem demanda direta. Exige atenção ao efeito de segunda ordem |
| Monetizar o acesso | Receita direta por requisição e um preço declarado que vira base de negociação | Parte do alcance, porque operador que não paga simplesmente não entra | Quando o volume de requisições é grande o bastante para que o outro lado prefira pagar a desistir |
| Bloquear | Controle e um argumento jurídico mais limpo em eventual disputa | A presença nas respostas, e com ela o tráfego residual e a citação | Quando há dever de sigilo, licença de terceiro que proíbe, ou o conteúdo é vendido diretamente |
| Licenciar | Receita contratada, atribuição combinada e previsibilidade | Exclusividade parcial e o tempo de uma negociação longa | Quando existe alavanca real. É a única postura que depende do outro lado querer sentar à mesa |
As linhas não são exclusivas entre si. A combinação mais comum em veículos de conteúdo é permitir busca, restringir treino e negociar licença em paralelo.
Marcos que mudaram o padrão de acesso, de 2025 a 2026
- 01/07/2025Concluído
Bloqueio padrão para domínios novos e beta do pay-per-crawl
A Cloudflare passou a bloquear crawlers de IA por padrão em domínios novos na plataforma e abriu em beta fechado o pay-per-crawl, que usa a resposta HTTP 402 para declarar um preço por requisição.
- 28/08/2025Concluído
Publicação dos dados de crawl-to-refer de julho de 2025
Dados primários por plataforma, com a ressalva da própria Cloudflare de que o denominador exclui visitas sem cabeçalho Referer. Continua sendo a única série primária aberta.
- agosto de 2025Concluído
Disputa com a Perplexity
A Cloudflare acusou a Perplexity de usar crawlers furtivos e a removeu da lista de bots verificados. A Perplexity contestou publicamente. A Cloudflare é parte interessada no episódio, e as duas versões seguem em aberto.
- 01/07/2026Agora
Search, Agent e Training; Pay Per Use; razão vendida a clientes Enterprise
A classificação por finalidade permite decisões separadas por propósito de coleta. No mesmo dia a Cloudflare anunciou o Pay Per Use com a Ceramic.ai e o You.com, sem preço, e passou a vender a razão de rastreio por operador no Attribution Business Insights.
- 21/08/2026Agora
Bot Preference Sync
O robots.txt passa a ser sincronizado com as políticas Search, Agent e Training do painel, do plano gratuito ao Enterprise.
- 28/08/2026Agora
BotBase for Operators
Operadores de robôs precisam declarar comportamento, uso do conteúdo e forma de verificação (Web Bot Auth, IP ou DNS reverso).
- 31/08/2026Agora
Controle Search generative AI do Search Console para todos os sites
O Google libera o botão que tira o site dos AI Overviews, do AI Mode e do Discover generativo sem tirá-lo da busca. É a terceira alavanca de acesso.
- 15/09/2026Previsto
Novos padrões para domínios novos na Cloudflare
Texto da Cloudflare: em 15/09/2026, para domínios novos, robôs classificados como Training ou Agent serão bloqueados em páginas que exibem anúncios e Search continuará permitido; crawlers mistos de Search e Training serão bloqueados em todas as configurações. Qualquer cliente pode recusar os novos padrões antes de 15/09.
O efeito de segunda ordem do último marco é o que quase ninguém ensina, e é o que pode custar caro. Googlebot, Applebot e BingBot servem a mais de um propósito com o mesmo user agent (o nome com que o robô se apresenta ao site), e a documentação da Cloudflare diz que crawlers mistos de Search e Training serão bloqueados em todas as configurações. Um site que decide bloquear a categoria Training pode ver esses robôs bloqueados por inteiro. A consequência prática inverte a intenção: alguém aperta um botão de política de conteúdo e derruba a indexação orgânica.
Quem administra site sob Cloudflare precisa tratar essa configuração como mudança de SEO técnico, com alguém responsável por olhar. A janela de observação fica no log de servidor (o livro de visitas do site, que registra cada robô que entrou) e no Search Console (o painel gratuito do Google sobre a presença do site na busca). O gatilho dos novos padrões é domínio novo com página que exibe anúncio; domínio já existente mantém a configuração atual até alguém mexer.
O Google acrescentou uma terceira alavanca em 31/08/2026, e ela muda a ordem da conversa. A primeira alavanca é o robots.txt (o arquivo na raiz do site que diz a cada robô o que pode ler) e as regras da CDN, que decidem por robô e por finalidade. A segunda é o Google-Extended, o nome que desliga o uso do conteúdo em treino e nas respostas do Gemini fora da busca, sem tocar na inclusão nem no ranking (documentação de 14/07/2026).
A terceira é o controle "Search generative AI" do Search Console, global desde 31/08/2026, com três opções: incluir, que é o padrão, excluir, ou herdar da propriedade principal. A exclusão vale para os AI Overviews (o resumo gerado por IA no topo da busca), o AI Mode (o modo de resposta por IA da Busca do Google) e o Discover generativo. Faz efeito em um a dois dias, não é sinal de ranking no restante da busca e não afeta treino.
Quem quer ficar fora do resumo de IA e dentro da busca comum tem, pela primeira vez, um botão oficial para isso, e bloquear Training na Cloudflare deixa de ser o único caminho.
O pay-per-crawl é um pedágio declarado no protocolo. O robô pede a página, o servidor responde 402 com o preço, e o acesso ocorre quando o operador aceita, com a Cloudflare liquidando a cobrança como intermediária (Merchant of Record). O preço mínimo é US$ 0,001 por requisição e o programa segue em beta fechado, sem lista pública de operadores que aceitaram pagar (documentação da Cloudflare, 28/07/2026).
A elegância do desenho é transformar uma discussão moral numa transação, e o preço declarado vira âncora para qualquer negociação posterior. A limitação é aritmética: o valor total é preço por requisição multiplicado por volume, e no piso de US$ 0,001 um milhão de requisições mensais de robôs vale US$ 1.000. A Cloudflare já testa o passo seguinte, o Pay Per Use, anunciado em 01/07/2026 com a Ceramic.ai (pagamento quando o conteúdo aparece na resposta) e o You.com (acesso pago a conteúdo premium), sem preço divulgado.
Crawl-to-refer, dados primários de julho de 2025
38.066:1
Anthropic
requisições de HTML por visita referida
1.091:1
OpenAI
mesma metodologia, mesmo período
195:1
Perplexity
mesma metodologia, mesmo período
5:1
referência de comparação com busca tradicional
80%
Crawl para treino
propósito declarado das requisições
18%
Crawl para busca
os 2% restantes são ação do usuário
Fonte: Cloudflare, dados primários de julho de 2025, publicados em 28/08/2025. A ressalva da própria fonte está no parágrafo seguinte.
A ressalva vem da própria Cloudflare e quase nunca é repetida por quem cita esses números. O aplicativo nativo do Claude não envia o cabeçalho Referer (o registro de onde a visita veio), e o denominador da razão são exatamente as requisições que trazem esse cabeçalho. Visitas reais originadas no app somem da conta e inflam a razão, e a Cloudflare escreve que os cálculos podem superestimar as razões sem dizer em quanto.
A métrica mais usada do setor para acusar as IAs de extrativas é, por admissão da fonte, exagerada em grau desconhecido. A regra deste curso é direta: cite com a ressalva colada ao número, ou não cite.
A série continua viva e virou produto. A Cloudflare Radar publica a razão em janela móvel de 28 dias, e a leitura de terceiros para 06/07 a 03/08/2026 dá Anthropic cerca de 1.683:1, Perplexity 322:1, OpenAI 245:1, Microsoft 37:1, Google 4,8:1 e Mistral cerca de 33.580:1 (websearchapi.ai, 12/08/2026). A Cloudflare vende a leitura por operador no Attribution Business Insights, para clientes Enterprise, desde 01/07/2026, e o Microsoft Clarity expõe de graça o "AI Scrape-to-Referral Ratio" desde 13/08/2026.
A mesma empresa que bloqueia passou a medir e a exigir. O AEO Visibility Dashboard da Cloudflare (06/08/2026) mede taxa de citação, taxa de menção, proeminência e share of voice (a fatia das respostas em que a marca aparece) a partir do rastreio e das visitas reais que passam pela rede dela. O BotBase for Operators (28/08/2026) exige que operadores de robôs declarem comportamento, uso do conteúdo e verificação, e o Bot Preference Sync (21/08/2026) escreve no robots.txt o que o painel decidir, do plano gratuito ao Enterprise.
Os Content Signals ganham em teste a extensão content-use (use=immediate, use=reference, use=full), com o robots.txt gerido emitindo "search=yes, ai-train=no, use=reference"; o Google declarou que os Content Signals não têm efeito na Busca. Quem lê o relatório de bloqueio e o painel de citação do mesmo fornecedor precisa lembrar que o fornecedor vende os dois.
Pare e escreva, sem voltar à figura. (a) Em qual quadrante o seu site cai, e qual das duas coordenadas você teve mais dificuldade de estimar? (b) Se você bloqueasse hoje toda a categoria Training, quais três métricas você olharia nas quatro semanas seguintes para detectar dano colateral em busca? (c) Qual seria o seu preço por mil requisições, e o que aconteceria com o seu alcance se nenhum operador aceitasse pagá-lo? Se a resposta de (c) for um número que você não consegue justificar, você acabou de descobrir que não tem alavanca.
O tráfego de busca caiu de forma consistente ao longo do ano. Assistentes citam o veículo com frequência, e a conversão para newsletter paga vinda desses cliques é maior do que a média dos outros canais, embora o volume absoluto seja pequeno. O conselho quer uma posição sobre bloquear os crawlers de IA. A infraestrutura roda sobre Cloudflare, o domínio é antigo e o time quer decidir se replica no domínio atual os novos padrões de 15/09/2026, que valem para domínios novos.
Qual postura você defende na reunião do conselho, e com qual justificativa verificável?
Exemplo trabalhado da conta que sustenta a decisão. O exercício abaixo serve para tornar visível qual variável domina o resultado, e um número preciso está fora do alcance dele. Na maioria dos casos que passam por essa planilha, o termo que decide é o valor do tráfego de citação, e ele é justamente o que a sua medição subestima por construção.
PLANILHA DE DECISÃO DE ACESSO (uma passada, quinze minutos)
[A] VALOR ANUAL DO TRÁFEGO DE ASSISTENTES, hoje
A = sessoes_de_IA_por_mes x taxa_de_conversao_de_IA x valor_medio x 12
Comece por aqui porque é o único termo que você já consegue estimar
com dado próprio. Use a conversão MEDIDA do canal de IA no seu site,
nunca benchmark externo: os estudos abertos ficam entre 1,3 e 1,5 vez
a conversão orgânica e nenhum deles cobre o Brasil.
AJUSTE OBRIGATÓRIO: A está SUBESTIMADO em grau desconhecido, porque
aplicativo nativo e navegador embutido não enviam a origem da visita.
Escreva isso ao lado do número. Não invente um multiplicador.
[B] RECEITA POSSÍVEL DE PEDÁGIO
B = requisicoes_de_bot_por_mes x preco_por_requisicao x 12 x taxa_de_aceite
O piso público é US$ 0,001 por requisição (Cloudflare, 28/07/2026).
A taxa de aceite fica como variável porque o programa está em beta
fechado e a lista de operadores pagantes não é pública. Rode o cenário
com aceite de 100% e com 0%. Se a distância entre os dois não muda a
sua decisão, o pedágio é irrelevante para você e a linha sai da planilha.
[C] VALOR DEFENSIVO DO ACERVO
C = quanto custaria para um concorrente reproduzir o seu acervo
Termo qualitativo de propósito: número inventado aqui contamina a conta
inteira. Três faixas bastam: reproduzível em semanas / em anos /
não reproduzível.
[D] RISCO DE SEGUNDA ORDEM
D = perda estimada de tráfego orgânico se o bloqueio de Training
atingir crawler multipropósito
Tratado como risco porque o comportamento depende da configuração.
Regra prática: se busca orgânica responde por mais de metade da sua
receita, D domina tudo e a decisão já está tomada.
LEITURA:
A alto + C reproduzível -> permitir e medir (quadrante 1)
A baixo + C não reproduzível -> cobrar, bloquear ou licenciar (quadrante 3)
A alto + C não reproduzível -> permitir busca, restringir treino,
negociar licença (quadrante 2)
B relevante apenas se o seu volume de requisições for de ordem industrial.
Para todo o resto, B é ÂNCORA DE PREÇO em negociação.O licenciamento é a alternativa que quase todo material esquece, porque ele não é configurável. Acordos entre fornecedores de IA e detentores de acervo existem desde 2023 e seguem o mesmo padrão: acesso técnico privilegiado, atribuição combinada, prazo e valor definidos em contrato bilateral. A Associated Press fechou com a OpenAI em julho de 2023, a Axel Springer em dezembro de 2023, a News Corp em maio de 2024.
No mesmo período, o New York Times processou OpenAI e Microsoft, em dezembro de 2023, e depois licenciou conteúdo para a Amazon, em maio de 2025. Os dois caminhos, litígio e licença, foram percorridos pelos mesmos atores, o que diz mais sobre a natureza da negociação do que qualquer declaração de princípio.
Os valores desses contratos não constam dos anúncios oficiais, e as cifras que circulam vêm de reportagem com fonte não identificada. O padrão dos acordos publicados é um só: detentor de acervo grande e distintivo de um lado, fornecedor de IA do outro, e é esse padrão que sustenta a seção seguinte.
Na Europa nasceu um terceiro caminho, por regulação. O Google abre em 17/09/2026 os contratos do programa europeu de licenciamento de dados de busca (ranking, consulta, clique e visualização no Espaço Econômico Europeu), com amostras em 16/11/2026 e preço limitado ao custo incremental. Só entram motores de busca com 50 mil usuários mensais no bloco e dois anos de operação, ou EUR 50 milhões de capital. Regulação abriu uma mesa que a negociação não abria, e a cadeira continua sendo para quem já é grande.
Do lado de quem responde, a Comissão Europeia designou o ChatGPT como motor de busca de grande porte sob o Digital Services Act em 31/08/2026. O prazo vai até janeiro de 2027 para auditoria anual independente, entrega de dados a autoridades e pesquisadores e repositório público de anúncios. Para um site brasileiro isso cria um lugar onde o comportamento do motor passa a ser auditado, e é o lugar que uma negociação de licença pode citar.
No Brasil a régua vigente continua sendo a LGPD e a ANPD. O PL 2338, o marco da inteligência artificial, ficou para depois das eleições de outubro, segundo o relator Aguinaldo Ribeiro em 24/08/2026, e a ficha oficial segue em "aguardando parecer". A ANPD publicou em 19/08/2026 a metodologia de testagem do seu sandbox regulatório em IA.
O CADE abriu em 23/04/2026 processo administrativo contra o Google por possível abuso de posição dominante no uso de conteúdo jornalístico, com os AI Overviews no escopo, e em 11/08/2026 rejeitou o pedido do Google de ouvir testemunhas. É o precedente nacional sobre quem paga pelo conteúdo que a IA resume. Nenhuma dessas frentes cria hoje obrigação nova para quem decide acesso; a que mais pesa para um publicador é o processo do CADE.
O enquadramento honesto, e ele contraria a maior parte do que se escreve sobre o tema. Para a maioria dos sites, a escolha entre cobrar e bloquear é falsa, porque o volume não gera alavanca de negociação. Um site com dezenas de milhares de visitas por mês e conteúdo que existe em outros vinte lugares não tem nada que um fornecedor de IA precise negociar. Bloquear, nesse caso, não impõe custo a ninguém do outro lado: apenas remove você das respostas e transfere a citação para o concorrente que deixou aberto. Cobrar produz uma resposta 402 que nenhum operador é obrigado a aceitar, com o mesmo efeito prático do bloqueio e um pouco mais de configuração. A postura defensável para o quadrante 1 continua sendo permitir, medir e construir o motivo pelo qual alguém precisaria do seu conteúdo. A conversa sobre pedágio começa depois que esse motivo existe.
Bloquear ou licenciar, quando existe alavanca?
Bloquear
Caminho unilateral
- Decisão unilateral, executável hoje, reversível em minutos
- Custo zero de negociação e nenhuma receita
- Impõe custo ao outro lado apenas se o acervo for difícil de substituir
- Risco de segunda ordem sobre indexação quando o crawler é multipropósito
- Some das respostas, e a citação migra para quem deixou aberto
Licenciar
Caminho negociado
- Decisão bilateral, com ciclo medido em meses e dependente do interesse do outro lado
- Custo alto de negociação e jurídico, com receita contratada e previsível
- Só existe se o acervo for difícil de substituir, então pressupõe a mesma alavanca
- Costuma vir com acesso técnico combinado, o que remove a ambiguidade de crawler
- Preserva presença e adiciona atribuição negociada
Como a sua decisão de acesso fica por escrito?
Preencha os campos e leve o texto gerado para a reunião. O valor deste modelo está em obrigar a escrever o critério de revisão: decisão de acesso sem data de revisão vira configuração permanente por esquecimento.
Documento montado
MEMORANDO DE DECISÃO DE ACESSO A CRAWLERS DE IA Domínio: [DOMÍNIO] Enquadramento: [QUADRANTE DA FIGURA E JUSTIFICATIVA EM UMA FRASE] Postura adotada: [POSTURA ESCOLHIDA] Vigilância pós-mudança: [TRÊS MÉTRICAS DE VIGILÂNCIA NAS QUATRO SEMANAS SEGUINTES] Revisão e reversão: [DATA DE REVISÃO E GATILHO DE REVERSÃO] Ressalvas registradas nesta decisão: 1. O valor do tráfego de assistentes usado neste memorando está subestimado por magnitude desconhecida, porque aplicativos nativos e navegadores in-app não enviam cabeçalho de referrer. 2. Restringir a categoria Training sob Cloudflare pode atingir crawlers multipropósito e afetar a indexação de busca. Por isso a vigilância acima é condição da decisão, e não uma sugestão. 3. Razões de crawl-to-refer citadas em qualquer discussão sobre este tema carregam a ressalva da própria Cloudflare de superestimação provável, em grau não determinado.
O que você digitar fica salvo neste navegador. Nada é enviado para servidor algum.
Heurística de praticante: antes de qualquer discussão sobre bloqueio, separe no log as requisições por finalidade e apresente três séries distintas, treino, busca e ação do usuário. A conversa muda de qualidade no instante em que o conselho vê que 80% do volume vinha de coleta para treino e que a fatia de busca, que é a que gera citação, era pequena em requisições e grande em consequência. Discussão sobre bloqueio conduzida com um único número agregado de bots de IA sempre termina em bloqueio, porque o número agregado é assustador e não é acionável.
Se a figura ultrapassar a área visível, deslize para os lados. Pelo teclado, foque a figura e use as setas.
Sem consultar o texto: escreva o memorando de decisão de acesso do seu site em cinco linhas, sem usar nenhum número que você não consiga apontar a origem. Depois responda a pergunta que separa opinião de posição: qual evidência específica faria você mudar essa decisão em noventa dias? Se não houver nenhuma, você escreveu uma convicção com aparência de análise.
Uma tarefa, executável no seu ambiente real em cerca de noventa minutos. Extraia trinta dias de log e produza três contagens separadas de requisições: robôs de treino, robôs de busca e citação, e robôs de ação do usuário. Ao lado, coloque as sessões que o GA4 atribui ao canal AI Assistant e ao seu grupo de canais customizado no mesmo período. Com esses dois blocos na mesma folha, preencha o memorando de decisão de acesso deste módulo. Critério de sucesso: você termina com um documento de uma página que declara a postura escolhida, nomeia três métricas de vigilância, marca uma data de revisão, e registra por escrito as três ressalvas de medição. Se alguém do conselho perguntar de onde veio qualquer número do memorando, você tem a resposta na mesma folha. Se você não conseguir separar as três categorias de robô no log, essa é a sua tarefa antes de qualquer discussão sobre bloquear ou cobrar.
Faça agora (15 min)
Quinze minutos para transformar uma configuração por omissão numa decisão assinada.
Passo 1: Pergunte quem administra os robôs de IA do site e onde está a regra hoje
A resposta é um nome e um lugar: robots.txt, painel da CDN (Cloudflare ou outra) ou firewall. Se ninguém sabe, a postura atual é o padrão do fornecedor.
Deu certo quando: Um nome, um painel e um print da regra vigente.
Erro comum: Descobrir que a regra mudou em domínio novo no dia 15/09 sem ninguém ter decidido.
Passo 2: Peça ao time a contagem de robôs por finalidade nos últimos 30 dias
Três números: treino, busca e citação, ação do usuário. O log do servidor separa isso pelo nome do robô.
Deu certo quando: Três contagens numa folha, com o percentual de cada uma.
Erro comum: Um número agregado de bots de IA, que assusta e não decide.
Passo 3: Marque o quadrante do seu site na figura e escreva a justificativa em uma frase
Duas perguntas: o conteúdo é difícil de reproduzir? A receita depende de ser encontrado?
Deu certo quando: Quadrante e frase que um diretor de outra área entende.
Erro comum: Colocar-se no quadrante 3 por orgulho do conteúdo, sem volume que sustente.
Passo 4: Decida a postura e as três alavancas
Robô por finalidade no robots.txt ou na CDN; Google-Extended para treino; controle Search generative AI do Search Console para ficar fora do resumo de IA e dentro da busca.
Deu certo quando: Postura escrita com as três alavancas nomeadas.
Erro comum: Bloquear Training na Cloudflare achando que só o treino sai.
Passo 5: Preencha o memorando com data de revisão e três métricas de vigilância
Cobertura de indexação, hits do Googlebot no log e sessões do canal AI Assistant no GA4, com gatilho de reversão.
Deu certo quando: Uma página assinada, com data.
Erro comum: Memorando sem data de revisão vira configuração permanente.
No fim você tem: o dono da regra nomeado, os robôs contados por finalidade, o quadrante escolhido, a postura decidida nas três alavancas e o memorando com data de revisão.
Resumo em três linhas: A decisão é permitir, cobrar ou bloquear, e para a maioria dos sites cobrar não existe, porque sem volume não há mesa e bloquear só transfere a citação ao concorrente. A partir de 15/09/2026 a Cloudflare bloqueia treino e agente em domínio novo com anúncio, e o controle do Search Console de 31/08/2026 é o botão oficial para sair do resumo de IA sem sair da busca. Na segunda-feira, peça a contagem de robôs por finalidade, marque o quadrante e assine o memorando com data de revisão.