Avaliar e melhorar agentes · ·
Separar execução, verificação e aprovação
Defina responsabilidades para que o resultado possa ser auditado.
Este capítulo faz parte do curso gratuito Avaliar e melhorar agentes.
A pessoa ou agente que produz a entrega não deve ter controle irrestrito sobre a regra que a aprova. Separe responsabilidades e registre alterações nos critérios. Em equipes pequenas, a separação pode ser feita por etapas e permissões, com revisão explícita antes da liberação.
Ver como texto
Documentação do sistema de permissões do Claude Code, com modos e regras de autorização.
Você decide aqui quem escreve o verificador na sua empresa e quem fica proibido de escrevê-lo. E decide se o registro de execução do agente é apagável hoje, porque se for, ele não é evidência.
Quem paga não concilia
Em qualquer área financeira madura, a pessoa que emite o pagamento nunca é a mesma que concilia o extrato. A razão é simples: o controle só vale se o erro tiver de atravessar duas mãos. A regra atravessa inteira para o agente de código. Quem escreve o trabalho que vai ser julgado fica proibido de escrever o mecanismo que julga, e fica proibido de guardar o registro do que aconteceu.
Onde a analogia para de valer: a segregação humana pressupõe que as duas pessoas têm interesses diferentes. Dois times da mesma empresa podem compartilhar exatamente o mesmo mal-entendido sobre o que o sistema deveria fazer, e a segregação não protege contra erro de especificação comum.
Trilha de auditoria é o registro que permite reconstruir uma decisão: entrada, versão, ações, testes, exceções e aprovação. Ela precisa incluir falhas e interrupções. Um relatório final escrito de memória não substitui esses registros.
Ver como texto
Documentação do sandbox do Claude Code com restrições de acesso e o que pode executar fora do isolamento.
Exemplo: o agente altera uma página, o teste verifica o formulário e uma pessoa aprova a publicação. O registro liga as três etapas à mesma versão. Se alguém muda o arquivo depois do teste, a evidência anterior deixa de provar aquela nova versão e a parte afetada precisa ser conferida novamente.
Ver como texto
Documentação da OpenAI sobre configuração e execução de avaliações, com exemplos de tarefas e resultados.
Como a verificação está organizada hoje, e como precisa ficar
Verificação dentro do time que entrega
Como está hoje
- O mesmo time escreve o código, escreve o teste que o julga e declara o resultado
- O registro do que o agente fez fica no mesmo lugar em que o agente pode escrever
- O poder de barrar a entrega está com quem tem meta de entregar
- A credencial que o agente alcança foi criada para outra finalidade e nunca foi reduzida
Verificação com dono separado e poder de veto
Como precisa ficar
- Um nome próprio responde pela régua, outro pelo verificador, e nenhum dos dois responde pela entrega julgada
- O registro de execução fica fora do alcance de escrita do agente e de quem entrega
- O poder de barrar está declarado por escrito, com titular e substituto
- Cada credencial que o agente alcança tem escopo declarado e prazo de validade
Ver como texto
Sobre a mesma entrega de código do agente, três papéis com nome próprio: quem escreve a régua de recompensa, quem escreve o verificador que executa a entrega e quem tem poder de barrar a promoção. Nenhum dos três pode ser quem responde pela entrega julgada.
Existe um dado sobre reversão de agente que costuma ser lido ao contrário, e vale corrigir a leitura antes que ele chegue ao seu conselho pela boca errada.
Entre empresas que colocaram um agente de atendimento ao cliente em produção — não de código, e a distinção importa —, a taxa de reversão é alta. E ela é maior justamente entre as que descrevem os próprios controles como totalmente maduros. A leitura ingênua conclui que governança não funciona. A leitura correta é outra: quem tem controle enxerga o que precisa ser revertido, e quem não tem simplesmente não vê. Reverter é sintoma de que o controle está ligado.
O recorte desta aula é estreito de propósito. Governança de agentes em sentido amplo, escada de autonomia e painel de conselho têm dono em outro curso, O Novo Mundo de Fazer Software. Aqui a recompensa verificável é o insumo, lá a mudança verificada é o produto.
Reversão de agente em produção, e quem fica sabendo
74%
das empresas que puseram um agente em produção já tiveram de revertê-lo ou desligá-lo por falha de governança
Sinch, campo em jan-fev/2026, n=2.527 decisores sênior em 10 países
81%
é a taxa entre as que descrevem os próprios controles como totalmente maduros
Mesma pesquisa. Quem tem controle enxerga o que precisa reverter
78%
dos líderes técnicos relatam ter revertido um agente
Mesma pesquisa
69%
dos líderes de negócio relatam o mesmo, ou seja o negócio nem sempre fica sabendo
Mesma pesquisa. A diferença de 9 pontos é o que não chega à mesa de decisão
Fonte: Sinch, The AI Production Paradox. Escopo declarado: agentes de comunicação com cliente, não agentes de código. O que transfere é o mecanismo.
Ver como texto
Comparação entre registro apagável e trilha de evidência. O registro apagável fica no alcance de escrita de quem entrega e serve apenas para depurar. A trilha de evidência guarda estado antes, ação e autor, estado depois e carimbo de imutabilidade com data, e é o que responde a auditoria.
Registro apagável não é evidência. Se o time consegue editar ou apagar o log de execução do agente depois do fato, aquele arquivo serve para depurar e não serve para responder a auditoria, a cliente ou a tribunal. E não conte com a lista de comandos permitidos como substituto de isolamento: uma falha classificada como crítica, com severidade 9,8 na escala do NVD, mostrou que certos comandos internos de terminal rodavam sem aparecer na lista e sem aprovação de ninguém.
Os três nomes próprios
Quem escreve a régua de recompensa
0/2Quem escreve e executa o verificador
0/2Quem tem poder de barrar
0/2A política de uso precisa dizer quem solicita, quem executa e quem aprova. Inclua limites de acesso, proteção da avaliação e registro das ações. Teste também uma solicitação fora do escopo, para verificar se a execução para e encaminha a decisão ao responsável.
Guia prático: política de uso de agente de código em uma página
Acesso
0/3Régua e verificação
0/2Evidência
0/3Três perguntas para testar a decisão antes da próxima reunião: (1) Diante da proposta de que o squad que entrega escreva também o verificador, você aprova, aprova com condição ou veta, e qual é a condição? (2) Diante de um registro de execução que o time consegue editar depois do fato, você trata aquilo como evidência ou como ferramenta de depuração, e o que muda no que a empresa promete ao cliente? (3) Diante dos três papéis desta aula sem nome próprio no seu organograma de hoje, qual dos três você nomeia primeiro, e por que esse antes dos outros dois?
A política de uma página precisa morar em algum arquivo que o agente leia. Cada ferramenta tem o seu, e a documentação do Claude Code faz uma distinção que vale para todas: arquivo de instrução é contexto, não bloqueio. O agente lê e tenta seguir, sem garantia. O que não pode acontecer em hipótese nenhuma vai para a configuração de permissões ou para um gancho que roda antes da ação, e não para o texto.
| Ferramenta | Arquivo ou campo | Detalhe que muda a governança |
|---|---|---|
| Claude Code | CLAUDE.md, .claude/rules/ e, desde a 2.1.277, AGENTS.md | AGENTS.md só é lido quando não há CLAUDE.md; a opção Project instructions, em /config, muda isso |
| Codex | AGENTS.md global, do repositório e por pasta; AGENTS.override.md | Para de somar arquivos ao atingir 32 KiB por padrão |
| Cursor | .cursor/rules em arquivos .mdc, AGENTS.md, regras do usuário e da equipe | Team Rules, nos planos Team e Enterprise, valem para todos os membros |
| Lovable | Knowledge do projeto e do workspace | Até 10 mil caracteres; só donos e administradores editam o do workspace |
| Bolt | Knowledge, nas configurações do projeto | Vale para um projeto; o agente usa em todo pedido |
Fonte: Documentações oficiais de Claude Code, Codex, Cursor, Lovable e Bolt, consultadas em 01/10/2026

Ver como texto
Painel Team Rules do Cursor com o subtítulo Create and manage Cursor rules for your team, o botão New Rule e uma regra de exemplo chamada React mais GraphQL
Uma fonte de regras para todos os agentes do time
Passo 1: Escreva as regras num AGENTS.md na raiz do repositório
Codex e Cursor leem o arquivo; o Claude Code lê quando não há CLAUDE.md, ou por import com @AGENTS.md dentro de um CLAUDE.md.
Deu certo quando: Os três assistentes citam a mesma regra quando perguntados.
Erro comum: Três arquivos com versões diferentes da mesma política.
Passo 2: Mantenha o arquivo curto e verificável
A documentação do Claude Code sugere menos de 200 linhas e regra concreta, como "rode npm test antes do commit".
Deu certo quando: Cada regra do arquivo pode ser conferida por alguém de fora do time.
Erro comum: Regra vaga como "escreva código de qualidade".
Passo 3: Passe para bloqueio o que não admite exceção
Pasta de testes, segredos e comandos destrutivos vão para a lista de negação de permissões ou para um gancho PreToolUse.
Deu certo quando: Tentativa de editar a pasta protegida aparece bloqueada no registro, não só desaconselhada.
Erro comum: Confiar numa frase do AGENTS.md para proteger o verificador.
Passo 4: Revise as regras como código
Mudança no AGENTS.md entra por pedido de alteração aprovado pelo dono da política. No Claude Code, /doctor prompt-audit aponta regra contraditória ou desatualizada.
Deu certo quando: Histórico de mudanças das regras com autor, data e aprovador.
Erro comum: O próprio agente reescrever as regras que o limitam.
No fim você tem: Uma política escrita uma vez, lida por todos os agentes e protegida por bloqueio onde a instrução não basta.
Publique a política de uma página acima e escreva os três nomes próprios desta aula no mesmo documento. Confirme com a auditoria interna que quem opera o agente não consegue apagar o registro de execução. Em trinta dias, teste isso pedindo a trilha de uma entrega qualquer.
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Veja o que estudar antes e para onde seguir depois, explore os conceitos e compare abordagens em outros cursos. Sugestões marcadas como “sugerido pelo grafo” vêm dos assuntos em comum, não do índice do curso.
- Veja o que o Claude Code faz antes de instalarsugerido pelo grafoApresenta o conceito “Claude Code”, usado em “Separar execução, verificação e aprovação”.
- Ponha dois agentes para revisar um ao outro, com limite de rodadassugerido pelo grafoApresenta o conceito “Codex”, usado em “Separar execução, verificação e aprovação”.
- O que é um agente autônomo e quando vale usar umsugerido pelo grafoApresenta o conceito “AI Agent”, usado em “Separar execução, verificação e aprovação”.
- CursoSetup Completo: do zero ao Claude Code (Windows)sugerido pelo grafoO Setup ensina permissões, contexto do projeto e escolha de modelo por custo. Essa preparação sustenta os exercícios de comparação de assistentes, criação do gerador de UTM e regras de projeto no curso de aprendizado por reforço e vibecoding.
- Modelo de trabalho com agentes de IAQue evidência mostra se a entrega funcionou?Examinar conexões de Que evidência mostra se a entrega funcionou?
- Letramento em IA para ExecutivosDecida quando a IA pode agir sozinha nos sistemas da empresaExaminar conexões de Decida quando a IA pode agir sozinha nos sistemas da empresa
- CRO: Otimização de Conversão e ExperimentaçãoGovernança: quem decide, quem veta e com que cadênciaExaminar conexões de Governança: quem decide, quem veta e com que cadência
Terminou a leitura?
Você está aqui: capítulo 19 de 27
0 de 27 concluídos
- Próximo · Capítulo 20 de 27 · 16 minPedir evidências antes de assinarLer o capítulo 20 sem concluir
Marque como concluído para o capítulo contar no seu painel e no certificado.
- Anterior · Capítulo 18 de 27 · 16 minComparar ferramentas do Google com o trabalho atualVoltar para o capítulo 18
Leve uma ideia para a prática
Escolha uma atividade no painel e volte a este curso quando quiser.
Atividades e evolução ficam reunidas no painel da sua conta.
- 17Grok e Claude: comparar modelos e ferramentas de código
- 18Comparar ferramentas do Google com o trabalho atual
- 19Separar execução, verificação e aprovação
- 20Pedir evidências antes de assinar
- 21Organizar a decisão e a revisão do piloto


