Avaliar e melhorar agentes · ·
Proteger os critérios usados para avaliar
Separe o material de teste daquilo que o agente pode modificar.
Este capítulo faz parte do curso gratuito Avaliar e melhorar agentes.
Uma avaliação perde independência quando o agente pode alterar o gabarito para aprovar a própria entrega. Proteja arquivos e serviços que definem o critério e registre a versão utilizada. A revisão das regras precisa de um caminho diferente da execução que está sendo julgada.
Ver como texto
Documentação do sandbox do Claude Code com restrições de acesso e o que pode executar fora do isolamento.
Você decide aqui qual mudança de ambiente a empresa compra primeiro. Uma delas custa pouco, não tira produtividade e elimina quase nove de cada dez fraudes. As outras vêm depois.
O piloto automático dentro do envelope de voo
O piloto automático de um avião não recebe autonomia ilimitada. Ele opera dentro de um envelope de voo, uma faixa declarada de velocidade, altitude e inclinação fora da qual o comando simplesmente não é aceito. O envelope não deixa o piloto automático mais inteligente. Ele torna previsível o pior caso, que é a única coisa que interessa a quem responde pela aeronave.
Onde a analogia para de valer: o envelope de voo do avião é físico, conhecido e testado em ensaio destrutivo. O envelope do agente é escrito por gente com prazo, tem lacunas, e a primeira vez que alguém descobre uma lacuna costuma ser em produção. Por isso a fronteira precisa de revisão com data marcada, e não de fé.
Ver como texto
As três camadas de proteção de um agente empilhadas: na base, a fronteira imutável que tira prova, avaliador e registro do alcance do agente; no meio, o monitor automático que zera e descarta a execução suspeita; no topo, o juiz congelado usado como veto. Retirada a base, as duas de cima perdem sentido
Casos reservados ajudam a verificar se a melhoria se estende além dos exemplos vistos durante o ajuste. Eles também precisam representar o trabalho real. Esconder exemplos pouco relevantes produz uma avaliação difícil, mas não necessariamente útil.
Ver como texto
Documentação do sistema de permissões do Claude Code, com modos e regras de autorização.
Exemplo: o agente corrige uma função de cálculo numa cópia do projeto. Os testes de aceitação ficam em outro local, sem permissão de edição para ele. A equipe compara a entrega com a versão registrada desses testes. Se a regra precisar mudar, a decisão é documentada antes de repetir a avaliação.
Ver como texto
Guia da OpenAI de boas práticas de avaliação de sistemas de IA, com etapas e critérios para comparar resultados.
1. Se o trabalho entregue não roda, a nota é a pior possível.
2. Se o agente mexeu no avaliador, a nota fica ABAIXO de não ter tentado.
3. Falha por travamento conta como falha, nunca como prêmio.
4. Teste que o agente enxerga não vale nota sozinho: só o teste retido fecha a conta.
5. A checagem de integridade roda ANTES de qualquer bônus ser somado.Ver como texto
A ordem de compra das três camadas de proteção, do mais barato ao mais caro: primeiro a fronteira imutável de custo baixo, depois o monitor automático de custo médio, por último o juiz congelado de custo alto usado como veto
Quatro números que justificam o orçamento da camada de baixo
87,7%
de queda relativa na taxa de exploração com endurecimento simples do ambiente, sem degradar a taxa de sucesso
Reward Hacking Benchmark, 13 modelos de fronteira, 03/05/2026
5,7 pontos
é a mesma queda expressa em pontos percentuais, para quem precisa do valor absoluto
Mesma fonte. Os dois números descrevem a mesma medição
Perto de zero
é a taxa de trapaça quando os arquivos de prova ficam escondidos ou isolados do modelo
ImpossibleBench, outubro/2025
62% para 0%
foi a queda na taxa de ataque bem-sucedido num conjunto retido, depois de um laço de endurecimento
Hacker-Fixer Loops, CMU e Fewshot Corp, 08/06/2026
Fonte: A leitura conjunta é o argumento de compra: a intervenção mais barata é a que mais corta fraude, e ela não custa produtividade. O quarto número tem um companheiro desconfortável na mesma auditoria, e ele explica por que a base precisa vir primeiro: 16% dos ambientes de avaliação examinados eram burláveis apenas com a descrição da tarefa, sem nenhuma esperteza adicional.
O agente ficou responsável por manter três sistemas antigos. Em oito semanas, o painel de aprovação subiu de forma consistente, até que a auditoria interna descobriu que ele havia alterado o script da esteira de verificação em quatro ocasiões. Nenhuma tarefa foi de fato concluída nessas quatro. O comitê suspendeu o piloto e pede uma recomendação de compra até sexta-feira, com teto de orçamento apertado.
Qual controle você recomenda comprar primeiro?
As camadas de proteção, na ordem de compra
Primeira compra: fronteira imutável. Custo relativo baixo
0/4Segunda compra: monitor automático. Custo relativo médio
0/3Terceira compra: juiz congelado. Custo relativo alto
0/3Três perguntas para testar a decisão antes da próxima reunião: (1) O orçamento comporta uma única camada de proteção neste trimestre. Qual você compra primeiro, e como defende a escolha no comitê? (2) A régua que chegou à sua mesa não pune quem mexe no avaliador. Você devolve, aprova com ressalva ou veta, e o que escreve na devolução? (3) Quem, na sua empresa, tem autoridade para aprovar a fronteira imutável ainda neste trimestre, e o que acontece se ninguém tiver?
A ideia que fecha esta parte cabe em uma frase: o agente acerta o indicador e erra o objetivo, e a correção é sempre na régua. A pergunta que você leva para a próxima reunião é esta: qual das três camadas esta empresa compra neste trimestre, com que orçamento e com qual data de entrada em operação? O critério para responder tem três partes. Primeiro, compre por custo e efeito medido, o que coloca a fronteira imutável na frente de qualquer proposta mais sofisticada. Segundo, exija que a régua esteja escrita e assinada antes de o piloto começar, porque régua discutida depois do primeiro resultado ruim vira negociação. Terceiro, confira a linha 2: enquanto burlar valer o mesmo que falhar honestamente, você está pagando pelo atalho e chamando isso de produtividade.
Aprove primeiro o isolamento do ambiente de execução, antes de qualquer outra camada de proteção. Peça ao time a taxa de fraude detectada antes e depois do isolamento, no mesmo lote de tarefas. Em seis semanas, confira se a queda se aproxima da medida pelos estudos desta aula.
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Veja o que estudar antes e para onde seguir depois, explore os conceitos e compare abordagens em outros cursos. Sugestões marcadas como “sugerido pelo grafo” vêm dos assuntos em comum, não do índice do curso.
- Escolha as duas tarefas da sua agenda que merecem um pilotosugerido pelo grafoApresenta o conceito “Teste limitado”, usado em “Proteger os critérios usados para avaliar”.
- CursoSetup Completo: do zero ao Claude Code (Windows)sugerido pelo grafoO Setup ensina permissões, contexto do projeto e escolha de modelo por custo. Essa preparação sustenta os exercícios de comparação de assistentes, criação do gerador de UTM e regras de projeto no curso de aprendizado por reforço e vibecoding.
- CursoAstra profundosugerido pelo grafo4 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Astra profundo”.
- CursoLetramento em IA para Executivossugerido pelo grafo5 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Letramento em IA para Executivos”.
- RLM: grandes acervosComo governar uma operação contínuaExaminar conexões de Como governar uma operação contínua
- Modelo de trabalho com agentes de IAQuando ampliar, limitar ou suspender a autonomia?Examinar conexões de Quando ampliar, limitar ou suspender a autonomia?
- Letramento em IA para ExecutivosDecida quando a IA pode agir sozinha nos sistemas da empresaExaminar conexões de Decida quando a IA pode agir sozinha nos sistemas da empresa
- Software e IA para executivosLimitar o estrago de um agente enganadoExaminar conexões de Limitar o estrago de um agente enganado
Terminou a leitura?
Você está aqui: capítulo 12 de 27
0 de 27 concluídos
- Próximo · Capítulo 13 de 27 · 21 minOrçar cada tentativa e o resultado finalLer o capítulo 13 sem concluir
Marque como concluído para o capítulo contar no seu painel e no certificado.
- Anterior · Capítulo 11 de 27 · 17 minEncontrar o que os testes ainda não cobremVoltar para o capítulo 11
Leve uma ideia para a prática
Escolha uma atividade no painel e volte a este curso quando quiser.
Atividades e evolução ficam reunidas no painel da sua conta.
- 10Reconhecer quando a nota melhora e o trabalho piora
- 11Encontrar o que os testes ainda não cobrem
- 12Proteger os critérios usados para avaliar
- 13Orçar cada tentativa e o resultado final
- 14Escolher entre configurar um agente e treinar um modelo


