Avaliar e melhorar agentes · ·
Escolher uma recompensa ligada ao resultado
Transforme o objetivo em critérios que possam ser conferidos.
Este capítulo faz parte do curso gratuito Avaliar e melhorar agentes.
Recompensa verificável é um sinal calculado a partir de uma condição observável, como acertar uma resposta com gabarito ou passar um teste definido. Ela é útil quando o critério representa o objetivo. Um teste fácil de satisfazer sem fazer o trabalho pode premiar o comportamento errado.
Ver como texto
Guia de reinforcement fine-tuning da OpenAI com a descrição do processo e aviso sobre disponibilidade da plataforma.
Você decide aqui se a promessa de melhoria que chegou tem base para virar contrato: quem executa a medida, com que frequência, e o que acontece com o pagamento se o número não se sustentar fora do teste. Por que isso toca receita e risco: promessa de melhoria sem cláusula de evidência é despesa fixa contra resultado variável. A empresa paga o ciclo inteiro e descobre no fim que o ganho existia apenas dentro do ambiente onde foi medido. A decisão que cabe a você: aprovar, aprovar com condição ou vetar, e escrever a condição em linguagem que o jurídico consiga cobrar. O que dá para delegar: montar o conjunto de tarefas da medição. O que não dá: definir a consequência sobre o pagamento.
O teste de bancada na linha de produção
A peça sobe na esteira e para na bancada. O instrumento mede e o resultado é um de dois, dentro ou fora da tolerância. Ninguém pergunta ao operador se a peça parece boa naquele dia. O laudo da bancada é o que libera o lote, e é o mesmo laudo que a fábrica tira da gaveta quando o cliente reclama seis meses depois.
Onde a analogia para de valer: peça física tem tolerância dimensional objetiva e única. Software tem correção parcial, comportamento fora do teste e falha que só aparece com carga real. Passou na bancada cobre menos do que parece, e a lista do que ficou de fora precisa estar escrita.
Ver como texto
O laço da recompensa verificável em quatro etapas: o agente propõe uma alteração, o verificador executa e observa, o prêmio vai só para o que passou na execução, e o comportamento premiado passa a ser o comportamento padrão do agente. A volta fecha do fim para o começo.
Antes de usar a nota para treinar, separe exigências obrigatórias de preferências. Uma falha grave de segurança não deveria desaparecer porque a resposta foi rápida. Essa escolha faz parte do desenho da avaliação e precisa de um responsável que entenda a consequência do erro.
Ver como texto
Documentação da OpenAI sobre graders, os avaliadores usados para atribuir notas às respostas.
Exemplo: o agente prepara um arquivo de pagamentos. Formato correto e soma consistente são necessários, mas um destinatário indevido reprova a entrega. A empresa pode comparar tempo entre arquivos aprovados; não compensa um destinatário errado com pontos por velocidade.
Ver como texto
Documentação do Promptfoo mostrando verificações determinísticas e métricas avaliadas por modelos.
Ver como texto
Um lote de tarefas se divide em três faixas: as que o agente resolve logo na primeira resposta, as que ele só resolve depois de repetir, e as que ele não resolve. Apenas a primeira faixa não gera repetição paga, e é por isso que ela domina a conta de custo.
A escala em que isso já opera, e o que ela significa para quem compra
365 mil
tarefas de treino de agente disponíveis atrás de uma única interface, prontas para alugar
Prime Intellect, 22/07/2026
198 mil
delas são de engenharia de software, em mais de vinte linguagens de programação
Prime Intellect, 22/07/2026
23
conjuntos de tarefas de treino já prontos para alugar, o que transforma a matéria-prima do treino em item de catálogo
Prime Intellect, 22/07/2026
50,40%
é o resultado de um laço que usa os próprios registros de execução como fonte de sinal, depois de três voltas
Socratic-SWE, 05/06/2026, SWE-bench Verified
Peça ao fornecedor uma ficha da comparação: tarefas, critérios, configuração, responsável, data e custo total. Em seguida, confira se a evidência pode ser repetida em um ambiente adequado à sua empresa. Um catálogo de tarefas ou um placar externo pode ajudar a começar, mas não substitui essa validação.
Diretora de operações avaliando a renovação de um contrato de agente de código
Indústria de bens de consumo, time interno de tecnologia com 40 pessoas
Dor
A renovação chegou com aumento de preço e a promessa de um agente melhor. O único indicador da proposta era a satisfação declarada pelo time de desenvolvimento com as sugestões da ferramenta.
Solução
Ela segurou a assinatura até que a proposta trouxesse a taxa de acerto na primeira tentativa, medida por execução, num conjunto de tarefas da própria empresa que o fornecedor não conhecia antes.
Resultado do exemplo
O fornecedor levou cinco semanas para produzir a medição. O número veio abaixo do que a apresentação sugeria, e a renovação foi assinada com preço revisado e com a medição repetida a cada trimestre.
Custo estimado no exemplo: Cinco semanas de atraso na renovação e cerca de vinte horas do time interno para preparar o conjunto de tarefas.
Cenário construído para fins didáticos. Números não correspondem a cliente específico.
Cláusula de evidência para proposta de melhoria de agente
Preencha com a proposta que está na sua mesa. O texto gerado entra como anexo da proposta comercial e serve de base para o jurídico. Cada campo em branco vira uma lacuna visível no documento, o que é melhor do que uma lacuna invisível no contrato.
Documento montado
CLÁUSULA DE EVIDÊNCIA Fornecedor e escopo ....... [FORNECEDOR E ESCOPO DO SERVIÇO] Ganho prometido ........... [GANHO PROMETIDO, COM O INDICADOR E O NÚMERO] 1. QUEM EXECUTA A MEDIDA [QUEM EXECUTA A MEDIDA, E POR QUE ESSA PARTE É INDEPENDENTE] Quem executa a medida não pode ser quem responde pela entrega medida. A troca dessa parte durante a vigência exige aprovação prévia por escrito. 2. COMO E QUANDO A MEDIDA ACONTECE [FREQUÊNCIA DA MEDIÇÃO E CONJUNTO DE TAREFAS USADO] A medida é feita por execução do trabalho entregue, com registro de data e ambiente. Nota atribuída por pessoa ou por outro modelo entra como sinal secundário e não substitui a execução em nenhuma hipótese. 3. O QUE ACONTECE COM O PAGAMENTO [CONSEQUÊNCIA SOBRE O PAGAMENTO SE O NÚMERO NÃO SE SUSTENTAR] 4. O QUE FICA DECLARADO COMO NÃO COBERTO O fornecedor lista, no anexo técnico, as dimensões de qualidade que a medição não alcança. Cada dimensão listada recebe um responsável nomeado da contratante. Dimensão sem responsável nomeado fica sem dono, e isso passa a constar em ata. 5. REVISÃO DA RÉGUA A régua de medição é revista a cada seis meses, porque régua fixa perde eficácia conforme a capacidade do agente cresce. A revisão é obrigação das duas partes e tem data no cronograma.
O que você digitar fica salvo neste navegador. Nada é enviado para servidor algum.
A cláusula de evidência só vale se alguém olha o número toda semana. O painel abaixo reúne as quatro métricas que sustentam um piloto de agente, cada uma com o jeito conhecido de inflá-la e o contrapeso que desmonta o atalho. Nenhuma delas sozinha basta; juntas, elas se vigiam.
| Métrica | O que mostra | Como o agente infla | Contrapeso |
|---|---|---|---|
| Tarefas aceitas sem reescrita | Quanto do que o agente entrega fica de pé | Escolher só tarefas fáceis | Lote de tarefas sorteado, igual antes e depois |
| Horas de revisão por entrega aceita | O imposto de verificação em número | Entregas pequenas demais, que somam mais revisões | Medir também por funcionalidade concluída |
| Taxa de falha de mudança em produção | Quanto do que entrou precisou ser desfeito | Adiar a entrada para depois da medição | Janela de medição fixa, publicada antes |
| Aprovação no lote retido | Se o ganho vale fora da régua visível | Nenhum, se o lote ficar fora do alcance do agente | Guarda do lote com quem não opera o agente |
Custo por tarefa concluída entra como quinta linha quando o piloto passa de trinta dias.
Três perguntas para testar a decisão antes da próxima reunião: (1) Um fornecedor te mostra um gráfico de melhoria e não diz quem julgou os resultados. Qual é a sua próxima pergunta, e o que você faz se a resposta for evasiva? (2) O time propõe usar outro modelo de IA como avaliador da qualidade do código. Você aprova, aprova com condição ou veta, e qual é a condição? (3) Sua diretoria quer um número único para acompanhar mensalmente. Qual você escolhe, e qual você recusa de propósito?
A pergunta que você leva para a próxima reunião de contrato é esta: a partir de que data nenhuma promessa de melhoria de agente entra em proposta desta empresa sem dizer quem executa a medida, com que frequência e o que acontece com o pagamento se o número não se sustentar? O critério para responder tem três partes. Primeiro, comece pelo valor do contrato: exigir cláusula de evidência de tudo trava a compra de ferramenta pequena, exigir dos contratos que pesam no orçamento anual custa uma página. Segundo, a medição precisa acontecer durante a vigência, e não no fim, porque medição no fim descobre o problema quando já não existe alavanca. Terceiro, quem mede precisa ter nome próprio e não pode responder pela entrega medida, porque quem responde pela entrega não pode ser quem atesta que ela deu certo. A frase para guardar seis meses depois de fechar esta parte: quando a recompensa vem de um teste que roda de verdade, o agente melhora no que foi testado, e só no que foi testado. Nota é opinião, prova é execução, e só uma delas resiste à pergunta "quem julgou".
Inclua a cláusula de evidência na minuta do próximo contrato de agente e publique o painel de quatro números para o piloto em andamento. Toda semana, confira se o resultado no lote retido acompanha o resultado na régua. Distância crescente por duas semanas seguidas abre revisão.
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Veja o que estudar antes e para onde seguir depois, explore os conceitos e compare abordagens em outros cursos. Sugestões marcadas como “sugerido pelo grafo” vêm dos assuntos em comum, não do índice do curso.
- CursoSetup Completo: do zero ao Claude Code (Windows)sugerido pelo grafoO Setup ensina permissões, contexto do projeto e escolha de modelo por custo. Essa preparação sustenta os exercícios de comparação de assistentes, criação do gerador de UTM e regras de projeto no curso de aprendizado por reforço e vibecoding.
- CursoAstra profundosugerido pelo grafo4 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Astra profundo”.
- CursoLetramento em IA para Executivossugerido pelo grafo5 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Letramento em IA para Executivos”.
- CursoVídeo com IA: do roteiro à publicaçãosugerido pelo grafo2 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Vídeo com IA: do roteiro à publicação”.
- Agentes de IA autônomos: como delegar e acompanharQuando liberar, ampliar ou suspender o agenteExaminar conexões de Quando liberar, ampliar ou suspender o agente
- Prompt Engineering para ExecutivosMontar um relatório de IA com números que resistem à perguntaExaminar conexões de Montar um relatório de IA com números que resistem à pergunta
- Modelo de trabalho com agentes de IAO que medir para avaliar as entregas dos agentes de IA?Examinar conexões de O que medir para avaliar as entregas dos agentes de IA?
- RLM: grandes acervosO que muda quando um agente melhoraExaminar conexões de O que muda quando um agente melhora
Terminou a leitura?
Você está aqui: capítulo 9 de 27
0 de 27 concluídos
- Próximo · Capítulo 10 de 27 · 22 minReconhecer quando a nota melhora e o trabalho pioraLer o capítulo 10 sem concluir
Marque como concluído para o capítulo contar no seu painel e no certificado.
- Anterior · Capítulo 8 de 27 · 20 minVerificador: como conferir a entrega de um agenteVoltar para o capítulo 8
Leve uma ideia para a prática
Escolha uma atividade no painel e volte a este curso quando quiser.
Atividades e evolução ficam reunidas no painel da sua conta.
- 07Conferir a entrega antes de aceitar uma nota
- 08Verificador: como conferir a entrega de um agente
- 09Escolher uma recompensa ligada ao resultado
- 10Reconhecer quando a nota melhora e o trabalho piora
- 11Encontrar o que os testes ainda não cobrem


