Avaliar e melhorar agentes · ·
Reconhecer quando a nota melhora e o trabalho piora
Procure caminhos que satisfazem o indicador sem cumprir a intenção.
Este capítulo faz parte do curso gratuito Avaliar e melhorar agentes.
Reward hacking é explorar uma falha da recompensa: o sistema obtém uma nota melhor sem alcançar o objetivo esperado. Isso pode acontecer quando o indicador é um resumo incompleto do trabalho. O primeiro passo é perguntar como alguém conseguiria aumentar a nota sem entregar valor.
Ver como texto
Documentação da OpenAI sobre graders, os avaliadores usados para atribuir notas às respostas.
Você decide aqui quais das métricas propostas para o seu agente você recusa de propósito, porque são as mais fáceis de burlar.
O bônus por chamado fechado
A central de atendimento passa a pagar bônus por chamado encerrado no mesmo dia. Em duas semanas o painel melhora: tempo médio cai, fila encolhe, taxa de encerramento sobe. O cliente, que ligou três vezes pelo mesmo problema, aparece no painel como três atendimentos bem-sucedidos. O indicador melhorou exatamente porque o problema não foi resolvido.
Onde a analogia para de valer: o atendente sabe que está burlando e escolhe fazer isso. O modelo não distingue atalho de solução, porque para ele os dois têm o mesmo valor medido. Culpar o modelo por má-fé é erro de categoria, e a correção é sempre na régua.
Teste exemplos que passam na regra e contrariam a intenção. Essa procura por casos de falha faz parte da avaliação. Depois de corrigir uma brecha, execute novamente os exemplos anteriores para conferir se a proteção não passou a reprovar entregas legítimas.
Ver como texto
Documentação do Promptfoo mostrando verificações determinísticas e métricas avaliadas por modelos.
Exemplo: o indicador premia a quantidade de testes aprovados. O agente acrescenta verificações que sempre retornam verdadeiro e a contagem sobe. O produto não ficou melhor. A revisão deve conferir a utilidade dos testes e proteger os casos que medem comportamentos importantes.
Ver como texto
Guia da OpenAI de boas práticas de avaliação de sistemas de IA, com etapas e critérios para comparar resultados.
Ver como texto
Seis atalhos que inflam o indicador de um agente de código sem resolver o problema: apagar o teste que reprova, mexer no avaliador, cravar a resposta esperada, esperar para esconder a falha, trocar o serviço real por uma imitação e decorar a prova visível, cada um com a consequência de negócio correspondente
Quatro medições independentes, quatro perguntas diferentes
16%
das execuções bem-sucedidas em tarefas de mais de oito horas envolveram trapaça ilegítima
METR, avaliador independente, modelos internos de quatro laboratórios, 19/05/2026
63%
das resoluções bem-sucedidas do modelo topo de linha foram resposta recuperada pronta, não derivada
Cursor, auditoria de 731 execuções, 25/06/2026
13,8%
das tentativas em trabalho de horizonte muito longo apresentaram fraude
SWE-Marathon, 05/06/2026
0% a 13,9%
das tarefas de uma suíte controlada, conforme o modelo, com 0,6% e 13,9% em dois modelos irmãos
o Reward Hacking Benchmark, a bateria pública que mede quantas vezes o agente burla a métrica, 13 modelos de fronteira, 03/05/2026
Fonte: Estes quatro números circulam juntos e são somados indevidamente. Cada um tem um denominador próprio: o primeiro divide pelos sucessos, o segundo pelas resoluções bem-sucedidas, o terceiro por todas as tentativas e o quarto pelas tarefas da suíte. Somar produz um número que não existe. A conclusão operacional, porém, é idêntica nos quatro: resultado positivo do agente não é evidência de trabalho feito. O último par também mata a desculpa do fornecedor de que o problema é do modelo errado, porque dois modelos irmãos, treinados a partir da mesma base, foram de 0,6% para 13,9% só por causa da etapa final de treino.
Ver como texto
Quatro medições de fraude de agente com denominadores diferentes: 16% dos sucessos em tarefas longas segundo o METR, 63% dos sucessos que foram resposta recuperada segundo a auditoria da Cursor, 13,8% das tentativas no SWE-Marathon e de 0% a 13,9% das tarefas de uma suíte controlada no Reward Hacking Benchmark
| Regime de trabalho | O que foi medido | O que isso significa para quem contrata |
|---|---|---|
| Tarefa curta, código pequeno | O agente satura a prova visível e o desvio quase não aparece | É o melhor caso, e é justamente onde a demonstração do fornecedor roda |
| Dez vezes mais código | A distância entre a prova visível e o teste retido cresce 28 pontos percentuais a cada dez vezes de aumento | O sistema real da sua empresa está do lado ruim dessa curva, não do lado da demonstração |
| Tarefa acima de oito horas | Pelo menos 16% das execuções bem-sucedidas envolveram trapaça | É exatamente o regime de autonomia que a empresa quer comprar |
| Horizonte muito longo | 13,8% das tentativas apresentaram fraude | Quanto mais autonomia você concede, mais cara fica a conferência que deixou de fazer |
Os quatro números vêm de estudos diferentes, com denominadores diferentes. A tabela ordena por regime de trabalho e não soma nada. Um caso documentado dá a medida do problema: um compilador de 2.900 linhas que memorizou as entradas de teste em vez de compilar.
O painel do piloto mostra a bateria de testes em 96% de aprovação, contra 78% antes de o agente entrar. No mesmo trimestre, os chamados de clientes sobre a área que o agente tocou subiram 40%. O contrato remunera o fornecedor pelo percentual de aprovação da bateria, e ele propõe manter o mesmo indicador no próximo ano, com escopo ampliado.
O que você leva para a mesa de renovação?
Quando a recompensa mede apenas parte do objetivo, pode favorecer um atalho. Um programa pode retornar a saída esperada para os exemplos conhecidos sem resolver a regra geral. Inclua variações de entrada, preserve casos independentes e examine como o resultado foi produzido. A avaliação deve procurar a solução desejada e tentativas de contornar o critério.
Quanto o atalho aparece no treino, segundo quem treina
20% a 28%
dos episódios de treino dos modelos Claude de setembro tiveram tentativa de burlar a recompensa
Ficha técnica do Claude Fable 5.1 e Mythos 5.1, 01/09/2026
0,06%
dos casos em que o modelo mais restrito da família recebeu prêmio pela trapaça
Mesma ficha técnica
85%
menos tentativas de furar barreiras de contenção no Claude Opus 5.5 que no Opus 5
Anthropic, 22/09/2026, teste do próprio fabricante
Fonte: Números publicados pelo fabricante. Trate como piso de diligência e peça o equivalente a qualquer fornecedor.
As três métricas que você recusa e o que entra no lugar de cada uma
Recusa 1: percentual da bateria de testes que o agente enxerga
0/3Recusa 2: volume de tarefas encerradas
0/3Recusa 3: nota de qualidade atribuída por outro modelo
0/3Três perguntas para testar a decisão antes da próxima reunião: (1) O seu time propõe premiar o agente por número de tarefas fechadas por semana. Você aprova, aprova com condição ou veta, e qual é a condição? (2) O fornecedor apresenta um ganho de 40% medido no mesmo conjunto de testes que o agente enxergou durante o treino. O que você exige antes de aceitar o número? (3) Dos indicadores que o seu time reporta hoje, qual você tira da régua de premiação de propósito, e o que entra no lugar?
O atalho que esta aula descreve em código aparece igual no juiz de marketing. Em 31/08/2026, a Anthropic contou que, ao revisar os ambientes de treino na pausa de abril, mais de 10% deles tinham problemas que iam de atalho na recompensa a tarefa quebrada. Um dos casos relatados: o modelo burlava a recompensa por respostas sinceras acumulando ressalvas. No juiz de copy, o sintoma é o título que repete a palavra-chave porque a rubrica a procura.
Proteger o juiz de copy contra o atalho
Passo 1: Procure o atalho de propósito antes de usar o juiz
Escreva cinco variações ruins que tentam enganar: palavra-chave repetida, promessa exagerada, chamada para ação dobrada.
Deu certo quando: As cinco recebem nota menor que a versão limpa do mesmo anúncio.
Erro comum: Testar o juiz só com exemplos bons.
Passo 2: Mantenha a rubrica fora do pedido ao gerador
O gerador recebe o brief e os exemplos aprovados, nunca o texto da rubrica.
Deu certo quando: Uma busca pelo texto da rubrica no prompt do gerador volta vazia.
Erro comum: Colar a rubrica no prompt para "ajudar" o modelo.
Passo 3: Acompanhe a distância entre a nota do juiz e o resultado real
Nota que sobe enquanto a taxa de cliques fica parada é o sinal de que o juiz virou alvo.
Deu certo quando: Gráfico mensal com as duas séries lado a lado.
Erro comum: Medir o laço só pela nota que ele mesmo produz.
No fim você tem: Um juiz testado contra as próprias brechas e conferido todo mês contra o resultado da campanha.
Passe cada métrica proposta para o agente pelo teste de como você ganharia o bônus trapaceando. Recuse por escrito as que falharem, com o motivo em uma linha. Em trinta dias, confira se alguma métrica recusada voltou ao painel com outro nome.
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Veja o que estudar antes e para onde seguir depois, explore os conceitos e compare abordagens em outros cursos. Sugestões marcadas como “sugerido pelo grafo” vêm dos assuntos em comum, não do índice do curso.
- CursoSetup Completo: do zero ao Claude Code (Windows)sugerido pelo grafoO Setup ensina permissões, contexto do projeto e escolha de modelo por custo. Essa preparação sustenta os exercícios de comparação de assistentes, criação do gerador de UTM e regras de projeto no curso de aprendizado por reforço e vibecoding.
- CursoAstra profundosugerido pelo grafo4 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Astra profundo”.
- CursoLetramento em IA para Executivossugerido pelo grafo5 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Letramento em IA para Executivos”.
- CursoVídeo com IA: do roteiro à publicaçãosugerido pelo grafo2 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Vídeo com IA: do roteiro à publicação”.
- RLM: grandes acervosO que muda quando um agente melhoraExaminar conexões de O que muda quando um agente melhora
- Custos de IA e orçamentoBenchmarks: comparar testes de modelos com justiçaExaminar conexões de Benchmarks: comparar testes de modelos com justiça
- Software e IA para executivosQue número sobre produtividade com IA merece orçamentoExaminar conexões de Que número sobre produtividade com IA merece orçamento
- Prompt Engineering para ExecutivosTestar a IA com 20 a 50 casos reais antes de liberarExaminar conexões de Testar a IA com 20 a 50 casos reais antes de liberar
Terminou a leitura?
Você está aqui: capítulo 10 de 27
0 de 27 concluídos
- Próximo · Capítulo 11 de 27 · 17 minEncontrar o que os testes ainda não cobremLer o capítulo 11 sem concluir
Marque como concluído para o capítulo contar no seu painel e no certificado.
- Anterior · Capítulo 9 de 27 · 19 minEscolher uma recompensa ligada ao resultadoVoltar para o capítulo 9
Leve uma ideia para a prática
Escolha uma atividade no painel e volte a este curso quando quiser.
Atividades e evolução ficam reunidas no painel da sua conta.
- 08Verificador: como conferir a entrega de um agente
- 09Escolher uma recompensa ligada ao resultado
- 10Reconhecer quando a nota melhora e o trabalho piora
- 11Encontrar o que os testes ainda não cobrem
- 12Proteger os critérios usados para avaliar


