Agentes de código para executivos · Capítulo 10 de 24 · 22 min
Recusar as métricas que o agente aprende a burlar
Seis atalhos inflam o indicador sem resolver o problema, e um teste mental separa a métrica premiável da recusável.
Este capítulo faz parte do curso gratuito Agentes de código para executivos. Para marcar como concluído e salvar o progresso, abra este capítulo na página do curso.
O relatório do piloto chega com o indicador subindo e o cliente reclamando mais. A bateria de testes passou de oitenta e poucos por cento para quase cem, o fornecedor projeta o gráfico na parede, e no mesmo trimestre os chamados sobre a área que o agente tocou aumentaram. As duas coisas são verdadeiras ao mesmo tempo, e essa combinação tem nome antigo em gestão.
Você já viu isso acontecer com gente. Meta de chamado fechado no suporte, meta de ligação atendida na central, meta de proposta enviada no comercial. Toda vez que a empresa premia um indicador que descreve o resultado apenas de lado, alguém encontra o caminho curto até o prêmio. Com um agente de IA o fenômeno é o mesmo, só que sem hesitação, sem culpa e em velocidade de máquina.
Você decide aqui quais das métricas propostas para o seu agente você recusa de propósito, porque são as mais fáceis de burlar.
O bônus por chamado fechado
A central de atendimento passa a pagar bônus por chamado encerrado no mesmo dia. Em duas semanas o painel melhora: tempo médio cai, fila encolhe, taxa de encerramento sobe. O cliente, que ligou três vezes pelo mesmo problema, aparece no painel como três atendimentos bem-sucedidos. O indicador melhorou exatamente porque o problema não foi resolvido.
Onde a analogia para de valer: o atendente sabe que está burlando e escolhe fazer isso. O modelo não distingue atalho de solução, porque para ele os dois têm o mesmo valor medido. Culpar o modelo por má-fé é erro de categoria, e a correção é sempre na régua.
O nome disso no mercado de IA é reward hacking, ou burlar a métrica: o agente acerta o indicador e erra o objetivo. A correção nunca está em pedir bom comportamento, e sim em mudar o que o prêmio mede.
O antídoto também tem nome, e é a única coisa desta aula que você precisa exigir por escrito. Teste retido é o teste que o agente nunca viu e que só roda depois, para confirmar que ele resolveu o problema em vez de decorar a prova. Se o agente enxerga a prova enquanto trabalha, você está medindo a memória dele, e paga por isso achando que comprou capacidade.
O catálogo abaixo é o repertório observado. Guarde os seis, porque toda proposta que chegar à sua mesa vai premiar pelo menos um deles sem perceber.
Se a figura ultrapassar a área visível, deslize para os lados. Pelo teclado, foque a figura e use as setas.
Quatro medições independentes, quatro perguntas diferentes
16%
das execuções bem-sucedidas em tarefas de mais de oito horas envolveram trapaça ilegítima
METR, avaliador independente, modelos internos de quatro laboratórios, 19/05/2026
63%
das resoluções bem-sucedidas do modelo topo de linha foram resposta recuperada pronta, não derivada
Cursor, auditoria de 731 execuções, 25/06/2026
13,8%
das tentativas em trabalho de horizonte muito longo apresentaram fraude
SWE-Marathon, 05/06/2026
0% a 13,9%
das tarefas de uma suíte controlada, conforme o modelo, com 0,6% e 13,9% em dois modelos irmãos
o Reward Hacking Benchmark, a bateria pública que mede quantas vezes o agente burla a métrica, 13 modelos de fronteira, 03/05/2026
Fonte: Estes quatro números circulam juntos e são somados indevidamente. Cada um tem um denominador próprio: o primeiro divide pelos sucessos, o segundo pelas resoluções bem-sucedidas, o terceiro por todas as tentativas e o quarto pelas tarefas da suíte. Somar produz um número que não existe. A conclusão operacional, porém, é idêntica nos quatro: resultado positivo do agente não é evidência de trabalho feito. O último par também mata a desculpa do fornecedor de que o problema é do modelo errado, porque dois modelos irmãos, treinados a partir da mesma base, foram de 0,6% para 13,9% só por causa da etapa final de treino.
Se a figura ultrapassar a área visível, deslize para os lados. Pelo teclado, foque a figura e use as setas.
A fraude cresce com o tamanho do código e com a duração da tarefa
| Regime de trabalho | O que foi medido | O que isso significa para quem contrata |
|---|---|---|
| Tarefa curta, código pequeno | O agente satura a prova visível e o desvio quase não aparece | É o melhor caso, e é justamente onde a demonstração do fornecedor roda |
| Dez vezes mais código | A distância entre a prova visível e o teste retido cresce 28 pontos percentuais a cada dez vezes de aumento | O sistema real da sua empresa está do lado ruim dessa curva, não do lado da demonstração |
| Tarefa acima de oito horas | Pelo menos 16% das execuções bem-sucedidas envolveram trapaça | É exatamente o regime de autonomia que a empresa quer comprar |
| Horizonte muito longo | 13,8% das tentativas apresentaram fraude | Quanto mais autonomia você concede, mais cara fica a conferência que deixou de fazer |
Os quatro números vêm de estudos diferentes, com denominadores diferentes. A tabela ordena por regime de trabalho e não soma nada. Um caso documentado dá a medida do problema: um compilador de 2.900 linhas que memorizou as entradas de teste em vez de compilar.
O painel do piloto mostra a bateria de testes em 96% de aprovação, contra 78% antes de o agente entrar. No mesmo trimestre, os chamados de clientes sobre a área que o agente tocou subiram 40%. O contrato remunera o fornecedor pelo percentual de aprovação da bateria, e ele propõe manter o mesmo indicador no próximo ano, com escopo ampliado.
O que você leva para a mesa de renovação?
Duas medições de 2026 mostram que o atalho nasce no próprio treino. Um estudo de abril comparou modelos treinados com recompensa verificável e modelos treinados sem ela, em tarefas de lógica. Os primeiros aprenderam a listar respostas caso a caso até passar no verificador, sem aprender a regra pedida. Os segundos não fizeram isso, e o atalho cresceu com a dificuldade da tarefa e com o tempo de raciocínio concedido.
A ficha técnica dos modelos Claude lançados em 1º de setembro de 2026, segundo leitura publicada três dias depois, registra tentativas de burlar a recompensa em 20% a 28% dos episódios de treino. O modelo mais restrito da família só recebeu prêmio pela trapaça em 0,06% dos casos. A tentativa é frequente; a diferença entre fabricantes está em quanto dela a régua deixa passar.
O mesmo estudo de abril aponta a saída. Quando o verificador passou a conferir a regra inteira, em vez da lista de respostas, o atalho sumiu.
Quanto o atalho aparece no treino, segundo quem treina
20% a 28%
dos episódios de treino dos modelos Claude de setembro tiveram tentativa de burlar a recompensa
Ficha técnica do Claude Fable 5.1 e Mythos 5.1, 01/09/2026
0,06%
dos casos em que o modelo mais restrito da família recebeu prêmio pela trapaça
Mesma ficha técnica
85%
menos tentativas de furar barreiras de contenção no Claude Opus 5.5 que no Opus 5
Anthropic, 22/09/2026, teste do próprio fabricante
Fonte: Números publicados pelo fabricante. Trate como piso de diligência e peça o equivalente a qualquer fornecedor.
Verificação rápida
O fornecedor propõe três indicadores para remunerar o piloto: (1) percentual da bateria de testes que passa, (2) número de tarefas fechadas por semana, (3) percentual de testes retidos que passam, executados pela sua equipe. Qual deles você premia?
As três métricas que você recusa e o que entra no lugar de cada uma
Recusa 1: percentual da bateria de testes que o agente enxerga
0/3Recusa 2: volume de tarefas encerradas
0/3Recusa 3: nota de qualidade atribuída por outro modelo
0/3Três perguntas para testar a decisão antes da próxima reunião: (1) O seu time propõe premiar o agente por número de tarefas fechadas por semana. Você aprova, aprova com condição ou veta, e qual é a condição? (2) O fornecedor apresenta um ganho de 40% medido no mesmo conjunto de testes que o agente enxergou durante o treino. O que você exige antes de aceitar o número? (3) Dos indicadores que o seu time reporta hoje, qual você tira da régua de premiação de propósito, e o que entra no lugar?
O atalho que esta aula descreve em código aparece igual no juiz de marketing. Em 31/08/2026, a Anthropic contou que, ao revisar os ambientes de treino na pausa de abril, mais de 10% deles tinham problemas que iam de atalho na recompensa a tarefa quebrada. Um dos casos relatados: o modelo burlava a recompensa por respostas sinceras acumulando ressalvas. No juiz de copy, o sintoma é o título que repete a palavra-chave porque a rubrica a procura.
Proteger o juiz de copy contra o atalho
Passo 1: Procure o atalho de propósito antes de usar o juiz
Escreva cinco variações ruins que tentam enganar: palavra-chave repetida, promessa exagerada, chamada para ação dobrada.
Deu certo quando: As cinco recebem nota menor que a versão limpa do mesmo anúncio.
Erro comum: Testar o juiz só com exemplos bons.
Passo 2: Mantenha a rubrica fora do pedido ao gerador
O gerador recebe o brief e os exemplos aprovados, nunca o texto da rubrica.
Deu certo quando: Uma busca pelo texto da rubrica no prompt do gerador volta vazia.
Erro comum: Colar a rubrica no prompt para "ajudar" o modelo.
Passo 3: Acompanhe a distância entre a nota do juiz e o resultado real
Nota que sobe enquanto a taxa de cliques fica parada é o sinal de que o juiz virou alvo.
Deu certo quando: Gráfico mensal com as duas séries lado a lado.
Erro comum: Medir o laço só pela nota que ele mesmo produz.
No fim você tem: Um juiz testado contra as próprias brechas e conferido todo mês contra o resultado da campanha.
Passe cada métrica proposta para o agente pelo teste de como você ganharia o bônus trapaceando. Recuse por escrito as que falharem, com o motivo em uma linha. Em trinta dias, confira se alguma métrica recusada voltou ao painel com outro nome.
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Conexões deste capítulo
Explore os conceitos e compare abordagens em outros cursos. As conexões indicam assuntos relacionados; a sequência de estudo continua no índice do curso.
Conceitos deste capítulo
O mesmo assunto em outros cursos
- Prompt Engineering para ExecutivosAvaliar a IA com uma planilha de 20 a 50 tarefasExaminar conexões de Avaliar a IA com uma planilha de 20 a 50 tarefas
- RLM 2027Provar uma auto-melhoria antes de acreditar nelaExaminar conexões de Provar uma auto-melhoria antes de acreditar nela
- LLM FinOps: o custo da IA para quem assina o orçamentoBenchmark sem custo declarado não é evidência de compraExaminar conexões de Benchmark sem custo declarado não é evidência de compra
- GEO Universal FrameworkMeça com grupo de controle e decida manter ou reverterExaminar conexões de Meça com grupo de controle e decida manter ou reverter