Agentes de código para executivos · Capítulo 9 de 24 · 19 min
Transformar promessa de melhoria em cláusula de contrato
Recompensa verificável sustenta toda proposta séria de melhoria, e a cláusula de evidência obriga o fornecedor a demonstrá-la.
Este capítulo faz parte do curso gratuito Agentes de código para executivos. Para marcar como concluído e salvar o progresso, abra este capítulo na página do curso.
O conceito já está inteiro de pé, e faltava só o nome. Um agente melhora naquilo que foi premiado. O prêmio pode vir de alguém atribuindo nota, e nesse caso ele carrega a opinião de quem atribuiu. Ou o prêmio pode vir da execução do trabalho, e nesse caso existe registro, existe repetição e existe alguém de fora capaz de conferir. O nome que o mercado dá para a segunda opção é a sigla que vai estar escrita na próxima proposta que chegar à sua mesa.
RLVR, de reinforcement learning with verifiable rewards, aprendizado por reforço com recompensa verificável: treinar por consequência quando a consequência é medida por execução, e não por nota. A sigla aparece em material de fornecedor, em artigo técnico e em slide de arquitetura. Ela não descreve tecnologia proprietária de ninguém. Ela descreve de onde vem o prêmio, e é por isso que ela sustenta ou derruba uma compra.
Você decide aqui se a promessa de melhoria que chegou tem base para virar contrato: quem executa a medida, com que frequência, e o que acontece com o pagamento se o número não se sustentar fora do teste. Por que isso toca receita e risco: promessa de melhoria sem cláusula de evidência é despesa fixa contra resultado variável. A empresa paga o ciclo inteiro e descobre no fim que o ganho existia apenas dentro do ambiente onde foi medido. A decisão que cabe a você: aprovar, aprovar com condição ou vetar, e escrever a condição em linguagem que o jurídico consiga cobrar. O que dá para delegar: montar o conjunto de tarefas da medição. O que não dá: definir a consequência sobre o pagamento.
O teste de bancada na linha de produção
A peça sobe na esteira e para na bancada. O instrumento mede e o resultado é um de dois, dentro ou fora da tolerância. Ninguém pergunta ao operador se a peça parece boa naquele dia. O laudo da bancada é o que libera o lote, e é o mesmo laudo que a fábrica tira da gaveta quando o cliente reclama seis meses depois.
Onde a analogia para de valer: peça física tem tolerância dimensional objetiva e única. Software tem correção parcial, comportamento fora do teste e falha que só aparece com carga real. Passou na bancada cobre menos do que parece, e a lista do que ficou de fora precisa estar escrita.
Se a figura ultrapassar a área visível, deslize para os lados. Pelo teclado, foque a figura e use as setas.
O que o laço compra, em linguagem de orçamento
A cada volta, o agente propõe, o verificador executa, e o que funcionou é premiado. Repetida muitas vezes, essa volta empurra o comportamento padrão do agente na direção do que passou na execução. O ganho aparece em um indicador que o executivo consegue cobrar sem ajuda de ninguém.
Taxa de acerto na primeira tentativa é a fração de tarefas que o agente resolve logo na primeira resposta, sem repetir. É o número que mais mexe na conta, porque cada repetição é uma execução paga que ninguém orçou. Duas ferramentas com o mesmo preço de tabela e taxas de acerto diferentes produzem faturas diferentes, e a diferença cresce com o volume.
Se a figura ultrapassar a área visível, deslize para os lados. Pelo teclado, foque a figura e use as setas.
A escala em que isso já opera, e o que ela significa para quem compra
365 mil
tarefas de treino de agente disponíveis atrás de uma única interface, prontas para alugar
Prime Intellect, 22/07/2026
198 mil
delas são de engenharia de software, em mais de vinte linguagens de programação
Prime Intellect, 22/07/2026
23
conjuntos de tarefas de treino já prontos para alugar, o que transforma a matéria-prima do treino em item de catálogo
Prime Intellect, 22/07/2026
50,40%
é o resultado de um laço que usa os próprios registros de execução como fonte de sinal, depois de três voltas
Socratic-SWE, 05/06/2026, SWE-bench Verified
O número que você exige, e o número que você recusa
A existência de catálogo de tarefas prontas para treino muda a conversa comercial. Quando a matéria-prima do treino está disponível para aluguel, o fornecedor que cobra por ela precisa explicar o que ele acrescenta em cima. Essa é a pergunta de margem, e ela cabe na primeira reunião.
O segundo movimento é escolher a régua da comparação. Número medido pelo próprio fornecedor no arranjo dele serve para triagem. Para decidir, exija número medido em arranjo padronizado, que é quando todos os concorrentes rodam no mesmo sistema. A única comparação assim que localizamos no período registra 59,1% como melhor resultado num conjunto público de 731 tarefas, contra os 69% a 80% que os fornecedores publicam nos próprios materiais. Guarde a ordem de grandeza da diferença, e não o dígito.
Diretora de operações avaliando a renovação de um contrato de agente de código
Indústria de bens de consumo, time interno de tecnologia com 40 pessoas
Dor
A renovação chegou com aumento de preço e a promessa de um agente melhor. O único indicador da proposta era a satisfação declarada pelo time de desenvolvimento com as sugestões da ferramenta.
Solução
Ela segurou a assinatura até que a proposta trouxesse a taxa de acerto na primeira tentativa, medida por execução, num conjunto de tarefas da própria empresa que o fornecedor não conhecia antes.
Resultado
O fornecedor levou cinco semanas para produzir a medição. O número veio abaixo do que a apresentação sugeria, e a renovação foi assinada com preço revisado e com a medição repetida a cada trimestre.
Custo apurado: Cinco semanas de atraso na renovação e cerca de vinte horas do time interno para preparar o conjunto de tarefas.
Cenário construído para fins didáticos. Números não correspondem a cliente específico.
Verificação rápida
Uma proposta promete elevar em 15 pontos a taxa de acerto na primeira tentativa do agente, com treino por consequência sobre um catálogo de tarefas alugado. A medição do ganho fica com o fornecedor, roda uma vez no fim dos seis meses e o pagamento é integral por etapa de calendário. O que você faz?
Cláusula de evidência para proposta de melhoria de agente
Preencha com a proposta que está na sua mesa. O texto gerado entra como anexo da proposta comercial e serve de base para o jurídico. Cada campo em branco vira uma lacuna visível no documento, o que é melhor do que uma lacuna invisível no contrato.
Documento montado
CLÁUSULA DE EVIDÊNCIA Fornecedor e escopo ....... [FORNECEDOR E ESCOPO DO SERVIÇO] Ganho prometido ........... [GANHO PROMETIDO, COM O INDICADOR E O NÚMERO] 1. QUEM EXECUTA A MEDIDA [QUEM EXECUTA A MEDIDA, E POR QUE ESSA PARTE É INDEPENDENTE] Quem executa a medida não pode ser quem responde pela entrega medida. A troca dessa parte durante a vigência exige aprovação prévia por escrito. 2. COMO E QUANDO A MEDIDA ACONTECE [FREQUÊNCIA DA MEDIÇÃO E CONJUNTO DE TAREFAS USADO] A medida é feita por execução do trabalho entregue, com registro de data e ambiente. Nota atribuída por pessoa ou por outro modelo entra como sinal secundário e não substitui a execução em nenhuma hipótese. 3. O QUE ACONTECE COM O PAGAMENTO [CONSEQUÊNCIA SOBRE O PAGAMENTO SE O NÚMERO NÃO SE SUSTENTAR] 4. O QUE FICA DECLARADO COMO NÃO COBERTO O fornecedor lista, no anexo técnico, as dimensões de qualidade que a medição não alcança. Cada dimensão listada recebe um responsável nomeado da contratante. Dimensão sem responsável nomeado fica sem dono, e isso passa a constar em ata. 5. REVISÃO DA RÉGUA A régua de medição é revista a cada seis meses, porque régua fixa perde eficácia conforme a capacidade do agente cresce. A revisão é obrigação das duas partes e tem data no cronograma.
O que você digitar fica salvo neste navegador. Nada é enviado para servidor algum.
Glossário rápido
RL, aprendizado por reforço
Treinar por consequência em vez de treinar por instrução: em vez de dizer como fazer, você define o que vale prêmio no resultado.
Juiz por nota
Quem atribui uma pontuação ao trabalho entregue com base em julgamento, seja uma pessoa ou outro modelo treinado para imitar uma pessoa.
Juiz por execução
O que roda o trabalho entregue e registra se funcionou, sem atribuir julgamento nenhum.
Verificador
O mecanismo que executa o trabalho entregue e observa se funcionou, sem opinar.
Suíte de testes
O conjunto de verificações automáticas que roda a cada alteração e reprova o que quebrou, entre os problemas que ela sabe procurar.
RLVR, recompensa verificável
De reinforcement learning with verifiable rewards, aprendizado por reforço com recompensa verificável: treinar por consequência quando a consequência é medida por execução, e não por nota.
Taxa de acerto na primeira tentativa
A fração de tarefas que o agente resolve logo na primeira resposta, sem repetir. É o número que mais mexe na conta de custo.
A cláusula de evidência só vale se alguém olha o número toda semana. O painel abaixo reúne as quatro métricas que sustentam um piloto de agente, cada uma com o jeito conhecido de inflá-la e o contrapeso que desmonta o atalho. Nenhuma delas sozinha basta; juntas, elas se vigiam.
Guia prático: o painel de quatro números do piloto
| Métrica | O que mostra | Como o agente infla | Contrapeso |
|---|---|---|---|
| Tarefas aceitas sem reescrita | Quanto do que o agente entrega fica de pé | Escolher só tarefas fáceis | Lote de tarefas sorteado, igual antes e depois |
| Horas de revisão por entrega aceita | O imposto de verificação em número | Entregas pequenas demais, que somam mais revisões | Medir também por funcionalidade concluída |
| Taxa de falha de mudança em produção | Quanto do que entrou precisou ser desfeito | Adiar a entrada para depois da medição | Janela de medição fixa, publicada antes |
| Aprovação no lote retido | Se o ganho vale fora da régua visível | Nenhum, se o lote ficar fora do alcance do agente | Guarda do lote com quem não opera o agente |
Custo por tarefa concluída entra como quinta linha quando o piloto passa de trinta dias.
Três perguntas para testar a decisão antes da próxima reunião: (1) Um fornecedor te mostra um gráfico de melhoria e não diz quem julgou os resultados. Qual é a sua próxima pergunta, e o que você faz se a resposta for evasiva? (2) O time propõe usar outro modelo de IA como avaliador da qualidade do código. Você aprova, aprova com condição ou veta, e qual é a condição? (3) Sua diretoria quer um número único para acompanhar mensalmente. Qual você escolhe, e qual você recusa de propósito?
A pergunta que você leva para a próxima reunião de contrato é esta: a partir de que data nenhuma promessa de melhoria de agente entra em proposta desta empresa sem dizer quem executa a medida, com que frequência e o que acontece com o pagamento se o número não se sustentar? O critério para responder tem três partes. Primeiro, comece pelo valor do contrato: exigir cláusula de evidência de tudo trava a compra de ferramenta pequena, exigir dos contratos que pesam no orçamento anual custa uma página. Segundo, a medição precisa acontecer durante a vigência, e não no fim, porque medição no fim descobre o problema quando já não existe alavanca. Terceiro, quem mede precisa ter nome próprio e não pode responder pela entrega medida, porque quem responde pela entrega não pode ser quem atesta que ela deu certo. A frase para guardar seis meses depois de fechar esta parte: quando a recompensa vem de um teste que roda de verdade, o agente melhora no que foi testado, e só no que foi testado. Nota é opinião, prova é execução, e só uma delas resiste à pergunta "quem julgou".
Inclua a cláusula de evidência na minuta do próximo contrato de agente e publique o painel de quatro números para o piloto em andamento. Toda semana, confira se o resultado no lote retido acompanha o resultado na régua. Distância crescente por duas semanas seguidas abre revisão.
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Conexões deste capítulo
Explore os conceitos e compare abordagens em outros cursos. As conexões indicam assuntos relacionados; a sequência de estudo continua no índice do curso.
Conceitos deste capítulo
O mesmo assunto em outros cursos
- LLM FinOps: o custo da IA para quem assina o orçamentoBenchmark sem custo declarado não é evidência de compraExaminar conexões de Benchmark sem custo declarado não é evidência de compra
- Prompt Engineering para ExecutivosAvaliar a IA com uma planilha de 20 a 50 tarefasExaminar conexões de Avaliar a IA com uma planilha de 20 a 50 tarefas
- GEO Universal FrameworkEscolha o modelo por tarefa e evite orquestração desnecessáriaExaminar conexões de Escolha o modelo por tarefa e evite orquestração desnecessária
- Engenharia de Software para ExecutivosMedir o que a IA mudou de verdade na engenhariaExaminar conexões de Medir o que a IA mudou de verdade na engenharia