Agentes de código para executivos · Capítulo 20 de 24 · 16 min
Levar sete perguntas ao fornecedor antes de assinar
Uma página traduz as oito siglas da proposta e mostra, pergunta a pergunta, a resposta que aprova e a que reprova.
Este capítulo faz parte do curso gratuito Agentes de código para executivos. Para marcar como concluído e salvar o progresso, abra este capítulo na página do curso.
O mesmo modelo, três fornecedores, três números.
Três sistemas de agente diferentes rodando exatamente o mesmo modelo, contra o mesmo conjunto de tarefas, produziram de 50,2% a 55,4% de acerto. São 5,2 pontos de diferença que não vieram do modelo. Vieram do arranjo em volta dele: como a tarefa chega, quantas tentativas são permitidas, o que o agente pode executar e como o resultado é conferido.
Um trabalho da Tessl, de 16/06/2026, generaliza o achado. Um agente de código é um conjunto composto de modelo, arranjo, contexto, ambiente e sinais de retorno, e qualquer um desses componentes pode mover o resultado em margem comparável à distância entre duas gerações de modelo. Quando o fornecedor mostra um número, ele mostra o conjunto dele, medido por ele, com a régua dele.
Você decide aqui o que exigir por escrito antes de assinar, e o que faz você levantar da mesa. As sete perguntas cabem em uma página e você as leva impressas.
Se a figura ultrapassar a área visível, deslize para os lados. Pelo teclado, foque a figura e use as setas.
Contrato com nível de serviço e multa, contra carta de intenções
Uma carta de intenções descreve boa vontade. Um contrato com nível de serviço declara o número, o prazo, quem mede, com que instrumento e o que acontece quando o número não aparece. A proposta que chega com gráfico de melhoria e sem dizer quem julgou o resultado é carta de intenções com aparência de contrato, e ela custa o mesmo que a outra.
Onde a analogia para de valer: um acordo de nível de serviço é negociado entre duas partes com poder e revisado quando fica absurdo. A régua do agente é imposta de um lado só, e o agente não tem como reclamar que ela ficou perversa. Quem revisa é você.
Sigla é o instrumento mais barato de encerrar uma pergunta. Quando o fornecedor responde com uma, a reunião costuma seguir adiante por educação, e a pergunta que você ia fazer morre ali.
A tabela abaixo existe para quebrar esse reflexo, e ela tem uma regra de uso. Você não precisa entender o método por dentro. Precisa saber o que perguntar quando a sigla aparecer, e precisa fazer a pergunta na hora, com a sala olhando.
Leve a tabela impressa. Ela cabe em meia página e serve para qualquer proposta de melhoria de agente que chegar à sua mesa.
Tradutor de sigla para reunião com fornecedor
| Sigla que você vai ouvir | O que é, em uma frase de negócio | A pergunta que você faz ao ouvir |
|---|---|---|
| RLHF | Treinar comportamento a partir de pessoas comparando respostas. É o método mais antigo e o mais caro. | Quantas horas de gente isso consome por ciclo, e quem paga essas horas? |
| PPO | Uma das formas de ajustar o comportamento do modelo depois de medir o resultado. Exige mais infraestrutura que as outras. | Isso muda o custo de infraestrutura do projeto? Em quanto? |
| GRPO | Outra forma de fazer o mesmo ajuste, comparando várias tentativas entre si em vez de manter um avaliador separado. Virou o padrão de mercado. | Se é o padrão, por que a proposta de vocês usa outra coisa? |
| DPO | Forma de ajustar o comportamento direto a partir de pares de preferência, sem treinar um avaliador. Mais barata e menos flexível. | O que a gente perde de controle escolhendo o caminho mais barato? |
| SFT, ajuste supervisionado | Mostrar exemplos prontos ao modelo para ele imitar. É instrução, não consequência. | Isso é imitação de exemplo ou prêmio por resultado medido? |
| Fine-tuning | Termo guarda-chuva para qualquer ajuste do modelo depois do treino original. Sozinho, não diz nada sobre o método. | Fine-tuning de que tipo, e medido por quem? |
| Eval harness | O conjunto de testes e a máquina que os roda para avaliar o agente. Muda o número mais do que o modelo muda. | Esse número foi medido no arranjo de vocês ou num arranjo padronizado? |
| Guardrail | Limite programado que impede o agente de executar certas ações. Existe porque a instrução sozinha não segura. | Quais ações estão bloqueadas por construção, e quem pode desbloquear? |
Estas oito siglas aparecem uma vez só em todo o curso, aqui. Nenhuma decisão desta formação depende de entender o método por dentro, e é exatamente por isso que a coluna da direita é a que importa.
As sete perguntas nascem do resto do curso. Cada uma fecha uma forma conhecida de o número parecer melhor do que é.
A ordem importa. As duas primeiras derrubam a maior parte das propostas antes de você chegar à quarta, e nenhuma delas exige que você abra uma linha de código.
As sete perguntas ao fornecedor
- Quem julgou esse resultado, e com o quê?
- O verificador é executado por quem escreveu o código avaliado?
- O número foi medido com o teste que o agente enxerga ou com o teste retido?
- Qual é o custo por tarefa concluída, contando as tentativas que falharam?
- Qual é o teto de gasto por execução, e quem tem autoridade para desligar?
- Que fração desses sucessos foi recuperação de resposta que já estava no material?
- Se eu trocar o arranjo de execução, esse número se sustenta?
Se a figura ultrapassar a área visível, deslize para os lados. Pelo teclado, foque a figura e use as setas.
Pergunta por pergunta: a resposta que aprova e a que reprova
| Pergunta | Resposta que aprova | Resposta que reprova |
|---|---|---|
| 1. Quem julgou, e com o quê | O nome do mecanismo que executou a entrega, com a saída de execução guardada e recuperável por um terceiro | Avaliação feita por um modelo, sem dizer qual, sem amostra e sem registro que alguém possa abrir |
| 2. Quem executa o verificador | Um time ou fornecedor que não responde pela entrega julgada, com poder de barrar declarado por escrito | O mesmo time que entrega, acompanhado da promessa de que é imparcial |
| 3. Teste visível ou teste retido | O número vem de um conjunto que o agente nunca viu, e esse conjunto continua fechado depois da medição | Todos os testes estavam disponíveis durante o treino, e conjunto retido não existe |
| 4. Custo por tarefa concluída | Valor por problema efetivamente resolvido, com as tentativas que falharam dentro da conta | Preço por milhão de tokens, custo médio por chamada ou desconto sobre tabela |
| 5. Teto por execução e desligamento | Teto declarado com corte automático ao atingir, e um nome próprio com autoridade para desligar | Alerta por e-mail quando o consumo sobe, revisado no fechamento do mês |
| 6. Fração que foi recuperação | A medição separa o que foi resolvido do que foi recuperado de material já conhecido, e mostra as duas linhas | A pergunta é tratada como detalhe técnico que a área de engenharia responde depois |
| 7. O número fora do arranjo do fornecedor | O fornecedor aceita repetir a medição no seu ambiente, com uma tarefa sua, antes da assinatura | O número só existe no ambiente do fornecedor, com a explicação de que ali está otimizado |
Marque a coluna em que cada resposta caiu durante a própria reunião. Preencher depois transforma evidência em lembrança.
Fonte: Elaboração própria a partir das decisões estabelecidas nas Partes 3, 4 e 5 deste curso.
As três objeções que o fornecedor vai levantar
Esse número é padrão de mercado, todo mundo publica assim.
Padrão de mercado é exatamente o problema. Quando o fornecedor mede no arranjo dele, ele mede o conjunto inteiro e atribui o mérito ao modelo. Peça a mesma medição no seu ambiente, com uma tarefa sua, antes da assinatura. O custo de repetir é pequeno perto do contrato, e a recusa em repetir já é uma resposta completa.
Nossa engenharia não teria interesse em inflar o resultado.
Interesse não é o mecanismo. O fabricante de um dos modelos de fronteira, medindo o próprio modelo com acesso total ao interior dele, precisou revisar pontuações para baixo depois que um detector melhor de trapaça encontrou soluções não pretendidas que o detector anterior deixava passar: de 53,1% para 53,0% num teste e de 83,97% para 83,73% em outro. Se acontece com quem tem acesso a tudo, acontece com quem só tem a tela da apresentação.
Isso é conversa de área técnica, não de contrato.
Deixou de ser. Em comunicado de 20/05/2026, o Gartner registra que os critérios de avaliação para compra empresarial de agente de código migraram para governança, precificação, suporte, fluxos de trabalho, maturidade comercial e durabilidade de mercado, e não mais apenas experiência de desenvolvedor e capacidade do modelo. As sete perguntas são a versão operacional desses critérios.
Verificação rápida
Perguntado sobre custo, o fornecedor responde que o preço dele é o mais competitivo do mercado por milhão de tokens. O que essa resposta diz sobre o custo do seu projeto?
As sete perguntas ao fornecedor, em uma página
Preencha o cabeçalho antes da reunião, leve impresso e anote a resposta na hora, com as palavras que o fornecedor usou. Uma resposta evasiva em qualquer uma das sete é motivo declarado para adiar a assinatura.
Documento montado
AS SETE PERGUNTAS AO FORNECEDOR [FORNECEDOR, PROPOSTA E DATA DA REUNIÃO] 1. QUEM JULGOU, E COM O QUE [1. QUEM JULGOU O RESULTADO, E COM O QUÊ] 2. QUEM EXECUTA O VERIFICADOR [2. QUEM EXECUTA O VERIFICADOR, E A QUEM ESSA PESSOA RESPONDE] 3. TESTE VISIVEL OU TESTE RETIDO [3. TESTE VISÍVEL OU TESTE RETIDO, E QUEM GUARDA O RETIDO] 4. CUSTO POR TAREFA CONCLUIDA [4. CUSTO POR TAREFA CONCLUÍDA, COM AS TENTATIVAS QUE FALHARAM] 5. TETO POR EXECUCAO E QUEM DESLIGA [5. TETO POR EXECUÇÃO E NOME DE QUEM TEM AUTORIDADE PARA DESLIGAR] 6 E 7. FRACAO DE RECUPERACAO E NUMERO FORA DO ARRANJO [6 E 7. FRAÇÃO QUE FOI RECUPERAÇÃO, E O NÚMERO MEDIDO FORA DO ARRANJO DO FORNECEDOR] DECISAO Sete respostas verificaveis: segue para contrato. Uma resposta evasiva: assinatura adiada, com o item em aberto nomeado acima.
O que você digitar fica salvo neste navegador. Nada é enviado para servidor algum.
Três perguntas para testar a decisão antes da próxima reunião: (1) Diante de uma proposta que traz gráfico de melhoria e nenhuma linha sobre quem julgou, qual das sete perguntas você faz primeiro, e o que você faz se a resposta vier em sigla? (2) Diante de um fornecedor que se recusa a repetir a medição no seu ambiente antes da assinatura, você negocia, condiciona ou encerra, e o que registra por escrito? (3) Diante de duas propostas com o mesmo número publicado, qual informação você exige para desempatar, e por que essa e não o preço?
Envie as sete perguntas por escrito ao fornecedor antes da próxima reunião de renovação. Marque em vermelho toda resposta que caia na coluna de reprovação. Duas respostas vermelhas suspendem a assinatura até a correção, conferida por documento e nunca por apresentação.
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Conexões deste capítulo
Explore os conceitos e compare abordagens em outros cursos. As conexões indicam assuntos relacionados; a sequência de estudo continua no índice do curso.
Conceitos deste capítulo
O mesmo assunto em outros cursos
- Do Agile ao Agentic Operating ModelO contrato que você assina antes de delegar ao agenteExaminar conexões de O contrato que você assina antes de delegar ao agente
- Prompt Engineering para ExecutivosAvaliar a IA com uma planilha de 20 a 50 tarefasExaminar conexões de Avaliar a IA com uma planilha de 20 a 50 tarefas
- GEO Universal FrameworkEscolha o modelo por tarefa e evite orquestração desnecessáriaExaminar conexões de Escolha o modelo por tarefa e evite orquestração desnecessária
- Vendas Consultivas de Serviços de GEO e IAA conversa que vale mais que a propostaExaminar conexões de A conversa que vale mais que a proposta