Avaliar e melhorar agentes · ·
Pedir evidências antes de assinar
Transforme promessas em perguntas sobre configuração, custo e limites.
Este capítulo faz parte do curso gratuito Avaliar e melhorar agentes.
Uma proposta precisa permitir que outra pessoa entenda o que foi medido. Pergunte qual tarefa foi usada, que versão executou, quais ferramentas estavam disponíveis, quanto custou e quais falhas ficaram de fora. A resposta deve chegar com exemplos e registros, não apenas com adjetivos.
Ver como texto
Guia da OpenAI de boas práticas de avaliação de sistemas de IA, com etapas e critérios para comparar resultados.
Você decide aqui o que exigir por escrito antes de assinar, e o que faz você levantar da mesa. As sete perguntas cabem em uma página e você as leva impressas.
Ver como texto
Três sistemas de agente diferentes rodando o mesmo modelo contra o mesmo conjunto de tarefas produziram de 50,2 por cento a 55,4 por cento de acerto, uma diferença de 5,2 pontos que veio do arranjo em volta do modelo e não do modelo.
Contrato com nível de serviço e multa, contra carta de intenções
Uma carta de intenções descreve boa vontade. Um contrato com nível de serviço declara o número, o prazo, quem mede, com que instrumento e o que acontece quando o número não aparece. A proposta que chega com gráfico de melhoria e sem dizer quem julgou o resultado é carta de intenções com aparência de contrato, e ela custa o mesmo que a outra.
Onde a analogia para de valer: um acordo de nível de serviço é negociado entre duas partes com poder e revisado quando fica absurdo. A régua do agente é imposta de um lado só, e o agente não tem como reclamar que ela ficou perversa. Quem revisa é você.
Peça também a condição que muda a recomendação: indisponibilidade de serviço, limite de dados, necessidade de revisão ou retirada de modelo. Uma comparação é mais útil quando o fornecedor explica onde sua solução deixa de funcionar bem.
Ver como texto
Documentação da OpenAI sobre configuração e execução de avaliações, com exemplos de tarefas e resultados.
Exemplo: a proposta anuncia “melhor qualidade”. A empresa solicita as tarefas, respostas e critérios da comparação. Descobre que a versão nova usou mais tentativas e revisão humana adicional. O ganho pode existir, mas a decisão de compra passa a considerar esses custos e não apenas a nota apresentada.
Ver como texto
Calendário oficial de descontinuações da OpenAI, com identificadores de modelos e datas de encerramento.
| Sigla que você vai ouvir | O que é, em uma frase de negócio | A pergunta que você faz ao ouvir |
|---|---|---|
| RLHF | Treinar comportamento a partir de pessoas comparando respostas. É o método mais antigo e o mais caro. | Quantas horas de gente isso consome por ciclo, e quem paga essas horas? |
| PPO | Uma das formas de ajustar o comportamento do modelo depois de medir o resultado. Exige mais infraestrutura que as outras. | Isso muda o custo de infraestrutura do projeto? Em quanto? |
| GRPO | Outra forma de fazer o mesmo ajuste, comparando várias tentativas entre si em vez de manter um avaliador separado. Virou o padrão de mercado. | Se é o padrão, por que a proposta de vocês usa outra coisa? |
| DPO | Forma de ajustar o comportamento direto a partir de pares de preferência, sem treinar um avaliador. Mais barata e menos flexível. | O que a gente perde de controle escolhendo o caminho mais barato? |
| SFT, ajuste supervisionado | Mostrar exemplos prontos ao modelo para ele imitar. É instrução, não consequência. | Isso é imitação de exemplo ou prêmio por resultado medido? |
| Fine-tuning | Termo guarda-chuva para qualquer ajuste do modelo depois do treino original. Sozinho, não diz nada sobre o método. | Fine-tuning de que tipo, e medido por quem? |
| Eval harness | O conjunto de testes e a máquina que os roda para avaliar o agente. Muda o número mais do que o modelo muda. | Esse número foi medido no arranjo de vocês ou num arranjo padronizado? |
| Guardrail | Limite programado que impede o agente de executar certas ações. Existe porque a instrução sozinha não segura. | Quais ações estão bloqueadas por construção, e quem pode desbloquear? |
Estas oito siglas aparecem uma vez só em todo o curso, aqui. Nenhuma decisão desta formação depende de entender o método por dentro, e é exatamente por isso que a coluna da direita é a que importa.
As sete perguntas nascem do resto do curso. Cada uma fecha uma forma conhecida de o número parecer melhor do que é.
A ordem importa. As duas primeiras derrubam a maior parte das propostas antes de você chegar à quarta, e nenhuma delas exige que você abra uma linha de código.
As sete perguntas ao fornecedor
- Quem julgou esse resultado, e com o quê?
- O verificador é executado por quem escreveu o código avaliado?
- O número foi medido com o teste que o agente enxerga ou com o teste retido?
- Qual é o custo por tarefa concluída, contando as tentativas que falharam?
- Qual é o teto de gasto por execução, e quem tem autoridade para desligar?
- Que fração desses sucessos foi recuperação de resposta que já estava no material?
- Se eu trocar o arranjo de execução, esse número se sustenta?
Ver como texto
As sete perguntas ao fornecedor funcionam como portão de assinatura: sete respostas verificáveis liberam a assinatura, e uma única resposta evasiva encerra a reunião sem contrato.
| Pergunta | Resposta que aprova | Resposta que reprova |
|---|---|---|
| 1. Quem julgou, e com o quê | O nome do mecanismo que executou a entrega, com a saída de execução guardada e recuperável por um terceiro | Avaliação feita por um modelo, sem dizer qual, sem amostra e sem registro que alguém possa abrir |
| 2. Quem executa o verificador | Um time ou fornecedor que não responde pela entrega julgada, com poder de barrar declarado por escrito | O mesmo time que entrega, acompanhado da promessa de que é imparcial |
| 3. Teste visível ou teste retido | O número vem de um conjunto que o agente nunca viu, e esse conjunto continua fechado depois da medição | Todos os testes estavam disponíveis durante o treino, e conjunto retido não existe |
| 4. Custo por tarefa concluída | Valor por problema efetivamente resolvido, com as tentativas que falharam dentro da conta | Preço por milhão de tokens, custo médio por chamada ou desconto sobre tabela |
| 5. Teto por execução e desligamento | Teto declarado com corte automático ao atingir, e um nome próprio com autoridade para desligar | Alerta por e-mail quando o consumo sobe, revisado no fechamento do mês |
| 6. Fração que foi recuperação | A medição separa o que foi resolvido do que foi recuperado de material já conhecido, e mostra as duas linhas | A pergunta é tratada como detalhe técnico que a área de engenharia responde depois |
| 7. O número fora do arranjo do fornecedor | O fornecedor aceita repetir a medição no seu ambiente, com uma tarefa sua, antes da assinatura | O número só existe no ambiente do fornecedor, com a explicação de que ali está otimizado |
Marque a coluna em que cada resposta caiu durante a própria reunião. Preencher depois transforma evidência em lembrança.
Fonte: Elaboração própria a partir das decisões estabelecidas nas Partes 3, 4 e 5 deste curso.
As três objeções que o fornecedor vai levantar
Esse número é padrão de mercado, todo mundo publica assim.
Padrão de mercado é exatamente o problema. Quando o fornecedor mede no arranjo dele, ele mede o conjunto inteiro e atribui o mérito ao modelo. Peça a mesma medição no seu ambiente, com uma tarefa sua, antes da assinatura. O custo de repetir é pequeno perto do contrato, e a recusa em repetir já é uma resposta completa.
Nossa engenharia não teria interesse em inflar o resultado.
Interesse não é o mecanismo. O fabricante de um dos modelos de fronteira, medindo o próprio modelo com acesso total ao interior dele, precisou revisar pontuações para baixo depois que um detector melhor de trapaça encontrou soluções não pretendidas que o detector anterior deixava passar: de 53,1% para 53,0% num teste e de 83,97% para 83,73% em outro. Se acontece com quem tem acesso a tudo, acontece com quem só tem a tela da apresentação.
Isso é conversa de área técnica, não de contrato.
Deixou de ser. Em comunicado de 20/05/2026, o Gartner registra que os critérios de avaliação para compra empresarial de agente de código migraram para governança, precificação, suporte, fluxos de trabalho, maturidade comercial e durabilidade de mercado, e não mais apenas experiência de desenvolvedor e capacidade do modelo. As sete perguntas são a versão operacional desses critérios.
As sete perguntas ao fornecedor, em uma página
Preencha o cabeçalho antes da reunião, leve impresso e anote a resposta na hora, com as palavras que o fornecedor usou. Uma resposta evasiva em qualquer uma das sete é motivo declarado para adiar a assinatura.
Documento montado
AS SETE PERGUNTAS AO FORNECEDOR [FORNECEDOR, PROPOSTA E DATA DA REUNIÃO] 1. QUEM JULGOU, E COM O QUE [1. QUEM JULGOU O RESULTADO, E COM O QUÊ] 2. QUEM EXECUTA O VERIFICADOR [2. QUEM EXECUTA O VERIFICADOR, E A QUEM ESSA PESSOA RESPONDE] 3. TESTE VISIVEL OU TESTE RETIDO [3. TESTE VISÍVEL OU TESTE RETIDO, E QUEM GUARDA O RETIDO] 4. CUSTO POR TAREFA CONCLUIDA [4. CUSTO POR TAREFA CONCLUÍDA, COM AS TENTATIVAS QUE FALHARAM] 5. TETO POR EXECUCAO E QUEM DESLIGA [5. TETO POR EXECUÇÃO E NOME DE QUEM TEM AUTORIDADE PARA DESLIGAR] 6 E 7. FRACAO DE RECUPERACAO E NUMERO FORA DO ARRANJO [6 E 7. FRAÇÃO QUE FOI RECUPERAÇÃO, E O NÚMERO MEDIDO FORA DO ARRANJO DO FORNECEDOR] DECISAO Sete respostas verificaveis: segue para contrato. Uma resposta evasiva: assinatura adiada, com o item em aberto nomeado acima.
O que você digitar fica salvo neste navegador. Nada é enviado para servidor algum.
Três perguntas para testar a decisão antes da próxima reunião: (1) Diante de uma proposta que traz gráfico de melhoria e nenhuma linha sobre quem julgou, qual das sete perguntas você faz primeiro, e o que você faz se a resposta vier em sigla? (2) Diante de um fornecedor que se recusa a repetir a medição no seu ambiente antes da assinatura, você negocia, condiciona ou encerra, e o que registra por escrito? (3) Diante de duas propostas com o mesmo número publicado, qual informação você exige para desempatar, e por que essa e não o preço?
Envie as sete perguntas por escrito ao fornecedor antes da próxima reunião de renovação. Marque em vermelho toda resposta que caia na coluna de reprovação. Duas respostas vermelhas suspendem a assinatura até a correção, conferida por documento e nunca por apresentação.
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Veja o que estudar antes e para onde seguir depois, explore os conceitos e compare abordagens em outros cursos. Sugestões marcadas como “sugerido pelo grafo” vêm dos assuntos em comum, não do índice do curso.
- Calcular o custo por tarefa e escolher o modelo pelo resultadosugerido pelo grafoApresenta o conceito “Custo por tarefa”, usado em “Pedir evidências antes de assinar”.
- CursoSetup Completo: do zero ao Claude Code (Windows)sugerido pelo grafoO Setup ensina permissões, contexto do projeto e escolha de modelo por custo. Essa preparação sustenta os exercícios de comparação de assistentes, criação do gerador de UTM e regras de projeto no curso de aprendizado por reforço e vibecoding.
- CursoAstra profundosugerido pelo grafo4 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Astra profundo”.
- CursoLetramento em IA para Executivossugerido pelo grafo5 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Letramento em IA para Executivos”.
- Modelo de trabalho com agentes de IAQuem confere a entrega e pode pedir correção?Examinar conexões de Quem confere a entrega e pode pedir correção?
- Prompt Engineering para ExecutivosTestar a IA com 20 a 50 casos reais antes de liberarExaminar conexões de Testar a IA com 20 a 50 casos reais antes de liberar
- Agentes de IA autônomos: como delegar e acompanharTestes e avaliação: que evidências permitem aprovar um pilotoExaminar conexões de Testes e avaliação: que evidências permitem aprovar um piloto
- RLM: grandes acervosComo governar uma operação contínuaExaminar conexões de Como governar uma operação contínua
Terminou a leitura?
Você está aqui: capítulo 20 de 27
0 de 27 concluídos
- Próximo · Capítulo 21 de 27 · 17 minOrganizar a decisão e a revisão do pilotoLer o capítulo 21 sem concluir
Marque como concluído para o capítulo contar no seu painel e no certificado.
- Anterior · Capítulo 19 de 27 · 22 minSeparar execução, verificação e aprovaçãoVoltar para o capítulo 19
Leve uma ideia para a prática
Escolha uma atividade no painel e volte a este curso quando quiser.
Atividades e evolução ficam reunidas no painel da sua conta.


