Avaliar e melhorar agentes · ·
Encontrar o custo que a primeira resposta esconde
Some tentativas, ferramentas e revisão humana na mesma comparação.
Este capítulo faz parte do curso gratuito Avaliar e melhorar agentes.
O custo de uma tarefa não termina quando o modelo responde. Cada tentativa pode usar ferramentas, ocupar um ambiente de execução e exigir revisão. Separe essas parcelas para enxergar onde o processo está gastando e qual mudança tem chance de ajudar.
Ver como texto
Guia da OpenAI de boas práticas de avaliação de sistemas de IA, com etapas e critérios para comparar resultados.
Você vai reconhecer onde está o gasto adicional: aprender a ferramenta, conferir as entregas ou corrigir problemas que passaram pela revisão. O diagnóstico orienta a próxima mudança no piloto.
Custo por resultado aceito divide o gasto do conjunto de tentativas pelo número de entregas que atenderam ao critério. Essa medida precisa vir acompanhada do volume e das falhas. Reduzir a revisão para melhorar o indicador pode apenas deslocar o problema para quem receberá o trabalho.
Ver como texto
Documentação da OpenAI sobre configuração e execução de avaliações, com exemplos de tarefas e resultados.
Exemplo: um piloto gasta R$ 120 em doze tarefas, mas só oito são aceitas. O custo é R$ 15 por entrega aceita, antes de acrescentar o trabalho humano ainda não medido. Informar apenas R$ 10 por tarefa esconde as quatro rejeições. As duas contas servem a perguntas diferentes e devem ser identificadas.
Ver como texto
Documentação do Promptfoo mostrando verificações determinísticas e métricas avaliadas por modelos.
Separe três hipóteses para investigar. Pessoas no início do uso podem precisar de mais acompanhamento. O aumento de entregas pode ampliar a fila de revisão. E mudanças aprovadas podem revelar falhas na operação. Esses efeitos podem aparecer juntos; compare os registros antes de atribuir a causa à IA ou ao processo.
| Causa | Sintoma que aparece primeiro | O número que revela | Quem paga a conta |
|---|---|---|---|
| Curva de aprendizado | Retrabalho concentrado em quem adotou há menos tempo, e que diminui mês a mês | Tempo entre a primeira versão proposta e a versão que ficou de pé, quebrado por tempo de uso da ferramenta | Orçamento de pessoal do trimestre, uma vez só |
| Imposto de verificação | A fila de conferência cresce mais rápido que a fila de escrita, e trava nos mesmos dois ou três nomes | Horas de revisão por entrega aceita, e a fração dessas horas que é de gente sênior | Os profissionais mais caros da casa, todo mês, para sempre |
| Processo a jusante não adaptado | Sobe a proporção de mudanças que falham depois de entrar, e o plantão fica mais movimentado | Taxa de falha de mudança antes e depois da adoção, medida no mesmo critério | A operação e o cliente, em indisponibilidade |
Regra de leitura: as três podem estar acontecendo ao mesmo tempo, e quase sempre estão. O diagnóstico útil é qual delas responde pela maior parte da queda neste trimestre. Saber que as três existem não decide nada. Sem essa priorização, a empresa compra as três soluções e não mede nenhuma.
Considere um exemplo: a equipe aprova mais alterações, mas o número de incidentes também cresce. Para decidir se houve ganho, reúna volume, horas de revisão, custo de correção e impacto dos incidentes. Um número isolado, como alterações por semana, não mostra o resultado do processo completo.
| Sinal | Evidência a reunir |
|---|---|
| Fila de revisão | Horas e tempo de espera por entrega |
| Falhas após aprovação | Incidentes por volume de alterações |
| Correções repetidas | Tempo gasto no mesmo tipo de defeito |
Os sinais orientam investigação; não demonstram uma causa sozinhos.
Uma queda de produtividade merece investigação e um prazo de decisão. Não presuma que toda queda será temporária. Defina qual evidência justificará continuar, reduzir o escopo ou encerrar o piloto, e registre os custos que se acumulam enquanto a equipe aprende.
| Causa | A pergunta que você faz na reunião | O que a resposta autoriza a comprar | Seu número, a preencher |
|---|---|---|---|
| Curva de aprendizado | O retrabalho está concentrado em quem adotou há menos tempo, e vem caindo mês a mês? | Tempo de rampa e acompanhamento, com data para acabar | |
| Imposto de verificação | Quantas horas de gente sênior cada entrega aceita está consumindo em conferência? | Automatizar conferência e redistribuir a fila, com dono nomeado | |
| Processo a jusante | Qual era a taxa de falha de mudança antes da adoção e qual é hoje, no mesmo critério? | Teste automatizado, lotes menores e revisão do portão de aprovação |
A última coluna fica em branco de propósito. Se ela continuar vazia depois da reunião, a conclusão não é que o dado não existe. É que ninguém foi nomeado para produzi-lo, e a próxima decisão de orçamento vai ser tomada no escuro de novo.
Três perguntas para testar a decisão antes da próxima reunião: (1) O seu diretor financeiro quer cortar a licença da ferramenta porque a produtividade caiu no semestre. Você defende, corta ou condiciona, e a qual número você amarra a decisão? (2) O time pede orçamento de treinamento para resolver o retrabalho. Que evidência você exige antes de aprovar, e o que faz se ela mostrar outra causa? (3) A sua empresa não mediu linha de base antes de adotar. Qual é a primeira coisa que você manda medir agora, sabendo que a comparação com o passado já se perdeu?
Peça ao time a série mensal de três números desde o início da adoção: taxa de falha de mudança, horas de revisão por entrega e entregas devolvidas. Marque na série o mês da adoção. Se a curva ainda estiver abaixo do ponto de partida no sexto mês, a próxima reunião discute processo antes de orçamento.
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Veja o que estudar antes e para onde seguir depois, explore os conceitos e compare abordagens em outros cursos. Sugestões marcadas como “sugerido pelo grafo” vêm dos assuntos em comum, não do índice do curso.
- CursoSetup Completo: do zero ao Claude Code (Windows)sugerido pelo grafoO Setup ensina permissões, contexto do projeto e escolha de modelo por custo. Essa preparação sustenta os exercícios de comparação de assistentes, criação do gerador de UTM e regras de projeto no curso de aprendizado por reforço e vibecoding.
- CursoAstra profundosugerido pelo grafo4 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Astra profundo”.
- CursoLetramento em IA para Executivossugerido pelo grafo5 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Letramento em IA para Executivos”.
- CursoVídeo com IA: do roteiro à publicaçãosugerido pelo grafo2 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Vídeo com IA: do roteiro à publicação”.
- Modelo de trabalho com agentes de IAQue evidência mostra se a entrega funcionou?Examinar conexões de Que evidência mostra se a entrega funcionou?
- Software e IA para executivosQue número sobre produtividade com IA merece orçamentoExaminar conexões de Que número sobre produtividade com IA merece orçamento
- Engenharia de Software para ExecutivosPlanejar uma entrega e acompanhar o prazoExaminar conexões de Planejar uma entrega e acompanhar o prazo
- Letramento em IA para ExecutivosCalcule quanto a IA custa por entrega aprovadaExaminar conexões de Calcule quanto a IA custa por entrega aprovada
Terminou a leitura?
Você está aqui: capítulo 2 de 27
0 de 27 concluídos
- Próximo · Capítulo 3 de 27 · 18 minDescobrir por que o agente errouLer o capítulo 3 sem concluir
Marque como concluído para o capítulo contar no seu painel e no certificado.
- Anterior · Capítulo 1 de 27 · 15 minAvaliar o trabalho entregue pela IAVoltar para o capítulo 1
Leve uma ideia para a prática
Escolha uma atividade no painel e volte a este curso quando quiser.
Atividades e evolução ficam reunidas no painel da sua conta.
- 01Avaliar o trabalho entregue pela IA
- 02Encontrar o custo que a primeira resposta esconde
- 03Descobrir por que o agente errou
- 04Saber quando melhorar a instrução
- 05Medir como o agente trabalha hoje


