Avaliar e melhorar agentes · ·
Avaliar o trabalho entregue pela IA
Compare velocidade, revisão e resultado antes de chamar um piloto de produtivo.
Este capítulo faz parte do curso gratuito Avaliar e melhorar agentes.
Um agente de código pode escrever uma alteração rapidamente e ainda deixar trabalho para a equipe. Para avaliar o ganho, acompanhe o caminho até a entrega aceita: preparação, execução, revisão e correção. O tempo da primeira resposta é apenas uma parte desse percurso.
Carregando a vídeo-aula: Avaliar o trabalho entregue pela IA: a conta de conferir
Carregando o podcast: Aprendizado por reforço e avaliação de agentes
Ver como texto
Guia da OpenAI de boas práticas de avaliação de sistemas de IA, com etapas e critérios para comparar resultados.
Você decide aqui se a sua empresa já está pagando pelo código que a IA escreve nos dois lugares: uma vez para gerar e outra para conferir. E decide qual dos dois números você vai pedir na próxima reunião. Por que isso toca dinheiro: a conta de gerar chega em fatura mensal, com preço por assento e data de renovação. A conta de conferir chega em hora de engenheiro sênior, diluída na folha, sem rubrica e sem dono. Um comitê que só enxerga a primeira aprova ferramenta acreditando estar cortando custo. O que dá para delegar: a coleta do dado. O que não dá: decidir que a empresa passa a exigir esse dado.
Avaliação é uma comparação feita com tarefas e critérios definidos. No início do curso, a decisão é simples: qual evidência mostra que o trabalho ficou pronto para o uso pretendido? Aprendizado por reforço, que ajusta o modelo usando recompensas, será explicado depois. Fazer o agente tentar novamente não demonstra que seus parâmetros foram treinados.
Ver como texto
Documentação do Promptfoo mostrando verificações determinísticas e métricas avaliadas por modelos.
Exemplo: uma correção leva dez minutos para ser gerada e cinquenta para revisar. Outra leva vinte minutos e passa pela revisão em dez. Para essa tarefa, a segunda consumiu menos tempo total. A comparação ainda precisa considerar defeitos encontrados depois; rapidez sem essa conferência pode esconder retrabalho.
Ver como texto
Guia de reinforcement fine-tuning da OpenAI com a descrição do processo e aviso sobre disponibilidade da plataforma.
A prática de avaliação pode ser aplicada com diferentes ferramentas. Na consulta de 29 de outubro de 2026, o [guia da OpenAI](https://developers.openai.com/api/docs/guides/evals) informa que sua plataforma Evals tem modo somente leitura previsto para 31 de outubro e encerramento previsto para 30 de novembro de 2026. As capturas deste curso ajudam a explicar o método; antes de escolher o serviço que executará os testes, confirme sua disponibilidade e o caminho de migração.
- Etapa 1 de 8: 1. Enxergar onde o código de IA custa caro
O problema: a conta de conferir que ninguém orçou
- Etapa 2 de 8: 2. Decidir entre instruir melhor e premiar resultado
Quando o manual do agente bate no teto
- Etapa 3 de 8: 3. Escolher quem julga se a IA acertou
Nota dada contra prova executada
- Etapa 4 de 8: 4. Medir sem premiar o atalho
As métricas que o agente aprende a burlar
- Etapa 5 de 8: 5. Orçar e rodar o piloto com teto
Custo por tarefa, compra ou treino, piloto de 30 e de 90 dias
- Etapa 6 de 8: 6. Comparar os assistentes de programação
Claude contra OpenAI, Grok e Gemini, com preço e ressalva
- Etapa 7 de 8: 7. Governar quem assina, verifica e responde
Segregação, perguntas ao fornecedor, plano de 90 dias
- Etapa 8 de 8: 8. Apêndice opcional para quem vai implantar
Algoritmo, função de recompensa, painel de produção
Ver como texto
- 1. Enxergar onde o código de IA custa caro: O problema: a conta de conferir que ninguém orçou
- 2. Decidir entre instruir melhor e premiar resultado: Quando o manual do agente bate no teto
- 3. Escolher quem julga se a IA acertou: Nota dada contra prova executada
- 4. Medir sem premiar o atalho: As métricas que o agente aprende a burlar
- 5. Orçar e rodar o piloto com teto: Custo por tarefa, compra ou treino, piloto de 30 e de 90 dias
- 6. Comparar os assistentes de programação: Claude contra OpenAI, Grok e Gemini, com preço e ressalva
- 7. Governar quem assina, verifica e responde: Segregação, perguntas ao fornecedor, plano de 90 dias
- 8. Apêndice opcional para quem vai implantar: Algoritmo, função de recompensa, painel de produção
Ao ler um levantamento de produtividade, confira o que foi medido. Uma pesquisa pode perguntar quanto código as pessoas acreditam ter produzido com IA; outra pode analisar alterações já aprovadas. Amostras e métodos diferentes não permitem calcular automaticamente quanto trabalho foi perdido entre uma etapa e outra. Para o piloto da empresa, acompanhe as mesmas tarefas do início à aceitação.
| Etapa | O que registrar |
|---|---|
| Preparação | Dados e instruções recebidos |
| Execução | Tempo, ferramentas e tentativas |
| Revisão | Problemas encontrados e esforço humano |
| Aceitação | Critério atendido e responsável |
Use o mesmo registro nas versões comparadas.
Percepção de rapidez e tempo medido respondem a perguntas diferentes. Uma pessoa pode sentir que trabalhou melhor e ainda gastar mais tempo revisando. Registre preparação, execução e conferência na mesma tarefa. Ao comparar períodos, considere também dificuldade, experiência da equipe e qualidade final; sem isso, a diferença pode ter outras causas.
O mesmo trimestre, contado pelo time e contado pelo artefato
Autorrelato, coletado em reunião
O que o time reporta
- Percentual de código gerado por IA, estimado de memória por quem escreveu
- Sensação de velocidade, que já foi medida errando por mais de trinta pontos
- Número de entregas, sem distinguir o que ficou de pé do que voltou
- Nenhum denominador: não diz quanto foi descartado antes de chegar a produção
Telemetria de artefato, coletada da ferramenta de código
O que o código mostra
- Fração das alterações geradas por IA que entraram em produção sem reescrita
- Tempo entre a primeira versão proposta e a versão que ficou de pé
- Horas de revisão por entrega aceita, e por quem foram feitas
- Taxa de retorno: quanto do que foi proposto voltou para o autor
Ver como texto
A mesma entrega cobrada duas vezes: a conta de gerar, que aparece no contrato da ferramenta, e a conta de conferir, que aparece na folha de pagamento e nunca entrou no orçamento que aprovou a compra
A pergunta que você leva ao time nesta semana
Uma linha, endereçada a uma pessoa, com prazo. Quem chega com a pergunta escrita muda a pauta da reunião. Quem chega com a impressão de que algo está errado abre uma discussão sem número.
Documento montado
PERGUNTA AO TIME, PERÍODO [PERÍODO QUE VOCÊ VAI COBRAR] Para: [NOME E FUNÇÃO DE QUEM RESPONDE] Que fração do código gerado por IA no último trimestre chegou a produção sem reescrita, e quem mediu isso? De onde o dado deve sair [DE ONDE O DADO SAI, SE JÁ EXISTIR] Se a resposta for uma estimativa de memória, ela não conta como resposta. O que conta é registro de ferramenta, com o método descrito em uma frase. Data combinada: [DATA EM QUE VOCÊ ESPERA O NÚMERO]
O que você digitar fica salvo neste navegador. Nada é enviado para servidor algum.
Três perguntas para testar a decisão antes da próxima reunião: (1) Um fornecedor apresenta um estudo em que o time dele ficou 40% mais rápido com o produto. Você pede qual dado antes de considerar o número, e o que faz se ele não existir? (2) O seu time relata que metade do código do trimestre veio de IA e a operação não melhorou. Você trata isso como problema de medição ou como problema de custo escondido, e por quê? (3) Você tem orçamento para pedir um único número novo neste trimestre. Qual você pede, e qual você deixa para depois de propósito?
Mande hoje a pergunta do modelo acima para a pessoa que responde pela engenharia, com prazo de dez dias úteis. Confira a resposta por um critério só: o número precisa sair do registro da ferramenta de código, com o método descrito numa frase. Estimativa de memória volta para o remetente.
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Veja o que estudar antes e para onde seguir depois, explore os conceitos e compare abordagens em outros cursos. Sugestões marcadas como “sugerido pelo grafo” vêm dos assuntos em comum, não do índice do curso.
- CursoSetup Completo: do zero ao Claude Code (Windows)sugerido pelo grafoO Setup ensina permissões, contexto do projeto e escolha de modelo por custo. Essa preparação sustenta os exercícios de comparação de assistentes, criação do gerador de UTM e regras de projeto no curso de aprendizado por reforço e vibecoding.
- CursoAstra profundosugerido pelo grafo4 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Astra profundo”.
- CursoLetramento em IA para Executivossugerido pelo grafo5 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Letramento em IA para Executivos”.
- CursoVídeo com IA: do roteiro à publicaçãosugerido pelo grafo2 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Vídeo com IA: do roteiro à publicação”.
- Software e IA para executivosQue número sobre produtividade com IA merece orçamentoExaminar conexões de Que número sobre produtividade com IA merece orçamento
- Engenharia de Software para ExecutivosMedir o resultado da IA em uma tarefaExaminar conexões de Medir o resultado da IA em uma tarefa
- Modelo de trabalho com agentes de IAQue evidência mostra se a entrega funcionou?Examinar conexões de Que evidência mostra se a entrega funcionou?
- CRO: Otimização de Conversão e ExperimentaçãoIA na operação: onde acelera e onde destróiExaminar conexões de IA na operação: onde acelera e onde destrói
Terminou a leitura?
Você está aqui: capítulo 1 de 27
0 de 27 concluídos
- Próximo · Capítulo 2 de 27 · 15 minEncontrar o custo que a primeira resposta escondeLer o capítulo 2 sem concluir
Marque como concluído para o capítulo contar no seu painel e no certificado.
Leve uma ideia para a prática
Escolha uma atividade no painel e volte a este curso quando quiser.
Atividades e evolução ficam reunidas no painel da sua conta.
- 01Avaliar o trabalho entregue pela IA
- 02Encontrar o custo que a primeira resposta esconde
- 03Descobrir por que o agente errou
- 04Saber quando melhorar a instrução
- 05Medir como o agente trabalha hoje


