Avaliar e melhorar agentes · ·
Medir como o agente trabalha hoje
Crie uma referência antes de alterar modelo, instruções ou ferramentas.
Este capítulo faz parte do curso gratuito Avaliar e melhorar agentes.
Linha de base é o resultado medido antes da mudança. Escolha tarefas representativas do trabalho e guarde a configuração usada. Sem essa referência, uma demonstração melhor pode refletir tarefa mais fácil, mais tentativas ou ajuda humana que não foi registrada.
Ver como texto
Guia da OpenAI de boas práticas de avaliação de sistemas de IA, com etapas e critérios para comparar resultados.
Você decide aqui o que exigir de um fornecedor que promete mudar o comportamento padrão do agente: o que ele precisa mostrar antes e depois, e em quanto tempo.
O manual da empresa e a cultura que se observa no corredor
Toda empresa tem dois conjuntos de regras. Um está escrito no código de conduta, foi aprovado pelo comitê e assinado na admissão. O outro é o que as pessoas fazem quando o prazo aperta e ninguém está olhando, e é ele que explica o resultado do trimestre. Quando os dois divergem, o segundo ganha, porque é o segundo que está ligado ao que a empresa de fato premia. Com um modelo acontece a mesma coisa, e a divergência é mais fácil de medir: o pedido é o manual, e o comportamento observado é a cultura.
Onde a analogia para de valer: uma pessoa às vezes segue o valor declarado contra o próprio incentivo, por convicção, e em alguns casos você pode contar com isso. O modelo segue o incentivo, sempre. Não existe funcionário íntegro dentro do modelo, então não adianta apelar para o bom senso dele nem escrever um parágrafo pedindo responsabilidade.
Compare as versões sob condições equivalentes: dados disponíveis, ferramentas, limite de tempo e forma de avaliar. Registre também as recusas e os casos inconclusivos. Um resultado ausente não deve virar acerto nem ser retirado silenciosamente da conta.
Ver como texto
Documentação da OpenAI sobre configuração e execução de avaliações, com exemplos de tarefas e resultados.
Exemplo: duas versões revisam os mesmos contratos fictícios. A primeira deixa passar uma data inconsistente; a segunda a identifica, mas inventa uma cláusula ausente. A decisão não é somar uma nota de confiança. É verificar qual erro importa para o uso e se a nova versão corrige sem introduzir dano maior.
Ver como texto
Documentação da OpenAI sobre graders, os avaliadores usados para atribuir notas às respostas.
| Critério | Exemplo de conferência |
|---|---|
| Correção | Executar o comportamento esperado |
| Segurança | Conferir acessos e tratamento de dados |
| Manutenção | Pedir revisão por outra pessoa |
| Custo | Medir tentativas, execução e revisão |
Registre critérios, dados e configuração antes de comparar versões.
Use um caso correto, um incorreto e um ambíguo. O terceiro ajuda a conferir se o agente reconhece quando precisa de informação adicional.
A aprovação de um critério não garante a dos demais. Uma alteração pode funcionar e ainda exigir revisão de segurança, custo ou manutenção. Para comparar versões, mantenha esses critérios separados e mostre onde houve ganho, perda ou ausência de informação.
Confiança de quem usa a ferramenta não substitui a conferência. Peça evidências do resultado e uma revisão proporcional à consequência da falha. Em tarefas sensíveis, use responsáveis e verificações independentes para reduzir o risco de a mesma suposição passar por toda a cadeia.
Quatro dimensões para comparar antes e depois
- Correção: a entrega resolve o caso previsto?
- Segurança: os acessos e dados respeitam os limites definidos?
- Manutenção: outra pessoa consegue entender e alterar o resultado?
- Custo: quantas tentativas e horas foram necessárias até a aceitação?
Três perguntas para testar a decisão antes da próxima reunião: (1) Um fornecedor promete melhorar o comportamento padrão do seu agente em 90 dias. Que medição você exige antes de começar, e sobre quais tarefas? (2) O seu time vai delegar ao agente uma frente inteira escrita em Java. O que muda na sua exigência de conferência, e quem paga por essa mudança? (3) A pesquisa interna diz que o time confia no código gerado. Você trata isso como boa notícia ou como fator de risco, e o que faz na semana seguinte?
Exija do fornecedor os quatro números desta aula medidos antes e depois da mudança prometida, no mesmo lote de tarefas. Dê quinze dias úteis para a resposta. Proposta que chegar sem a medição de antes volta sem análise, e a renovação espera até ela chegar.
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Veja o que estudar antes e para onde seguir depois, explore os conceitos e compare abordagens em outros cursos. Sugestões marcadas como “sugerido pelo grafo” vêm dos assuntos em comum, não do índice do curso.
- CursoSetup Completo: do zero ao Claude Code (Windows)sugerido pelo grafoO Setup ensina permissões, contexto do projeto e escolha de modelo por custo. Essa preparação sustenta os exercícios de comparação de assistentes, criação do gerador de UTM e regras de projeto no curso de aprendizado por reforço e vibecoding.
- CursoAstra profundosugerido pelo grafo4 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Astra profundo”.
- CursoLetramento em IA para Executivossugerido pelo grafo5 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Letramento em IA para Executivos”.
- CursoVídeo com IA: do roteiro à publicaçãosugerido pelo grafo2 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Vídeo com IA: do roteiro à publicação”.
- Modelo de trabalho com agentes de IAQue evidência mostra se a entrega funcionou?Examinar conexões de Que evidência mostra se a entrega funcionou?
- Agentes de IA autônomos: como delegar e acompanharTestes e avaliação: que evidências permitem aprovar um pilotoExaminar conexões de Testes e avaliação: que evidências permitem aprovar um piloto
- Prompt Engineering para ExecutivosTestar a IA com 20 a 50 casos reais antes de liberarExaminar conexões de Testar a IA com 20 a 50 casos reais antes de liberar
Terminou a leitura?
Você está aqui: capítulo 5 de 27
0 de 27 concluídos
- Próximo · Capítulo 6 de 27 · 22 minAprendizado por reforço: o que muda no treinamentoLer o capítulo 6 sem concluir
Marque como concluído para o capítulo contar no seu painel e no certificado.
- Anterior · Capítulo 4 de 27 · 15 minSaber quando melhorar a instruçãoVoltar para o capítulo 4
Leve uma ideia para a prática
Escolha uma atividade no painel e volte a este curso quando quiser.
Atividades e evolução ficam reunidas no painel da sua conta.
- 03Descobrir por que o agente errou
- 04Saber quando melhorar a instrução
- 05Medir como o agente trabalha hoje
- 06Aprendizado por reforço: o que muda no treinamento
- 07Conferir a entrega antes de aceitar uma nota


