Avaliar e melhorar agentes · ·
Saber quando melhorar a instrução
Teste contexto e critérios antes de escolher uma solução mais cara.
Este capítulo faz parte do curso gratuito Avaliar e melhorar agentes.
Uma instrução pode ser insuficiente, contraditória ou longa demais para ser usada com clareza. Corrigi-la vale a pena quando o erro depende do que foi pedido ou informado. A dificuldade aparece quando a mesma falha permanece em casos diferentes, mesmo com contexto e critérios adequados.
Ver como texto
Documentação de memória do Claude Code com a comparação entre CLAUDE.md e memória automática.
Você decide aqui se o próximo investimento do seu time vai para escrever instruções melhores ou para mudar o que é premiado no resultado. São orçamentos diferentes, com donos diferentes.
Mantenha exemplos de avaliação separados dos usados para ajustar a instrução. Se a equipe modifica o pedido até acertar apenas os exemplos conhecidos, ainda não demonstrou melhora em situações novas. Treinar um modelo é uma hipótese posterior, com custo e verificação próprios.
Ver como texto
Guia da OpenAI de boas práticas de avaliação de sistemas de IA, com etapas e critérios para comparar resultados.
Exemplo: o agente confunde receita contratada com receita recebida. A equipe define os termos e fornece um exemplo correto. Depois testa contratos diferentes, sem entregar a resposta. Se a confusão desaparece nesses casos, houve evidência de melhora da instrução; não é necessário chamar essa mudança de aprendizado por reforço.
Ver como texto
Guia de reinforcement fine-tuning da OpenAI com a descrição do processo e aviso sobre disponibilidade da plataforma.
Um resultado aprovado nos exemplos conhecidos pode falhar em casos novos. Essa diferença mostra um limite da avaliação usada, sem demonstrar por si só que a instrução ficou grande demais. Guarde tarefas que não foram usadas para ajustar o procedimento e confira se o ganho permanece nelas.
Onde o caso cai, e para onde vai o dinheiro
Eixo horizontal: Quanto o caso dá para prever antes de acontecerEixo vertical: Custo de errar uma vez
Previsível e barato de errar: escreva a regra e pare por aí
- Formato de saída, nomenclatura, padrão de registro da alteração
- Uma linha de instrução resolve, e o caso não volta
- Se alguém pedir orçamento de treino para isso, o veto é imediato
Previsível e caro de errar: escreva a regra e trave a ação
- Apagar dado, mexer em produção, mover dinheiro
- Instrução sozinha não segura, precisa de bloqueio na ferramenta
- Orçamento de plataforma e de acesso, não de treino
Imprevisível e barato de errar: deixe tentar e premie o resultado
- Escolher a abordagem de uma correção, organizar código, nomear as coisas
- Nenhum manual cobre, e errar custa uma tentativa nova
- É aqui que prêmio por resultado paga a própria conta
Imprevisível e caro de errar: ainda não delegue
- Mudança de estrutura de banco com cliente ativo em cima
- Nem instrução nem prêmio cobrem o caso hoje
- A decisão é reduzir o alcance do estrago antes de automatizar
Antes de contratar treinamento, experimente corrigir o contexto, as ferramentas e os critérios de avaliação. Compare o efeito de cada mudança com a mesma linha de base. Se ainda houver uma limitação relevante, a proposta de treinamento deve explicar quais parâmetros serão alterados, com que dados e como o resultado será avaliado fora do conjunto de ajuste.
Diretora de operações de uma seguradora, dona do orçamento de automação
Time de sinistros, quatro pessoas em tecnologia e onze na operação
Dor
O agente que tria sinistros fecha o chamado sem anexar o laudo. O manual de instruções passou de 3 para 40 páginas em dois trimestres, e o mesmo erro reapareceu em três formatos diferentes, um por trimestre e meio.
Solução
Antes de aprovar mais uma rodada de refinamento, ela aplicou o teste do teto: contou quantas páginas foram escritas no período e quantos erros distintos aquelas páginas evitaram.
Resultado do exemplo
As 22 páginas novas evitaram dois erros e criaram quatro contradições entre si, todas descobertas na leitura. A conversa deixou de ser sobre redigir melhor e passou a ser sobre quem mede o resultado de cada triagem e o que conta como triagem boa.
Custo estimado no exemplo: Uma tarde de leitura do próprio manual, sem nenhuma ferramenta nova e sem consultoria.
Cenário construído para fins didáticos. Números não correspondem a cliente específico.
Teste do teto de especificação
Preencha com um problema real do seu time. O resultado é um parágrafo pronto para colar no pedido de orçamento, com o dado que sustenta a escolha entre os dois caminhos.
Documento montado
TESTE DO TETO DE ESPECIFICAÇÃO Comportamento indesejado ......... [O COMPORTAMENTO INDESEJADO, EM UMA FRASE] Crescimento da instrução ......... [QUANTO A INSTRUÇÃO CRESCEU NO PERÍODO] Reincidência em formato novo ..... [QUANTAS VEZES O MESMO PROBLEMA VOLTOU EM FORMATO DIFERENTE] Quem mede o resultado sem opinar . [QUEM CONSEGUE MEDIR O RESULTADO CERTO SEM OPINAR, E COM O QUÊ] Leitura. Instrução crescente somada a reincidência em formato novo indica teto de especificação atingido. O próximo real investido em redação de manual rende menos que o anterior, e a diferença não aparece no relatório porque ninguém mede página escrita contra erro evitado. Pedido. Aprovar orçamento para medir e premiar o resultado, com dono nomeado e data de revisão da régua. Ressalva de honestidade. Se a última linha estiver vazia, o pedido correto é outro e mais barato: primeiro construir a medição, depois discutir prêmio. Proposta de treino sem medição pronta é proposta sem sinal.
O que você digitar fica salvo neste navegador. Nada é enviado para servidor algum.
Três perguntas para testar a decisão antes da próxima reunião: (1) O seu time pede mais uma rodada de refinamento de instruções para um erro que já voltou três vezes. Você aprova, aprova com prazo de validade ou recusa, e com base em qual sinal? (2) Um fornecedor propõe melhorar o agente e a proposta inteira descreve documentos e pedidos melhor escritos. Qual é a sua primeira pergunta, e o que você faz se ele não souber dizer quem mede o resultado? (3) Um caso da sua operação é imprevisível e caro de errar. Você manda escrever regra, manda premiar resultado ou tira o caso do agente por enquanto?
Escolha um erro recorrente e revise o pedido, os dados disponíveis e a ferramenta usada. Depois teste a correção em casos diferentes. A extensão do manual pode indicar dificuldade de manutenção, mas o número de páginas não determina sozinho se é necessário treinar o modelo.
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Veja o que estudar antes e para onde seguir depois, explore os conceitos e compare abordagens em outros cursos. Sugestões marcadas como “sugerido pelo grafo” vêm dos assuntos em comum, não do índice do curso.
- CursoSetup Completo: do zero ao Claude Code (Windows)sugerido pelo grafoO Setup ensina permissões, contexto do projeto e escolha de modelo por custo. Essa preparação sustenta os exercícios de comparação de assistentes, criação do gerador de UTM e regras de projeto no curso de aprendizado por reforço e vibecoding.
- CursoAstra profundosugerido pelo grafo4 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Astra profundo”.
- CursoLetramento em IA para Executivossugerido pelo grafo5 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Letramento em IA para Executivos”.
- CursoVídeo com IA: do roteiro à publicaçãosugerido pelo grafo2 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Vídeo com IA: do roteiro à publicação”.
- Modelo de trabalho com agentes de IAQue evidência mostra se a entrega funcionou?Examinar conexões de Que evidência mostra se a entrega funcionou?
- Prompt Engineering para ExecutivosTestar a IA com 20 a 50 casos reais antes de liberarExaminar conexões de Testar a IA com 20 a 50 casos reais antes de liberar
- Agentes de IA autônomos: como delegar e acompanharTestes e avaliação: que evidências permitem aprovar um pilotoExaminar conexões de Testes e avaliação: que evidências permitem aprovar um piloto
- SEO e GEO para quem decideAprofundamento: quando automatizar a operação com agentesExaminar conexões de Aprofundamento: quando automatizar a operação com agentes
Terminou a leitura?
Você está aqui: capítulo 4 de 27
0 de 27 concluídos
- Próximo · Capítulo 5 de 27 · 16 minMedir como o agente trabalha hojeLer o capítulo 5 sem concluir
Marque como concluído para o capítulo contar no seu painel e no certificado.
- Anterior · Capítulo 3 de 27 · 18 minDescobrir por que o agente errouVoltar para o capítulo 3
Leve uma ideia para a prática
Escolha uma atividade no painel e volte a este curso quando quiser.
Atividades e evolução ficam reunidas no painel da sua conta.
- 02Encontrar o custo que a primeira resposta esconde
- 03Descobrir por que o agente errou
- 04Saber quando melhorar a instrução
- 05Medir como o agente trabalha hoje
- 06Aprendizado por reforço: o que muda no treinamento


