Avaliar e melhorar agentes · ·
Escolher entre configurar um agente e treinar um modelo
Compare o problema, a disponibilidade e a manutenção de cada alternativa.
Este capítulo faz parte do curso gratuito Avaliar e melhorar agentes.
Configurar um agente costuma começar por instruções, dados, ferramentas e verificações. Treinar pesos exige dados adequados, infraestrutura ou serviço compatível e avaliação separada. Escolha a intervenção pelo erro observado, não pelo prestígio do nome do método.
Ver como texto
Documentação do Claude Code sobre criação e carregamento de skills, com instruções e opções de configuração.
Você decide aqui se o caso da sua empresa é comprar pronto, alugar ambiente de treino de terceiro ou treinar em casa. E decide qual das três você não vai fazer, e por quê.
O programa de trainee com corte por etapa
Um programa de trainee recebe centenas de candidatos, corta a maioria em cada etapa e mantém poucos no fim. O desenho funciona porque o critério de corte é escrito antes, e porque cada etapa custa pouco perto do custo de contratar errado. O laço de treino de um agente faz o mesmo movimento em escala industrial: gera muitas tentativas, descarta quase todas e mantém as que passam no verificador.
Onde a analogia para de valer: o trainee reprovado continua existindo, e a decisão de cortá-lo tem custo reputacional e humano que obriga quem decide a pensar duas vezes. O candidato descartado pelo sistema desaparece sem custo nenhum, o que torna o descarte barato demais e desloca todo o risco para a qualidade do critério de corte. Quando o descarte é grátis, um critério ruim não dói até chegar a produção.
A disponibilidade também muda a decisão. Na documentação consultada em 28 de outubro de 2026, a OpenAI informa a retirada gradual da plataforma de fine-tuning e o encerramento do o4-mini e de suas versões ajustadas em 23 de outubro. Esse exemplo mostra por que uma proposta deve indicar modelo, serviço, conta elegível e prazo de suporte antes da contratação.
Ver como texto
Guia de reinforcement fine-tuning da OpenAI com a descrição do processo e aviso sobre disponibilidade da plataforma.
Exemplo: o agente erra porque não recebe a tabela atual de produtos. Corrigir a consulta é a primeira hipótese. Se o problema persistir com dados corretos, a equipe compara outras mudanças com a mesma avaliação. Um projeto de treinamento só avança quando demonstra uma necessidade que as alternativas mais simples não resolveram.
Ver como texto
Calendário oficial de descontinuações da OpenAI, com identificadores de modelos e datas de encerramento.
Ver como texto
Os três caminhos para melhorar um agente de código comparados por três critérios: comprar pronto cobra consumo mensal e entrega em semanas, alugar ambiente de treino cobra catálogo mais execução e entrega em meses, e treinar em casa cobra ambiente, ciclo e time e entrega em trimestres
Onde a sua tarefa cai, e o que isso autoriza
Eixo horizontal: Volume da tarefa, medido em execuções por mês no último trimestreEixo vertical: Existe um verificador confiável que executa e observa o resultado
Volume alto, verificador ainda inexistente
- Treinar aqui é o gasto mais caro do catálogo, porque o laço vai otimizar contra uma régua que ninguém escreveu
- A compra certa deste trimestre é o verificador. O treino entra no trimestre seguinte, se ainda fizer sentido
- Exemplo: triagem de chamados cuja qualidade só é julgada por leitura humana amostral
Volume baixo, verificador ainda inexistente
- Comprar pronto e parar por aí, porque nem o treino nem o verificador se pagam neste volume
- O esforço interno vai inteiro para a régua de aceite da entrega, que é barata e serve para qualquer fornecedor
- Exemplo: geração de relatórios internos que rodam algumas dezenas de vezes por mês
Volume baixo, verificador confiável de pé
- Comprar pronto e usar o verificador que você já tem como régua de aceite, cobrada em contrato
- O verificador existente já entrega a maior parte do benefício sem nenhum ciclo de treino
- Reavaliar quando o volume dobrar, com a decisão marcada em calendário e com dono
Volume alto, verificador confiável de pé
- É o único quadrante em que alugar ambiente de treino ou treinar em casa se justifica economicamente
- Comece alugando: o catálogo de tarefas prontas encurta meses de trabalho e o compromisso é reversível
- Treinar em casa só depois que o ciclo alugado tiver provado o ganho contra a linha de base
Compare as opções a partir do volume medido, da importância da tarefa e da capacidade de verificar a entrega. Comprar uma ferramenta pronta pode reduzir implantação; desenvolver ou treinar pode oferecer adaptação, com custos e responsabilidades adicionais. Nenhuma opção é superior sem considerar o caso de uso e o custo de mantê-la.
Ver como texto
A triagem como estágio zero da decisão: uma classificação barata separa a tarefa em três faixas, e cada faixa manda para um caminho diferente, comprar pronto, alugar ambiente ou treinar em casa
| A condição | Como você confere numa reunião de uma hora | O que acontece se ela faltar |
|---|---|---|
| A tarefa se repete em volume | Peça o número de execuções por mês do último trimestre, medido no sistema, sem estimativa | O ciclo de treino nunca se paga, e o piloto vira uma demonstração cara que ninguém consegue encerrar |
| Existe um verificador que executa e observa | Peça para rodar o verificador na sua frente, sobre uma entrega que já foi reprovada | O laço otimiza contra opinião, e o número melhora sem que nada tenha melhorado de verdade |
| A empresa aguenta o ciclo até o fim | Peça o teto de gasto do período e o nome de quem tem autoridade para declarar a parada | O piloto termina por cansaço, sem decisão registrada e sem nenhum aprendizado que sobreviva à troca de time |
As três valem juntas, e a ordem entre elas não importa. Faltando qualquer uma, o laço vira teatro caro, e o caminho honesto do trimestre é comprar pronto e gastar o esforço interno na régua de aceite.
Preço por token é apenas uma parcela do custo. A mesma tarefa pode exigir quantidades diferentes de texto, ferramentas e tentativas em cada produto. Consulte a tabela vigente e registre a configuração usada no piloto. Compare o gasto até a entrega aceita, incluindo revisão, em vez de escolher apenas pelo menor preço unitário.
O veto de uma linha, e as quatro linhas que o sustentam
- Proposta sem o número medido de execuções por mês do último trimestre volta ao remetente antes de qualquer discussão de mérito.
- Quem julga o resultado tem nome no documento, e o verificador roda na sua frente antes da assinatura, sobre uma entrega reprovada.
- O teto de gasto do período e o nome de quem declara a parada estão na primeira página, nunca no anexo.
- Todo preço citado traz a data da tabela oficial de onde foi lido, e a tabela é reconsultada na véspera de assinar.
- Faltando qualquer uma das três condições, a decisão do trimestre é comprar pronto e gastar o esforço interno na régua de aceite.
Três perguntas para testar a decisão antes da próxima reunião: (1) Chega uma proposta de treinar modelo próprio e o volume da tarefa não está medido. O que você devolve, e em quanto tempo você espera o número de volta? (2) A sua empresa tem verificador confiável em uma superfície de trabalho e nenhum nas outras cinco. Qual dos três caminhos você aprova para cada grupo, e qual você recusa de propósito? (3) O preço do modelo que sustenta o seu piloto sobe 50% daqui a cinco semanas. Você renegocia, antecipa o piloto ou troca de modelo, e quem tem autoridade para decidir isso na sua empresa?
O caminho de alugar treino por reforço na OpenAI encolheu em 2026, e isso muda a matriz acima para quem pensava em ajuste fino por reforço (RFT). Desde 02/07/2026, só cria job de fine-tuning a organização que rodou inferência num modelo ajustado nos últimos 60 dias. Em 06/01/2027, nem os clientes ativos poderão criar jobs novos. O guia de RFT lista o o4-mini como modelo disponível, e os modelos já ajustados seguem respondendo até a aposentadoria do modelo base.
| Data | O que muda | Efeito na decisão |
|---|---|---|
| 07/05/2026 | Organizações que nunca rodaram fine-tuning deixam de criar jobs | Quem não começou não começa mais por esse caminho |
| 03/06/2026 | Anúncio de desligamento do Evals, do Agent Builder e dos prompts reutilizáveis | Avaliações e juízes precisam de casa nova |
| 02/07/2026 | Só cria job quem usou um modelo ajustado nos últimos 60 dias | Cliente parado perde o acesso sem aviso individual |
| 31/10/2026 | Avaliações existentes no Evals ficam só para leitura | Exportar dados e juízes antes desta data |
| 30/11/2026 | Painel e API do Evals saem do ar | Migração para o Promptfoo, indicada pela própria OpenAI |
| 06/01/2027 | Clientes ativos deixam de criar jobs de fine-tuning | RFT na OpenAI vira legado; inferência dos modelos ajustados continua |
Fonte: OpenAI, página de descontinuações da API, consultada em 01/10/2026
Antes de aprovar uma proposta de RFT em outubro de 2026
Passo 1: Peça ao fornecedor a plataforma exata em que o treino vai rodar
Se a resposta for a API de fine-tuning da OpenAI, confira na página de descontinuações se a sua organização ainda cria jobs.
Deu certo quando: Nome da plataforma, modelo base e data limite escritos na proposta.
Erro comum: Aprovar cronograma que termina depois de 06/01/2027 na OpenAI.
Passo 2: Separe o que sobrevive à troca de plataforma
Conjunto de dados, juiz e conjunto retido são seus e mudam de casa; o modelo ajustado não muda.
Deu certo quando: Dados e juízes guardados num repositório da empresa, fora da conta do fornecedor.
Erro comum: Deixar o juiz configurado só dentro do painel do Evals.
Passo 3: Compare com o laço sem treino
O laço de recompensa sobre o pedido ao modelo, descrito em "Separar treino por consequência de instrução bem escrita", entrega parte do ganho sem job de treino.
Deu certo quando: Linha de base medida com o laço sem treino antes de pagar o treino.
Erro comum: Comparar o modelo treinado com o pedido mal escrito de antes.
No fim você tem: Uma proposta que diz onde o treino roda, até quando a plataforma aceita o job e o que a empresa leva se ela fechar.
Posicione a sua tarefa principal na matriz desta aula e escreva qual das três condições para treinar está ausente. Sem as três presentes, aprove comprar ou alugar e arquive o pedido de treino. Reconsulte a tabela oficial de preços na véspera de assinar e anexe a data à proposta.
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Veja o que estudar antes e para onde seguir depois, explore os conceitos e compare abordagens em outros cursos. Sugestões marcadas como “sugerido pelo grafo” vêm dos assuntos em comum, não do índice do curso.
- CursoSetup Completo: do zero ao Claude Code (Windows)sugerido pelo grafoO Setup ensina permissões, contexto do projeto e escolha de modelo por custo. Essa preparação sustenta os exercícios de comparação de assistentes, criação do gerador de UTM e regras de projeto no curso de aprendizado por reforço e vibecoding.
- CursoAstra profundosugerido pelo grafo4 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Astra profundo”.
- CursoLetramento em IA para Executivossugerido pelo grafo5 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Letramento em IA para Executivos”.
- CursoVídeo com IA: do roteiro à publicaçãosugerido pelo grafo2 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Vídeo com IA: do roteiro à publicação”.
- SEO e GEO para quem decideAprofundamento: quando automatizar a operação com agentesExaminar conexões de Aprofundamento: quando automatizar a operação com agentes
- Letramento em IA para ExecutivosCalcule quanto a IA custa por entrega aprovadaExaminar conexões de Calcule quanto a IA custa por entrega aprovada
- Sistemas e dados para IAQual modelo usar em cada tarefa e quanto isso custa?Examinar conexões de Qual modelo usar em cada tarefa e quanto isso custa?
- CRO: Otimização de Conversão e ExperimentaçãoIA na operação: onde acelera e onde destróiExaminar conexões de IA na operação: onde acelera e onde destrói
Terminou a leitura?
Você está aqui: capítulo 14 de 27
0 de 27 concluídos
- Próximo · Capítulo 15 de 27 · 25 minPiloto de 90 dias: critérios para aprovar um agenteLer o capítulo 15 sem concluir
Marque como concluído para o capítulo contar no seu painel e no certificado.
- Anterior · Capítulo 13 de 27 · 21 minOrçar cada tentativa e o resultado finalVoltar para o capítulo 13
Leve uma ideia para a prática
Escolha uma atividade no painel e volte a este curso quando quiser.
Atividades e evolução ficam reunidas no painel da sua conta.
- 12Proteger os critérios usados para avaliar
- 13Orçar cada tentativa e o resultado final
- 14Escolher entre configurar um agente e treinar um modelo
- 15Piloto de 90 dias: critérios para aprovar um agente
- 16Comparar Claude Code e Codex na mesma tarefa


