Avaliar e melhorar agentes · ·
Orçar cada tentativa e o resultado final
Inclua modelo, ferramentas e tempo de revisão no limite do piloto.
Este capítulo faz parte do curso gratuito Avaliar e melhorar agentes.
Um ciclo de tentativa e correção pode repetir chamadas de modelo, testes e uso de ferramentas. Para controlar o gasto, defina limites de tempo, tentativas e dinheiro antes de começar. Registre qual limite encerrou a execução e o que ficou pronto até ali.
Ver como texto
Documentação da OpenAI sobre configuração e execução de avaliações, com exemplos de tarefas e resultados.
Você decide aqui o teto de gasto por execução do agente e quem tem autoridade para desligar quando o teto for atingido. Sem esse número, o orçamento é uma esperança.
A inspeção por amostragem no controle de qualidade
No controle de qualidade, aumentar a amostra inspecionada de um lote aumenta a chance de pegar a peça defeituosa. Ninguém confunde isso com melhorar o lote. A aritmética do agente é a mesma: gerar dez candidatos em vez de um aumenta a chance de que algum passe no teste, e cada candidato é uma execução paga. A conta cresce em linha reta com o número de tentativas, enquanto a qualidade do agente permanece exatamente a mesma.
Onde a analogia para de valer: inspecionar mais peças não muda a qualidade do lote, e gerar mais candidatos não muda a capacidade do agente. A analogia é boa para entender custo e engana quando usada para prometer capacidade. Quem promete melhora de desempenho aumentando o número de tentativas está vendendo amostragem com nome de treino.
| A conta | O que ela paga | Ordem de grandeza | O que a controla |
|---|---|---|---|
| Gerar candidatos | Cada tentativa do agente até a tarefa passar, incluindo as tentativas que falham | É a conta que mais varia. A variação entre execuções da mesma tarefa é da ordem de dezenas de vezes | A taxa de acerto na primeira tentativa e o teto por execução |
| Rodar o verificador | Subir o ambiente, executar o teste e devolver o resultado, uma vez por tentativa | Em treino de agente de código, é o ambiente de execução que domina a conta de nuvem, acima da máquina de cálculo | A ordem das camadas, com a checagem barata rodando antes da cara |
| Pagar julgamento humano | Horas de gente para julgar o que nenhum teste mede, como legibilidade e aderência ao padrão da casa | É a mais cara por unidade e a única que não barateia com escala | Amostragem declarada em percentual, no lugar de revisão de tudo |
Regra de leitura para a reunião de orçamento: as três contas têm donos diferentes na empresa. A primeira responde ao dono do produto, a segunda ao dono da plataforma e a terceira à área que consome o resultado. Orçamento que junta as três em uma linha só esconde qual delas estourou.
Fonte: A ordem de grandeza da primeira linha vem do estudo acadêmico sobre gasto de agentes citado a seguir. A da segunda vem do estudo comparativo de quatro substratos de execução publicado pela Daytona em 01/07/2026, que mostra o ambiente de execução dominando a conta de nuvem em treino de agente de código. A terceira é aritmética de folha de pagamento e dispensa estudo.
Ver como texto
Os dois vazamentos previsíveis da conta do laço de verificação e a alavanca que fecha cada um: tentativas sem teto, fechado por teto de gasto por execução com desligamento automático, e verificador caro rodando em toda tentativa, fechado por ordenar a checagem barata antes da cara
Um alerta informa que uma condição foi alcançada; um bloqueio impede novas ações conforme sua configuração. Verifique qual dos dois o serviço oferece. O teto do fornecedor pode não cobrir ferramentas externas, infraestrutura ou trabalho humano usado no mesmo piloto.
Ver como texto
Documentação do Promptfoo mostrando verificações determinísticas e métricas avaliadas por modelos.
Exemplo: a equipe autoriza até três tentativas por tarefa e revisão humana depois disso. Na terceira falha, o agente entrega o registro do que tentou em vez de continuar. A conta do piloto inclui também os casos interrompidos, porque eles consumiram recursos mesmo sem produzir entrega aceita.
Ver como texto
Documentação do sistema de permissões do Claude Code, com modos e regras de autorização.
| Taxa de acerto na primeira tentativa | Tentativas necessárias | Efeito na conta |
|---|---|---|
| 20% | 21 | linha de base da comparação |
| 40% | 10 | 52% mais barato que a linha de base |
| 60% | 6 | 71% mais barato que a linha de base |
Conta feita com a fórmula clássica de repetição independente, arredondada para cima porque o resultado é um piso. A conclusão executiva é uma só, e é ela que você leva para a reunião: dobrar a taxa de acerto na primeira tentativa corta mais da metade da conta de tentativas. É por isso que uma melhoria de qualidade do agente vale mais dinheiro que qualquer desconto por volume.
Fonte: Elaboração própria; cálculo verificado em 24/07/2026.
Ver como texto
Quantas tentativas o agente precisa para chegar a 99 por cento de chance de acerto, conforme a taxa de acerto na primeira tentativa: com 20 por cento são 21 tentativas, com 40 por cento são 10 e com 60 por cento são 6, de modo que dobrar a taxa de acerto corta 52 por cento da conta
Preço por token caindo não significa fatura caindo. O preço unitário de inferência despenca ano após ano e as faturas corporativas sobem no mesmo período, porque o consumo por tarefa cresce mais rápido que o desconto. A confirmação institucional veio do próprio fornecedor: o GitHub Copilot migrou de assinatura por assento para cobrança por uso em 1º de junho de 2026, e a Microsoft declarou na teleconferência de resultados que negócio por usuário está virando negócio por usuário e por uso, começando justamente por codificação. Orçamento de engenharia deixou de ser custo fixo e virou custo variável, e custo variável sem teto declarado é uma linha aberta no seu orçamento.
Quanto custa um mês do seu laço?
Pontue cada dimensão de 0 a 3, em que 0 significa sob controle e com evidência, e 3 significa que ninguém na empresa sabe responder. A soma vai de 0 a 12 e não estima reais: ela estima quanto da sua conta é imprevisível. Responda pensando no último mês fechado, não no mês que você pretende ter.
0 = medido e quase sempre na primeira. 1 = medido, entre duas e três. 2 = medido, acima de quatro. 3 = ninguém mediu.
0 = existe, está ligado e já disparou pelo menos uma vez. 1 = existe e está ligado, nunca disparou. 2 = existe só como alerta por e-mail. 3 = não existe.
0 = segundos, na esteira que já existe. 1 = minutos, na esteira que já existe. 2 = exige subir ambiente dedicado a cada tentativa. 3 = depende de alguém olhar.
0 = nenhum, o corte é automático. 1 = amostra pequena e declarada em percentual. 2 = revisão de tudo por qualquer pessoa do time. 3 = revisão de tudo por especialista sênior.
A conta é previsível o suficiente para virar linha de orçamento anual. O próximo ganho está em subir a taxa de acerto na primeira tentativa, que é onde a curva ainda é íngreme, e não em negociar preço unitário.
As três contas desta aula viram orçamento numa tabela de cinco linhas. A última é a que mais falta nas propostas: a reserva para a variação de consumo, porque execuções da mesma tarefa chegam a gastar trinta vezes mais uma que a outra. Os valores de assento abaixo foram conferidos nas páginas oficiais em 26/09/2026.
| Linha | Como estimar | Referência | Quem aprova |
|---|---|---|---|
| Assentos do assistente | Número de pessoas no piloto vezes o plano de equipe | Claude Team e ChatGPT Business: US$ 25 por pessoa no mês, no plano mensal | Dono do orçamento de tecnologia |
| Consumo por uso | Tarefas previstas vezes o teto por execução | Teto fixado nesta aula, nunca a média | Dono do orçamento, com teto assinado |
| Horas de revisão sênior | Entregas previstas vezes as horas de revisão medidas na linha de base | Registro da ferramenta de código | Diretor da área de engenharia |
| Infraestrutura de verificação | Esteira de testes e ambiente isolado de execução | Cotação interna ou da nuvem já contratada | Dono da plataforma |
| Reserva para variação | Percentual sobre a linha de consumo | Comece com 30% e ajuste após o primeiro mês | Financeiro |
Automação por chave de API é cobrada por uso nos dois fabricantes, à parte da assinatura. Reconsulte os preços na véspera de assinar.
Três perguntas para testar a decisão antes da próxima reunião: (1) A fatura do agente veio acima do orçado e o time explica que a tarefa era mais difícil que o previsto. Qual número você pede primeiro, e o que você faz se ele não existir? (2) Dois fornecedores apresentam preço por token e um deles é 20% mais barato. Qual pergunta você faz antes de escolher, e em que situação o mais barato por token sai mais caro no fim do mês? (3) Você precisa nomear hoje quem tem autoridade para desligar o agente quando o teto por execução for atingido. Quem é essa pessoa na sua empresa, e ela sabe disso?
Nas ferramentas de vibecoding, a primeira conta do laço aparece como um seletor de modo. O Replit Agent separa Free, Power e Max, com escolha de modelo e de esforço de raciocínio; o Bolt separa o agente Standard do Max. O modo mais caro resolve tarefa complexa em menos voltas, e o mais barato basta para ajuste de texto e de cor. Decidir o modo por tipo de tarefa é o teto de gasto aplicado ao dia a dia do marketing.

Ver como texto
Seletor Agent modes do Replit com as opções Free, Power e Max, a lista de modelos do modo Power com escolha automática recomendada e o controle de esforço de Low a Max
Escolher o modo do agente pelo tipo de tarefa de marketing
Passo 1: Classifique o pedido antes de enviar
Troca de texto, cor ou imagem é tarefa leve; nova seção com formulário é média; integração com CRM ou pagamento é pesada.
Deu certo quando: Cada pedido do time leva a classe no início da mensagem.
Erro comum: Usar o modo máximo por hábito em toda troca de vírgula.
Passo 2: Associe um modo a cada classe e escreva isso nas regras do projeto
Leve no modo gratuito ou Standard; média no intermediário; pesada no Max, com plano aprovado antes.
Deu certo quando: Tabela de três linhas no Knowledge do projeto ou no documento do piloto.
Erro comum: Cada pessoa escolher o modo do seu jeito, sem como comparar custo depois.
Passo 3: Leia o consumo por semana e por classe
Compare o gasto do modo caro com as voltas que ele economizou.
Deu certo quando: Relatório semanal com custo por tarefa entregue em cada classe.
Erro comum: Olhar só a fatura do mês, sem saber qual tipo de pedido consumiu.
No fim você tem: Gasto do agente previsível por tipo de pedido, com o modo caro reservado ao que de fato pede raciocínio longo.

Ver como texto
Tela inicial do Bolt com a caixa de pedido e o seletor Bolt Agent aberto, mostrando as opções Standard, marcada como ativa, e Max, além dos botões Design System e Plan
Preencha a tabela de orçamento acima com os números do seu piloto e fixe o teto por execução antes da primeira rodada. Delegue a coleta e assine o teto. Ao fim do primeiro mês, conte quantas execuções bateram no teto; acima de uma em vinte, reabra a estimativa.
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Veja o que estudar antes e para onde seguir depois, explore os conceitos e compare abordagens em outros cursos. Sugestões marcadas como “sugerido pelo grafo” vêm dos assuntos em comum, não do índice do curso.
- Calcular o custo por tarefa e escolher o modelo pelo resultadosugerido pelo grafoApresenta o conceito “Custo por tarefa”, usado em “Orçar cada tentativa e o resultado final”.
- Escolha as duas tarefas da sua agenda que merecem um pilotosugerido pelo grafoApresenta o conceito “Teste limitado”, usado em “Orçar cada tentativa e o resultado final”.
- CursoSetup Completo: do zero ao Claude Code (Windows)sugerido pelo grafoO Setup ensina permissões, contexto do projeto e escolha de modelo por custo. Essa preparação sustenta os exercícios de comparação de assistentes, criação do gerador de UTM e regras de projeto no curso de aprendizado por reforço e vibecoding.
- CursoAstra profundosugerido pelo grafo4 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Astra profundo”.
- Agentes de IA autônomos: como delegar e acompanharQuando liberar, ampliar ou suspender o agenteExaminar conexões de Quando liberar, ampliar ou suspender o agente
- Letramento em IA para ExecutivosCalcule quanto a IA custa por entrega aprovadaExaminar conexões de Calcule quanto a IA custa por entrega aprovada
- Prompt Engineering para ExecutivosMontar um relatório de IA com números que resistem à perguntaExaminar conexões de Montar um relatório de IA com números que resistem à pergunta
- Custos de IA e orçamentoPor que um agente pode custar mais que um chatExaminar conexões de Por que um agente pode custar mais que um chat
Terminou a leitura?
Você está aqui: capítulo 13 de 27
0 de 27 concluídos
- Próximo · Capítulo 14 de 27 · 18 minEscolher entre configurar um agente e treinar um modeloLer o capítulo 14 sem concluir
Marque como concluído para o capítulo contar no seu painel e no certificado.
- Anterior · Capítulo 12 de 27 · 16 minProteger os critérios usados para avaliarVoltar para o capítulo 12
Leve uma ideia para a prática
Escolha uma atividade no painel e volte a este curso quando quiser.
Atividades e evolução ficam reunidas no painel da sua conta.
- 11Encontrar o que os testes ainda não cobrem
- 12Proteger os critérios usados para avaliar
- 13Orçar cada tentativa e o resultado final
- 14Escolher entre configurar um agente e treinar um modelo
- 15Piloto de 90 dias: critérios para aprovar um agente


