Avaliar e melhorar agentes · ·
Piloto de 90 dias: critérios para aprovar um agente
Antes de aprovar o piloto, registre linha de base, orçamento, data de revisão e critério de parada. Compare a tarefa do agente com o processo atual para decidir se vale continuar o investimento.
Este capítulo faz parte do curso gratuito Avaliar e melhorar agentes.
Um piloto útil reduz uma incerteza de compra ou operação. Defina qual tarefa será avaliada, quem recebe a entrega e como o resultado será comparado ao processo atual. Um prazo de noventa dias organiza o trabalho; não garante que o aprendizado precise durar esse período inteiro.
Ver como texto
Guia da OpenAI de boas práticas de avaliação de sistemas de IA, com etapas e critérios para comparar resultados.
Você decide aqui as quatro linhas do piloto antes de aprová-lo: a linha de base, o teto de gasto, a data de revisão e o critério de parada. Piloto sem critério de parada não termina, ele apodrece.
O período de experiência de 90 dias
Você já contratou com período de experiência. O combinado é conhecido por todo mundo na empresa: a pessoa entra com metas escritas, tem conversas de acompanhamento em datas marcadas e, no fim, alguém decide efetivar ou encerrar. Ninguém acha isso cruel, porque a regra estava na mesa antes de a pessoa começar. Um piloto de agente merece exatamente o mesmo tratamento e quase nunca recebe: começa sem meta escrita, sem data de revisão e sem ninguém encarregado de dizer que acabou.
Onde a analogia para de valer: a pessoa carrega o aprendizado para o próximo emprego e continua melhorando sozinha depois. O modelo congela no fim do treino e não aprende com o uso, a menos que alguém pague por um ciclo novo. Essa é a diferença que mais surpreende executivo, e ela muda a conta do piloto: o ganho obtido não se acumula de graça, e manter o nível custa orçamento recorrente.
Determine antes o que leva a ampliar, corrigir ou encerrar. Use critérios de qualidade e custo junto das falhas que não podem ser aceitas. Se o resultado depender de uma pessoa corrigindo tudo por fora, essa intervenção deve aparecer no registro.
Ver como texto
Documentação da OpenAI sobre configuração e execução de avaliações, com exemplos de tarefas e resultados.
Exemplo: o piloto revisa links de campanhas passadas com dados fictícios. A equipe compara defeitos encontrados e tempo total de revisão. Só amplia para novas campanhas depois de verificar os erros importantes e a possibilidade de reverter. Publicar automaticamente seria outra etapa, com outra avaliação.
Ver como texto
Documentação do Promptfoo mostrando verificações determinísticas e métricas avaliadas por modelos.
1. Meta atingida pontua como meta atingida, nunca como zero.
2. Estourar a meta em 10% e estourar em 10 vezes não podem valer o mesmo.
3. O piloto para quando o ganho de um ciclo fica abaixo do limiar declarado.
4. O piloto também para quando o teto de gasto do período é atingido.
5. Quem declara a parada é nomeado no termo de abertura, antes de começar.Ver como texto
O ganho de cada ciclo do piloto cresce rápido no começo, depois satura: a linha horizontal tracejada é a linha de base medida antes de começar, e a linha vertical marca o ciclo em que o ganho fica abaixo do limiar declarado e o piloto para
| Cenário | O que ele assume | O que você combina com o financeiro |
|---|---|---|
| Conservador | O ganho por ciclo satura cedo e o teto de gasto do período é atingido antes da terceira revisão | O piloto encerra na segunda revisão, e a empresa fica com a linha de base medida e o verificador escrito, que sobrevivem ao encerramento |
| Realista | O ganho aparece depois de uma queda inicial de produtividade, porque a equipe está aprendendo e conferindo mais que antes | A verba cobre a queda inicial sem que ela dispare o critério de parada, e essa exceção está escrita no termo de abertura |
| Otimista | O ganho por ciclo se mantém acima do limiar declarado até o fim dos 90 dias | A decisão do fim do piloto passa a ser de expansão, com teto novo e linha de base nova, em vez de renovação automática do que já existe |
Rodar os três antes de pedir a verba é recomendação explícita do relatório de retorno do DORA, e serve para estabelecer uma faixa de expectativa com o time financeiro. O mesmo relatório publica um cálculo ilustrativo para uma engenharia de 500 pessoas com salário totalmente carregado de 176 mil dólares por cabeça: retorno de primeiro ano de cerca de 11,6 milhões de dólares contra investimento de 8,4 milhões, o que dá 39% de retorno e recuperação em cerca de oito meses. Os próprios autores pedem que isso seja tratado como estimativa de alta incerteza feita para começar uma conversa, e nunca como fórmula.
Fonte: DORA, relatório de retorno de desenvolvimento de software assistido por IA (2026.01).
Ver como texto
As quatro linhas obrigatórias do termo de abertura de um piloto e o que cada uma trava: linha de base, teto de gasto, data de revisão e critério de parada
A linha de base foi medida antes de começar e está no termo de abertura. O limiar combinado é de 5% de ganho por ciclo. Os dois últimos ciclos entregaram 1,4% e 0,9%, o que aciona o critério de parada escrito. O time pede mais um ciclo, argumentando que a próxima leva de tarefas é mais fácil e vai reerguer a média. O teto de gasto do período ainda tem 22% de folga.
O que você decide no dia 60?
Termo de abertura de piloto em uma página
Preencha com o piloto que está na sua mesa hoje. O documento cabe em uma página de propósito: se alguma linha não tem resposta, o piloto ainda não está pronto para ser aprovado, e a linha vazia é a pauta da próxima reunião.
Documento montado
TERMO DE ABERTURA DE PILOTO Tarefa: [A TAREFA DO PILOTO, EM UMA FRASE] 1. LINHA DE BASE (medida antes de qualquer mudança começar) [LINHA DE BASE: O NÚMERO DE HOJE, MEDIDO ANTES DE COMEÇAR] 2. VERIFICADOR (quem executa e o que roda) [QUEM EXECUTA O VERIFICADOR, E O QUE EXATAMENTE ELE RODA] 3. TETO DE GASTO Por execução, com desligamento automático ..... [TETO DE GASTO POR EXECUÇÃO, COM DESLIGAMENTO AUTOMÁTICO] Do período de 90 dias ......................... [TETO DE GASTO DOS 90 DIAS] 4. CRITÉRIO DE PARADA O piloto encerra quando o ganho de um ciclo fica abaixo de [GANHO MÍNIMO POR CICLO QUE MANTÉM O PILOTO VIVO]. O piloto também encerra quando o teto do período é atingido. 5. REVISÕES [AS TRÊS DATAS DE REVISÃO, FIXADAS NO CALENDÁRIO] 6. QUEM DECLARA A PARADA [QUEM DECLARA A PARADA, COM NOME E SOBRENOME] Regra de pontuação acordada: Meta atingida pontua como meta atingida, nunca como zero. Estourar a meta em 10% e estourar em 10 vezes não valem o mesmo. A queda inicial de produtividade dos primeiros ciclos não dispara a parada, e está prevista aqui. Aprovado em ____/____/______ por ______________________________
O que você digitar fica salvo neste navegador. Nada é enviado para servidor algum.
Antes de comprometer todo o período, use uma etapa curta para reunir dados, testar as permissões e avaliar uma tarefa. O guia organiza um exemplo de quatro semanas; adapte a duração ao risco e à disponibilidade da equipe. Quatro semanas sem evidência suficiente não autorizam automaticamente a ampliação.
Guia prático: o piloto de vibecoding de 30 dias
Dois ou três times, sistemas de risco baixo ou médio, três tipos de tarefa: correção pequena, criação de teste e reorganização localizada do código.
Passo 1: Antes do dia 1: meça a linha de base
Últimos 30 dias de tempo até a entrega, retrabalho, falhas em produção e horas de revisão.
Deu certo quando: Quatro números com fonte no registro da ferramenta.
Erro comum: Começar sem a medição de antes e depender da memória do time.
Passo 2: Semana 1: política, acesso e casos simples
Política de uma página assinada, pastas sensíveis bloqueadas, nenhum segredo nem dado de cliente enviado ao modelo.
Deu certo quando: Todo pedido de alteração declara o uso de agente.
Erro comum: Liberar pagamento, autenticação ou dado regulado no primeiro ciclo.
Passo 3: Semana 2: uso assistido com revisão reforçada
Dois revisores nas primeiras cinquenta entregas, com o guia de revisão da Trilha 1.
Deu certo quando: Horas de revisão medidas por entrega aceita.
Erro comum: Relaxar a revisão porque a primeira semana foi tranquila.
Passo 4: Semana 3: compare com a linha de base
Mesmos quatro números, mesma janela de medição.
Deu certo quando: Relatório de uma página com antes, depois e diferença.
Erro comum: Trocar a métrica no meio do caminho.
Passo 5: Semana 4: decida escalar, ajustar ou encerrar
Escala só com entrega maior sem alta de falha, de retrabalho nem de horas de revisão.
Deu certo quando: Decisão registrada em ata com a data do piloto de 90 dias ou do encerramento.
Erro comum: Escalar pelo entusiasmo de quem usa, sem ouvir quem revisa.
No fim você tem: Uma decisão de continuar, ajustar ou parar apoiada em quatro números medidos, pronta para virar o termo de abertura do piloto de 90 dias.
Três perguntas para testar a decisão antes da próxima reunião: (1) Chega à sua mesa uma proposta de piloto sem linha de base medida. Você aprova, aprova com condição ou devolve, e qual é exatamente a condição? (2) No dia 60 o critério de parada dispara e o teto de gasto ainda tem folga de caixa. O que você decide, e quem na sua empresa tem autoridade para declarar essa parada? (3) O piloto encerra sem atingir a meta prometida. Qual é o ativo que a empresa fica tendo, e o que você escreve no relatório para que o próximo piloto comece do lugar certo?
A decisão que cabe a você é a data e o número, e as duas cabem em uma página. O que dá para delegar: medir a linha de base, instrumentar o teto de gasto, montar o relatório de cada revisão e preparar os três cenários para o financeiro. O que não dá: declarar qual ganho por ciclo justifica continuar gastando, e nomear quem tem autoridade para dizer que acabou. A ideia da Trilha 5 para levar seis meses adiante: nem o modelo nem o seu engenheiro sênior conseguem prever o custo de uma tarefa, e por isso só o teto por execução protege o orçamento.
Guia prático: a primeira tarefa de marketing do piloto, uma landing page de campanha. Ela é um bom caso de estreia porque o risco é baixo, o prazo é curto e o critério de pronto é verificável: a página abre, o formulário envia, e a visita chega ao Google Analytics com a origem da campanha. As ferramentas de vibecoding de interface, como Lovable, v0, Bolt e Replit, fazem o código e a hospedagem; a medição continua sendo responsabilidade do time.
| Ferramenta | Criar e planejar | Regras do projeto | Publicar |
|---|---|---|---|
| Lovable | Pedido no chat do editor | Project settings, Knowledge, até 10 mil caracteres; há também Knowledge do workspace | Botão Publish no canto superior direito; para atualizar, Publish changes |
| v0 | Start a new chat ou novo projeto | O guia rápido não documenta arquivo de regras; variáveis de ambiente ficam em Settings, Environment Variables | Publish no cabeçalho do chat; para atualizar, Publish Changes; projeto vai para a Vercel |
| Bolt | Pedido no chat e Build now; botão Plan antes de construir | Ícone de engrenagem, Knowledge ou All project settings | Publish; endereço gratuito em bolt.host |
| Replit Agent | Descrição no Project Editor; Plan Mode gera lista de tarefas para aceitar | Plano revisável antes do código | Publish, que publica junto todos os artefatos do projeto |
Fonte: Documentações oficiais de Lovable, v0, Bolt e Replit, consultadas em 01/10/2026

Ver como texto
Editor do Replit com o painel Task plans created listando quatro tarefas propostas, os botões Accept tasks e Revise plan e, ao lado, o plano com as seções What and Why e Done looks like
Landing page de campanha com Google tag, evento de lead e UTM preservada
Oito passos, válidos para qualquer uma das quatro ferramentas. Os nomes de botão estão na tabela acima; o roteiro é o mesmo.
Passo 1: Escreva o brief de uma página antes de abrir a ferramenta
Oferta, público, seções da página, campos do formulário, ID de medição do GA4 (formato G-) e a lista de UTMs que a campanha vai usar.
Deu certo quando: Brief revisado por quem é dono da campanha e por quem é dono da medição.
Erro comum: Começar pelo chat e descobrir o evento de conversão depois da página pronta.
Passo 2: Grave as regras do projeto no lugar próprio da ferramenta
Identidade visual, tom de voz, política de privacidade obrigatória no rodapé e proibição de inventar depoimento ou número.
Deu certo quando: As regras aparecem em Knowledge, ou no início do primeiro pedido quando a ferramenta não tem esse campo.
Erro comum: Repetir as regras a cada pedido e esquecer uma delas no meio da conversa.
Passo 3: Peça o plano antes do código
No Bolt e no Replit há botão de plano. Confira se o plano cita a tag, o evento e a captura de UTM antes de aceitar.
Deu certo quando: Plano aceito com os três itens de medição listados como tarefa.
Erro comum: Aceitar plano que trata medição como "etapa futura".
Passo 4: Peça a Google tag no head de todas as páginas
Cole o trecho oficial de instalação com o seu ID de medição e peça que ele carregue em todas as rotas, inclusive a de agradecimento.
Deu certo quando: O código da página publicada mostra o carregamento da gtag com o seu ID.
Erro comum: Tag só na página inicial de um site com várias rotas.
Passo 5: Peça o evento generate_lead no envio bem-sucedido do formulário
É um evento recomendado do GA4. Ele dispara só depois da confirmação do envio, nunca no clique do botão.
Deu certo quando: Um envio de teste gera um evento, e um clique sem envio não gera nenhum.
Erro comum: Evento no clique, que conta lead de formulário com erro de validação.
Passo 6: Preserve as UTMs no lead
Peça campos ocultos que leiam utm_source, utm_medium e utm_campaign da URL e sigam junto com o formulário para o CRM.
Deu certo quando: O lead de teste chega ao CRM com as três UTMs preenchidas.
Erro comum: UTM que existe só na visita do GA4 e some quando o lead chega ao time comercial.
Passo 7: Teste com uma URL de campanha e o DebugView aberto
Abra a página com ?utm_source=teste&utm_medium=cpc&utm_campaign=lancamento e envie o formulário.
Deu certo quando: No DebugView do GA4 aparecem page_view e generate_lead com a origem teste.
Erro comum: Testar sem as UTMs e não perceber que a captura está quebrada.
Passo 8: Publique, confira no endereço final e só então ligue o anúncio
Repita o teste do passo anterior no endereço publicado ou no domínio próprio, porque a prévia da ferramenta pode diferir do site no ar.
Deu certo quando: Evento visível no relatório em tempo real vindo do endereço publicado.
Erro comum: Ligar a campanha com a prévia testada e o site publicado sem tag.
No fim você tem: Uma página no ar que mede a visita, o lead e a origem da campanha, testada no endereço publicado antes do primeiro real gasto em mídia.

Ver como texto
Projeto no Bolt com o menu da engrenagem aberto, mostrando as opções Analytics, Knowledge, Skills, Connectors e All project settings, e os botões Share e Publish no topo
Rode primeiro o piloto de trinta dias do guia, com as quatro linhas preenchidas antes do primeiro dia. Marque hoje a reunião de decisão no calendário do comitê. No dia marcado, escale só se a entrega subiu sem aumento de falha em produção nem de horas de revisão.
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Veja o que estudar antes e para onde seguir depois, explore os conceitos e compare abordagens em outros cursos. Sugestões marcadas como “sugerido pelo grafo” vêm dos assuntos em comum, não do índice do curso.
- Escolha as duas tarefas da sua agenda que merecem um pilotosugerido pelo grafoApresenta o conceito “Teste limitado”, usado em “Piloto de 90 dias: critérios para aprovar um agente”.
- CursoSetup Completo: do zero ao Claude Code (Windows)sugerido pelo grafoO Setup ensina permissões, contexto do projeto e escolha de modelo por custo. Essa preparação sustenta os exercícios de comparação de assistentes, criação do gerador de UTM e regras de projeto no curso de aprendizado por reforço e vibecoding.
- CursoAstra profundosugerido pelo grafo4 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Astra profundo”.
- CursoLetramento em IA para Executivossugerido pelo grafo5 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Letramento em IA para Executivos”.
- CRO: Otimização de Conversão e ExperimentaçãoPlano de 90 dias: provar o sistema antes de escalarExaminar conexões de Plano de 90 dias: provar o sistema antes de escalar
- Letramento em IA para ExecutivosMonte o plano de 90 dias com data marcada para decidirExaminar conexões de Monte o plano de 90 dias com data marcada para decidir
- Bastidores: como este portal produz e confere os cursosQuanto custa um piloto e quando vale ampliarExaminar conexões de Quanto custa um piloto e quando vale ampliar
- Agentes de IA autônomos: como delegar e acompanharTestes e avaliação: que evidências permitem aprovar um pilotoExaminar conexões de Testes e avaliação: que evidências permitem aprovar um piloto
Terminou a leitura?
Você está aqui: capítulo 15 de 27
0 de 27 concluídos
- Próximo · Capítulo 16 de 27 · 22 minComparar Claude Code e Codex na mesma tarefaLer o capítulo 16 sem concluir
Marque como concluído para o capítulo contar no seu painel e no certificado.
- Anterior · Capítulo 14 de 27 · 18 minEscolher entre configurar um agente e treinar um modeloVoltar para o capítulo 14
Leve uma ideia para a prática
Escolha uma atividade no painel e volte a este curso quando quiser.
Atividades e evolução ficam reunidas no painel da sua conta.
- 13Orçar cada tentativa e o resultado final
- 14Escolher entre configurar um agente e treinar um modelo
- 15Piloto de 90 dias: critérios para aprovar um agente
- 16Comparar Claude Code e Codex na mesma tarefa
- 17Grok e Claude: comparar modelos e ferramentas de código


