Avaliar e melhorar agentes · ·
Organizar a decisão e a revisão do piloto
Registre responsável, evidência esperada e data para continuar ou encerrar.
Este capítulo faz parte do curso gratuito Avaliar e melhorar agentes.
O plano de noventa dias transforma uma intenção em decisões acompanháveis. Comece pela tarefa e pelo responsável; depois organize medição inicial, ajuste, comparação e decisão. Evite uma lista de ferramentas sem relação com o problema que o piloto precisa resolver.
Ver como texto
Guia da OpenAI de boas práticas de avaliação de sistemas de IA, com etapas e critérios para comparar resultados.
Você decide aqui as cinco linhas do plano de 90 dias, cada uma com dono nomeado e data. Área não é dono: área é a forma educada de não atribuir a ninguém.
A trilha de auditoria contábil
Um registro de execução deve permitir reconstruir o que foi solicitado, quem autorizou, o que aconteceu e qual foi o resultado. A equipe precisa definir onde guardar esse registro e como proteger seu conteúdo.
Uma regra escrita, sozinha, não torna o registro imutável. A proteção depende do armazenamento, das permissões e da conferência de integridade.
Marque revisões em que a equipe olha qualidade, custo e condições do serviço. Se um modelo ou integração mudar, registre a alteração e reavalie o que ela afeta. A data no calendário organiza a conversa; a evidência determina se há motivo para ampliar.
Ver como texto
Documentação da OpenAI sobre configuração e execução de avaliações, com exemplos de tarefas e resultados.
Exemplo: o primeiro mês estabelece a referência, o segundo compara uma mudança e o terceiro decide o próximo passo. Se os resultados já demonstrarem que a proposta não compensa, o responsável pode encerrar antes. Persistir até o fim do prazo não transforma ausência de ganho em sucesso.
Ver como texto
Calendário oficial de descontinuações da OpenAI, com identificadores de modelos e datas de encerramento.
Um exemplo de plano de noventa dias
- Dias 1 a 15Concluído
Definir a tarefa e medir a referência
Nomeie o responsável, registre o processo atual e escolha os critérios de aceitação.
- Dias 16 a 30Concluído
Testar acessos e uma execução pequena
Use dados apropriados, confira permissões e registre como interromper o trabalho.
- Dias 31 a 60Agora
Comparar uma mudança
Mantenha condições equivalentes e acompanhe qualidade, custo e revisão humana.
- Dias 61 a 90Previsto
Decidir com a evidência reunida
Registre ampliar, ajustar ou encerrar. O prazo organiza o piloto e não obriga a continuá-lo sem benefício.
O plano de adoção deve combinar utilidade, evidência e responsabilidade. Para cada iniciativa, registre a decisão que ela apoia, a medida atual e o resultado que justificará continuidade. Requisitos legais e contratuais dependem da aplicação e devem ser conferidos pelos responsáveis. O curso O Novo Mundo de Fazer Software aprofunda a organização do trabalho; aqui, o foco permanece na avaliação e nos limites da melhoria do agente.
1. Toda linha do plano tem nome de pessoa, nunca nome de área.
2. Toda linha tem data dentro dos 90 dias, nunca "em breve".
3. A linha de base é medida ANTES de qualquer mudança começar.
4. O registro de execução recebe proteção de acesso e integridade, verificada pelo responsável.
5. Quem escreve o verificador não escreve o código julgado por ele.Ver como texto
As cinco linhas do plano de 90 dias distribuídas no calendário: linha de base até o dia 15, os três nomes próprios até o dia 30, registro imutável até o dia 45, teto por execução e critério de parada até o dia 60 e as sete perguntas dentro do processo de compra até o dia 90. Cada linha tem espaço para o nome do dono.
| Linha do plano | O que ela entrega | Como se verifica que entregou | Prazo |
|---|---|---|---|
| Linha de base medida | O número de hoje para custo por tarefa concluída e para taxa de acerto na primeira tentativa, antes de qualquer mudança começar | Existe um documento datado, assinado por um nome próprio, com data anterior à primeira alteração no processo | Dia 15 |
| Os três nomes próprios | Quem escreve a régua, quem escreve o verificador e quem tem poder de barrar, cada um com substituto nomeado | Os três nomes estão num documento aprovado, e nenhum deles responde pela entrega que o verificador julga | Dia 30 |
| Registro imutável por decisão interna | A trilha de evidência do agente fora do alcance de escrita de quem entrega, com estado antes, ação, autor e estado depois | Alguém tenta apagar um registro de teste, não consegue, e a tentativa fica gravada | Dia 45 |
| Teto por execução e critério de parada | O limite de gasto por execução com corte automático e a condição escrita que encerra o piloto | O teto foi testado com um corte real em ambiente de teste, e o critério de parada está no termo de abertura | Dia 60 |
| Sete perguntas dentro do processo de compra | O roteiro de fornecedor incorporado ao fluxo formal de contratação, no lugar de circular como recomendação | A próxima proposta que chegar traz as sete respostas anexadas, ou não entra em pauta de comitê | Dia 90 |
Área não é dono. Toda linha sem nome de pessoa é uma linha que ninguém vai executar, e ela some do plano na primeira semana difícil.
Fonte: Elaboração própria a partir das decisões estabelecidas nas sete trilhas executivas deste curso.
O plano de 90 dias, com dono e data
Linha 1. Linha de base medida, até o dia 15
0/2Linha 2. Os três nomes próprios, até o dia 30
0/2Linha 3. Registro imutável por decisão interna, até o dia 45
0/2Linha 4. Teto por execução e critério de parada, até o dia 60
0/2Linha 5. Sete perguntas no processo de compra, até o dia 90
0/2Ver como texto
O arco do curso executivo em seis decisões encadeadas: classificar o incidente, escolher entre instruir e premiar, aceitar ou recusar a evidência, vetar as métricas fáceis de burlar, orçar o piloto com teto e parada, e nomear quem responde pela recompensa e pelo verificador. A sétima parte aparece desacoplada, como apêndice técnico opcional.
Aplique o plano a uma tarefa real: identifique o responsável, a primeira medição e a condição que justificaria interromper o piloto. Se faltar um desses elementos, registre a pendência antes de aprovar a ampliação.
O próximo passo é registrar o piloto com responsável, evidência esperada e data de revisão. Os capítulos seguintes aprofundam os mecanismos de treinamento e podem ser lidos com a equipe técnica. O progresso do curso considera todos os capítulos; use essa parte conforme seu objetivo de aprendizagem.
Preencha as cinco linhas do plano de 90 dias com dono nomeado e data, e leve o documento ao próximo comitê. Marque a revisão para o dia 45. No dia 90, conte quantas linhas fecharam no prazo; abaixo de quatro, o plano volta com a causa de cada atraso por escrito.
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Veja o que estudar antes e para onde seguir depois, explore os conceitos e compare abordagens em outros cursos. Sugestões marcadas como “sugerido pelo grafo” vêm dos assuntos em comum, não do índice do curso.
- Calcular o custo por tarefa e escolher o modelo pelo resultadosugerido pelo grafoApresenta o conceito “Custo por tarefa”, usado em “Organizar a decisão e a revisão do piloto”.
- Escolha as duas tarefas da sua agenda que merecem um pilotosugerido pelo grafoApresenta o conceito “Teste limitado”, usado em “Organizar a decisão e a revisão do piloto”.
- CursoSetup Completo: do zero ao Claude Code (Windows)sugerido pelo grafoO Setup ensina permissões, contexto do projeto e escolha de modelo por custo. Essa preparação sustenta os exercícios de comparação de assistentes, criação do gerador de UTM e regras de projeto no curso de aprendizado por reforço e vibecoding.
- CursoAstra profundosugerido pelo grafo4 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Astra profundo”.
- Autoridade temáticaMontar um plano de 90 dias com a equipe disponívelExaminar conexões de Montar um plano de 90 dias com a equipe disponível
- Sistemas e dados para IAComo organizar os primeiros 30 dias de diagnóstico?Examinar conexões de Como organizar os primeiros 30 dias de diagnóstico?
- Letramento em IA para ExecutivosMonte o plano de 90 dias com data marcada para decidirExaminar conexões de Monte o plano de 90 dias com data marcada para decidir
- CRO: Otimização de Conversão e ExperimentaçãoPlano de 90 dias: provar o sistema antes de escalarExaminar conexões de Plano de 90 dias: provar o sistema antes de escalar
Terminou a leitura?
Você está aqui: capítulo 21 de 27
0 de 27 concluídos
- Próximo · Capítulo 22 de 27 · 22 minFamílias de treinamento: recompensas e infraestruturaLer o capítulo 22 sem concluir
Marque como concluído para o capítulo contar no seu painel e no certificado.
- Anterior · Capítulo 20 de 27 · 16 minPedir evidências antes de assinarVoltar para o capítulo 20
Leve uma ideia para a prática
Escolha uma atividade no painel e volte a este curso quando quiser.
Atividades e evolução ficam reunidas no painel da sua conta.
- 19Separar execução, verificação e aprovação
- 20Pedir evidências antes de assinar
- 21Organizar a decisão e a revisão do piloto
- 22Famílias de treinamento: recompensas e infraestrutura
- 23Examinar a regra que atribui a nota


