Avaliar e melhorar agentes · ·
Verificador: como conferir a entrega de um agente
Um verificador executa ou inspeciona a entrega e compara o efeito com requisitos definidos. Saiba reconhecer essa checagem numa proposta de agente de código e identificar os erros que ela não detecta.
Este capítulo faz parte do curso gratuito Avaliar e melhorar agentes.
Verificador é a pessoa ou o programa que confere uma condição da entrega. Uma checagem de formato responde se o arquivo pode ser lido; outra confirma o valor calculado. Nenhuma delas, sozinha, decide se a solução atende a todo o objetivo do negócio.
Ver como texto
Documentação da OpenAI sobre graders, os avaliadores usados para atribuir notas às respostas.
Você decide aqui se veta ou não uma proposta de melhoria de agente que não declare, por escrito, quem é o verificador e o que exatamente ele executa. Por que isso toca receita e risco: sem esse mecanismo declarado, quem define o que conta como entrega boa é quem recebe pela entrega. O conflito não aparece na assinatura, aparece na primeira divergência de leitura, quando já existe fatura emitida. A decisão que cabe a você: exigir a declaração antes do primeiro pagamento. O que dá para delegar: escolher as camadas de verificação e operá-las. O que não dá: aceitar que quem entrega seja também quem julga a entrega.
A auditoria independente e a autoavaliação
Chegam duas peças sobre o mesmo trimestre. Uma é a autoavaliação da área, escrita por quem tocou o trabalho. A outra é o parecer de quem abriu os registros, refez as contas e assinou embaixo. Nenhum conselho do mundo trata as duas com o mesmo peso, e ninguém precisa explicar por quê. A diferença não está na competência de quem escreveu, está em quem tinha interesse no resultado.
Onde a analogia para de valer: o auditor humano entende o espírito da norma e reporta o que a norma não previu. O verificador cobre só o que foi escrito, e o silêncio dele nunca é aprovação.
Descreva o alcance de cada verificação e teste o próprio avaliador. Dê a ele exemplos corretos, incorretos e ambíguos. Se não consegue distinguir essas situações, a nota produzida por ele não deve orientar compra, publicação ou treinamento.
Ver como texto
Documentação do Promptfoo mostrando verificações determinísticas e métricas avaliadas por modelos.
Exemplo: um avaliador aprova todo relatório que contém a palavra “fonte”. Um relatório inventado com essa palavra também passa. A correção exige conferir o vínculo entre afirmação e documento, além da presença do rótulo. O erro mostrou uma falha do avaliador, não um sucesso do agente.
Ver como texto
Guia da OpenAI de boas práticas de avaliação de sistemas de IA, com etapas e critérios para comparar resultados.
O agente nunca é a fonte da verdade sobre si mesmo.
Ver como texto
Um verificador que só abre ou fecha a porta dá a mesma nota zero para a entrega que quase resolve e para a entrega que nem roda. As duas viram o mesmo resultado, e o agente não recebe nenhuma informação sobre a distância que faltava.
Por isso um verificador sério é uma escada de camadas, e a porta única fica para trás. A escada é uma decisão de dinheiro antes de ser uma decisão técnica. Cada degrau custa mais que o anterior e enxerga mais que o anterior. A ordem importa: toda entrega reprovada na camada de baixo, que é quase gratuita, deixa de consumir a camada de cima, que é cara. Quando alguém propõe começar pela camada mais cara porque ela é a mais completa, o que está sendo proposto é pagar o preço máximo para descobrir erro de sintaxe.
Ver como texto
As quatro camadas de verificação de uma entrega de código, empilhadas do custo quase zero ao custo alto: compila e segue o padrão, contratos e tipos conferem, os testes rodam e passam, e roda sob carga em ambiente parecido com produção. Só sobe de camada o que já passou na camada mais barata.
| Camada de verificação | O que ela prova quando passa | O que ela nunca vê | Custo relativo |
|---|---|---|---|
| Compila e segue o padrão da casa | O que foi entregue é código válido e está formatado como o resto do repositório | Se o programa faz o que o pedido descrevia | Quase zero |
| Contratos e tipos conferem | As peças se encaixam e as chamadas respeitam o formato combinado entre elas | Se a regra de negócio dentro da peça está correta | Baixo |
| Os testes escritos rodam e passam | O comportamento descrito nos testes acontece de verdade, na execução | Todo comportamento que ninguém escreveu como teste | Médio |
| Roda sob carga, perto de produção | O sistema aguenta uso real, com dado real e concorrência real | Quanto vai custar manter aquilo daqui a um ano | Alto |
A quarta coluna é a que decide a ordem de compra. A terceira é a que precisa ter dono com nome próprio, porque nenhuma camada cobre o que está nela.
Fonte: Elaboração própria a partir da arquitetura de verificação em camadas usada no material técnico deste curso.
Verificador é a regra ou o programa que confere uma condição. Quanto melhor ele representar o requisito, mais útil será o resultado. Ainda assim, podem existir casos que a regra não cobre. Registre essa cobertura e revise a avaliação quando mudar o trabalho, a ferramenta ou o modelo.
O fornecedor propõe um ciclo de melhoria do agente por seis meses. A proposta traz um gráfico de evolução e uma cláusula dizendo que a qualidade das entregas será avaliada continuamente. Na reunião, o gerente de contas explica que a avaliação fica com o time deles, que já conhece o padrão da sua casa.
O que você faz com a proposta nesta semana?
Uma avaliação aprovada mostra que os critérios conferidos foram atendidos naquela execução. Ela não resolve automaticamente segurança, custo ou comportamento fora dos casos avaliados. Mantenha uma lista de limites e indique como cada um será tratado antes de usar o resultado.
As quatro linhas que uma proposta responde antes de passar
O mecanismo, por escrito
0/2A evidência, antes do pagamento
0/2Três perguntas para testar a decisão antes da próxima reunião: (1) A proposta que chegou à sua mesa promete melhoria contínua e não diz o que o verificador executa. Você veta, devolve ou aprova com condição, e qual é a condição escrita? (2) O time apresenta uma bateria de testes toda verde como prova de que a entrega está pronta. O que você ainda pergunta antes de liberar, e por quê? (3) A área que escreve o código se oferece para manter também o verificador, alegando que ninguém conhece melhor o sistema. Você aceita, aceita com salvaguarda ou recusa, e quem passa a manter?
Guia prático: tirar as avaliações do OpenAI Evals antes do desligamento. Se o seu verificador mora no painel do Evals, ele tem data para sumir. A OpenAI avisou em 03/06/2026 que as avaliações existentes ficam só para leitura em 31/10/2026 e que o painel e a API saem do ar em 30/11/2026. O Cookbook da empresa publicou o caminho de migração para o Promptfoo, ferramenta de código aberto que roda no seu repositório.
Migrar um verificador do Evals para o repositório da empresa
Cinco passos. Faça até 31/10/2026, enquanto a avaliação ainda aceita edição e nova rodada.
Passo 1: Liste cada avaliação ativa com dono, conjunto de dados e grader
Anote o tipo de cada grader: string_check, text_similarity, score_model, python ou multi.
Deu certo quando: Inventário com uma linha por avaliação e o nome de quem responde por ela.
Erro comum: Descobrir em dezembro que o juiz da copy só existia no painel.
Passo 2: Exporte os dados e a última rodada de resultados
Os resultados antigos são a linha de base que a avaliação migrada precisa reproduzir.
Deu certo quando: Arquivos de dados e de resultados guardados no repositório, com data.
Erro comum: Migrar só a configuração e perder a linha de base.
Passo 3: Traduza cada grader para uma asserção do Promptfoo
Regra exata vira asserção de igualdade ou JavaScript; nota de modelo vira llm-rubric com o mesmo texto de rubrica.
Deu certo quando: Uma asserção por grader, com o mesmo limiar de aprovação.
Erro comum: Reescrever a rubrica durante a migração, o que muda a medida e o resultado ao mesmo tempo.
Passo 4: Valide, rode e compare com a linha de base
Os comandos do Cookbook são validate config, eval com --no-cache e view.
Deu certo quando: Taxa de aprovação próxima da última rodada no Evals, com as diferenças explicadas.
Erro comum: Aceitar diferença grande sem investigar se o juiz mudou de modelo.
Passo 5: Separe a escrita do verificador da escrita do código
O arquivo de configuração fica numa pasta que só o dono do verificador altera, com revisão obrigatória.
Deu certo quando: Regra de proteção no repositório exigindo aprovação do dono para mudar a pasta.
Erro comum: O mesmo agente que escreve o código editar o verificador que o julga.
No fim você tem: O verificador sai do painel de um fornecedor e passa a viver no repositório, com dono, histórico e linha de base.

Ver como texto
Tela de resultados do Promptfoo com duas colunas de modelos lado a lado, taxa de aprovação de 100% em cada uma, custo e latência por resposta e marcação PASS em cada caso de teste
Devolva hoje qualquer proposta aberta que não declare o verificador nas quatro linhas desta aula. Anexe a lista de verificação ao modelo de proposta da área de compras. No próximo trimestre, conte quantas propostas chegaram completas na primeira tentativa; a meta é a maioria.
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Veja o que estudar antes e para onde seguir depois, explore os conceitos e compare abordagens em outros cursos. Sugestões marcadas como “sugerido pelo grafo” vêm dos assuntos em comum, não do índice do curso.
- CursoSetup Completo: do zero ao Claude Code (Windows)sugerido pelo grafoO Setup ensina permissões, contexto do projeto e escolha de modelo por custo. Essa preparação sustenta os exercícios de comparação de assistentes, criação do gerador de UTM e regras de projeto no curso de aprendizado por reforço e vibecoding.
- CursoAstra profundosugerido pelo grafo4 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Astra profundo”.
- CursoLetramento em IA para Executivossugerido pelo grafo5 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Letramento em IA para Executivos”.
- CursoVídeo com IA: do roteiro à publicaçãosugerido pelo grafo2 capítulos de “Avaliar e melhorar agentes” usam conceitos apresentados em “Vídeo com IA: do roteiro à publicação”.
- Modelo de trabalho com agentes de IAQuem confere a entrega e pode pedir correção?Examinar conexões de Quem confere a entrega e pode pedir correção?
- Agentes de IA autônomos: como delegar e acompanharTestes e avaliação: que evidências permitem aprovar um pilotoExaminar conexões de Testes e avaliação: que evidências permitem aprovar um piloto
Terminou a leitura?
Você está aqui: capítulo 8 de 27
0 de 27 concluídos
- Próximo · Capítulo 9 de 27 · 19 minEscolher uma recompensa ligada ao resultadoLer o capítulo 9 sem concluir
Marque como concluído para o capítulo contar no seu painel e no certificado.
- Anterior · Capítulo 7 de 27 · 23 minConferir a entrega antes de aceitar uma notaVoltar para o capítulo 7
Leve uma ideia para a prática
Escolha uma atividade no painel e volte a este curso quando quiser.
Atividades e evolução ficam reunidas no painel da sua conta.
- 06Aprendizado por reforço: o que muda no treinamento
- 07Conferir a entrega antes de aceitar uma nota
- 08Verificador: como conferir a entrega de um agente
- 09Escolher uma recompensa ligada ao resultado
- 10Reconhecer quando a nota melhora e o trabalho piora


