Modelo de trabalho com agentes de IA · Capítulo 4 de 19 · 24 min
Que evidência mostra se a entrega funcionou?
Escolha uma prova do comportamento esperado e acrescente controles conforme o alcance de uma falha.
Este capítulo faz parte do curso gratuito Modelo de trabalho com agentes de IA.
Uma entrega precisa ser conferida contra o pedido. A frase de conclusão do agente é uma informação a verificar, assim como seria a declaração de qualquer executor. O critério deve existir antes da aprovação. Exemplo: para uma alteração de cobrança, abrir a página sem erro é insuficiente. É preciso conferir valor, destinatário, duplicidade e tratamento de falha. Para corrigir uma frase, a validação pode ser muito menor. A diferença está na consequência do erro.
Exemplo: um agente conclui uma alteração de preço e informa sucesso. A revisão abre a página, mas não confere desconto, arredondamento ou cobrança. A entrega parece pronta porque a pergunta da revisão era pequena demais.
O mesmo risco existe em trabalho humano. A escala e a velocidade dos agentes tornam especialmente útil escrever os critérios e guardar evidências proporcionais à consequência de uma falha.
- "Ficou melhor?"
A pergunta convida opinião quando a empresa precisa de um fato.
- Comportamento
O sistema continua fazendo o que fazia e passou a fazer o que se pediu.
- Risco
Segurança, regressão e raio de dano caíram, com artefato que outra pessoa repete.
- Custo futuro
A próxima alteração ficou mais barata, e há medida que mostra isso.
O tamanho do problema, medido
6 horas
de indisponibilidade no varejo da Amazon, em março de 2026
Segundo a Amazon, um engenheiro seguiu um conselho impreciso que um agente tirou de um wiki interno desatualizado
21% para 3,8%
queda na parcela de código reorganizado, entre 2022 e 2026
Na mesma base de 623 milhões de mudanças, subiu 81% a prática de copiar um trecho pronto em vez de reaproveitá-lo. Trecho copiado precisa ser corrigido em cada cópia
100% contra 60%
líderes brasileiros que dizem ter implementado IA, e os que não conseguem provar impacto
Adoção declarada por todos, resultado comprovado pela minoria
Fonte: Wharton Accountable AI Lab (14/04/2026), GitClear (janeiro de 2026) e KPMG Global Tech Report 2026, recorte de 150 líderes brasileiros.
Para uma sala de conselho, o episódio da Amazon vale mais do que qualquer estatística, porque a falha não foi de código. Segundo a própria Amazon, um engenheiro seguiu o conselho que um agente tirou de um documento interno que ninguém tinha atualizado, um desses wikis que são a enciclopédia do time e quase nunca passam por revisão, e a conta chegou em pedido perdido, receita e reputação. Todo conselheiro reconhece um wiki desatualizado na própria casa, e é por ele que vale começar a conversa.
Reorganizar código de tempos em tempos é o que mantém barata a alteração seguinte. Quando essa prática cai a um sexto do que era, o custo não some: muda de endereço, sai da etapa de escrita e reaparece na de manutenção, meses depois, quando quem escreveu já está em outro projeto. Nenhuma outra base pública acompanha o assunto por quatro anos seguidos, e a empresa que a publica vende ferramenta de análise de qualidade de código, o que lhe dá interesse comercial no achado.
No recorte brasileiro o quadro fica mais direto ainda. Duas frases da mesma pesquisa, lidas juntas, resumem o estágio da adoção no país: todo mundo implementou, quase ninguém consegue provar.

Fonte: firebase.blog · Captura em 29/10/2026 · trecho de página pública
Ver como texto
Captura da página Eval-driven development: How we build better agent skills for Firebase.
"Ficou melhor?" convida a uma opinião no momento em que a organização precisa de um fato inspecionável. Nenhum instrumento diz que o código era nota 5 e virou 10. O que existe é a reformulação da pergunta em três dimensões que admitem prova:
- Comportamento: que evidência mostra que o sistema continua fazendo o que fazia, e passou a fazer o que se pediu?
- Risco: que evidência mostra que a exposição caiu, em segurança, em regressão e em raio de dano?
- Custo futuro: que evidência mostra que a próxima alteração ficou mais barata?
As três têm a mesma forma por construção. Nenhuma pergunta pelo sentimento do revisor, e todas pedem um artefato que existe fora da conversa e continua existindo depois que ela acaba.
Raio de dano, ou blast radius no vocabulário do mercado, é o alcance do estrago quando a mudança falha: quantos clientes, quanta receita, qual dado, por quanto tempo. O termo apareceu de passagem nas aulas anteriores e é aqui que ele ganha a definição que o curso usa daqui para a frente, como régua de quanta prova exigir e de quanto poder conceder. Suponha uma clínica pequena que usa agente no site e no sistema de cobrança. Na mesma semana, o agente troca o texto do horário de atendimento e mexe na regra que calcula o valor da consulta no boleto. Se o primeiro der errado, a recepção atende um telefonema; se o segundo der errado, todo paciente do mês recebe cobrança errada. As duas alterações não pedem o mesmo pacote de provas, porque não têm o mesmo raio, e é essa diferença que você passa a declarar antes de a entrega começar.
O vazamento no banheiro e o vazamento na coluna do prédio
Um cano furado é sempre um cano furado. O que muda é onde ele está. No banheiro do apartamento, o morador chama um encanador e resolve na quinta-feira. Na coluna que alimenta as trinta unidades, o prédio inteiro fica sem água, o teto do vizinho de baixo abre e a conversa migra para uma assembleia extraordinária. O defeito é idêntico nos dois casos; o alcance do estrago é que decide se aquilo vira um chamado de manutenção ou uma crise. Software se comporta do mesmo jeito, e esse alcance tem nome: raio de dano.
Onde a analogia para de valer: no prédio, a planta hidráulica mostra qual cano é a coluna. No software não existe essa planta pronta, e classificar cada mudança pelo seu raio de dano é justamente o trabalho que ninguém fez ainda.
Ver como texto
Árvore de decisão com duas perguntas que separam opinião de prova, com três saídas possíveis
| A frase que você ouve hoje | O artefato que a substitui | Quem consegue conferir |
|---|---|---|
| Funciona | Resultado da bateria de testes, anexado à entrega | Qualquer pessoa do time, sem abrir o código |
| Não quebrou nada | Execução da bateria de regressão, com o resultado registrado | Qualquer pessoa do time |
| Ficou mais rápido | Teste de carga com comparação numérica antes e depois | Quem compara os dois números |
| A tela está correta | Gravação ou captura do fluxo completo, do início ao fim | Você mesmo, em trinta segundos |
| O agente terminou | Dossiê com os comandos executados, o que cada um devolveu e os riscos que sobraram | O revisor, sem precisar reconstruir o raciocínio do agente |
A coluna do meio tem uma propriedade que a primeira não tem: cada linha aponta para algo que existe em um arquivo ou em um registro, e que continua existindo depois que a conversa acaba.
A conversa de aprovação, antes e depois
O que a maioria das empresas aceita hoje
Coluna a evitar
- O agente informou que concluiu, e a conclusão vale como conclusão
- O revisor lê o código alterado e confia na própria leitura
- Mesma exigência para mudança de texto institucional e para mudança no motor de cobrança
- A exceção ao gate é combinada no corredor e nunca fica registrada
- Quem escreveu a mudança também decide se ela está boa
- Se ninguém reclamou em produção, considera-se provado
O que passa a ser exigido antes do aceite
Coluna recomendada
- A conclusão do agente vale como hipótese até vir com comando e resultado anexados
- O revisor audita um dossiê de evidências e julga risco, poupando a leitura linha a linha
- Exigência graduada pelo raio de dano, declarada antes de a entrega começar
- Toda exceção nasce com registro, prazo de validação e responsável com nome
- Quem escreve a mudança não é quem assina a aprovação dela
- Ausência de reclamação entra no relatório como ausência de medição
Duas da manhã. O serviço de conciliação caiu e a receita está parada. O agente produziu a correção em quatro minutos e o código parece certo. A bateria de testes não rodou. A esteira automática é um serviço de infraestrutura, hospedado no mesmo conjunto de máquinas que saiu do ar, e caiu junto com ele. A estimativa para ela voltar é de quarenta minutos.
Qual decisão você autoriza agora?
Trate toda declaração de conclusão vinda de um agente como hipótese que ainda precisa de prova. Agentes afirmam sucesso com confiança máxima inclusive quando a implementação está errada, e um "concluído" sem prova apenas troca falsa confiança humana por falsa confiança automatizada. A correção é barata e mecânica: o campo de conclusão passa a exigir, no mesmo pacote, o comando executado e o resultado que ele devolveu. Sem os dois, o estado da entrega permanece "em verificação".
Existe um número público que mostra o tamanho dessa distância, e ele quase nunca chega inteiro à diretoria. A METR, organização independente que mede há três anos que duração de tarefa um agente consegue concluir sozinho, publica dois valores por modelo, e não um. O melhor modelo da tabela, avaliado em 07/04/2026, dá conta de tarefas equivalentes a 17,4 horas de trabalho humano quando a empresa aceita que metade das execuções falhe. Exigindo acerto em quatro de cada cinco tentativas, o mesmo modelo cai para 3,1 horas. O Claude Opus 4.6 desce de 12,0 horas para 1,2 hora entre uma régua e outra. A própria METR avisa que medidas acima de 16 horas não são confiáveis com o conjunto de tarefas que ela usa, e a página da série não é atualizada desde 08/09/2026: leia o primeiro número como ordem de grandeza.
Em apresentação, circula sempre o primeiro número. A distância entre "funciona metade das vezes" e "funciona quase sempre" é de uma ordem de grandeza em duração de tarefa, e conciliação financeira, cobrança e cadastro operam na segunda coluna. Vale guardar o ritmo junto com o dado: essa capacidade dobra a cada 128,7 dias, com intervalo de 104 a 158, pouco mais de quatro meses entre uma medição e a seguinte.

Fonte: docs.github.com · Captura em 29/10/2026 · trecho de página pública
Ver como texto
Captura da página About protected branches.
Adotar prova como política muda uma palavra e muitas consequências: "pronto" deixa de ser um estado declarado e passa a ser um estado demonstrado. O ônus se desloca. Quem entrega passa a anexar, quem revisa deixa de adivinhar.
Esse deslocamento tem custo, e ele aparece no orçamento. O tempo que a organização economiza escrevendo código é reempregado auditando, revisando e validando o que o agente produziu. Chame esse saldo de verification tax, ou imposto de verificação. O nome é uma convenção didática, sem origem em relatório de mercado: não o atribua a uma consultoria num slide.
Com política de prova ou sem ela, o imposto existe. A diferença está em quem paga e se alguém sabe quanto custou. Sem política, ele é pago de forma dispersa, por pessoas diferentes, em horários ruins, e some do relatório.

Fonte: docs.github.com · Captura em 29/10/2026 · trecho de página pública
Ver como texto
Captura da página Pull request reviews.
Feche a página e responda de memória, porque o que não vier é exatamente o que ainda não fixou. (1) Liste as três dimensões da pergunta reformulada e aponte qual delas o seu time nunca responde. (2) Explique, para alguém de fora da tecnologia, o que é raio de dano e por que ele gradua a exigência de prova. (3) Enuncie as três condições que tornam uma exceção legítima em vez de conveniente. (4) Diga por que "o agente terminou" é a mais perigosa das cinco frases do dicionário de conversão.
Leve uma pergunta para a próxima reunião de tecnologia: quais das nossas entregas feitas por agente no último mês têm evidência anexada que outra pessoa consegue repetir? O critério de leitura da resposta é direto. Se ninguém souber responder sem consultar o time, a organização não tem política de prova, tem hábito de confiança. Se a resposta vier com número, faça a segunda pergunta: qual é a régua que decide quanta prova cada mudança exige, e quem a definiu? A régua graduada por raio de dano é o que faz a política sobreviver ao primeiro prazo apertado.
Rode estas duas tarefas com o seu time nesta semana, antes da próxima reunião de tecnologia.
Tribunal de evidências em três entregas. Escolha três entregas marcadas como concluídas no último ciclo e submeta cada uma a dois testes: existe um artefato que prove a afirmação, e outra pessoa consegue repetir esse artefato e chegar ao mesmo resultado. Para cada afirmação sem prova, nomeie a evidência específica que a converteria e o ponto do processo onde ela seria gerada.
Política de aceite em três linhas. Com o tribunal feito, redija a regra que o seu time adotaria para recusar uma entrega sem evidência, com no máximo uma exceção prevista, e essa exceção carregando registro, prazo de validação e responsável nomeado.
Critérios de sucesso: confira se você nomeou evidências específicas em lugar de categorias genéricas como "mais testes", se a política cabe em três linhas com no máximo uma exceção e se, aplicada a uma entrega real, ela deixou passar pelo menos uma. Política que bloqueia tudo morre na primeira semana: nesse caso, recalibre a régua por raio de dano e aplique de novo.
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Conexões deste capítulo
Veja o que estudar antes e para onde seguir depois, explore os conceitos e compare abordagens em outros cursos. Sugestões marcadas como “sugerido pelo grafo” vêm dos assuntos em comum, não do índice do curso.
Conceitos deste capítulo
O mesmo assunto em outros cursos
- Avaliar e melhorar agentesDescobrir por que o agente errouExaminar conexões de Descobrir por que o agente errou
- CRO: Otimização de Conversão e ExperimentaçãoIA na operação: onde acelera e onde destróiExaminar conexões de IA na operação: onde acelera e onde destrói
- Software e IA para executivosO código ficou barato e a revisão continua caraExaminar conexões de O código ficou barato e a revisão continua cara
- Letramento em IA para ExecutivosTransforme a conversa com a IA em decisão registradaExaminar conexões de Transforme a conversa com a IA em decisão registrada
Terminou a leitura?
Você está aqui: capítulo 4 de 19
0 de 19 concluídos
- Próximo · Capítulo 5 de 19 · 30 minQuais permissões conceder a cada agente?Ler o capítulo 5 sem concluir
Marque como concluído para o capítulo contar no seu painel e no certificado.
- Anterior · Capítulo 3 de 19 · 18 minComo o trabalho das pessoas muda com os agentes?Voltar para o capítulo 3
Leve uma ideia para a prática
Escolha uma atividade no painel e volte a este curso quando quiser.
Atividades e evolução ficam reunidas no painel da sua conta.
Capítulos vizinhos em Modelo de trabalho com agentes de IA
- 02Onde os agentes trabalham e como trocar de fornecedor?
- 03Como o trabalho das pessoas muda com os agentes?
- 04Que evidência mostra se a entrega funcionou?
- 05Quais permissões conceder a cada agente?
- 06Quando ampliar, limitar ou suspender a autonomia?