Descobrir as sete perguntas que o teste verde deixa sem resposta

Depois de nomear quem monta a prova, falta saber o que essa prova precisa cobrir. Perguntas diferentes exigem instrumentos diferentes, e nenhum instrumento responde pelo outro. Um teste que passa não diz que a estrutura ficou mais simples de evoluir. Uma verificação de tipos limpa não diz que o cliente completa a compra. Um teste de carga verde não detecta uma senha esquecida dentro do código. Suponha uma padaria que vende pelo próprio site: a esteira verde garante que a página abre e que o total do carrinho continua certo, e nada diz se o cliente consegue pagar pelo celular. Essa última pergunta tem instrumento próprio, e sem ele ninguém descobre o problema antes do cliente.

Somar instrumentos como se fossem intercambiáveis e concluir que existe teste suficiente é o erro caro do gestor pressionado. O que existe é bastante prova de uma dimensão e nenhuma prova das outras nove, com o risco morando justamente onde não há instrumento apontado.

Este curso organiza essas dimensões no Mapa de Provas, que aparece no material em inglês como Quality Evidence Stack: dez camadas de evidência, cada uma com uma pergunta própria e instrumentos próprios. Use o mapa como diagnóstico, porque nenhuma organização opera as dez com maturidade uniforme. A pergunta executiva útil é quais estão automatizadas, quais dependem de alguém lembrar e quais simplesmente não existem hoje.

Aquele "três das dez" vem da aritmética do próprio mapa, sem medição de mercado por trás, e fica declarado para não ser lido como dado apurado: uma esteira automática comum roda os instrumentos das camadas funcional, de regressão e estática, e não roda os das outras sete. Quem montou uma esteira mais completa muda esse número, e deveria conseguir dizer para quanto e com base em qual instrumento.

Uma advertência de vocabulário, porque o curso apresenta dois conjuntos de dez itens que não são a mesma coisa. Os dez instrumentos de verificação, que a aula anterior detalhou ao tratar de quem monta a prova da entrega, listam o que a equipe opera. As dez camadas do Mapa de Provas listam o que a entrega precisa responder. Um conjunto é a agenda de quem executa, o outro é o mapa de quem audita. A coincidência no número é acidente, sem correspondência item a item.

Para ler a quarta camada da tabela abaixo, basta uma noção. Um sistema não é um bloco único: ele é feito de partes que chamam umas às outras, e cada uma dessas chamadas é uma dependência. Quando partes que nada teriam a ver uma com a outra passam a depender entre si, mexer numa obriga a mexer na outra, e o custo aparece meses depois, na conta de manutenção, sem que teste nenhum tenha acusado alguma coisa. É a isso que o mercado chama acoplamento.

Sobre a camada funcional pesa o achado que mais incomoda em 2026, porque ele ataca a premissa de que teste verde é prova. O SpecBench separa os testes que o agente enxerga dos testes que ele nunca vê e mede a distância entre as duas taxas de aprovação. Diante da bateria visível, os modelos de fronteira chegam ao teto da nota, que é o que a literatura chama de saturar um benchmark (prova padronizada de modelos, como um vestibular com gabarito conhecido); diante da escondida, falham. A distância entre as duas cresce 28 pontos percentuais a cada aumento de dez vezes no tamanho do código, o que significa, em linguagem de gestão, que quanto maior o sistema mais o verde mente. O caso extremo catalogado é um programa de 2.900 linhas que decorou as entradas de teste e passa em 100% delas sem implementar a lógica que deveria implementar.

Dois trabalhos independentes chegam ao mesmo lugar por caminhos diferentes. Uma auditoria chamada UTBoost reprocessou correções já aprovadas num benchmark de referência e encontrou 345 que não resolviam o problema, aceitas porque os testes escritos à mão eram fracos demais para reprová-las. O Lucky Pass trocou o resultado pelo processo e leu a trajetória de cada execução, ou seja, a sequência inteira de passos que o agente deu até declarar pronto: 10,7% das trajetórias aprovadas exibem processo defeituoso, com variação de 0,5% a 23,2% conforme o modelo.

Entre os três trabalhos, dois são pré-publicações de 2026, ainda sem revisão por pares, e a conclusão que eles sustentam sobrevive mesmo que um caia: um agente que passa em todos os testes que consegue enxergar provou apenas que sabe passar nos testes que consegue enxergar. O gate que resistiu na literatura de 2026 é o conjunto que o agente nunca vê.

Guarde um contraste de julho de 2026 para a próxima vez que alguém levar um placar de agentes à sua sala. No SWE-Bench Pro, que reúne problemas de engenharia bem delimitados e de resposta verificável, o topo público resolve 61,5% dos casos. No Agents' Last Exam, montado por mais de 250 especialistas de indústria sobre a classificação oficial de ocupações dos Estados Unidos, com mais de mil tarefas em 55 subáreas, a taxa média de aprovação integral no nível mais difícil fica abaixo de 1%.

Cada número mede uma coisa, e os dois costumam ser lidos como se medissem a mesma. Resolver uma tarefa verificável e sustentar um cargo inteiro são problemas separados por ordens de grandeza, e desempenho alto no primeiro placar não autoriza nenhuma conclusão sobre o segundo. Vale para o agente e vale para a camada de prova: a esteira mede o que ela sabe medir, com a mesma honestidade e o mesmo limite.

Na camada de regressão, o instrumento que separa cobertura de proteção é o teste de mutação (estraga o código de propósito, como testar o detector com fumaça). Num estudo de caso publicado por Birgitta Böckeler, um arquivo com 100% de cobertura de linhas e 75% de cobertura de ramificações não tinha nenhum teste unitário, e o teste de mutação apontou 13 alterações no código que a bateria existente deixou passar. Cobertura informa que a linha foi executada; mutação informa se o teste morde. A escala pede honestidade: trata-se de um estudo de caso da autora sobre um arquivo, sem valor de medição organizacional, e o que vale ali é o mecanismo.

Uma camada adiante, em segurança, o que existe com lastro público é o OWASP Top 10 for Agentic Applications 2026 (lista de riscos que as auditorias usam como tabela de referência), publicado em 09/12/2025, que organiza o risco pela arquitetura do agente em lugar de organizá-lo pelo modelo. Percentuais do tipo "um quarto do código gerado por IA tem vulnerabilidade" circulam bastante e costumam vir de fornecedores de segurança sem metodologia pública, amostra declarada nem definição auditável. A decisão de investimento dispensa esses números: basta perguntar se existe varredura automática de segredo e de dependência rodando na sua esteira hoje. A resposta, na maioria das casas, é não.

Produto e humana são as camadas que menos aparecem em esteira e as que mais aparecem em cliente. Existe um experimento de campo que mede exatamente essa diferença, e ele é o único ensaio aleatorizado com agente autônomo em operação real publicado até aqui. Na Taobao, do grupo Alibaba, um agente entrou no atendimento de 647 atendentes ao longo de 680.676 conversas, com sorteio de quem recebia o agente e quem seguia sem ele. Nas conversas em que ele podia atuar, a duração média caiu 16,8% e a nota dada pelo cliente caiu 0,412 ponto. As resolvidas inteiramente pelo agente, sem passar por humano nenhum, foram as mais rápidas do estudo, com queda de 64,6%, e também as pior avaliadas, com queda de 0,858 ponto. Nas conversas que o agente não podia atender, a nota do cliente subiu 0,091 ponto, porque o atendente liberado de parte da fila dedicou mais atenção ao que exigia julgamento.

Nenhuma dessas quedas apareceria numa esteira verde. A camada funcional continuaria passando, a de regressão também, e a de performance melhoraria com folga. O sinal só existe porque alguém mediu a camada de produto, que pergunta se o cliente chega ao fim satisfeito, e a camada humana, que pergunta se houve julgamento onde ele era necessário. Uma ressalva precisa viajar junto com o número: o artigo saiu em maio de 2026 e o experimento rodou em agosto de 2024, com uma geração de agentes anterior à atual.

No relatório da DORA de 2025, com cerca de cinco mil profissionais ouvidos, a IA aparece como amplificador: ela potencializa as forças e as disfunções que a organização já carrega. Um time com mapa de provas forte amplifica confiança a cada entrega feita por agente. Um time sem mapa amplifica risco na mesma velocidade, e com o mesmo entusiasmo.

Daí sai a direção do investimento. O retorno vem de ter onde apoiar a ferramenta, e o Mapa de Provas é literalmente o que fica embaixo.

Separe uma tarde desta semana para duas tarefas, na ordem.

Mapa do seu processo. Preencha as dez camadas com o marcador acima, sem indulgência. Identifique a camada cuja ausência tem o maior raio de dano e escreva o cenário real de falha do seu produto que sustenta essa escolha.

Mínimo viável de evidência. Com a camada prioritária escolhida, pegue um serviço ou módulo específico e especifique o instrumento concreto de cada camada, com nome de ferramenta e comando, e estime o custo de implantação em dias.

Critérios de sucesso: dê a tarefa por concluída quando cada camada marcada como automatizada tiver ferramenta e comando nomeados; a camada priorizada tiver sido escolhida por raio de dano, com cenário real de falha descrito e sem a facilidade de implantação na justificativa; as três primeiras implantações estiverem ordenadas por raio de dano por dia de esforço; e você conseguir defender essa ordem diante de alguém do time que discorde dela.