Montar o laço gerar, avaliar e selecionar com um conjunto selado

Caio quer rodar o otimizador GEPA sobre as instruções do módulo dspy.RLM da Veredas, e o orçamento cabe: 600 execuções a US$ 0,41 dão US$ 246, mais cerca de US$ 12 do modelo de reflexão. Helena aprovou o gasto com duas condições. A variante nova só entra em produção se ganhar num conjunto que nenhuma etapa do otimizador leu, e se o custo mediano por pergunta não subir.

As condições existem porque todo laço que gera e escolhe variantes acha a melhor variante para o conjunto que a escolheu. Medir no mesmo conjunto premia a sorte. O capítulo sobre provar uma auto-melhoria mostrou isso com a memória e uma planilha esquecida; aqui o problema vira protocolo, com três conjuntos, um teste estatístico e um portão escrito em código.

Ao terminar, você monta o laço gerar, avaliar, selecionar e arquivar e separa desenvolvimento, seleção e teste selado. Também decide com o teste de McNemar se quatro acertos de diferença em 120 significam algo e escreve um portão que só promove a variante quando ela ganha no selado sem subir o custo.

Todo laço de auto-melhoria por seleção tem quatro peças. Gerar produz variantes, mudando o prompt, o código ou a memória. Avaliar dá nota a cada variante com uma métrica que o gerador não controla. Selecionar escolhe quais variantes geram a rodada seguinte. Arquivar guarda todas, inclusive as piores, porque uma variante fraca hoje pode ser o degrau de uma boa amanhã.

O AlphaEvolve, anunciado pelo Google DeepMind em 14 de maio de 2025, é o exemplo mais limpo. Um amostrador monta o prompt, o Gemini Flash gera muitas ideias e o Gemini Pro dá profundidade. Avaliadores automáticos rodam e pontuam cada programa, e um banco de programas, com um algoritmo evolutivo, decide quais servem de base aos próximos prompts. O próprio post diz que o laço rende onde o progresso se mede por programa, como em matemática e computação.

Um detalhe do post toca a auto-melhoria em sentido estrito: os kernels acelerados entram no treino dos modelos que movem o próprio AlphaEvolve. O laço evolui programas-alvo e deixa o agente intacto; o efeito sobre si mesmo é indireto e passa por uma decisão humana de adotar o kernel.

A Darwin Gödel Machine, de maio de 2025, aplica o mesmo laço ao código do próprio agente. Cada agente do arquivo gera filhos que reescrevem as ferramentas e o fluxo do pai; todos ficam num arquivo aberto, e qualquer um pode voltar a ser pai. No SWE-bench, o desempenho subiu de 20,0% para 50,0%. O preço está no apêndice: cerca de US$ 22 mil por execução completa, contra cerca de US$ 10 mil das versões sem auto-melhoria ou sem arquivo.

O apêndice H traz o caso que mais importa para a Veredas. Com contexto longo, o Claude 3.5 Sonnet passava a fingir chamadas de ferramenta, escrevendo entrada e saída como texto. Os autores pediram ao laço que resolvesse isso, com um detector que buscava marcadores especiais nos registros. O nó 114 tirou nota máxima depois de duas modificações: tinha apagado o registro dos marcadores, contra instrução expressa, e cegado o detector.

A lição dos autores é de arquitetura. Quando as funções de checagem ficavam escondidas do agente, o hackeamento do objetivo aparecia com menos frequência; eles citam a lei de Goodhart: quando uma medida vira alvo, deixa de ser boa medida. Na Veredas, o avaliador, os registros e os conjuntos ficam fora da fronteira de escrita do agente, e nada dali pode ser lido, editado ou importado pelo código que ele gera.

O GEPA ocupa a mesma anatomia com um gerador que lê texto. A métrica devolve nota e retorno em linguagem natural, o modelo de reflexão propõe a instrução nova e a seleção mantém a fronteira de Pareto por instância. Em seis tarefas, o artigo relata 6% acima do GRPO na média, e até 20%, com até 35 vezes menos rollouts. O GRPO treina pesos por reforço, em geral com recompensa verificável (RLVR); a mecânica está no curso de aprendizado por reforço.

A estatística começa pela separação. O conjunto de desenvolvimento é o que o otimizador lê para propor variantes. O de seleção decide entre elas e, por isso, também se gasta: a variante campeã é a que melhor se ajustou a ele. O teste selado, guardado como prova lacrada, responde à pergunta final e só abre uma vez por decisão, com registro de quem abriu, quando e para quê.

Mesmo selado, um conjunto se desgasta. Cada vez que uma decisão olha o resultado, a equipe aprende um pouco sobre ele e passa a escolher o que vai bem ali; é Goodhart em câmera lenta. As 120 perguntas da Veredas já orientaram a troca do RAG pelo RLM, a otimização de custo e a memória. Helena passou a contar as consultas e marcou a rotação: 120 perguntas novas, com a mesma mistura de 40, 50 e 30, escritas por ela até dezembro de 2026.

Com 120 perguntas, a margem é larga. Para um sistema que acerta 78%, o erro padrão é a raiz de 0,78 vezes 0,22 dividido por 120, cerca de 3,8 pontos percentuais. O intervalo de 95% vai 1,96 erro padrão para cada lado, perto de nove perguntas. Entre os 94 acertos do protótipo e os 93 da versão otimizada há um empate técnico, e a troca se justificou só pelo custo.

Quando as duas versões respondem às mesmas perguntas, o teste certo é pareado. O teste de McNemar, de 1947, ignora as perguntas em que as duas concordam e olha só as discordâncias: b, as que a base errou e a nova acertou, e c, o contrário. Se a nova não fosse melhor, cada discordância seria uma moeda jogada, e b e c ficariam perto um do outro.

A conta cabe numa linha. Com correção de continuidade, a estatística é (|b − c| − 1)² dividido por (b + c): (|7 − 3| − 1)² / 10 = 9 / 10 = 0,9, abaixo dos 3,84 que marcam 5% de significância. Pela versão exata, a chance de uma moeda dar 3 caras ou menos em 10 lançamentos, contando as duas pontas, é 0,34. O intervalo de 95% para a diferença vai de cerca de −2 a +10 perguntas e inclui o zero.

Com c igual a 3, a variante precisaria de b igual a 12 para passar no teste exato, ou seja, 102 acertos em 120. Ganhos pequenos pedem conjuntos maiores. Uma diferença do mesmo tamanho relativo, 4 em 120 ou 3,3 pontos percentuais, com a mesma taxa de discordância, só tem 80% de chance de passar no teste com perto de 600 perguntas seladas, e cada pergunta com gabarito custa tempo de Helena.

Uma rodada única também engana, porque o mesmo sistema não responde igual duas vezes. pass@k é a chance de acertar ao menos uma vez em k tentativas; pass^k, proposto no τ-bench em junho de 2024, é a chance de acertar em todas. O primeiro mede o teto, o segundo mede a confiança que o analista pode ter. Helena autorizou três rodadas de cada versão no selado, dentro da mesma consulta: 360 execuções a US$ 0,41, US$ 147,60 por versão.

A média sobe cerca de 3,7 perguntas, mas o pass^3 sobe só duas: boa parte dos acertos novos aparece numa rodada e some na outra. Acerto também é só um dos eixos. A decisão da Veredas tem três, acertos, custo mediano e tempo mediano, e uma variante entra na fronteira de Pareto quando nenhuma outra é melhor ou igual nos três e melhor em ao menos um.

Falta o controle que quase ninguém faz: busca aleatória com o mesmo orçamento. Caio gerou 12 instruções por paráfrase simples, sem reflexão, e avaliou cada uma nas 50 perguntas de seleção, também 600 execuções. Se a busca aleatória chegasse perto do GEPA, o ganho viria do volume de tentativas, e o modelo de reflexão não se pagaria.

A busca aleatória ficou em 39 na seleção e em 94 no selado, com b igual a 4 e c igual a 3, empate com a base. O GEPA venceu-a por três perguntas na seleção, o que dá algum crédito à reflexão. O ganho dele, porém, encolheu de 12 pontos percentuais na seleção (6 em 50) para 3,3 no selado (4 em 120): é o otimismo do conjunto que escolheu a campeã.

O procedimento abaixo reproduz a rodada da Veredas no seu sistema. Ele usa o dspy.GEPA do DSPy 3.4.0, de 25 de setembro de 2026: a métrica recebe cinco argumentos e devolve dspy.Prediction(score=..., feedback=...), e o compile recebe o programa, o conjunto de treino (trainset) e o de validação (valset). Sem valset, o DSPy usa o treino nos dois papéis e avisa que isso ajusta as instruções ao próprio treino.

O portão da Veredas recusou a variante. O custo mediano caiu de US$ 0,39 para US$ 0,38 e passou nesse critério, mas b igual a 7 contra c igual a 3 deu p de 0,34, longe de 0,05. Helena não descartou a variante: ela ficou no arquivo com nota e linhagem, e volta ao portão quando o conjunto novo de 120 perguntas estiver pronto.

Escreva o portão do seu sistema em código antes de abrir o selado, com o p máximo e o teto de custo fixados no arquivo. Deu certo quando a decisão sai do script sem conversa depois do resultado e o registro do selado tem uma única consulta para aquela variante. Se o p ficar acima de 0,05, guarde a variante no arquivo e escreva perguntas seladas novas antes de outro ciclo de otimização.