Decidir quando treinar pesos e quando a memória basta

Um fornecedor de GPU ofereceu à Veredas um pacote fechado: ajuste fino de um modelo de 8 bilhões de parâmetros nas trajetórias da empresa, servido num endpoint próprio. Caio levou a proposta a Helena com o argumento do fornecedor. O sistema otimizado responde 93 de 120 perguntas a US$ 0,41 cada, e o pacote prometia cortar esse custo pela metade.

Responder pela promessa seria apostar. Treinar pesos é o degrau mais caro e mais difícil de desfazer de uma escada que começa no prompt. A Veredas já desceu dois degraus sem GPU: a otimização que levou o custo de US$ 0,86 para US$ 0,41 e a memória de estratégias que o baixou para US$ 0,37, com 47 e 46 acertos nas duas metades do conjunto.

Ao terminar, você posiciona qualquer proposta de melhoria num dos cinco degraus. Também aplica os critérios que justificam descer ao treino de pesos e faz a conta de retorno com premissas escritas. A decisão da Veredas serve de exemplo do começo ao fim, registrada num formato que um comitê consegue contestar.

O primeiro degrau é a instrução no prompt: muda em minutos e volta atrás apagando uma linha. O segundo é a memória de casos, exemplos resolvidos que o agente consulta antes de agir. O terceiro é o playbook evolutivo, um conjunto de estratégias que o próprio sistema reescreve sob avaliação. O ACE, por exemplo, somou 10,6% em tarefas de agentes sem tocar em pesos.

Nos dois degraus de baixo, a mudança vai para os pesos. O ajuste fino supervisionado (SFT) treina o modelo a imitar trajetórias boas; o reforço (RL) deixa o modelo tentar e premia o que um sinal aprova. Os dois exigem GPU, dados fora do conjunto de avaliação e uma suíte que prove que nada antigo quebrou.

Entre o terceiro degrau e o quarto há um meio-termo que pega emprestado o nome do reforço. O Training-Free GRPO, de uma equipe da Tencent, roda várias tentativas por pergunta, como o GRPO. Depois compara as do mesmo grupo e escreve em texto por que umas acertaram e outras não. Esse texto vira uma biblioteca de experiências colada ao prompt. Nenhum gradiente é calculado: o nome é analogia.

Com o DeepSeek-V3.1-Terminus congelado e 100 problemas de treino, o acerto médio em 32 execuções subiu de 80,0% para 82,7% no AIME 2024 e de 67,9% para 73,3% no AIME 2025. O aprendizado custou cerca de US$ 18. Os autores comparam com métodos de reforço em modelos de 32 bilhões que, segundo eles, custam acima de US$ 10.000.

A ablação do próprio artigo, a retirada de uma peça por vez para ver o que muda, mostra o que sustenta o ganho. Experiências escritas pelo modelo sem comparar tentativas ficaram abaixo do ponto de partida. Sem gabarito ou sem grupo, o ganho encolheu. O sinal útil vem da comparação dentro do grupo contra uma resposta conferida, o mesmo ingrediente do reforço com pesos.

O Memento, de agosto de 2025, chega ao mesmo lugar por outro caminho: guarda casos resolvidos numa memória e aprende só qual caso buscar, com o modelo congelado. Ficou em primeiro na validação do GAIA, com 87,88% em Pass@3 (acerto em pelo menos uma de três tentativas). A memória de casos somou de 4,7 a 9,6 pontos em tarefas fora da distribuição.

Os dois trabalhos descrevem uma política sem pesos: o comportamento muda porque o contexto muda, e o modelo continua o mesmo. Apagar a biblioteca devolve o sistema ao ponto de partida, e trocar o modelo de fronteira não apaga o que foi aprendido. Para a Veredas, é o caminho que a memória de estratégias já seguia.

A memória também tem teto, e é ele que indica a hora de olhar para baixo na escada. Song e Wei mostraram em maio de 2026 que bibliotecas de skills grandes pioram porque o agente escolhe a skill errada. Na Veredas, o sinal seria o playbook crescer por dois ciclos seguidos sem ganho de acerto no conjunto retido.

Na Veredas, descer ao treino de pesos só se justifica quando cinco critérios valem ao mesmo tempo. O primeiro pesa sobretudo no reforço, porque o ajuste fino supervisionado pode partir de exemplos revisados por pessoas. Se um critério falhar, a memória ou o playbook continua sendo a escolha mais barata e mais fácil de desfazer.

Dois riscos só aparecem quando os pesos mudam. O primeiro é o colapso de modelo. Shumailov e colegas mostraram na Nature, em julho de 2024, que o uso indiscriminado de conteúdo gerado por modelos no treino causa defeitos irreversíveis: as caudas da distribuição original desaparecem. Numa consultoria, a cauda são os casos raros, como a única PCH (pequena central hidrelétrica) do acervo.

Gerstgrasser e colegas, em abril de 2024, mostraram a saída: acumular os dados sintéticos ao lado dos reais originais, em vez de substituí-los, mantém o erro de teste abaixo de um limite finito, por mais rodadas que se façam. Trajetórias geradas pelo próprio RLM só entram no treino somadas às perguntas reais dos analistas, nunca no lugar delas.

O segundo risco é o esquecimento: ajustar o modelo numa tarefa pode piorar outras que ele fazia bem. A defesa é uma suíte de regressão rodada antes e depois de cada treino. Ela junta as 120 perguntas, uma amostra de perguntas gerais e os 40 testes de injeção do capítulo de segurança. O modelo novo só entra se não perder em nenhum bloco além da variação medida.

A proposta do fornecedor vira número em três partes: o custo único de treinar, o custo mensal de servir e a economia mensal frente à API. Os fatos vêm do caso e do artigo do RLM; o resto é premissa, marcada como tal, para que qualquer pessoa troque um valor e refaça a conta.

Com essas premissas, o modelo próprio se paga em cerca de 65 meses, mais de cinco anos. A conta piora com a memória de estratégias, que já levou o custo a US$ 0,37: a fatura da API cai para US$ 148, a economia para US$ 68 e o retorno para cerca de 80 meses. Nesse intervalo, o modelo de fronteira muda de versão várias vezes.

Para o retorno caber em 12 meses, a economia mensal precisa cobrir US$ 452 do investimento mais US$ 60 fixos, US$ 512 no total. Cada pergunta economiza US$ 0,36 (0,41 menos 0,05), e 512 dividido por 0,36 dá cerca de 1.420 perguntas por mês, 3,5 vezes o volume atual da Veredas.

A conta ainda ignora a qualidade. No OOLONG, o RLM-Qwen3-8B treinado marcou 32,0 contra 56,0 do RLM com GPT-5 no raiz, na tabela do artigo citada no capítulo 17. Sem medir o modelo próprio nas 120 perguntas, os 93 acertos podem cair, e cada acerto perdido custa mais em revisão de Helena do que os centavos economizados.

O reforço sai da mesa por outro motivo: o verificador. Nas 120 perguntas há gabarito, mas nas perguntas reais quem confere é Helena ou um revisor. Recompensa que depende de pessoa em cada episódio é cara e lenta. Trocar a pessoa por um juiz automático sem conferência abre a porta ao reward hacking do capítulo anterior.

Escreva hoje, numa página, a decisão de treino do seu sistema: o degrau em que ele está, os cinco critérios marcados como cumpridos ou não, a conta de retorno com cada premissa identificada e os gatilhos que reabrem a decisão. Ela está pronta quando outra pessoa troca uma premissa e refaz a conta em menos de dez minutos. Para pesar compra e aluguel de modelo na mesma conta, siga para comprar, alugar ou treinar.