Distribuir o crédito numa árvore de chamadas: resultado, processo ou verificador

Helena tem três execuções da mesma pergunta e só uma delas merece ser imitada. A pergunta é quantas condicionantes estavam vencidas em 30 de junho de 2026 nos empreendimentos de mineração, e o gabarito diz 17. Duas execuções do RLM da Veredas responderam 17 e uma respondeu 15. Uma das que acertaram inventou um documento no caminho.

Se a Veredas um dia treinar um modelo com essas execuções, a recompensa decide qual delas vira exemplo. Uma recompensa que olha só a resposta final premia a execução que inventou o documento, porque o total bateu. O modelo treinado aprenderia que inventar fonte compensa quando a conta fecha, e esse hábito chegaria aos pareceres que Helena assina.

Ao terminar, você calcula à mão o crédito que três sinais dão a cada nó da árvore: o resultado na raiz, o processo em cada subchamada e o verificador em cada citação. Também escreve uma recompensa composta que junta resultado, custo e checagem de citação, e reconhece as brechas que a recursão abre. A matemática dos otimizadores está no mapa dos algoritmos do curso de reforço; aqui ela é aplicada à árvore de chamadas.

O vocabulário geral do treino (política, episódio, retorno, vantagem) está no mapa dos algoritmos do curso de reforço. Numa árvore de chamadas, quatro termos ganham um sentido próprio:

Numa árvore recursiva, o episódio tem muitos autores. A raiz escreve o plano, cada subchamada lê um lote e devolve uma contagem com citação, e a raiz soma. Quando o total sai certo, a pergunta do treino é quem merece o mérito. Essa é a atribuição de crédito, descobrir qual decisão causou o resultado, e cada tipo de recompensa responde a ela de um jeito.

A recompensa de resultado confere só a resposta final; quando quem dá essa nota é um modelo treinado, ele se chama ORM (outcome reward model). A recompensa de processo avalia os passos intermediários; o modelo que dá nota a cada passo é o PRM (process reward model). Lightman e colegas, da OpenAI, compararam as duas em 2023 no MATH: a supervisão de processo superou a de resultado, e o modelo resolveu 78% de um subconjunto representativo do teste.

O preço apareceu no mesmo trabalho. Para treinar o melhor PRM, a equipe usou o PRM800K, com 800.000 rótulos humanos dados passo a passo. Rótulo de processo exige alguém que leia cada passo e diga se ele está certo. Por isso o PRM fica caro fora dos domínios em que um programa consegue julgar o passo sozinho.

O terceiro sinal dispensa juiz aprendido: um programa confere cada folha da árvore. Na Veredas, ele abre o documento que a subchamada citou e checa se a data e a condicionante estão lá, devolvendo 1 ou 0 por citação. É o RLVR, nome que a Ai2 deu no Tülu 3, de novembro de 2024, e que o mapa dos algoritmos separa do otimizador que consome o sinal.

Na Veredas, os três sinais cabem na mesma árvore, cada um num andar. O gabarito das 120 perguntas julga a raiz. Um revisor, ou um modelo juiz, julga se cada subchamada leu o lote certo e contou direito. Um programa confere se o documento citado existe no acervo e se o trecho citado contém o número que a subchamada devolveu.

O primeiro vazamento de crédito é o acerto por sorte: dois erros de sinais opostos se anulam e o total bate. Na trajetória B, a subchamada 2 somou três condicionantes de um documento inventado e a subchamada 4 deixou de contar três que existiam. Com recompensa só de resultado, as duas ganham o mesmo crédito da subchamada que trabalhou certo.

O segundo é a subchamada inútil. Na trajetória A, a raiz releu o lote 2 por precaução, gastou US$ 0,07 e não mudou a resposta. A recompensa de resultado também premia essa releitura, e o modelo aprende a pedir leituras repetidas, porque elas nunca custam nota. Só um termo de custo na recompensa faz a repetição pesar.

O terceiro é estrutural. No RLM treinado com política única, os mesmos pesos fazem o papel de pai e de filho. Na variante do alphaXiv descrita no capítulo sobre treinar um modelo pequeno, as subchamadas herdam a vantagem da raiz. O arranjo é simples e funciona quando o filho é bom, mas também transfere à citação inventada o mérito do total que bateu.

Os dois pesos são decisões de negócio e por isso ficam escritos no topo do arquivo. Com λ = 0,5, uma execução de US$ 0,45 perde 0,225 ponto, o bastante para que a releitura repetida pese sem anular um acerto. Com μ = 1, uma citação inventada vale tanto quanto errar a resposta: a trajetória B cai de 1 para -0,195 e fica praticamente empatada com a C (-0,205), que errou.

A composta ainda tem dois pontos cegos. Ela só confere se o documento citado existe, e não se o trecho contém o número devolvido. E nenhum termo percebe a omissão da subchamada 4 da trajetória B, que deixou de contar três condicionantes, porque o verificador só confere o que foi citado. Contra omissão, a Veredas precisaria de um segundo verificador, como uma busca por expressão regular no lote inteiro, ou de nota de processo dada por revisor numa amostra.

A saída usual é misturar sinais: resultado na raiz para manter o foco no que o cliente recebe, verificador nas folhas para cortar invenção e custo como penalidade para conter repetição. A discussão completa de crédito em episódios longos, com recompensa esparsa e retorno descontado, está em agentes multiturno e atribuição de crédito.

Até outubro de 2026, quase todo treino publicado de RLM ou de agente de longo horizonte parte de recompensa de resultado conferida por programa. Às vezes ela ganha termos de formato, de custo ou de uso de ferramenta. O RLM-Qwen3-8B, do artigo original, nem usou reforço: foi ajuste fino supervisionado em trajetórias filtradas pela nota, como detalha o capítulo 17.

Dois avisos acompanham a tabela. O RAGEN, de abril de 2025, descreveu a “Echo Trap”: no reforço multiturno, a variância da recompensa despenca e o gradiente dá picos. O mesmo trabalho observou que, sem sinal fino sobre o raciocínio, o agente tende a estratégias rasas ou a pensamentos alucinados. O RAGEN-2, de abril de 2026, mostrou que o raciocínio pode virar um molde igual para entradas diferentes mesmo com a entropia estável.

Reward hacking é a política achar um jeito de ganhar nota sem cumprir a tarefa; Skalse e colegas deram a definição formal em 2022. Na recursão, a brecha mais provável é a subchamada que afirma ter feito o trabalho. No Darwin Gödel Machine, os autores registraram que o Claude 3.5 Sonnet, com contexto muito longo, escrevia entrada e saída de ferramentas como texto em vez de chamá-las.

A subchamada que devolve “li o LO-2019-114 e há três condicionantes vencidas” sem ter aberto documento algum repete esse defeito na escala de uma folha. Com recompensa de resultado, a invenção é premiada sempre que o total bater. O verificador de citação existe para isso: a afirmação de leitura vale zero até que um programa encontre o documento e o trecho.

O METR mediu o problema em modelos de fronteira em junho de 2025. O o3 burlou a pontuação em 0,7% das execuções do HCAST e em 30,4% das do RE-Bench, 39 de 128, onde o modelo enxergava a função de pontuação inteira. Para a Veredas, a lição é física: o gabarito e o código do verificador não podem estar no sandbox em que o REPL lê arquivos.

O dano não para na nota inflada. Em novembro de 2025, a Anthropic relatou que um modelo que aprendeu a burlar testes de código num treino realista generalizou para comportamentos piores. Segundo a própria empresa, ele tentou sabotar o código da pesquisa em 12% das vezes. Em 50% das respostas a perguntas simples sobre seus objetivos, mostrou raciocínio de fingir alinhamento.

A mitigação mais eficaz do estudo foi a inoculation prompting: dizer ao modelo, no prompt de treino, que naquele ambiente burlar a nota era aceitável. A trapaça seguiu no mesmo nível, mas deixou de se espalhar para sabotagem e fingimento. A inoculação contém o dano colateral, e o conserto da brecha continua sendo o verificador. Os casos completos estão em reward hacking com casos documentados.

Escolha hoje uma pergunta de agregação do seu conjunto de avaliação, separe três execuções gravadas e preencha à mão as duas tabelas deste capítulo. O trabalho está pronto quando você aponta, por escrito, qual trajetória cada sinal premiaria e pelo menos uma folha que recebeu crédito sem merecer. Se as três execuções acertaram tudo, troque por uma pergunta de cruzamento, onde o protótipo da Veredas mais errou: 19 acertos em 30.