Ler o mapa dos algoritmos de reforço para LLMs, do RLHF ao GRPO

Uma proposta de treino chega com a frase “usamos GRPO com recompensa verificável, sem modelo de recompensa”. O time tem dez minutos para dizer o que isso custa. Ao fim desta aula você separa três decisões que costumam vir juntas: quem dá a nota, como a nota vira ajuste de pesos e quando nascem as amostras de treino. Com essa separação, qualquer sigla nova do período, de PPO a Dr. GRPO, cabe num lugar conhecido e traz junto a infraestrutura que cobra.

Em palavras simples, aprendizado por reforço é ensinar o modelo por tentativa e recompensa: ele tenta muitas respostas, alguém ou algum programa dá a nota, e o treino aumenta a chance das tentativas que ganharam nota alta. Toda sigla desta aula muda uma de três coisas nesse ciclo: quem dá a nota, como a nota vira ajuste e de onde vêm as tentativas.

O apêndice Reconhecer a família de algoritmo que a proposta usa já apresentou as quatro famílias, o glossário curto e o cálculo básico da vantagem de grupo. Esta aula desce um nível. Mostra de onde cada peça veio, por que o GRPO tirou o crítico, que defeitos as variantes de 2025 corrigiram e quando cada combinação deixa de compensar. A função de recompensa continua sendo assunto daquela aula.

Com o vocabulário no lugar, o mapa tem três eixos que variam de forma independente. O primeiro é a fonte do sinal: quem diz se a resposta foi boa. O segundo é o otimizador: a conta que transforma a nota em ajuste de pesos. O terceiro é o regime de dados: se as amostras nascem durante o treino, da política atual, ou se chegam prontas de antes. RLHF, RLAIF e RLVR respondem ao primeiro eixo; PPO e GRPO, ao segundo. O DPO troca a perda e, na formulação original, também o terceiro eixo.

A fonte do sinal migrou de gente para programa em menos de três anos. No InstructGPT (OpenAI, março de 2022), pessoas compararam pares de respostas e um modelo de recompensa aprendeu essas preferências. O PPO otimizou a política contra esse modelo, e as saídas da versão de 1,3 bilhão de parâmetros foram preferidas às do GPT-3 de 175 bilhões. A Constitutional AI (Anthropic, dezembro de 2022) trocou quase todo o rótulo humano por uma IA que julga a partir de uma lista escrita de princípios.

O estudo RLAIF vs. RLHF (2023) mediu as duas fontes lado a lado e achou desempenho comparável. O degrau seguinte foi o verificador programático. O Tülu 3 (Ai2, novembro de 2024) deu nome ao RLVR, aprendizado por reforço com recompensa verificável. Nele a nota vem de conferir a resposta contra um gabarito ou de rodar testes, sem modelo de recompensa aprendido. O ganho é custo e escala. O risco muda de lugar, porque um verificador fraco vira alvo de atalho, assunto da última aula desta parte.

O PPO (Schulman e colegas, 2017) resolve um problema prático: atualizar a política várias vezes com o mesmo lote sem que ela salte longe demais. Ele calcula a razão entre a probabilidade da ação na política nova e na antiga. Fora de uma faixa estreita, a perda deixa de premiar empurrar mais essa razão, um limitador de velocidade suave. A vantagem vem de um crítico, segunda rede que estima quanto vale cada estado. Na montagem clássica de RLHF, quatro modelos ocupam a memória ao mesmo tempo: política, crítico, referência e modelo de recompensa.

O GRPO, apresentado no DeepSeekMath (DeepSeek, fevereiro de 2024), tira o crítico. Para cada prompt, a política gera um grupo de respostas e o juiz dá a nota de cada uma. A vantagem de cada resposta é a distância até a média do grupo, dividida pelo desvio. O resto do PPO continua: a razão com corte segue lá e, na formulação original, a penalidade de KL entra direto na perda. O ganho declarado pelos autores é de memória; o custo migra para as várias amostras por prompt.

Compare as três primeiras linhas da saída. O GRPO devolve mais um e menos um porque mede cada resposta contra as irmãs. O crítico, que esperava 0,7 daquele prompt, usa a mesma escala do Dr. GRPO e, comparado a ele, pune mais as erradas (menos 0,7 contra menos 0,5) e premia menos as certas. As duas contas têm defeito próprio. O crítico carrega uma expectativa aprendida sobre todos os prompts e erra quando ela erra. O grupo só conhece aquele prompt e herda o ruído de uma amostra pequena.

As duas variantes de março de 2025 nasceram de falhas observadas. O DAPO partiu de um GRPO ingênuo que marcou 30 pontos no AIME 2024 (prova de matemática usada como benchmark) com o Qwen2.5-32B. Chegou a 50 com quatro mudanças. A primeira é um corte mais alto do lado positivo, contra o colapso de entropia (o modelo passa a gerar quase sempre a mesma resposta). As outras três são o descarte dos grupos sem variação, a perda calculada por token e uma penalidade suave para resposta longa demais. O DAPO também retira a penalidade de KL.

O Dr. GRPO (Liu e colegas, março de 2025) achou um viés na própria conta. Dividir a perda pelo tamanho de cada resposta dilui a punição de quem erra falando muito. No código acima, a errada de 480 tokens recebe cerca de um quinto da punição por token da errada de 90. O treino passa a punir menos a resposta errada longa, e o tamanho das respostas, sobretudo das erradas, cresce artificialmente. A correção tira as duas divisões, pelo tamanho e pelo desvio. A receita mínima dos autores chegou a 43,3% no AIME 2024 com um modelo de 7 bilhões de parâmetros.

A divisão pelo desvio distorce também a comparação entre prompts. Num grupo quase unânime, com notas 1, 1, 1 e 0, a média é 0,75 e o desvio é 0,43. A única resposta errada recebe vantagem de menos 1,73, e cada certa, mais 0,58. Sem a divisão, seriam menos 0,75 e mais 0,25: a conta multiplicou tudo por 2,31. No grupo dividido ao meio, o fator é só 2. Grupos quase unânimes ganham peso relativo, e o Dr. GRPO remove esse peso extra junto com a divisão pelo tamanho.

O DPO (Rafailov e colegas, 2023) muda o terceiro eixo. Ele parte de pares já rotulados, com uma resposta preferida e uma rejeitada. A política é ajustada com uma perda de classificação simples, sem modelo de recompensa e sem gerar amostra nenhuma durante o treino. Na formulação original é offline (há variantes online, que amostram a política atual): barato e estável, mas preso ao que os pares cobrem. Se a política aprende a errar de um jeito novo, nenhum par mostra esse erro, porque ninguém amostrou a política atual.

O DeepSeek-R1 juntou as três peças em escala. O relatório saiu em janeiro de 2025 e foi publicado na Nature em setembro de 2025. Ele mostra que a capacidade de raciocínio pode ser incentivada por RL puro, sem trajetórias de raciocínio rotuladas por pessoas. Na leitura dos três eixos, é verificador mais GRPO mais amostragem on-policy. Para quem orça, a consequência é direta: o gasto pesado sai do rótulo humano e vai para a geração de amostras.

Pegue a última proposta de treino que chegou ao seu time e escreva uma linha por eixo: fonte do sinal, otimizador e regime de dados. Depois preencha, para essa combinação, as colunas da tabela de exigências. A leitura está pronta quando cada célula tiver um número ou um nome: quantas amostras por prompt, quais modelos na memória, quem rotulou os pares. Célula com “a definir” volta para o autor antes de qualquer orçamento de GPU.