Benchmark sem custo declarado não é evidência de compra

O slide chega sempre no mesmo formato. Três barras, a do fornecedor que está apresentando é a mais alta, e embaixo uma linha pequena com o nome do benchmark. A sala olha a diferença de dois ou três pontos percentuais e aprova.

A pergunta que ninguém faz é quanto custou produzir aquela barra. Custou alguma coisa: o comparativo foi rodado com uma configuração escolhida, um limite de tokens escolhido, um número de tentativas por tarefa escolhido, e cada uma dessas escolhas move o preço da execução em ordens de grandeza. Quando o custo não aparece no slide, você deixou de comparar fornecedores e passou a comparar orçamentos de avaliação que ninguém mostrou.

O que vem a seguir é a pergunta que desmonta esse slide em quinze segundos e a rubrica para aplicar na próxima proposta comercial.

O que mudou nos últimos dois anos

Benchmark de modelo era, até pouco tempo atrás, uma prova de resposta certa ou errada. O modelo respondia, alguém contava os acertos, e a nota era uma propriedade do modelo. Isso acabou quando os modelos passaram a poder pensar mais antes de responder, porque pensar mais custa mais.

Um estudo com doze modelos de fronteira em sete benchmarks, publicado em julho de 2026, mediu o efeito direto: orçamentos de token maiores melhoram substancialmente o desempenho, e avaliações feitas com orçamento fixo subestimam cada vez mais a capacidade dos modelos novos. A consequência para quem assina é curta. A nota deixou de ser propriedade do modelo e virou resultado de uma decisão de gasto. O mesmo dial que o módulo "Tokens de raciocínio: o dial que ninguém regulou" apresentou como controle de custo é o dial que posiciona o ponto no gráfico do fornecedor.

Dois fornecedores podem chegar à mesma nota com contas de execução completamente diferentes, e o slide que mostra apenas a nota apaga a única variável que continua sob seu controle depois da assinatura.

Por que um número único de custo por tarefa é uma amostra

O estudo com oito modelos de fronteira em SWE-bench Verified mediu que duas execuções da mesma tarefa agêntica podem diferir até trinta vezes em tokens totais. É a mesma tarefa, no mesmo modelo, rodada duas vezes. Qualquer valor único de custo por tarefa que chegue à sua mesa saiu de uma distribuição larga que você não viu.

O mesmo trabalho mediu outra coisa desconfortável: os modelos não sabem prever o próprio consumo. A correlação entre a estimativa do modelo e o gasto real chega no máximo a 0,39, com subestimativa sistemática.

Existe quem publique o próprio custo de avaliar. A Artificial Analysis divulga quanto gastou para rodar a bateria dela em cada modelo: no GPT-5.6 Sol foram US$ 2.824,18 em uma única passagem do Intelligence Index v4.1, com setenta milhões de tokens de saída contra uma mediana de sessenta e três milhões entre os modelos avaliados. Esse é o formato que você exige. Quem mede e declara o gasto entrega a condição junto com o resultado; quem só mostra a barra está pedindo confiança.

A regra prática para a reunião: exija faixa, número de execuções e data. Um custo por tarefa apresentado como valor único tem a mesma qualidade de informação de uma cotação de câmbio sem data.

O que você leva para a próxima proposta

A rubrica abaixo cabe em uma página e serve para qualquer comparativo, de modelo, de agente ou de gateway. Ela existe para tirar a decisão do terreno da impressão e devolvê-la ao terreno do documento. Marque os itens enquanto lê a proposta, e leve para a reunião apenas os que ficaram sem marcação. Cada item sem marcação vira uma pergunta ao fornecedor, e a resposta dele entra em ata.