LLM FinOps: o custo da IA para quem assina o orçamento · Capítulo 15 de 24 · 10 min
Menos token, mesma qualidade: o que funciona e o que só parece
Quatro atalhos populares de economia entregam pouco ou cobram qualidade. A ordem que a própria OpenAI recomenda começa por medir a saída, passa pela instrução e só então chega a personalizar o modelo.
Este capítulo faz parte do curso gratuito LLM FinOps: o custo da IA para quem assina o orçamento.
A fatura subiu, você pediu um plano de contenção, e o plano chegou com quatro linhas. Reduzir o teto de tamanho da resposta. Pedir tudo em formato estruturado. Trocar o formato dos dados que circulam entre os sistemas por uma notação mais enxuta. E, no fim da lista, treinar um modelo próprio para baratear o token.
As quatro parecem razoáveis. Três delas economizam pouco ou cobram acurácia em troca, e a quarta encarece o token em vez de baratear. Nenhuma dessas conclusões é opinião: as três primeiras estão medidas em documentação de fornecedor e em trabalho acadêmico publicado, e a quarta está na tabela de preços do fornecedor que vende o serviço.
O que você precisa desta meia hora de reunião é saber quais linhas do plano aprovar, quais devolver com pergunta e qual ordem exigir.
Ao final deste módulo você será capaz de: (1) exigir a ordem correta de otimização, com o conjunto de avaliação antes de qualquer ajuste; (2) reprovar as quatro propostas que só parecem economizar, cada uma com o motivo e a fonte na mão; (3) priorizar as alavancas que aparecem na fatura do mês seguinte, começando pela instrução de saída concisa; (4) fazer a conta de ponto de equilíbrio antes de autorizar treinar um modelo próprio.
Trocar a marca do papel sem nunca ter contado as páginas
Uma diretoria decide cortar a conta da gráfica e faz o óbvio: negocia um papel mais barato, aperta a gramatura, reduz a margem. Ninguém, em nenhum momento, mediu quantas páginas estão sendo impressas nem quem está mandando imprimir. Seis meses depois a conta está igual, e agora o material saiu pior. A conta era feita de volume, e o volume nunca entrou na conversa porque ninguém tratou medir como parte do trabalho de cortar.
A economia em IA obedece à mesma sequência: primeiro se estabelece como a qualidade é medida, depois se mexe no que gera token. Quem inverte a ordem não consegue distinguir economia de degradação.
- Etapa 1 de 3: Escrever as avaliações
Um conjunto de casos com a resposta esperada, congelado e datado, que estabelece a linha de base de qualidade. Sem ele, economia e piora do produto são indistinguíveis na planilha.
- Etapa 2 de 3: Trabalhar a instrução
Ajustar o prompt, o tamanho da resposta e o que entra no contexto. A documentação oficial afirma que a engenharia de prompt pode ser tudo de que se precisa para o caso de uso.
- Etapa 3 de 3: Só então personalizar o modelo
Ajuste fino, que reescreve os pesos do modelo, ou destilação, que copia o comportamento de um modelo grande para um menor. Só depois de escrita a conta de ponto de equilíbrio. É a etapa mais cara, mais lenta e a que mais gente propõe primeiro.
Por que essa ordem e não outra
Porque a única coisa que separa economia de estrago é uma medição feita antes. Quando o time enxuga um prompt e a reclamação do cliente sobe três semanas depois, ninguém consegue provar que uma coisa causou a outra, e a discussão vira memória contra memória. Com um conjunto de casos de teste congelado, a mesma pergunta se responde em uma tarde.
Há um segundo motivo, e ele é aritmético. Como o curso mostrou em "Token, entrada e saída: a unidade da conta e a assimetria que decide onde cortar", a saída custa de cinco a seis vezes o preço da entrada, e isso vale para os três maiores fornecedores ao mesmo tempo (tabelas oficiais de preço da Anthropic, da OpenAI e do Google, consultadas em julho de 2026). A proporção decide onde vale gastar esforço: cortar dez por cento do prompt move pouco a fatura, e cortar dez por cento da resposta move cinco a seis vezes mais. Instrução de saída concisa é alavanca de custo, e o time costuma tratá-la como preferência de estilo.
O que só parece economizar e o que aparece na fatura do mês seguinte
Devolva com pergunta
Só parece economia
- Pedir saída em formato estruturado esperando gastar menos token. O esquema declarado viaja na requisição como token de entrada, e o modelo ainda precisa emitir nome de campo, aspas e delimitador. O ganho real do formato estruturado é outro: menos retentativa e leitura confiável pelo sistema que recebe.
- Cortar o teto de tokens da resposta por precaução orçamentária. O parâmetro apenas delimita o tamanho máximo da resposta e nada cobra por si; apertá-lo produz resposta truncada, nova chamada e retrabalho pago duas vezes.
- Trocar JSON por uma notação compacta entre os sistemas. A medição publicada mostra corte modesto de tokens com perda de acurácia de até quatorze pontos percentuais.
- Treinar um modelo próprio para baixar o preço do token. O modelo ajustado é cobrado mais caro por token que o modelo base, e ainda cobra hora de treinamento.
Aprove e cobre o resultado
Economia medida
- Instrução de saída concisa, com extensão máxima declarada no prompt e verificada no conjunto de avaliação. É onde mora a assimetria de cinco a seis vezes entre saída e entrada.
- Ordem estável do contexto, com a parte fixa na frente e a parte que muda no fim, para o cache de prefixo pegar. Custa zero e não muda uma vírgula da resposta.
- Conjunto de avaliação próprio antes de qualquer ajuste, para que a economia seja medida contra uma linha de base e não contra a lembrança de alguém.
- Retirar do contexto o que já não é usado. Exemplo demais e histórico velho são cobrados como entrada em toda requisição e ainda degradam a resposta, fenômeno que a Anthropic documenta como context rot.
O mito mais barato de derrubar é o do teto de resposta. Existe uma crença de que apertar o limite máximo de tokens de saída protege o orçamento e alivia o limite de vazão contratado. A documentação da Anthropic é explícita no contrário: esse parâmetro não entra no cálculo do limite de tokens de saída por minuto, que conta apenas os tokens efetivamente gerados. Ou seja, configurar um teto generoso não custa nada e não consome cota. Apertá-lo, sim, tem custo: a resposta chega cortada no meio, alguém pede de novo, e você pagou a mesma tarefa duas vezes. Se o plano de contenção que chegou à sua mesa tem essa linha, ela sai.
Trocar o formato dos dados: o que a medição encontrou
até 27%
de tokens a menos com a notação TRON
ao custo de até 14 pontos percentuais de acurácia
até 18%
de tokens a menos com a notação TOON
ao custo de cerca de 9 pontos percentuais
4 e 5
benchmarks e modelos de peso aberto no teste
em tarefas de sistema agêntico
Fonte: arXiv 2605.29676, junho de 2026
Como ler esses números numa reunião
Um corte de 18% a 27% em tokens é real e não é desprezível. O que o transforma em decisão ruim é o preço: nove a quatorze pontos percentuais de acurácia. Traduzido para a sua operação, isso significa que de nove a quatorze casos em cada cem passam a sair errados para economizar cerca de um quinto do gasto de uma linha da fatura. Compare com o cache de prefixo, apresentado em "Cache de prefixo: o desconto de 90% com risco zero", que corta uma fração maior do custo e devolve exatamente a mesma resposta. Quando existe alavanca neutra em qualidade sobre a mesa, gastar acurácia é escolha, e escolha precisa de dono.
A conta que precisa estar escrita antes de aprovar um modelo ajustado
| Linha da conta | Modelo base (gpt-5.4-mini) | Modelo ajustado (o4-mini), outra linha do mesmo fornecedor |
|---|---|---|
| Entrada, por milhão de tokens | US$ 0,75 | US$ 4,00 |
| Saída, por milhão de tokens | US$ 4,50 | US$ 16,00 |
| Treinamento | não existe | US$ 100,00 por hora |
| De onde viria a economia | nenhuma economia a buscar aqui | prompt mais curto, com menos exemplos e menos contexto reenviado a cada requisição |
| O que precisa ser verdade para pagar | nada a demonstrar | os tokens de prompt poupados por requisição, vezes o volume mensal, precisam superar o delta de preço somado ao treino e à manutenção |
| Quem responde se a qualidade cair | o fornecedor, pela tabela pública | a sua empresa, porque o comportamento passou a morar nos pesos do modelo |
Preço de tabela muda de mês a mês. Confirme na página do fornecedor antes de levar esta conta à reunião. Os dois são modelos de linhas e gerações diferentes, e a tabela de julho de 2026 não publica o o4-mini base, então parte da diferença vem de geração e não de ajuste fino: a tabela mostra a direção do preço do ajuste fino, não uma comparação de qualidade entre os dois modelos. Ambos são de um fornecedor só e servem de ordem de grandeza, não de tabela do mercado inteiro.
Fonte: OpenAI, tabela oficial de preços da API e guia Model optimization, consultados em julho de 2026. Modelo base gpt-5.4-mini, modelo ajustado o4-mini.
A leitura que inverte a proposta do time cabe em uma frase: o modelo personalizado é cobrado mais caro por token que o modelo base. A economia do ajuste fino existe, e vem de outro lugar. A própria OpenAI descreve o mecanismo: o modelo ajustado permite prompts mais curtos, com menos exemplos e menos dados de contexto, o que economiza custo de token em escala porque o conhecimento proprietário deixa de ser reenviado a cada requisição.
A pergunta a fazer ao time, portanto, é aritmética: quantos tokens de prompt deixam de ser enviados por requisição, vezes quantas requisições por mês, e isso cobre o quê exatamente. Se ninguém tiver os dois números, a proposta volta para a mesa de origem.
Quatro mitos, e o documento que derruba cada um
Pedir a resposta em formato estruturado economiza token.
O esquema declarado viaja dentro da requisição e é contado como token de entrada. A própria documentação de cache da OpenAI trata o esquema de saída estruturada como parte do prefixo da requisição, que é justamente o trecho cobrado como entrada e passível de cache. Além disso o modelo gasta tokens de saída emitindo nomes de campo, aspas e delimitadores que uma resposta em texto corrido não teria. Não existe medição pública que sustente a economia. O que o formato estruturado entrega de fato é redução de retentativa e leitura confiável pelo sistema que recebe, e esses dois ganhos justificam a escolha sozinhos, sem precisar de uma promessa de economia que ninguém demonstrou. Fonte: OpenAI, guia de Prompt caching, julho de 2026, https://developers.openai.com/api/docs/guides/prompt-caching
Baixar o teto de tokens da resposta protege o orçamento e alivia o limite de vazão.
A documentação da Anthropic registra que esse parâmetro não entra no cálculo do limite de tokens de saída por minuto, que conta apenas os tokens efetivamente gerados. Configurar um teto generoso não tem penalidade. Apertá-lo tem: a resposta chega truncada, o usuário ou o sistema pede de novo, e a mesma tarefa é cobrada duas vezes. O controle correto sobre o tamanho da resposta mora na instrução dentro do prompt, verificada depois no conjunto de avaliação. Fonte: Anthropic, documentação oficial de Rate limits, julho de 2026, https://platform.claude.com/docs/en/api/rate-limits
Trocar JSON por um formato compacto é economia sem custo.
O benchmark de formatos de dados em sistemas agênticos mediu os dois lados da troca. A notação TRON corta até 27% dos tokens com perda de até 14 pontos percentuais de acurácia; a TOON corta até 18% com cerca de 9 pontos de perda, em 4 benchmarks e 5 modelos de peso aberto. A troca é legítima como decisão de risco declarada, com dono e critério de aceitação. Apresentada como ganho sem contrapartida, é informação incompleta. Fonte: arXiv 2605.29676, junho de 2026, https://arxiv.org/abs/2605.29676
Treinar um modelo próprio barateia o token.
A tabela pública do fornecedor mostra o oposto: o modelo ajustado citado nela, o o4-mini, custa US$ 4,00 de entrada e US$ 16,00 de saída por milhão de tokens, mais US$ 100,00 por hora de treinamento, contra US$ 0,75 e US$ 4,50 de um modelo base de outra linha e outra geração, o gpt-5.4-mini. A tabela de julho de 2026 não publica o o4-mini base, então parte dessa diferença é de geração e não de ajuste fino, e o que a comparação sustenta é a direção do preço: ele sobe. A economia do ajuste fino vem de encurtar o prompt, porque o conhecimento proprietário deixa de ser reenviado em toda requisição. Sem a conta de ponto de equilíbrio escrita, aprovar o projeto é aumentar o preço unitário na esperança de compensar no volume. Fonte: OpenAI, documentação oficial de preços da API e guia Model optimization, julho de 2026, https://developers.openai.com/api/docs/pricing
Existe uma terceira via entre instrução e ajuste fino, e ela interessa especialmente a quem opera em setor regulado. Um trabalho aceito no ACL 2026 Industry Track descreve a destilação em nível de prompt: em vez de treinar um modelo menor, transfere-se o raciocínio do modelo grande para dentro do prompt de sistema dele, sem alterar nenhum parâmetro. Em dois conjuntos públicos de teste, a taxa de acerto equilibrada entre as classes — a métrica que os autores chamam de Macro F1 — subiu de 57% para 90,0% em um deles, o StereoSet, e de 67% para 83% no outro, o Contract-NLI.
O que importa à sua mesa vem depois da métrica: o comportamento continua legível dentro do prompt, em vez de ficar enterrado nos pesos de um modelo treinado. Quando o regulador, a auditoria interna ou o cliente perguntar por que o sistema respondeu daquele jeito, a resposta está escrita em português e pode ser mostrada. Modelo ajustado não tem essa propriedade, e o custo dessa perda não aparece em nenhuma planilha de infraestrutura.
A alavanca mais barata desta lista não muda uma palavra do texto. O caso da ProjectDiscovery, aberto com as duas ressalvas de proveniência em "Cache de prefixo: o desconto de 90% com risco zero", mostra o tamanho dela: só reordenar o que era estável e o que mudava a cada execução levou o acerto de cache de 7% para 84%. Nenhum modelo foi treinado, nenhuma resposta mudou. Antes de aprovar qualquer item do plano de contenção que chegou à sua mesa, pergunte se a ordenação do contexto já foi auditada. Fonte: ProjectDiscovery, relato público de engenharia, abril de 2026, https://projectdiscovery.io/blog/how-we-cut-llm-cost-with-prompt-caching
O sistema que resume laudos e prepara o parecer de autorização consome a maior linha da fatura de IA, e ela cresceu 40% em dois trimestres sem aumento equivalente de volume de laudos. O time de engenharia leva à reunião de orçamento uma proposta de ajuste fino de um modelo pequeno com os pareceres históricos, com estimativa de 6 semanas de trabalho e um valor de treinamento. O argumento apresentado é que o token do modelo ajustado sairia mais barato. Na mesma pasta há um segundo item, sem estimativa e sem dono, que diz apenas: revisar a instrução de saída.
Você tem 15 minutos de pauta e precisa sair da reunião com uma decisão. O que aprova?
As cinco alavancas do arco, em ordem de retorno e risco
Ordem de aprovação, da mais segura para a mais delicada
0/5Perguntas a fazer antes de aprovar qualquer uma delas
0/3O que reprovar na hora
0/4Responda em uma linha, sem consultar o time: a sua empresa tem hoje um conjunto de avaliação próprio, com casos e resposta esperada, congelado e datado, contra o qual qualquer economia seria medida? Se a resposta for não, essa é a primeira coisa que você manda fazer, antes de aprovar qualquer uma das cinco alavancas deste arco. Se for sim, escreva quem é o dono dele, quando foi a última atualização e quantos casos ele tem. As três respostas cabem em um bilhete, e nenhuma proposta de otimização deveria entrar na sua pauta sem elas.
Perguntas frequentes deste capítulo
O time propôs treinar um modelo próprio para baratear o token. Faz sentido?
Saída em formato estruturado não economiza espaço?
Como eu sei que a economia não piorou o produto?
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Conexões deste capítulo
Veja o que estudar antes e para onde seguir depois, explore os conceitos e compare abordagens em outros cursos. Sugestões marcadas como “sugerido pelo grafo” vêm dos assuntos em comum, não do índice do curso.
Estude antes
- Diagnosticar se o erro da IA vem do prompt ou do contextosugerido pelo grafoApresenta o conceito “Prompt Engineering”, usado em “Menos token, mesma qualidade: o que funciona e o que só parece”.
- Entender o que mudou nos modelos e o vocabulário que você vai usarsugerido pelo grafoApresenta o conceito “Prompt”, usado em “Menos token, mesma qualidade: o que funciona e o que só parece”.
- CursoVídeo com IA: Claude Code, Codex e ElevenLabssugerido pelo grafo4 capítulos de “LLM FinOps: o custo da IA para quem assina o orçamento” usam conceitos apresentados em “Vídeo com IA: Claude Code, Codex e ElevenLabs”.
- CursoPrompt Engineering para Executivossugerido pelo grafo5 capítulos de “LLM FinOps: o custo da IA para quem assina o orçamento” usam conceitos apresentados em “Prompt Engineering para Executivos”.
Conceitos deste capítulo
O mesmo assunto em outros cursos
- MCP para quem decideMedir a fatura invisível do contextoExaminar conexões de Medir a fatura invisível do contexto
- Agentes de código para executivosFixar o teto de gasto por execução do agenteExaminar conexões de Fixar o teto de gasto por execução do agente
- Prompt Engineering para ExecutivosCalcular o custo de uma iniciativa de IA pela tabela de preçosExaminar conexões de Calcular o custo de uma iniciativa de IA pela tabela de preços
- GEO Universal FrameworkEscolha o modelo por tarefa e evite orquestração desnecessáriaExaminar conexões de Escolha o modelo por tarefa e evite orquestração desnecessária
Voltar ao capítulo anterior: Modelo caro para tudo é desperdício aprovado
Leve uma ideia para a prática
Escolha uma atividade no painel e volte a este curso quando quiser.
Atividades e evolução ficam reunidas no painel da sua conta.
Capítulos vizinhos em LLM FinOps: o custo da IA para quem assina o orçamento
- 13Metade da conta por esperar: o desconto de lote
- 14Modelo caro para tudo é desperdício aprovado
- 15Menos token, mesma qualidade: o que funciona e o que só parece
- 16Negociar com o fornecedor: contrato, desconto e portabilidade
- 17Modelo aberto não é modelo grátis: a conta do construir contra o comprar