LLM FinOps: o custo da IA para quem assina o orçamento · Capítulo 20 de 24 · 12 min
As três camadas de controle: milissegundos, minutos e dias
Gateway bloqueia na hora, observabilidade explica em minutos e reconciliação fecha em dias. O erro caro é comprar uma camada achando que ela cobre as três.
Este capítulo faz parte do curso gratuito LLM FinOps: o custo da IA para quem assina o orçamento.
A reunião mensal de custo tem três telas e três números para o mesmo mês. A plataforma projeta o painel de observabilidade e mostra um valor de gasto com IA. A engenharia abre o console do fornecedor e mostra outro. Finanças abre a fatura convertida e mostra um terceiro, que é o único que saiu do caixa. Ninguém está mentindo e ninguém explica a diferença em uma frase.
A diferença tem causa conhecida, e ninguém errou. Os três números vieram de três instrumentos que medem coisas distintas, em velocidades distintas, com propósitos distintos. Quando você entende para que serve cada um, a discussão muda de objeto: em vez de arbitrar qual valor está certo, você passa a decidir qual camada já foi contratada, qual falta e quanto custa a lacuna.
Ao final deste módulo você será capaz de: (1) separar as três camadas de controle pelo tempo de resposta e pelo que cada uma consegue provar; (2) reprovar uma proposta de ferramenta que apresenta custo estimado como se fosse custo faturado; (3) exigir os cinco números que precisam estar no painel antes da próxima reunião de orçamento, cada um com origem declarada; (4) perguntar ao fornecedor a granularidade que está escrita na documentação, e não a que aparece na demonstração.
Verificação rápida
Antes de ler. Uma equipe consumiu em dezoito horas o equivalente a onze dias de orçamento, por causa de um laço de agente que ninguém revisou. Qual camada de controle teria impedido o estouro antes de ele acontecer?
Velocímetro, extrato e auditoria: três relógios do mesmo carro
O velocímetro responde na fração de segundo e é ele que faz você tirar o pé antes do radar. O extrato do cartão de combustível chega horas depois, mostra onde o dinheiro foi e revela que alguém abasteceu duas vezes no mesmo dia. A auditoria fecha em semanas, confere nota contra pagamento e é o único documento que vale numa discussão com terceiros. Nenhum dos três substitui os outros dois.
Gateway é velocímetro, observabilidade é extrato, reconciliação com a fatura é auditoria. Três relógios, três perguntas, três contratos.
- Etapa 1 de 4: Milissegundos: o gateway
Fica na frente do fornecedor e decide dentro da requisição: bloqueia, limita ou desvia para um modelo mais barato. O Cloudflare AI Gateway abriu em beta, em 05/06/2026, limites de gasto definidos em dólares (e não em tokens), com janela diária, semanal, mensal ou rolante, escopo por modelo, provedor ou atributo como time e aplicação, e duas ações ao estourar: bloquear ou rotear para um modelo de reserva.
- Etapa 2 de 4: Minutos: a observabilidade
Coleta o registro de cada execução e atribui consumo a time, funcionalidade e usuário. Prova onde o gasto nasceu. O custo que ela exibe é calculado, não lido da fatura.
- Etapa 3 de 4: Horas: a atribuição do provedor de nuvem
Etiqueta, rótulo e identidade chegam ao relatório de custo do fornecedor com atraso declarado e granularidade limitada. Prova a divisão por conta, por identidade e por região.
- Etapa 4 de 4: Dias: a reconciliação com a fatura
Fecha o mês contra o documento que saiu do caixa, já com desconto contratado e câmbio aplicados. Produz o número que sobrevive a uma pergunta do conselho, e não impede nada.
O que cada camada consegue provar
O gateway responde dentro da requisição, então é o único capaz de impedir. Em troca, ele só enxerga o que passa por ele, e a chamada que alguém fez direto na API do fornecedor fica de fora da conta e do teto. A observabilidade responde em minutos e enxerga a execução inteira, com instrução, resposta e contexto recuperado. Em troca, ela calcula o custo em vez de consultá-lo. A reconciliação responde em dias e traz o valor efetivamente pago. Em troca, ela não sabe qual funcionalidade consumiu o quê, a menos que alguém tenha etiquetado o tráfego antes de ele acontecer.
A compra errada mais comum tem sempre a mesma forma. Alguém apresenta uma plataforma que faz as três coisas na demonstração, o comitê aprova, e seis meses depois a empresa continua sem freio, com um painel caro que diverge da fatura. Vale mais aprovar uma camada por vez, com a pergunta explícita de qual das três ela cobre e o que fica descoberto até a próxima onda.
Custo estimado não chega à sua fatura. A ferramenta de observabilidade não lê o documento que você paga. Ela conta os tokens registrados em cada execução e multiplica pelo preço público de tabela do modelo. A documentação do Datadog LLM Observability declara isso de forma explícita: o custo é estimado a partir da contagem de tokens do registro multiplicada pelo preço público, a cobertura passa de 800 modelos, o suporte é apenas a modelos de texto, e para modelo hospedado pela própria empresa ou com preço negociado o custo precisa ser informado manualmente. Na mesa de decisão isso vira duas consequências opostas. Se a sua empresa fechou desconto por volume, o painel mostra um valor acima do que você paga, e todo esforço de corte está sendo medido na régua errada. Se o time usa modelo aberto na infraestrutura própria, o painel mostra zero, ou mostra aquilo que alguém digitou uma vez e ninguém revisou desde então.
Atribuição de custo: o que costuma ser prometido em demonstração e o que está escrito na documentação
Frases genéricas que aparecem em demonstração de ferramenta
Prometido na apresentação
- Custo por requisição, visível no mesmo instante em que a requisição acontece
- Rateio por time, por funcionalidade e por cliente, funcionando no primeiro dia
- Etiquetagem que reorganiza o histórico assim que você define a nova estrutura de centros de custo
- Um painel único, que dispensa qualquer outra camada de controle
- Número que bate com a fatura, porque vem do próprio provedor
O que os fornecedores escrevem na própria documentação
Documentado pelo fornecedor
- Nos Application Inference Profiles do Amazon Bedrock, a granularidade mínima é por tipo de uso por dia, e a documentação afirma que eles não produzem custo por requisição (AWS, julho de 2026)
- As etiquetas de alocação de custo levam até 24 horas para aparecer e não são retroativas, então elas só valem do dia em que forem ligadas em diante (AWS, julho de 2026)
- Desde 09/04/2026 a AWS permite alocar custo do Bedrock por identidade IAM no CUR 2.0 e no Cost Explorer, o que resolve atribuição por serviço e por pessoa, sem chegar ao nível da chamada individual (AWS, abril de 2026)
- Nos Projects do Bedrock, no endpoint bedrock-mantle, a etiquetagem por requisição não está disponível, logo custo por chamada individual não existe hoje para essa carga (AWS, julho de 2026)
- No Vertex AI, a atribuição de invocação individual passa pelo campo de rótulos enviado na requisição, com chave e valor curtos e uso restrito a faturamento e relatório (Google Cloud, 2026, a confirmar na documentação vigente)
A unidade que cada ferramenta cobra, que é o que decide a conta no fim do ano
| Ferramenta | Unidade cobrada | Referência de preço | O que essa unidade penaliza |
|---|---|---|---|
| Langfuse | Unidade de ingestão | Core a US$ 29 por mês com 100 mil unidades; excedente a partir de US$ 8 por 100 mil | Teto de ingestão por plano, de 1.000 requisições por minuto no gratuito a 20.000 no Pro |
| LangSmith | Assento e registro de execução, as duas ao mesmo tempo | Plus a US$ 39 por assento ao mês, com 10 mil registros incluídos | Escala em duas direções: mais gente olhando e mais execução rastreada |
| Helicone | Requisição | Pro a US$ 79 por mês, com assentos ilimitados | Carga agêntica, que multiplica requisições por tarefa concluída |
| New Relic | Gigabyte ingerido | 100 GB por mês sem custo, depois US$ 0,40 por GB (US$ 0,60 no Data Plus) | Registro de execução com instrução, resposta e contexto recuperado, pesado por natureza |
| Vantage | Volume de gasto rastreado | Pro a US$ 30 por mês até US$ 7.500 de gasto acompanhado | Cresce junto com a própria conta que você contratou a ferramenta para reduzir |
| CloudZero | Não publica preço | Assinatura única cotada sob demanda, dimensionada por escala e complexidade do ambiente | Impede comparação antes de entrar no processo comercial |
Preço de tabela muda sem aviso, e esta cotação vale para julho de 2026. O que muda com muito menos frequência é a unidade de cobrança, e é ela que determina o valor que você vai pagar daqui a doze meses.
Fonte: Páginas oficiais de preço de Langfuse, LangChain, Helicone, New Relic, Vantage e CloudZero, consultadas em julho de 2026
A pergunta que essa tabela responde
Duas ferramentas com preço de entrada parecido podem custar múltiplos uma da outra no fim do ano, porque cobram unidades diferentes, e o registro de uma única execução com modelo de linguagem carrega a instrução, a resposta e todo o contexto recuperado, o que o torna volumoso por construção e caro em qualquer unidade que meça volume. Cobrança por gigabyte ingerido incide exatamente sobre aquilo que a carga agêntica mais produz. Já a cobrança por requisição pega o que um agente multiplica dezenas de vezes dentro de uma única tarefa. Preço por assento é o mais traiçoeiro dos três: parece barato até o dia em que oito pessoas precisam olhar o mesmo painel. Nenhuma das três unidades é errada por si. O que decide a conta de dezembro é qual dessas curvas a sua operação já produz hoje, e isso se mede no tráfego dos últimos três meses, antes de assinar qualquer contrato.
Há um segundo item que quase nunca aparece na proposta comercial: o teto de ingestão. O Langfuse publica esse limite por plano, de 1.000 requisições por minuto no gratuito a 20.000 no Pro (Langfuse, página oficial de preço, julho de 2026). Um pico de tráfego bate nesse teto antes de bater no orçamento, e o que se perde é justamente a telemetria do momento em que ela seria mais útil. Pergunte o teto de ingestão antes de perguntar o preço.
A prioridade declarada por quem administra esse gasto todo dia
1º
Monitoramento granular de gasto de IA entre os pedidos de funcionalidade
Tokens, requisições de modelo e uso de GPU, à frente de custeio antes da implantação e do painel único
1º
IA entre as áreas que os praticantes querem ver o padrão FOCUS cobrir a seguir
Seguida de data center e de cobertura mais ampla de SaaS e PaaS
68%
Dos que gastam US$ 100 milhões ou mais já usam ou experimentam dados em FOCUS
Outros 18% declaram que planejam usar
1.192
Praticantes ouvidos na pesquisa, representando mais de US$ 83 bilhões de gasto anual em nuvem
Sexta edição anual do levantamento
Fonte: FinOps Foundation e Linux Foundation, State of FinOps 2026, publicado em fevereiro de 2026
A empresa gasta cerca de US$ 60 mil por mês em API de modelo de linguagem, divididos entre um assistente de atendimento e um agente que revisa pedidos de autorização. O contrato tem desconto por volume negociado. Numa sexta-feira, um laço de agente mal encerrado consumiu em dezoito horas o equivalente a onze dias de orçamento, e ninguém percebeu antes da segunda. O comitê pediu uma proposta de controle em uma semana, e há verba para uma frente só neste trimestre.
Qual frente entra primeiro?
Os cinco números a exigir no painel antes da próxima reunião de orçamento
O que precisa estar na tela
0/5O que exigir junto de cada número
0/4O padrão aberto de dados de faturamento e o que ele ainda não cobre
- 29/05/2025Concluído
FOCUS 1.2 ratificada
Primeira versão a tratar o ciclo de vida de moedas virtuais: compra e queima de créditos e tokens, previsão de esgotamento e comparação entre a taxa com desconto e a de tabela.
- dez/2025Concluído
FOCUS 1.3 e o primeiro conjunto de dados suplementar
Entra o Contract Commitment, com 13 colunas. As fontes oficiais divergem em um dia sobre a data exata de ratificação, 4 ou 5 de dezembro, o que é uma boa amostra do cuidado que qualquer número exige.
- fev/2026Concluído
State of FinOps 2026
Monitoramento granular de gasto de IA aparece como o pedido de funcionalidade número 1, e IA como a área número 1 que os praticantes querem ver o FOCUS cobrir.
- 04/06/2026Agora
FOCUS 1.4 ratificada
São 47 colunas, dois conjuntos de dados novos (Invoice Detail e Billing Period) e nenhuma mudança incompatível. Nenhuma coluna identifica o modelo nem separa token de entrada de token de saída.
- 12/06/2026Agora
OpenTelemetry move os atributos de IA generativa
Na versão 1.42.0 das convenções semânticas, os atributos gen_ai saíram do repositório principal para um repositório dedicado. É separação de cadência de publicação, e as convenções seguem em desenvolvimento, sem versão 1.0, com nomes que ainda podem mudar.
- Versão 1.5, sem data públicaPrevisto
O que falta para o token entrar no padrão
Identidade de modelo e tokens de entrada e saída dentro do conjunto Cost and Usage, além do conjunto Price Sheet, estão escopados para a 1.5, cujo trabalho começou depois da 1.4. Até lá, token só chega ao padrão por coluna customizada ou por ingestão do relatório do fornecedor.
Três perguntas para a próxima conversa com o time de plataforma, na ordem. Primeira: o número de custo que aparece no nosso painel usa o preço público de tabela ou o preço que a nossa empresa paga com desconto contratado? Segunda: existe hoje alguma camada capaz de interromper ou desviar uma requisição por motivo de gasto, e que fatia do nosso tráfego passa por ela? Terceira: em que data a etiquetagem por time e por funcionalidade foi ligada, sabendo que ela não vale para o passado? Se a resposta à primeira for preço público, a sua economia dos últimos meses foi medida na régua errada e precisa ser recalculada antes de virar slide.
Responda em uma frase, sem voltar ao texto: o painel de custo de IA que a sua empresa usa hoje mostra o preço público de tabela ou o preço que a sua empresa efetivamente paga? Se você não sabe, essa é a primeira pergunta da semana, e ela tem dono. Depois escreva, em três linhas, qual das três camadas a sua empresa já tem contratada, qual está descoberta e quanto tempo de exposição essa lacuna representa: milissegundos, minutos ou dias.
Perguntas frequentes deste capítulo
O painel do fornecedor não basta?
Por que o número do painel nunca bate com a fatura?
Quanto devo aceitar gastar em ferramenta para medir gasto?
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Conexões deste capítulo
Veja o que estudar antes e para onde seguir depois, explore os conceitos e compare abordagens em outros cursos. Sugestões marcadas como “sugerido pelo grafo” vêm dos assuntos em comum, não do índice do curso.
Estude antes
- Montar vídeo em React com Remotion e renderizar na sua máquina ou na AWSsugerido pelo grafoApresenta o conceito “AWS”, usado em “As três camadas de controle: milissegundos, minutos e dias”.
- CursoVídeo com IA: Claude Code, Codex e ElevenLabssugerido pelo grafo4 capítulos de “LLM FinOps: o custo da IA para quem assina o orçamento” usam conceitos apresentados em “Vídeo com IA: Claude Code, Codex e ElevenLabs”.
- CursoPrompt Engineering para Executivossugerido pelo grafo5 capítulos de “LLM FinOps: o custo da IA para quem assina o orçamento” usam conceitos apresentados em “Prompt Engineering para Executivos”.
Conceitos deste capítulo
O mesmo assunto em outros cursos
- GEO e Knowledge GraphQuanto custa de verdade, e o que comprar, construir ou contratarExaminar conexões de Quanto custa de verdade, e o que comprar, construir ou contratar
- Deploy para decisão executivaLer a fatura de plataforma linha por linhaExaminar conexões de Ler a fatura de plataforma linha por linha
- Software e IA para executivosCalcular quanto cada publicação custa na fatura do mêsExaminar conexões de Calcular quanto cada publicação custa na fatura do mês
- Do Agile ao Agentic Operating ModelEscolher o modelo de cada etapa e calcular o custo por tarefaExaminar conexões de Escolher o modelo de cada etapa e calcular o custo por tarefa
Leve uma ideia para a prática
Escolha uma atividade no painel e volte a este curso quando quiser.
Atividades e evolução ficam reunidas no painel da sua conta.