LLM FinOps: o custo da IA para quem assina o orçamento · Capítulo 7 de 24 · 13 min
A API não tem memória: a conversa inteira é recobrada
Cada turno reenvia e recobra todo o histórico anterior, e encher a janela não melhora a resposta: a própria documentação do fornecedor registra que a acurácia degrada conforme a contagem de tokens cresce.
Este capítulo faz parte do curso gratuito LLM FinOps: o custo da IA para quem assina o orçamento.
Verificação rápida
Antes de ler o módulo. Um atendimento conduzido por assistente de IA chega ao décimo turno de conversa. Quantas vezes a primeira mensagem do cliente foi cobrada até ali?
Toda estimativa de custo de produto conversacional que chega à sua mesa tem a mesma forma: tantos tokens por pergunta, vezes tantas perguntas por mês. A conta fecha, o projeto é aprovado, e a fatura do trimestre seguinte aparece num patamar que a planilha nunca previu. Ninguém trocou de modelo, ninguém mexeu no preço, nenhuma funcionalidade nova foi liberada.
O defeito está na unidade da multiplicação. A estimativa foi feita por pergunta e a cobrança acontece por conversa, porque a interface que devolve a resposta não guarda nada entre uma pergunta e a seguinte. Este é o primeiro dos quatro mecanismos que o arco desmonta, e também o mais barato de entender. Quem sai desta página sabendo perguntar quantos turnos tem a conversa média do produto já corrige a maior parte do desvio de toda estimativa que vai receber pelo resto do ano.
Ao final deste módulo você consegue: (1) explicar em uma frase por que a mesma pergunta inicial é cobrada dez vezes numa conversa de dez turnos; (2) exigir do time a curva de custo acumulado por turno em vez do custo médio por pergunta; (3) reprovar a compra de janela de contexto maior apresentada como ganho de qualidade; (4) cobrar que exista uma política de contexto por escrito, com dono, número de turnos preservados e critério de descarte, antes de aprovar qualquer produto conversacional.
O consultor com amnésia que cobra por página lida
Imagine contratar um consultor brilhante que esquece tudo ao sair da sala. Para fazer a segunda pergunta você reconta a reunião inteira desde o começo. Para fazer a terceira, reconta as duas primeiras rodadas mais a segunda pergunta. Ele responde muito bem, e cobra por página lida, sempre. Na décima pergunta você já pagou dez vezes pela leitura do primeiro parágrafo, e o consultor não fez nada de errado: foi você quem entregou o maço de papel de novo, porque era a única forma de ele saber do que se tratava.
A memória que o usuário vê na tela é construída pelo seu sistema, que remonta o histórico e o reenvia. Reenviar significa recobrar, à tarifa de entrada.
A interface pela qual a empresa compra inteligência artificial não guarda estado. Cada requisição chega ao fornecedor sem nenhum registro das anteriores, e a única maneira de o modelo saber o que foi conversado é receber a conversa outra vez, inteira, dentro da requisição atual.
O que entra na conta a cada turno
- o prompt de sistema, a instrução fixa que o usuário nunca vê;
- todas as mensagens anteriores, perguntas e respostas;
- os resultados de chamada de ferramenta, as imagens e os documentos anexados em qualquer turno passado;
- as definições das ferramentas disponíveis, inclusive as que ninguém usou;
- o raciocínio que o próprio modelo gerou, nos modelos que preservam esses blocos.
A lista está na documentação oficial de janela de contexto da Anthropic. Nenhum desses itens sai da conta por conta própria: eles saem quando alguém decide que saem, e essa decisão é o assunto da segunda metade do módulo. Um detalhe de ordem de grandeza para calibrar a intuição: um PDF de 500 kB trazido para dentro da requisição equivale a cerca de 125.000 tokens de contexto, segundo a documentação de preço da mesma empresa. Anexo de uma linha na conversa, cobrado em todos os turnos que vierem depois.
- Etapa 1 de 6: Prompt de sistema
Instrução fixa da aplicação. Viaja em toda requisição, da primeira à última.
- Etapa 2 de 6: Histórico acumulado
Todas as perguntas e respostas anteriores, mais resultados de ferramenta, imagens e documentos de qualquer turno passado.
- Etapa 3 de 6: Definições de ferramenta
Cada ferramenta declarada ocupa contexto pago antes de ser usada, e algumas nunca serão.
- Etapa 4 de 6: Contexto recuperado
Trechos de documento, manual ou base de conhecimento trazidos para dentro da requisição.
- Etapa 5 de 6: Pergunta do turno
A única parte que o usuário digitou agora, e normalmente a menor de todas.
- Etapa 6 de 6: Saída gerada
A resposta, cobrada à tarifa de saída. No turno seguinte ela volta como entrada.
A mesma conversa, turno a turno: trabalho novo de um lado, tokens cobrados do outro
| Turno | Trabalho novo no turno | Histórico reenviado | Entrada cobrada no turno | Entrada acumulada até aqui |
|---|---|---|---|---|
| 1 | 1.000 | 0 | 2.200 | 2.200 |
| 2 | 1.000 | 1.000 | 3.200 | 5.400 |
| 3 | 1.000 | 2.000 | 4.200 | 9.600 |
| 5 | 1.000 | 4.000 | 6.200 | 21.000 |
| 10 | 1.000 | 9.000 | 11.200 | 67.000 |
| 20 | 1.000 | 19.000 | 21.200 | 234.000 |
Leia a última linha ao lado da segunda coluna: vinte turnos produziram 20.000 tokens de trabalho novo e geraram 234.000 tokens de entrada cobrados, cerca de 11,7 vezes mais. A razão exata depende do formato da sua conversa, e não deste exemplo. Peça ao time a mesma tabela com os números reais do seu produto antes de aprovar qualquer orçamento conversacional.
Fonte: Aritmética sobre hipótese declarada, não medição. Hipótese: bloco fixo de 2.000 tokens (prompt de sistema mais definições de ferramenta), pergunta de 200 tokens e resposta de 800 tokens por turno. O mecanismo de reenvio integral é o documentado pela Anthropic em Context windows (jul/2026).
Quatro números publicados que descrevem o mesmo mecanismo
20.820
Tokens transmitidos e cobrados em 3 turnos
Para apenas 19.000 tokens de trabalho novo, no exemplo da documentação oficial de orçamento por tarefa
210.000
Tokens de entrada cobrados num laço de 20 passos
Contra os 20.000 que uma estimativa por passo sugeriria, em relato de engenharia de terceiro
84%
Redução de tokens ao limpar contexto obsoleto
Avaliação de busca agêntica de 100 turnos, com desempenho 29% maior no mesmo teste
125.000
Tokens de contexto de um PDF de 500 kB
Um anexo na abertura da conversa, recobrado em cada turno seguinte
Fonte: Anthropic: documentação de task budgets e de preço (jul/2026) e publicação sobre gestão de contexto (set/2025). Laço de 20 passos relatado pela Augment Code (jul/2026), confiança: verificar.
Repare no formato da coluna de entrada acumulada. Ela não cresce em linha reta. A cada turno o histórico reenviado fica maior, então o vigésimo turno custa quase dez vezes o primeiro, e a soma dos vinte fica muito acima de vinte vezes o valor inicial. Em linguagem de orçamento: na faixa da tabela acima, dobrar o número de turnos multiplica o custo de entrada por algo entre três e três vezes e meia, e essa razão sobe em direção a quatro conforme a conversa se alonga e o bloco fixo perde peso diante do histórico. A regra que sobrevive à contestação na reunião é a faixa, com o piso explícito: entre três e quatro vezes, nunca duas. Relatos de engenharia chamam isso de crescimento quadrático, e o exemplo mais citado descreve um laço de vinte passos gerando mil tokens por passo que acumula 210.000 tokens de entrada cobrados.
Daí decorre a mudança de pergunta. Quanto custa uma pergunta é a métrica que produziu o desvio que você está tentando explicar. As três perguntas que geram número utilizável são estas: quantos turnos tem a conversa média, quantos turnos tem a conversa mais longa que o produto permite, e qual é o tamanho do bloco fixo que viaja em toda requisição. Com essas três respostas a estimativa passa a ter o formato certo, e o erro sai da casa da ordem de grandeza para a casa da margem discutível.
Mais contexto pode piorar a resposta, e quem diz isso é o fornecedor. A Anthropic registra o efeito com nome próprio, context rot: à medida que a contagem de tokens cresce, a acurácia e a recuperação degradam. A página não publica métrica, então trate como direção documentada e magnitude desconhecida, e exija do time a medição no seu caso antes de qualquer decisão. O que isso muda na sua mesa: encher a janela porque ela cabe compra dois prejuízos ao mesmo tempo, custo maior e resposta pior, e chega embalado como robustez. A tarifa de contexto longo passou a depender do fornecedor. Quem repetir em reunião que contexto longo custa mais caro por token está errado numa casa e certo em duas, e a diferença muda o desenho do produto e o valor da fatura. A tabela abaixo mostra as três posturas de julho de 2026.
Política de contexto longo: três fornecedores, três regras diferentes
| Fornecedor e modelo | Regra acima de 200 mil tokens de prompt | Preço por milhão de tokens | O que isso obriga na decisão |
|---|---|---|---|
| Anthropic, Claude 4.6 e posteriores | Nenhum prêmio de contexto longo: a janela de 1 milhão sai ao preço padrão | Uma requisição de 900 mil tokens é cobrada à mesma taxa por token de uma de 9 mil | Curar o contexto deixa de ser exigência de preço e continua sendo exigência de qualidade |
| Google, Gemini 3.1 Pro Preview | A entrada dobra acima de 200 mil tokens | US$ 2 de entrada e US$ 12 de saída até 200 mil; US$ 4 e US$ 18 acima disso | Recuperar só o trecho necessário do documento passa a ser exigência de custo, não preferência técnica |
| xAI, grok-4.5 | Dobra tudo acima de 200 mil, e a taxa maior incide sobre a requisição inteira | US$ 2 de entrada, US$ 0,30 em cache e US$ 6 de saída abaixo de 200 mil; US$ 4, US$ 0,60 e US$ 12 acima | Passar de 200 mil por um único token dobra o preço de todos os tokens daquela chamada |
Cotação de julho de 2026. Preço de tabela de IA muda sem aviso e já mudou várias vezes no último ano, então trate qualquer valor daqui como referência de ordem de grandeza. Regra a levar para a reunião: comparativo de fornecedor sem data de cotação volta para quem apresentou.
Fonte: Documentação oficial de preço da Anthropic, do Google e da xAI, consultada em julho de 2026
Duas políticas de contexto, e a segunda é a que você assina
Encher a janela porque ela cabe
Coluna a evitar
- Reenviar a conversa inteira em todos os turnos, sem critério de descarte escrito
- Anexar o documento completo quando a resposta depende de duas seções dele
- Manter todas as ferramentas declaradas em toda requisição, usadas ou não
- Comprar janela maior e apresentar a compra como melhoria de qualidade
- Tratar o teto técnico da janela como recomendação de uso
- Estimar custo por pergunta e levar esse número ao conselho
Curar o que entra e descartar o que envelheceu
Coluna recomendada
- Ter por escrito quantos turnos entram na requisição e o que é descartado depois disso
- Trazer apenas o trecho pertinente do documento, com dono nomeado para decidir o que é pertinente
- Limpar da conversa os resultados de ferramenta que já cumpriram o papel: a Anthropic mediu 84% menos tokens numa avaliação de 100 turnos, com desempenho 29% maior
- Medir acurácia com contexto curto e com contexto longo antes de escolher a janela
- Tratar o teto da janela como limite de engenharia, com o uso definido por custo e por qualidade
- Estimar custo por conversa completa, com a curva acumulada por turno
O assistente de atendimento ao beneficiário está em piloto. A conversa média tem oito turnos, o prompt de sistema tem cerca de 2.000 tokens e o regulamento do plano, com quarenta páginas, é anexado inteiro na abertura de cada atendimento. O piloto consumiu em um mês o orçamento que estava previsto para o trimestre. O fornecedor ligou oferecendo migração para um modelo com janela de contexto maior, sem sobretaxa de contexto longo.
O que você aprova na reunião de amanhã?
Leve para segunda-feira. Três números e um dono destravam este item, e nenhum deles exige conhecimento de arquitetura. Os números são a média de turnos por conversa, o número de turnos da conversa mais longa que o produto permite e o tamanho do bloco fixo que viaja em toda requisição. O dono é a pessoa nomeada pela política de contexto, com data de revisão no calendário. Se o time responder que ninguém mediu turnos até agora, essa é a resposta mais útil da semana: significa que a estimativa que você aprovou foi construída sobre a unidade errada, e que existe economia disponível sem trocar de fornecedor nem de modelo.
As perguntas a fazer e o que exigir antes de assinar
Perguntas a fazer ao time nesta semana
0/5O que exigir antes de aprovar o próximo orçamento conversacional
0/5Responda sem voltar ao texto e leve as respostas para a próxima reunião de produto: qual é o número médio de turnos por conversa no produto que você aprovou, quem na empresa consegue responder isso hoje sem consultar mais ninguém, e onde está escrita a política de contexto que define quantos turnos são preservados e o que é descartado. Se qualquer uma das três respostas não existir, a decisão desta semana é criar as três, com dono e data. Anote também o tamanho do bloco fixo que viaja em toda requisição: é ele que vira desconto no módulo "Cache de prefixo: o desconto de 90% com risco zero".
Perguntas frequentes deste capítulo
Se o modelo lembra da conversa, por que eu pago de novo?
O fornecedor está oferecendo uma janela maior. Vale pagar por isso?
Isso é decisão de produto ou de engenharia?
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Conexões deste capítulo
Veja o que estudar antes e para onde seguir depois, explore os conceitos e compare abordagens em outros cursos. Sugestões marcadas como “sugerido pelo grafo” vêm dos assuntos em comum, não do índice do curso.
Estude antes
- Prepare a página para a IA recortar o seu trechosugerido pelo grafoApresenta os conceitos “Janela de contexto” e “Token”, usados em “A API não tem memória: a conversa inteira é recobrada”.
- CursoVídeo com IA: Claude Code, Codex e ElevenLabssugerido pelo grafo4 capítulos de “LLM FinOps: o custo da IA para quem assina o orçamento” usam conceitos apresentados em “Vídeo com IA: Claude Code, Codex e ElevenLabs”.
- CursoPrompt Engineering para Executivossugerido pelo grafo5 capítulos de “LLM FinOps: o custo da IA para quem assina o orçamento” usam conceitos apresentados em “Prompt Engineering para Executivos”.
Conceitos deste capítulo
O mesmo assunto em outros cursos
- MCP para quem decideMedir a fatura invisível do contextoExaminar conexões de Medir a fatura invisível do contexto
- Prompt Engineering para ExecutivosCalcular o custo de uma iniciativa de IA pela tabela de preçosExaminar conexões de Calcular o custo de uma iniciativa de IA pela tabela de preços
- Deploy para decisão executivaLer a fatura de plataforma linha por linhaExaminar conexões de Ler a fatura de plataforma linha por linha
- Frontends com VibecodingCalcular custo por tarefa e definir governançaExaminar conexões de Calcular custo por tarefa e definir governança
Leve uma ideia para a prática
Escolha uma atividade no painel e volte a este curso quando quiser.
Atividades e evolução ficam reunidas no painel da sua conta.