LLM FinOps: o custo da IA para quem assina o orçamento · Capítulo 12 de 24 · 10 min
Cache de pergunta parecida é decisão de risco
Reaproveitar a resposta de uma pergunta semelhante economiza de verdade e pode devolver a resposta errada ao seu cliente, e essa escolha é da diretoria. O CacheAttack (HKUST, jun/2026) mostra que o falso acerto é inevitável e já foi usado como vetor de ataque.
Este capítulo faz parte do curso gratuito LLM FinOps: o custo da IA para quem assina o orçamento.
A proposta chega bem embalada. O time mostra que boa parte das perguntas do atendimento são variações da mesma dúvida, exibe uma demonstração em que o sistema reconhece a variação e devolve a resposta guardada em milissegundos, e fecha com um percentual de economia grande o bastante para tornar a discussão desconfortável. Nenhuma linha da proposta é falsa.
O que falta na proposta é a outra metade da conta. Quando o cache decide que duas perguntas são a mesma pergunta, ele está fazendo um julgamento, e todo julgamento erra em alguma fração dos casos. Essa fração tem preço, e o preço não aparece na fatura do fornecedor: aparece no cliente que recebeu a resposta de outro contrato, no prazo informado errado, no chamado que volta. A economia é do time de tecnologia; a taxa de erro é sua.
Ao final deste módulo você será capaz de: (1) distinguir o cache exato de prefixo, que você já aprovou em "Cache de prefixo: o desconto de 90% com risco zero", do cache por similaridade, que é outro produto e outra decisão; (2) exigir os três números que faltam em toda proposta de cache semântico, com a evidência publicada que justifica cada um; (3) reprovar qualquer adoção que chegue sem precisão medida no tráfego real da sua empresa; (4) definir, em número, qual taxa de resposta errada o seu atendimento aceita antes de discutir economia.
O atendente que responde antes de você terminar a frase
Existe aquele atendente veterano que ouve as três primeiras palavras, reconhece o padrão e já entrega a resposta. Na maior parte do tempo é maravilhoso: você economiza meio minuto e ele economiza uma consulta ao sistema. O incômodo aparece nas vezes em que a sua pergunta parecia com a pergunta de sempre e não era ela. Você perguntou pelo prazo do produto novo e ouviu o prazo do produto antigo, dito com a mesma confiança de sempre.
O cache exato só responde quando a pergunta é literalmente a mesma. O cache por similaridade responde quando a pergunta é parecida o bastante, e é ele quem define o bastante.
Onde o dinheiro se move, e por que a mecânica é diferente. No cache de prefixo, o fornecedor guarda o começo estável do que você envia e cobra cerca de um décimo para reler. A saída continua sendo gerada do zero a cada requisição, o desconto está na tabela de preço e a resposta devolvida é exatamente a que o modelo produziria sem cache.
No cache por similaridade a chamada ao modelo simplesmente não acontece. O sistema converte a pergunta nova em uma representação numérica, compara com as perguntas já respondidas, e quando encontra uma parecida o bastante devolve a resposta antiga sem consultar o modelo. A economia é maior, porque você deixa de pagar entrada e saída. E a resposta entregue ao cliente passou a depender de um julgamento de parecença que ninguém da diretoria discutiu.
Esse julgamento tem um número de controle, chamado limiar de similaridade: quão parecidas duas perguntas precisam ser para o sistema tratá-las como a mesma. Apertar o limiar reduz o erro e derruba a economia. Afrouxar aumenta a economia e o erro junto. Não existe posição do dial que zere os dois.
Duas coisas chamadas cache que exigem decisões diferentes
Cache por similaridade, ligado antes de medir
Barrar até medir
- Devolve resposta guardada quando julga a pergunta parecida o bastante, sem consultar o modelo
- Economia maior, porque elimina entrada e saída da chamada inteira
- Pode entregar ao cliente a resposta de outra pergunta, e o erro é silencioso para quem operou
- Depende de um limiar escolhido por alguém, e o padrão de fábrica do fornecedor não conhece o seu tráfego
- Envelhece: a resposta correta de ontem pode estar errada hoje, e o cache não sabe disso sozinho
- Exige medição de precisão no seu próprio tráfego antes de qualquer ligação
Cache exato de prefixo, o que se aprova primeiro
Aprovar primeiro
- Só reaproveita quando o começo do que foi enviado é idêntico, caractere por caractere
- Desconto de tabela publicado pelo fornecedor, de cerca de 90% na leitura
- Devolve a mesma saída que o modelo produziria sem cache, por construção
- Nenhum limiar a escolher e nenhuma decisão de risco a assumir
- Já está disponível nos três grandes fornecedores, com regra de mínimo de tokens documentada
- Aprovar não requer estudo de precisão, requer conferir a taxa de acerto no relatório mensal
O que a literatura recente mediu sobre cache por similaridade
| Trabalho, veículo e data | O que foi medido | O que isso obriga você a exigir |
|---|---|---|
| vCache, UC Berkeley (arXiv 2502.03771, v1 de fev/2025, revisado em fev/2026), aceito no ICLR 2026 | Cache com limiar de similaridade fixo não oferece garantia formal de correção e produz taxa de erro imprevisível. Com limiar aprendido por pergunta, o método atinge até 12,5 vezes mais acertos de cache e 26 vezes menos erro que as abordagens de limiar estático. | Perguntar qual limiar foi escolhido, quem escolheu e com base em qual medição. Limiar único aplicado a todo o tráfego é a configuração cuja taxa de erro ninguém consegue prever. |
| CacheAttack, HKUST (arXiv 2601.23088v2), jun/2026 | O falso acerto é matematicamente inevitável e foi transformado em vetor de ataque. Perguntas construídas com significado diferente e forma parecida atingiram 86% de acerto de cache e 82% de sucesso de injeção no sequestro de resposta, e 90,6% de acerto no sequestro de chamada de ferramenta, com queda de acurácia de até 84,5%. | Tratar o cache por similaridade como superfície de segurança com dono nomeado. Exigir que o tema apareça na avaliação de risco da empresa, além da apresentação de economia. |
| CacheAttack, mesma publicação, sobre serviços gerenciados | O ataque foi reproduzido contra oferta de nuvem de prateleira: 80,6% de acerto de cache contra o AWS Bedrock e 88,3% contra o Azure API Management. | Não aceitar que a responsabilidade termina no fornecedor. Contratar serviço gerenciado transfere a operação e mantém com você a decisão sobre limiar e escopo. |
| FreshCache (arXiv 2607.04281), jul/2026 | Cache por similaridade com trava de risco temporal chegou a 97% de economia de chamadas com 0,1% de erro por conteúdo desatualizado, contra 72% e 47% de economia das abordagens comparadas. A avaliação registrou ainda que apenas 34,3% das mudanças de conteúdo detectadas de fato alteram a correção da resposta. | Perguntar como a resposta guardada expira. Preço, prazo, disponibilidade e política mudam, e cache que não envelhece devolve informação vencida com cara de resposta nova. |
Os três números de economia e de erro vêm dos conjuntos de teste de cada trabalho, e não do seu atendimento. Servem para dimensionar a ordem de grandeza e para formular a pergunta; não substituem a medição no seu próprio tráfego, que é justamente o que este módulo manda exigir.
Fonte: vCache (UC Berkeley, ICLR 2026, arXiv 2502.03771, v1 de fev/2025, revisão de fev/2026); CacheAttack (HKUST, arXiv 2601.23088v2, jun/2026); FreshCache (arXiv 2607.04281, jul/2026)
O falso acerto é propriedade do método, e nenhuma versão futura do produto vai removê-lo. Comparar significado por parecença numérica implica que existem pares de perguntas com sentidos diferentes e representações próximas. Nenhum ajuste de configuração elimina esse conjunto. O que a configuração faz é decidir se ele será grande ou pequeno, e a que custo de economia perdida. O trabalho do CacheAttack levou a consequência ao limite e mostrou que o fenômeno é dirigível por quem quer explorá-lo. Perguntas construídas de propósito para colidir com uma entrada já guardada atingiram 86% de acerto de cache e 82% de sucesso na injeção de resposta, e o caso da chamada de ferramenta chegou a 90,6% de acerto com queda de acurácia de até 84,5%. Esse segundo cenário importa para quem já leu "A conta do agente não é a conta do chat": num sistema que decide sozinho quais ferramentas acionar, a resposta envenenada termina em ação executada, e não em texto errado parado na tela. A leitura executiva é direta. Quando o time apresentar cache por similaridade como assunto de infraestrutura, o assunto muda de mesa: passa a ter dono de risco, escopo declarado por domínio de conteúdo e plano de reversão escrito antes de ligar.
A segunda forma de errar tem a ver com o relógio. Uma resposta guardada continua parecida com a pergunta nova para sempre, mesmo depois que o preço mudou, a política de cancelamento foi revista e o produto saiu de linha. O cache não tem como perceber sozinho que o mundo andou.
O trabalho do FreshCache tratou exatamente disso e o resultado tem uma nuance que vale para a sua decisão. Com uma trava que reavalia o risco de a resposta ter envelhecido, a economia chegou a 97% das chamadas com 0,1% de erro por conteúdo desatualizado, contra 72% e 47% de economia das duas abordagens comparadas. E a avaliação encontrou algo menos óbvio: das mudanças de conteúdo detectadas, apenas 34,3% de fato alteravam a correção da resposta. Ou seja, boa parte do que parece envelhecimento é ruído, e expirar tudo por precaução joga fora economia real.
O que isso vira na sua mesa é uma pergunta a fazer ao time: quais domínios de conteúdo da nossa operação mudam com que frequência, e qual deles pode aceitar uma resposta de uma semana atrás sem consequência para o cliente. Se a resposta vier genérica, o piloto ainda não está pronto para começar.
A letra miúda de quem vende cache semântico
| Fornecedor e data | O que a documentação diz | A pergunta que isso gera na negociação |
|---|---|---|
| Redis, LangCache, mar/2026 | A empresa não publica taxa de acerto nem precisão do produto. Em vez de número de benchmark, entrega um procedimento de avaliação para o cliente calcular precisão, recall e F-score nos próprios dados, e alerta que um limiar bom em conjunto de brinquedo pode ficar agressivo demais em consultas reais ou conservador demais para gerar economia. | Se quem construiu o produto se recusa a publicar um número universal, com que autoridade a apresentação interna prometeu um? A ausência do número é a informação. |
| Kong AI Gateway, jul/2026 | O plugin de cache semântico vem com uma tolerância de parecença padrão de 0,3 de distância, e a própria documentação recomenda apertar para 0,2 para evitar colisões falsas ou afrouxar para 0,4 para capturar mais paráfrases. | Ficamos no padrão de fábrica? Quem assinou embaixo dessa escolha, e a partir de qual medição? O padrão é um ponto de partida do fornecedor, não uma recomendação para o seu tráfego. |
| Portkey, jul/2026 | Cache semântico com tempo de vida ilimitado e limites de orçamento granulares por time e por ambiente existem apenas no plano Enterprise. O plano de US$ 49 por mês entrega cache simples com tempo de vida de um dia. | A demonstração mostrou a capacidade de qual plano? O contrato que está em aprovação entrega a mesma coisa que apareceu na tela? |
Preço, nome de plano e valor padrão de configuração mudam com frequência. Confira na documentação vigente antes de levar qualquer linha desta tabela para uma reunião de compras.
Fonte: Redis (03/2026); Kong (07/2026); Portkey (07/2026), leitura das respectivas documentações públicas
Verificação rápida
O fornecedor apresenta o produto e exibe 90% de acerto de cache num conjunto de perguntas montado para a demonstração. Qual é a pergunta que muda a reunião?
A operação recebe cerca de 60 mil perguntas por mês pelo canal de mensagens, e a análise do time mostra que boa parte é variação das mesmas dúvidas: prazo de compensação, horário de funcionamento, limite disponível, taxa de antecipação e política de cancelamento. Duas dessas cinco famílias dependem do contrato específico de cada cliente. O time de tecnologia propõe ligar cache semântico no canal inteiro com a configuração padrão do fornecedor, e projeta corte relevante na linha de IA da fatura. A apresentação traz taxa de acerto e não traz precisão.
Você preside o comitê que aprova. O que sai desta reunião?
O que exigir antes de assinar a aprovação
Antes de discutir economia
0/3Medição, não demonstração
0/4Escopo, envelhecimento e saída
0/5Três perguntas curtas resolvem a maior parte das propostas que vão chegar. Primeira: qual é a precisão, e sobre qual tráfego ela foi medida? Segunda: qual limiar foi escolhido, por quem e com base em qual meta? Terceira: quais respostas expiram, em quanto tempo, e como a gente descobre que uma resposta velha foi servida? Se as três voltarem com resposta específica e datada, a decisão passa a ser sua de verdade. Se voltarem com adjetivos, a proposta ainda é uma demonstração vestida de projeto.
Escreva um número antes de sair deste módulo: qual taxa de resposta errada o seu atendimento aceita para ganhar economia? Coloque em uma linha, com a base declarada (a cada mil perguntas servidas pelo cache, quantas podem estar trocadas) e com o nome de quem aprova esse limite na sua empresa. Em seguida, anote qual das famílias de perguntas do seu canal você liberaria primeiro e qual você deixa de fora por depender do contrato individual do cliente. Sem esse número, qualquer proposta de cache semântico será aprovada pela economia projetada, que é o único lado da conta que o fornecedor tem incentivo para calcular.
Perguntas frequentes deste capítulo
O fornecedor mostrou 90% de acerto na demonstração. Isso basta?
Qual é o custo de uma resposta errada no nosso caso?
Se o cache exato já existe, por que alguém proporia o outro?
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Conexões deste capítulo
Veja o que estudar antes e para onde seguir depois, explore os conceitos e compare abordagens em outros cursos. Sugestões marcadas como “sugerido pelo grafo” vêm dos assuntos em comum, não do índice do curso.
Estude antes
- Montar vídeo em React com Remotion e renderizar na sua máquina ou na AWSsugerido pelo grafoApresenta o conceito “AWS”, usado em “Cache de pergunta parecida é decisão de risco”.
- CursoVídeo com IA: Claude Code, Codex e ElevenLabssugerido pelo grafo4 capítulos de “LLM FinOps: o custo da IA para quem assina o orçamento” usam conceitos apresentados em “Vídeo com IA: Claude Code, Codex e ElevenLabs”.
- CursoPrompt Engineering para Executivossugerido pelo grafo5 capítulos de “LLM FinOps: o custo da IA para quem assina o orçamento” usam conceitos apresentados em “Prompt Engineering para Executivos”.
Conceitos deste capítulo
O mesmo assunto em outros cursos
- RAG em produçãoResponder rápido sem refazer trabalho já feitoExaminar conexões de Responder rápido sem refazer trabalho já feito
- Engenharia de Software para ExecutivosPrever o que quebra quando o negócio cresceExaminar conexões de Prever o que quebra quando o negócio cresce
- Prompt Engineering para ExecutivosCortar a conta de IA começando pelas alavancas gratuitasExaminar conexões de Cortar a conta de IA começando pelas alavancas gratuitas
Leve uma ideia para a prática
Escolha uma atividade no painel e volte a este curso quando quiser.
Atividades e evolução ficam reunidas no painel da sua conta.