Cache de prefixo: o desconto de 90% com risco zero

Uma diretoria abre a fatura do assistente de atendimento e pergunta se existe algo barato a fazer antes de cortar escopo. A resposta chega em três segundos: o cache já está ligado. A reunião segue.

Seis semanas depois a fatura está igual. Quando alguém finalmente pede o número, aparece o que ninguém tinha olhado: o cache estava ligado e servindo sete por cento das requisições. As duas frases são verdadeiras ao mesmo tempo, e só a segunda tem efeito na despesa.

Este módulo abre o conjunto de cinco alavancas que o time executa e você aprova. Cada uma pede uma troca explícita: preço por latência, por risco ou por qualidade. Esta primeira é a exceção do conjunto, porque troca preço por quase nada.

Por que existe desconto, e por que ele é seguro. A interface do modelo não guarda memória entre chamadas: cada requisição carrega o contexto inteiro, como mostrou o módulo "A API não tem memória: a conversa inteira é recobrada". E a maior parte desse contexto é sempre a mesma coisa. Instruções fixas, manual do produto e definições de ferramenta são reenviados idênticos na chamada dez e na chamada mil.

O cache de prefixo guarda esse começo estável já processado. Na chamada seguinte o fornecedor reconhece que o início do envio é o mesmo e cobra a leitura em vez do processamento completo. A resposta não muda: o modelo recebe o mesmo conteúdo, na mesma ordem, e a diferença está em quanto trabalho o fornecedor precisou refazer. Nenhuma outra alavanca deste arco tem essa propriedade.

O mecanismo é de prefixo, com ênfase na palavra. O reconhecimento anda do começo para o fim e para no primeiro caractere diferente. Tudo o que vem depois volta a ser cobrado como entrada normal. Daí a única decisão que importa aqui, e ela é sua: em que ordem o contexto é montado.

A conta inteira, sem fórmula. Chame de uma unidade o preço de enviar o trecho estável sem cache.

• Dois envios sem cache custam 2 unidades. Com validade de cinco minutos: 1,25 na gravação e 0,1 na leitura, total de 1,35.
• Três envios sem cache custam 3 unidades. Com validade de uma hora: 2 na gravação e 0,1 em cada leitura, total de 2,2.

A curva abre rápido, porque cada envio adicional passa a custar 0,1 em vez de 1. Vinte releituras dentro da janela custam 1,25 mais 2, contra 21 sem cache. É por isso que carga agêntica rende tanto: o módulo "A conta do agente não é a conta do chat" mostrou que um agente encadeia dezenas de chamadas por tarefa, todas com o mesmo começo.

Um caso real, com nome e relato público. A ProjectDiscovery, empresa de segurança da informação, publicou em abril de 2026 um relato de engenharia sobre o custo do seu agente Neo. O diagnóstico é o problema de ordenação descrito acima: o prompt de sistema passava de vinte mil tokens e carregava, dentro dele, a memória de trabalho do agente. Como essa memória mudava a cada passo, o começo do envio mudava junto e o reconhecimento parava logo no início.

A correção foi mover a memória mutável para o fim do prompt. Sem troca de modelo, sem redução de escopo, sem corte de qualidade. O mesmo conteúdo, em outra ordem.

Duas ressalvas antes de usar esses números em apresentação interna. É relato da própria empresa sobre o próprio sistema, com endereço verificável, e não auditoria independente. E o ganho depende do perfil de carga: o agente descrito encadeia em média vinte e seis passos e quarenta chamadas de ferramenta por tarefa. Um fluxo de pergunta única por usuário não reproduz esse resultado.

Onde essa alavanca não paga, e é importante saber dizer isso. O cache de prefixo funciona por correspondência exata do começo do envio, o que restringe onde o reuso acontece. Uma análise de traços reais publicada em maio de 2026 (arXiv, trabalho identificado como SAECache) mediu que 99,28% dos blocos reaproveitados em traços de conversa e 99,96% em traços agênticos vêm da mesma sessão. Entre sessões independentes, o reuso ficou abaixo de 0,01%.

Se o seu fluxo é uma pergunta curta por usuário, sem texto fixo grande e sem continuidade, o cache de prefixo tem pouco a entregar, por mais que a apresentação do fornecedor sugira o contrário. Ele rende onde há sessão longa: atendimento com muitos turnos, agente com muitos passos, processamento repetido do mesmo documento.

Quando a conversa migrar para o cache que reaproveita respostas de perguntas apenas parecidas, assunto do módulo "Cache de pergunta parecida é decisão de risco", você terá a referência de comparação: uma alavanca determinística, de preço tabelado e saída idêntica, contra outra que troca economia por probabilidade de resposta errada.