Por que dar mais contexto pode deixar o agente pior

Corte o que o agente lê a cada pedido e meça, com dez perguntas de resposta conhecida, se a resposta melhorou. Quanto mais texto o assistente lê, mais ele confunde uma regra com outra, e o primeiro sinal costuma aparecer no preço: a diária de uma data sai com o valor de outra.

Antes de começar, tenha à mão o caderno do negócio, o arquivo de texto com regras, preços e tom que os seus assistentes leem, e dez perguntas que os clientes mais fazem, cada uma com a resposta certa escrita ao lado. O trabalho cabe numa tarde e não pede programa novo: é recortar um arquivo que já existe.

Essa é a peça que mais cresce com o uso, porque cada cliente novo, cada feriado e cada regra combinada no balcão vão parar no mesmo arquivo.

Por que texto a mais faz o agente errar o preço?

Texto a mais faz o agente errar porque caber na janela não é o mesmo que ser bem lido. Todo assistente lê o pedido numa janela de contexto (quanto texto cabe num único pedido, somando instruções, documentos e resposta, como o tamanho da mesa). Ela é medida em tokens, pedaços de palavra com que a IA mede e cobra texto. Uma mesa maior deixa caber mais papel, mas não faz o assistente ler cada folha com a mesma atenção.

A queda tem nome. Deterioração do contexto, em inglês “context rot”, é a perda de qualidade da resposta quando o texto lido cresce, mesmo dentro da janela, sobretudo com distrações no meio. A Chroma, empresa que vende banco de dados para busca, testou 18 modelos em julho de 2025 e achou um detalhe que pesa para quem tem um caderno bem escrito: texto de fundo coerente atrapalhou mais que texto embaralhado.

A queda é maior quando a pergunta usa outras palavras. Na prova NoLiMa, da Universidade de Munique com a Adobe, apresentada na ICML 2025, a pergunta não repete as palavras do trecho que a responde, como o cliente que pede “o quarto com vista” quando a ficha diz “janela para a serra”. O painel abaixo mostra onde a leitura já cede. O curso “RLM 2027” separa o que cabe do que é bem lido em medir o limite real do contexto.

O conserto tem nome técnico: engenharia de contexto, ou seja, escolher o que entra na janela, em que ordem e com que tamanho, para o assistente ler o mínimo que decide a resposta. Uma revisão de mais de 1.400 artigos, da Academia Chinesa de Ciências, divide o trabalho em três partes: buscar o que entra, arrumar o que entrou e cuidar do que fica. A Anthropic resume a ideia num artigo de setembro de 2025: “o contexto deve ser tratado como um recurso finito, com retornos marginais decrescentes”.

Cortar também mexe no bolso, mas só barateia se o começo do pedido, com o tom e as regras, ficar sempre igual: é esse começo repetido que o cache (o desconto no trecho que se repete) aproveita. O curso “LLM FinOps: o custo da IA para quem assina o orçamento” mostra por que a conversa inteira é cobrada de novo a cada pergunta. O curso “Prompt Engineering para Executivos” trata de o que entra e o que fica de fora da janela de contexto.

Como separar o que o agente lê sempre do que ele busca na hora

Separe pelo teste de uma pergunta só: o que vale para todo pedido fica à vista; o que muda por data ou ocupa muito espaço, o agente busca quando a pergunta pede. A comparação mostra os dois jeitos de montar cada pedido.

O lado direito se monta em seis passos, e cada um tem um jeito de conferir antes de seguir.

Numa pousada de oito quartos, o exemplo do curso, o caderno de trinta páginas vira cinco arquivos: tom e regras, preços por data, quartos, grupos e fichas dos hóspedes. O primeiro vai em todo pedido; os outros quatro entram no índice, e o agente abre só o que a pergunta pede, como a recepcionista que sabe em que pasta está a tabela. A tabela mostra a divisão, e a última coluna serve de teste para a sua lista.

Duas técnicas completam o corte. Compactar é resumir a conversa longa e seguir do resumo, que pode perder o preço que a próxima pergunta vai pedir; por isso as regras moram no arquivo fixo, relido inteiro. Chamar um subagente (ajudante para uma parte só do serviço) cobra um preço: o recado. Num estudo de agosto de 2026 com quatro modelos, em perguntas sobre código, o subagente acertou 46,2%, contra 65,2% da busca num índice pronto, e quase metade dos erros nasceu na passagem do recado.

Como medir na sua semana se o corte funcionou

O corte funcionou quando os acertos sobem, nenhuma resposta de preço cita outra data e as perguntas de outras palavras passam. Se algum sinal da tabela aparecer, o conserto está na terceira coluna.

Se o caderno já ficou curto e uma pergunta de outras palavras continua errando, o problema deixou de ser tamanho e virou busca, assunto de “Achar a lembrança certa entre milhares de conversas”. Se o índice passar do tamanho de uma tela, divida por assunto de novo antes de acrescentar qualquer técnica. Para acervos muito maiores que o de uma pousada, o curso “RLM 2027” compara contexto longo, busca e compactação antes de indicar uma.

Está pronto quando o agente lê menos texto a cada pedido, acerta mais das treze perguntas que na linha de partida e nenhuma resposta de preço cita outra data. Com o caderno separado, o próximo passo é decidir o que o agente faz com o que aprende de cada cliente: siga para “O que o agente deve guardar, resumir ou apagar” e leve a lista de fichas.