Decidir o que entra na janela e em que posição cada bloco fica

Um modelo com janela de 1 milhão de tokens lê o acervo inteiro numa chamada, mas acerta menos conforme o contexto cresce. Para quem monta prompts com documentos, a saída é curar o pacote: entra só o que muda a resposta, documentos no topo e pergunta no fim. Remonte hoje um pacote real nessa ordem e compare as respostas.

Token é o pedaço de texto que o modelo conta, mais ou menos uma sílaba longa; no Claude, 1 milhão de tokens equivale a cerca de 555 mil palavras, alguns livros inteiros. Claude Opus 5.5, GPT-6 Astra e Gemini 3.1 Pro aceitam essa ordem de grandeza numa só chamada, e o Grok 4.7 aceita 500 mil. A capacidade convida a colar tudo, do manual do produto aos três anos de histórico do cliente.

Os estudos de 2025 medem o preço desse convite. Quanto mais texto entra, menos confiável fica a recuperação do dado certo, e a queda aparece muito antes do limite anunciado. A conta também sobe, porque Gemini, OpenAI e Grok cobram tarifa maior quando o prompt passa de certo tamanho.

Por que a atenção acaba antes da janela

A Anthropic chama de orçamento de atenção (attention budget) a capacidade limitada que o modelo gasta para relacionar cada token com os demais, como a atenção de quem lê um dossiê de 300 páginas na véspera da reunião. Cada bloco a mais consome parte desse orçamento. O artigo de engenharia da empresa, de 29/09/2025, conclui que contexto é recurso finito e com retorno decrescente.

O efeito ganhou nome: context rot, ou apodrecimento do contexto, a perda de precisão na recuperação conforme a entrada cresce. Em 2024 a dúvida era se o documento cabia; em 2026 quase tudo cabe, e a dúvida passou a ser quanto o excesso custa em acerto. Com isso, a janela grande vira teto, e o pacote de cada chamada passa a ter critério de entrada, como uma pauta de reunião que alguém precisa aprovar.

O que entra e o que sai da janela

O teste de entrada cabe numa pergunta: a resposta muda se este bloco sair? A política de trocas muda a resposta a uma reclamação; o manual técnico do produto, quase nunca. Os contatos do cliente sobre o pedido em questão mudam; os três anos de compras anteriores, raramente.

O relatório da Chroma dá um motivo a mais para cortar com rigor: um único distrator, trecho parecido com a resposta certa sem ser ela, já reduz o acerto, e quatro agravam a queda. Política antiga ao lado da vigente é o distrator clássico das empresas. O que ficou de fora segue acessível por recuperação sob demanda (just-in-time retrieval), em que o modelo guarda o endereço do documento e só o carrega quando precisa, como quem deixa o arquivo na estante e não na mesa.

Onde o dado importante fica

Lost in the middle, ou perdido no meio, é o achado de Liu e coautores (TACL, 2024): o acerto é maior quando a informação relevante está no começo ou no fim do contexto e cai quando ela fica no meio, numa curva em U. Mudar a ordem dos blocos é a correção mais barata deste assunto, porque não acrescenta um token sequer.

Para entradas acima de 20 mil tokens, a Anthropic recomenda documentos longos no topo e pergunta no fim, com melhora de até 30% nos testes internos da empresa. Recomenda também tags XML, etiquetas que abrem e fecham cada parte como pastas rotuladas, com fonte e data de cada documento. O guia do Gemini pede a mesma ordem e sugere ancorar a pergunta final em “com base nas informações acima”.

Como cada fornecedor trata contexto longo

A ordem e a marcação mudam pouco de um fornecedor para outro; os detalhes de instrução e de preço mudam bastante. A tabela resume o que a documentação de cada um diz em outubro de 2026.

Quanto custa passar do degrau

Na Anthropic, a janela de 1 milhão sai a preço padrão em toda a extensão, com uma exceção: o Haiku 5.5 cobra cinco vezes mais por token de entrada quando o prompt passa de 100 mil tokens. OpenAI, Google e xAI têm degrau de preço, e o pacote curado rende em dobro quando fica abaixo dele, porque a mesma poda melhora o acerto e corta a fatura.

Três situações em que curar muda o resultado

O mesmo critério vale fora do atendimento. Nos casos ilustrativos abaixo, o pacote menor sai da montagem antes da chamada, e o material cortado continua a um passo de busca.

Montar o pacote de uma reclamação de cliente

Atendimento é a área que mais sofre com pacote entulhado, porque políticas e históricos acumulam versões ao longo dos anos. O guia usa uma loja fictícia de eletrodomésticos e vale para qualquer fornecedor: a marcação em XML segue a recomendação da Anthropic, e OpenAI e Gemini aceitam a mesma marcação como delimitador.

Por que essa saída acerta

A cláusula decisiva está no topo, longe do meio do pacote, e a tarefa é a última coisa que o modelo lê. A data de hoje no bloco de instruções permite calcular o prazo sem adivinhar. A tag de conteúdo colado impede que uma frase da cliente, como a ameaça de ir ao Procon, seja lida como ordem. O pedido de pontos que a política não resolve faz a lacuna da compensação aparecer nas notas internas, em vez de virar uma promessa inventada na resposta.

Faça hoje

Pegue um prompt de produção que anexa documentos, liste cada bloco e corte o que não muda a resposta. Reordene o que ficou, com documentos no topo e a pergunta no fim. Rode as duas versões em cinco casos reais, em cerca de 30 minutos. Deu certo quando a versão curada acerta pelo menos os mesmos casos com menos tokens de entrada, número que aparece no campo de uso da resposta da API.