Ler um placar de memória sem ser enganado

Leia o placar de um fornecedor de memória com quatro perguntas (quem mediu, em qual prova, contra quem e em que conversa) e decida a troca por uma prova sua, lida com margem de erro. Sem essas respostas, o placar descreve a conversa do fornecedor, e a decisão de contratar fica apoiada na propaganda.

Antes de começar, tenha o número que o fornecedor mostrou, a tabela do artigo de onde ele saiu e 20 perguntas reais do seu balcão com a resposta certa. Pular as perguntas custa caro depois da assinatura: em 2025, o mesmo sistema de memória, o Zep, apareceu com quatro placares diferentes na mesma prova, todos publicados por empresas que vendem memória.

Os quatro placares saíram no LoCoMo, um benchmark (prova padronizada, com perguntas de resposta conhecida, que dá nota ao agente, como exame de direção). Em abril de 2025, a Mem0 publicou um artigo em que o Zep, concorrente, marcava 65,99. A Zep respondeu que o sistema tinha sido configurado errado e anunciou 84, depois corrigido para 75,14 por erro de conta; o diretor de tecnologia da Mem0 refez a conta e chegou a 58,44.

Por que o mesmo sistema de memória tem quatro placares?

O mesmo sistema tem quatro placares porque cada empresa montou a prova do concorrente com a configuração que ela mesma escolheu. Quem vende conhece a própria configuração, e a do concorrente fica nas mãos de quem quer vencer; uma conta errada muda o resultado em vários pontos. E cada prova imita um tipo de conversa: a de conversas curtas favorece quem põe tudo na mesa do modelo, e a de fatos que mudam de data favorece quem guarda datas.

Das três, o LongMemEval é a mais parecida com um negócio de clientes que voltam, porque pergunta por fatos que mudaram entre conversas. Nenhuma das três mede se o agente usa a memória sem ser perguntado: num estudo da Universidade de Kyoto aceito no EMNLP 2026, com 40 usuários por quatro meses, o sistema que acertava 78,8% quando perguntado usou só 7,9% desses fatos quando o assunto voltou sem pergunta.

Que quatro perguntas fazer ao número do fornecedor

Pergunte quem mediu, em qual prova, contra quem e em que tipo de conversa. No exemplo do curso, um fornecedor abre a apresentação com “+18,5% de acerto”, número que a Zep publicou no LongMemEval. Quem mediu foi a própria Zep; a prova foi a versão curta, com conversas de cerca de 115 mil tokens; o adversário foi a conversa inteira na frente do modelo, com um modelo só, o gpt-4o.

A quarta pergunta muda a leitura. Na tabela da própria Zep, os 18,5% são ganho relativo sobre uma subida de 60,2% para 71,2% de acerto, ou seja, 11 pontos percentuais. Pense na ocupação subindo de 50% para 60%: são 10 pontos percentuais a mais e, em relação ao começo, 20% a mais. Os dois números contam o mesmo ganho, e o maior costuma ir para o anúncio.

Na mesma tabela, a Zep mostra onde a ferramenta ganha e onde perde, e esse detalhe raramente chega ao slide de vendas.

O painel mostra por que um número sozinho engana: a mesma ferramenta ganha muito num tipo de pergunta e perde em outro. O placar também envelhece. Em 2026, criadores de outros sistemas publicaram placares próprios acima de 90% no mesmo LongMemEval, com modelos mais novos, e um número medido com o gpt-4o não disputa com um medido com modelo de outra geração. O tamanho do acervo também pesa: acrescentar conversas sem relação com a pergunta derruba a confiabilidade de sistemas que iam bem.

Leve as quatro perguntas a qualquer número que um vendedor mostrar. Quem conhece o próprio teste responde em poucos minutos, com a tabela do artigo aberta; quem desconversa já deu a resposta. O curso “GEO e Knowledge Graph” ensina como pegar número inventado no relatório do fornecedor.

Só a última linha dá um número que vale para o seu negócio, porque mede a conversa do seu cliente. As mesmas perguntas, feitas a quem vende agentes de código, estão no curso “Reinforcement Learning para Vibecoding: do prompt ao loop verificável”, em sete perguntas ao fornecedor antes de assinar, com duas que valem aqui: quanto custa cada resposta certa e qual é o teto de gasto.

Como montar a prova da pousada e ler a margem de erro

Monte a prova com 20 perguntas reais, itens de resposta sim ou não e três rodadas por pergunta, e leia o resultado como faixa, e não como número exato. Com 20 perguntas, a sorte do dia mexe muito no resultado, como uma semana cheia que não prova que a temporada mudou. A faixa mostra onde o acerto de verdade provavelmente está; se as faixas de duas opções se sobrepõem, a diferença entre elas pode ser sorte.

Três trabalhos sustentam o método. Pesquisadores de Bristol e Oxford mostraram na ICML 2025 que, com poucas dezenas de perguntas, a margem de erro do jeito usual sai estreita demais, e recomendam a conta de Wilson. Em 2026, a Maritaca AI e o Jusbrasil, que desenvolvem e usam os modelos avaliados, mostraram em conversas reais em português que itens de sim ou não fazem juízes diferentes concordarem. E a prova τ-bench, de 2024, criou a regra de contar acerto só quando a tarefa passa em todas as rodadas.

O curso “Prompt Engineering para Executivos” leva a mesma ideia a 20 a 50 tarefas, no capítulo que monta a primeira suíte de avaliação. O passo 5 usa a tabela abaixo, calculada pela conta de Wilson.

Na tabela, 17 contra 14 parece vitória clara, mas as faixas quase se cobrem, e com 20 perguntas a diferença ainda pode ser sorte. Se as faixas se sobrepõem e as perguntas em que só a nova acertou não passam claramente das em que só a atual acertou, é empate: não troque e fique com a mais barata. Se precisa decidir entre opções próximas, aumente a prova para 50 perguntas antes de trocar. Se a faixa da nova fica inteira acima da faixa da atual, troque.

Está pronto quando você tem, para cada opção, os acertos nas três rodadas, a faixa e a contagem pergunta a pergunta, e a decisão de trocar ou ficar saiu dessa tabela. Quando a prova precisar rodar sozinha a cada mudança, o curso “RAG em produção” mostra o conjunto de perguntas com resposta conhecida e como medir cada etapa. O próximo passo é achar quem monte o agente com você: abra “Onde buscar ajuda no Brasil para montar o seu agente” e leve as 20 perguntas.