Pesquisa original · Preprint corrigido
BRGEO-1: como medir menções em respostas de IA
Ler apenas o início de uma resposta pode mudar a taxa de menção sem que o modelo tenha produzido uma resposta diferente. O BRGEO-1 investiga esse problema de medição em um registro longitudinal de APIs de modelos de linguagem.
Por Alexandre Caramaschi, Brasil GEO. Manuscrito de ; resumo atualizado em . Preprint, sem revisão por pares.
Ler o preprint corrigido em PDF (41 páginas, em inglês)O que mudou quando o mesmo texto foi lido por inteiro?
Em 7.436 respostas históricas do Perplexity, a detecção de entidades passou de 51,95% nos primeiros 200 caracteres Unicode para 75,73% no texto retido disponível. O recorte perdeu 1.768 respostas positivas, uma diferença de 23,78 pontos percentuais.
| Janela examinada | Respostas com entidade detectada | Denominador | Taxa |
|---|---|---|---|
| Primeiros 200 caracteres Unicode | 3.863 | 7.436 | 51,95% |
| Todo o texto retido | 5.631 | 7.436 | 75,73% |
Fonte: preprint corrigido, seção de resultados da comparação pareada. “Texto retido” é o que sobreviveu no registro histórico, com até 2.502 caracteres nesse recorte. Não comprova que a resposta original do provedor foi preservada integralmente.
O resultado mede detecção lexical de entidades da lista do estudo. Não é uma taxa de recomendação da Brasil GEO, uma taxa de citação de URL ou um ganho causado por otimização de páginas.
Qual foi a base examinada?
O inventário auditado contém 91.392 respostas persistidas em 56 datas, entre 23 de abril e 11 de setembro de 2026. O painel histórico reúne 83.486 respostas em 50 datas de coleta. Esses totais descrevem registros observados, não dias consecutivos nem observações independentes.
O desenho inclui 192 perguntas da bateria principal, quatro setores, seis categorias e dois idiomas. Perguntas adicionais de sondagem e controles com entidades fictícias têm finalidade distinta e não devem ser somados indiscriminadamente aos denominadores da bateria principal.
A unidade de comparação mais forte é a mesma resposta retida, relida com duas janelas. Comparações entre provedores exigem perguntas, datas, configurações e condições de retenção compatíveis. APIs com busca e APIs sem busca constituem instrumentos distintos.
Como as ausências mudam a leitura da estabilidade?
A média de semelhança aumenta quando dois resultados sem entidades recebem semelhança máxima. No BRGEO-1, 31.372 dos 39.686 pares entre datas observadas consecutivas tinham os dois conjuntos vazios. Eles representavam 79,05% dos pares analisados.
O índice de Jaccard mede a proporção de entidades compartilhadas entre dois conjuntos. Nos 8.314 pares com pelo menos uma entidade em algum lado, a média foi 0,7423. Ao incluir os pares vazios com valor um, a média passou a 0,9460. A seção 4.11 do preprint de 11/09/2026 apresenta essas duas medidas descritivas; elas respondem a perguntas diferentes.
Ao comparar períodos, declare como as ausências entram no cálculo e quais datas tiveram coleta. Um valor alto que incorpora repetição de ausências não demonstra que uma marca manteve presença estável.
O que esta pesquisa não demonstra?
- Não estima o efeito causal de uma intervenção de GEO nem garante aumento de visibilidade.
- Não sustenta um ranking universal de provedores. O recorte recente comum aos cinco provedores cobre apenas três datas.
- Não representa a distribuição das perguntas de consumidores nem o comportamento das interfaces públicas de ChatGPT e outros assistentes.
- Encontrar o nome de uma entidade fictícia não basta para classificar uma alucinação: respostas que recusam a premissa também podem repetir o nome.
- Um campo histórico chamado “absorção” copiava a classificação de menção; não media absorção semântica independente.
O autor é vinculado à Brasil GEO, que atua comercialmente no domínio estudado. Esse vínculo deve acompanhar a leitura dos resultados. Consulte no PDF as limitações de retenção, repetição de perguntas, extração lexical e mudanças de composição.
Quais materiais podem ser verificados?
O PDF desta página é a versão empírica corrigida depositada no Zenodo em 11/09/2026, com DOI 10.5281/zenodo.22711743. A identidade do arquivo foi conferida em 18/09/2026 pelo tamanho e pelo checksum informado no depósito. Ele substitui os números e as interpretações do resumo editorial anterior neste site. O registro SSRN 7446519 corresponde a uma versão anterior da mesma pesquisa, não a uma replicação independente.
O conjunto completo de dados por resposta não foi disponibilizado publicamente nesta versão. O manuscrito descreve os procedimentos e o código de análise, mas isso não equivale a uma reprodução independente já concluída.
O manuscrito declara licença Creative Commons Attribution 4.0. A licença do texto não constitui, por si só, uma licença de redistribuição de todas as respostas dos provedores.
Como citar a versão corrigida?
CARAMASCHI, Alexandre. BRGEO-1: A longitudinal audit of entity-mention measurement in generative engines. Preprint empírico corrigido, 11 set. 2026. Zenodo. DOI: 10.5281/zenodo.22711743.
Para aplicar a distinção entre menção, fonte e recomendação ao seu painel, leia a análise sobre a janela de leitura em GEO. Para conhecer os demais trabalhos, consulte o catálogo de publicações.