Coletei 8.571 queries em sete dias e descobri que "ser citado por IA" é uma métrica que não existe

Não existe uma métrica única chamada "ser citado por IA". Existem cinco mercados completamente diferentes acontecendo ao mesmo tempo, e a maior parte das marcas está otimizando para o errado. Com 8.571 queries empíricas e 1.785 citações coletadas nos primeiros sete dias de uma janela de 90 dias pré-registrada na OSF, os primeiros sinais já desmontam uma premissa que circula em quase todo deck de marketing brasileiro.

Há sete dias o cronômetro foi ligado. A metodologia v2 do pipeline foi travada e a coleta rodou no automático em cinco LLMs (ChatGPT, Claude, Gemini, Groq e Perplexity), 69 entidades brasileiras (61 reais e 8 fictícias plantadas como controle) e quatro verticais (Fintech, Varejo, Saúde e Tecnologia).

Os números explicitam o que a arquitetura desses sistemas já indicava — e a magnitude é maior do que o esperado.

A taxa de citação global, sobre 8.571 queries, é de 20,8% (IC 95%: 20,0%–21,7%). Esse número é, sozinho, inútil. Setenta e cinco vezes de diferença separam o modelo com maior taxa do menor — e a decomposição por LLM revela cinco mercados distintos, não um.

• Perplexity: 82,5% de citação
• Claude: 26,0%
• ChatGPT: 17,2%
• Groq: 8,2%
• Gemini: 1,1%

Não é ruído nem amostra pequena: são 8.571 queries pareadas, com a mesma cohort, na mesma janela, com o mesmo prompt-set. O modelo com RAG ativo (Perplexity) e o modelo paramétrico puro (Gemini) são, do ponto de vista de visibilidade de marca, dois universos. Quando uma marca declara "fui citada pela IA", ela precisa terminar a frase: por qual.

Reportar "presença em IA" como uma métrica única esconde uma diferença de duas ordens de grandeza atrás de uma média ponderada. Cada uma das cinco engines opera com um pipeline diferente — recuperação ao vivo (Perplexity), augmentação seletiva (Claude, ChatGPT), inferência paramétrica pura (Gemini, Groq) — e a barra de entrada para visibilidade em cada uma é radicalmente distinta.

Otimizar conteúdo "para a IA" no singular é otimizar para um destinatário que não existe.

Além do gap entre engines, três sinais preliminares já mostram que a leitura corrente do mercado está errada em pelo menos três frentes simultaneamente.

1. Vertical importa duas vezes mais do que o esperado. Fintech tem 28,6% de taxa de citação; Saúde tem 14,0%. Mesma metodologia, mesma janela, mesma cohort. O recall setorial dos LLMs é profundamente desigual: o setor de saúde está estruturalmente sub-representado. Para operações de varejo ou serviços financeiros a barra de entrada é menor; para saúde, o trabalho é estrutural e leva mais tempo.

2. Inglês cita mais do que português. Queries em inglês geram 23,0% de citações. As mesmas queries em português, sobre as mesmas marcas, geram 18,7%. O sinal prático é direto: perguntar "best Brazilian fintechs" devolve mais marcas brasileiras do que perguntar "melhores fintechs brasileiras". A causa provável é o volume de corpus de treinamento em inglês citando marcas brasileiras — superior ao da presença em conteúdo nativo em português.

3. Quase ninguém fala mal. De 3.841 contextos com sentimento classificado, apenas 0,2% são negativos. Os LLMs raramente criticam quem citam. Qualquer dashboard do tipo "share of voice em IA" mede presença, não reputação — e confundir as duas é um erro caro.

Entidade nomeada, não URL, é a unidade competitiva no GEO. Em 97% das menções identificadas (167 em 172 contextos auditados) os modelos citam a empresa pelo nome próprio, sem inserir link. Isso reforça que posição na busca tradicional e visibilidade em IA medem objetos distintos.

O resultado mais crítico do dia 7 é a especificidade de 100,0%: as oito entidades fictícias plantadas na cohort — nomes plausíveis em português que correspondem a empresas que não existem — receberam zero falsos positivos em 8.571 queries. A instrumentação está calibrada. Sem esse controle, qualquer afirmação sobre taxa de citação é fé, não dado.

Esse controle é a diferença entre publicar um paper e retratar um paper. A versão 1 do pipeline não tinha o controle equivalente — e o resultado foi o paper "Null-Triad: Three Ways to Fail to Conclude", publicado no Zenodo (DOI 10.5281/zenodo.19712217) em fevereiro, admitindo três falhas estruturais simultâneas: poder estatístico insuficiente em H1 (vantagem RAG), design que não testava o que media em H2 (alucinação), e um casamento de string que inflava H3 (assimetria entre LLMs).

A migração para a v2 derrubou 45% das "citações" que a v1 contava — eram falsos positivos do tipo "Inter" capturado dentro de "international", ou "Stone" dentro de "cornerstone".

Publicar o Null-Triad antes de iniciar a janela v2 foi a forma mais honesta de declarar publicamente: o que foi dito antes estava errado, e aqui está exatamente como.

A versão 2 do pipeline corrige falhas estruturais da v1 em oito dimensões técnicas — não ajustes cosméticos. O código completo está formalizado em METHODOLOGY_V2.md, aberto sob licença MIT em github.com/alexandrebrt14-sys/papers.

• NER com word-boundary rigoroso e normalização Unicode dupla (NFC + NFKD), capturando "Itaú" mesmo quando o texto traz "Itau" sem acento, e descartando "Inter" dentro de "international".
• Dicionário canônico de aliases (BTG ↔ BTG Pactual, XP ↔ XP Investimentos, C6 ↔ C6 Bank, Magalu ↔ Magazine Luiza, e mais).
• Oito decoys fictícios plantados na cohort como canários de especificidade — qualquer hit nessas entidades é falso positivo por definição.
• Estimador sanduíche cluster-robust (CR1) para erros-padrão, respeitando o fato de que observações do mesmo dia compartilham estado do modelo.
• Simulação Monte Carlo substituindo thresholds arbitrários por percentis empíricos da distribuição nula.
• Correção BH-FDR para múltiplas comparações.
• Regra de decisão pré-registrada: a hipótese nula é rejeitada apenas se o p-valor ajustado for menor que 0,05 e o intervalo de 95% excluir o valor nulo.
• Reprodutibilidade container-level: Dockerfile com PYTHONHASHSEED pinado, requirements-lock.txt imutável, manifest SHA-256 dos outputs.

O pré-registro na OSF sela cinco hipóteses formais (H1 a H5) antes do início da coleta — vantagem RAG, alucinação, assimetria inter-LLM, sensibilidade a formulação e estabilidade temporal.

A janela vai até 21 de julho de 2026. No dia 25 o estudo atinge poder estatístico para H1; no dia 38, para H2. Conclusões definitivas saem em outubro, quando o paper for submetido à Information Sciences (Elsevier, fator de impacto 8,1). O compromisso declarado na OSF inclui publicar também os resultados nulos, se aparecerem.

Cinco aprendizados operacionais dos dados do dia 7 já são robustos o suficiente para entrar no playbook de qualquer marca brasileira que queira ser visível em sistemas generativos.

• Reporte presença em IA por modelo, não como média única. Uma média entre os cinco LLMs esconde diferenças de duas ordens de grandeza. Idealmente, reporte por modelo e por idioma.
• Fintechs e varejistas têm janela aberta. A barra de entrada nessas verticais é estruturalmente menor — Fintech 28,6%, Varejo 25,5%. Não é garantia de resultado; é sinal de que a janela existe.
• Saúde exige trabalho estrutural, não SEO técnico. Com 14,0% de taxa de citação, ganhar visibilidade em saúde requer construção de autoridade externa — referências, papers, presença em comunidades médicas — em ciclo longo.
• Conteúdo apenas em português deixa visibilidade na mesa. A vantagem do inglês (23,0% vs. 18,7%) se aplica em Perplexity, ChatGPT e Claude porque os modelos cruzam idiomas internamente. Conteúdo bilíngue com base inglesa sólida é uma alavanca subestimada.
• Exija intervalo de confiança, tamanho de amostra e metodologia de extração de qualquer dashboard de "share of voice em IA". Dashboards sem esses três elementos provavelmente contam "international" como "Inter". A v1 deste mesmo estudo cometeu esse erro durante meses.

O dataset, o dashboard e o código do estudo são públicos. Nos próximos 83 dias de coleta, os números serão atualizados em tempo real nas três fontes abaixo.

• alexandrecaramaschi.com/research — números do dia, intervalos de confiança, distribuição por vertical, por LLM e por idioma.
• alexandrecaramaschi.com/papers-roadmap — fases, hipóteses, venues-alvo e o que já foi entregue de cada onda.
• github.com/alexandrebrt14-sys/papers — código completo, pipeline, testes, migrations, Dockerfile.

Para responsáveis por marketing de marcas brasileiras que querem entender como a sua categoria aparece nos cinco LLMs — e não em uma média inútil — a Brasil GEO abriu uma fila de auditorias para os setores onde a coleta está puxando sinal mais forte. Fale conosco.

A próxima vez que alguém disser que "a IA está citando" a sua marca, a resposta correta exige quatro componentes: qual IA, em que idioma, em que vertical e com que intervalo de confiança. Se faltar qualquer um dos quatro, o que está sendo medido não é visibilidade — é folclore.