Por que o mesmo teste dá resultados diferentes

Decisão em jogo: quantas repetições do mesmo prompt você exige antes de aceitar que uma diferença de citação é resultado do trabalho, e não sorteio.

Ao final deste módulo você consegue rejeitar um relatório de visibilidade em IA usando três critérios verificáveis em trinta segundos: número de repetições por célula, separação entre superfícies e presença de controle negativo.

O time roda dez perguntas no assistente numa terça e anota que a marca aparece em quatro. Publica dois textos. Roda as mesmas dez perguntas na terça seguinte e anota seis. O slide vira crescimento de 50%. Ninguém fraudou nada. Só que, se as mesmas dez perguntas tivessem sido rodadas de novo na terça original, à tarde, o número também teria mudado. O relatório mediu o comportamento do instrumento e apresentou como resultado do trabalho.

A resposta muda sozinha, e muda mais em umas superfícies do que em outras

O mesmo modelo, recebendo o mesmo prompt, devolve respostas diferentes só por causa do sorteio interno que escolhe cada palavra. Um estudo com doze modelos, dez prompts e cem amostras por combinação, doze mil respostas ao todo, mediu essa variação entre 10% e 34% conforme o modelo. Nada mudou no mundo entre uma resposta e outra.

Por cima disso vem a troca de fontes ao longo do tempo, e ela é profundamente desigual. Numa janela de dezessete semanas, com 82.619 prompts e mais de 1,5 milhão de capturas em seis países, a proporção de fontes citadas que muda de uma semana para a outra ficou em 5% no AI Overviews, 56% no AI Mode e 74% na busca do ChatGPT. Saem daí duas regras operacionais. A cadência de medição precisa ser mais rápida que a deriva da superfície medida, e acompanhar o ChatGPT uma vez por mês fotografa um lugar que já trocou a maior parte das fontes três vezes. E o AI Overviews é a superfície estável, portanto é nela que uma mudança de conteúdo tem chance real de aparecer como tendência em poucos meses.

Dados de fornecedor apontam na mesma direção e precisam ser lidos como o que são. Uma análise de 815 mil pares de prompt e página encontrou que, rodando o mesmo prompt três vezes no ChatGPT, apenas 2,2% das citações sobrevivem às três rodadas. A mesma análise mediu 18 pontos percentuais de diferença na taxa de citação entre esforço de raciocínio alto e baixo, com 4,6 vezes mais consultas internas disparadas no modo alto. Nenhum desses números passou por revisão por pares e o instrumento de coleta não é público. Calibram expectativa, não viram meta contratual.

Somar duas superfícies apaga as duas

O mesmo estudo de dezessete semanas produziu o número que condena a maioria dos painéis: para o mesmo prompt, AI Overviews e AI Mode citam domínios diferentes em 83% das vezes. São dois sistemas de seleção de fonte convivendo dentro do mesmo produto, e qualquer curva que some os dois vira média sem referente. Ela sobe quando um cresce e o outro encolhe, e não diz qual dos dois se mexeu.

A consequência recai direto sobre o painel gratuito do módulo anterior, que reporta as duas superfícies juntas. A curva do Search Console segue útil como termômetro de exposição agregada. Ela perde validade no minuto em que alguém tenta atribuir a uma ação específica de conteúdo o movimento que ela mostra. Se a sua decisão depende de saber qual superfície reagiu, essa separação precisa vir de coleta própria.

Idioma abre uma armadilha equivalente. Um levantamento de fornecedor sobre 3,25 bilhões de citações, em sete modelos e catorze países, mediu a taxa de citação em espanhol perto de 1,4 vez a taxa em inglês dentro do AI Overviews, e perto de metade dela no ChatGPT, com o TikTok saltando para 16% das citações sociais em espanhol no AI Overviews. A regra que sobra para uma empresa brasileira é medir em português e tratar todo referencial em inglês como referência de método, jamais de patamar.

Quantas repetições compram uma decisão

Falta o erro estatístico, e ele é maior do que a planilha supõe. Um trabalho de 2026 mostrou que os intervalos de confiança calculados do jeito ingênuo, tratando cada resposta como observação independente, saem de 40% a 60% mais estreitos que o correto. O detalhe que assusta é o comportamento com o tamanho da amostra: a cobertura piora conforme você coleta mais. Respostas do mesmo prompt se parecem entre si, então somar mais delas adiciona confiança sem adicionar informação. Coletar muito, do jeito errado, deixa o número mais preciso e mais errado ao mesmo tempo.

A tabela abaixo traduz esse problema em decisão de orçamento. Ela mostra a meia largura do intervalo de 95% para uma proporção, conforme o número de repetições de cada célula, e o que cada faixa autoriza você a afirmar.

A leitura executiva cabe em três frases. Com cinco repetições, a taxa de citação de uma pergunta individual não distingue 30% de 70%, e só tem uso quando somada às demais. Para afirmar que uma intervenção de conteúdo produziu ganho, trinta repetições por célula é o mínimo defensável. Cem é o número seguro, e é ele que aparece na conta de custo do módulo seguinte.