Armadilhas: SRM, Simpson e a maldição do vencedor

Uma variante de página de produto fecha o teste com +47% de conversão. O time comemora, lança para 100% do tráfego e coloca a projeção no plano do trimestre. Três meses depois, a receita não se moveu. Nenhuma linha de código quebrou, nenhum incidente foi aberto: o resultado simplesmente nunca existiu no tamanho que foi medido.

Esse desfecho tem causas conhecidas e todas elas são detectáveis antes do lançamento. A distância entre um programa de experimentação sério e um teatro de testes está quase inteira aqui, na disciplina de tentar reprovar o próprio resultado antes de gastar capital político com ele.

A primeira checagem que um resultado precisa passar não tem relação com o efeito medido. Tem relação com quantas pessoas caíram em cada braço.

Sample Ratio Mismatch acontece quando a divisão observada entre controle e tratamento se afasta da divisão planejada além do que o acaso explica. Se você configurou 50/50 e recebeu 50.100 contra 49.900 em cem mil sessões, está tudo bem. Se recebeu 51.200 contra 48.800, o sistema de atribuição está perdendo gente de um lado, e a comparação entre os braços deixou de ser válida antes de qualquer discussão sobre conversão.

O diagnóstico é um qui-quadrado de aderência sobre as contagens brutas de usuários expostos, com limiar deliberadamente conservador de p menor que 0,0005. Esse valor não é folclore de mercado: ele vem do trabalho de Fabijan e colegas apresentado na KDD de 2019, que documentou a prevalência do problema na plataforma de experimentação da Microsoft e propôs o procedimento de diagnóstico. O limiar é apertado porque o custo dos dois erros é assimétrico: descartar um teste bom por falso alarme custa duas semanas de tráfego, enquanto lançar uma mudança apoiada em dados enviesados custa a credibilidade do programa inteiro.

A parte de gestão dessa checagem é uma só: institua que a checagem de validade é feita por quem não propôs o teste. Autor que avalia o próprio resultado reproduz exatamente o problema que a checagem existe para pegar, e o limiar conservador perde a função quando quem o aplica tem interesse no desfecho.

Passada a porta do SRM, o segundo lugar onde um resultado se desfaz é a agregação.

O paradoxo de Simpson aparece quando o efeito medido dentro de cada segmento aponta numa direção e o número agregado aponta na oposta. A HomeAway documentou exatamente esse caso: todos os segmentos analisados favoreciam uma variante e o total favorecia a outra.

O mecanismo é a composição da amostra. Se um braço recebeu proporcionalmente mais tráfego de um segmento que converte pouco, a média daquele braço afunda mesmo tendo vencido dentro de cada segmento isolado. Isso acontece com rampas de exposição escalonadas, com mudança de mix de canal durante o teste, e quando o experimento começa em um país e depois abre para outros.

A defesa operacional é olhar o agregado e a decomposição por segmento na mesma tela, sempre, em vez de decompor só quando o número decepciona. Quando as duas leituras discordam, a pergunta produtiva é o que mudou no mix, e não qual das duas leituras merece ser a oficial.

O exemplo que consagrou o paradoxo não veio do comércio digital, veio de uma disputa sobre admissões universitárias. Em 1973, a Universidade da Califórnia em Berkeley parecia admitir homens na pós-graduação numa proporção bem maior que mulheres, o que abriu uma suspeita formal de viés de gênero na seleção. Quando os estatísticos abriram os números departamento a departamento, o suposto viés desaparecia e em vários casos se invertia: as mulheres eram admitidas em taxa igual ou superior na maioria dos departamentos. Elas apenas se candidatavam mais aos programas mais concorridos, onde a aprovação era baixa para os dois sexos. A mesma aritmética que ilibou Berkeley é a que decide se o vencedor do seu teste é efeito real ou artefato de mistura.

Cada métrica adicional que entra na análise é uma chance a mais de encontrar um falso positivo. Com vinte métricas avaliadas a 5% de significância, esperar pelo menos um resultado significante por puro acaso deixa de ser azar e vira aritmética.

O mesmo raciocínio vale para os cortes que ninguém conta como comparação. Abrir o resultado por dispositivo, por canal, por faixa de ticket e por região depois de ver o número agregado são quatro famílias novas de teste feitas sobre os mesmos dados. Segmentação post-hoc é a fonte de falso positivo mais comum em relatório de CRO justamente porque não parece uma comparação múltipla: parece investigação.

Há dois caminhos de correção, com filosofias diferentes. Bonferroni divide o limiar pelo número de comparações e controla a probabilidade de qualquer falso positivo na família, o que é conservador e custa poder. O procedimento de Benjamini-Hochberg controla a taxa de descobertas falsas, ordenando os p-valores e aceitando uma proporção esperada de erros entre os resultados declarados significantes, o que preserva mais poder quando a família é grande. Em família pequena de métricas de decisão, Bonferroni resolve; em varredura exploratória com dezenas de cortes, Benjamini-Hochberg é o instrumento adequado.

O esforço, porém, rende mais antes do teste que depois. O time de experimentação da Spotify comparou métodos sofisticados em 1.296 experimentos internos e encontrou ganho de apenas 4 a 5 pontos percentuais na taxa de lançamento quando a família de métricas já estava bem especificada. Declarar de antemão quais métricas decidem, quais são guardrails e quais são exploratórias vale mais que a escolha do procedimento.

Existe um viés que sobrevive a todas as checagens anteriores, porque não vem de instrumentação nem de segmentação. Vem do ato de você ter escolhido o vencedor.

Entre variantes cujo efeito verdadeiro é pequeno, aquela que exibiu o maior efeito medido provavelmente juntou sorte no ruído ao sinal real. Selecionar o máximo de um conjunto de estimativas ruidosas seleciona ruído junto com mérito. O efeito observado em produção quase sempre encolhe, e isso é regressão à média operando, não falha de execução do time.

A correção formal é shrinkage bayesiano: encolher a estimativa em direção à média da distribuição de efeitos históricos da própria empresa, com encolhimento proporcional à incerteza da medição. O método foi validado com dados da Meta.

Calibrar essa média importa mais do que parece. Os levantamentos de mercado sobre testes de e-commerce descrevem um efeito relativo de conversão concentrado perto de zero, com magnitudes típicas da ordem de um por cento. Use isso como ordem de grandeza, porque não há publicação primária localizada por trás desses percentis. Mesmo assim, uma prior construída sobre essa forma de distribuição transforma um vencedor de +47% em algo muito mais próximo do que o financeiro vai enxergar no fechamento do trimestre.

Essas seis checagens só protegem quando viram rotina com dono e prazo. Enquanto forem lembradas caso a caso, elas serão aplicadas justamente nos testes que decepcionam, e puladas nos que empolgam, o que inverte a função do controle de validade. A lista abaixo existe para ser aberta antes da reunião em que o resultado será apresentado, e não depois dela.