CUPED e CUPAC: testes mais curtos sem perder rigor

Etapa: Eficiência estatística. Pergunta que este módulo responde: É possível reduzir ruído sem mudar a pergunta do experimento? Dono mais comum: Liderança de dados e plataforma de experimentação. Passagem de bastão: método validado em A/A, covariáveis pré-tratamento e ganho de sensibilidade documentado.

O que significa: CUPED e CUPAC removem parte do ruído previsível usando informações medidas antes do tratamento. É como comparar corredores levando em conta o tempo que cada um já fazia antes da nova técnica: a mudança individual fica mais fácil de enxergar. Por que isso importa na empresa: Quando usuários variam muito entre si, um efeito real pode se esconder. Reduzir variância aumenta precisão com a mesma amostra, mas não cria tráfego, não corrige viés e não autoriza usar informação afetada pelo tratamento.

Segure a aprovação do investimento em redução de variância até que a correlação da covariável tenha sido medida na sua própria base. Dono da decisão é quem assina a linha de orçamento; o time de dados apenas entrega o número. Prazo: uma semana, porque a medição é uma consulta ao warehouse e não um projeto. A faixa de 20% a 50% de corte relatada pela Microsoft corresponde a correlações entre cerca de 0,45 e 0,7. Aprovar antes de medir é comprar o topo dessa faixa e receber o piso, sem nenhum instrumento para reclamar depois. Com o número em mãos, a conversa com o fornecedor deixa de ser sobre promessa de produto e passa a ser sobre o teto aritmético do ganho na sua operação. Três perguntas vão junto para essa conversa: a plataforma aplica redução de variância nas minhas métricas, qual covariável ela usa por padrão, e qual janela pré-experimento considera. As respostas mudam a duração de todos os seus testes e raramente aparecem na proposta comercial. Peça por escrito e guarde junto da documentação do programa.

Quando você já sabe alguma coisa sobre o visitante antes do teste começar, dá para usar essa informação e remover ruído da medição. A técnica se chama CUPED, estreita o intervalo de confiança sem deslocar o efeito estimado, e corta de 20% a 50% da duração necessária (Deng, Xu, Kohavi e Walker, Microsoft, 2013). O critério estatístico continua o mesmo; o que diminui é o barulho em volta da medida.

Existe uma alternativa mais simples que quase nunca é oferecida, e que resolve parte do problema sem modelo nenhum: estratificação. Em vez de ajustar a métrica depois, você garante antes que os braços fiquem equilibrados nas variáveis que mais importam, sorteando dentro de cada estrato separadamente. Divida a base em faixas de valor histórico, ou por dispositivo, ou por canal de aquisição, e faça o sorteio dentro de cada faixa. O ganho é menor que o de CUPED bem aplicado, e vem com duas vantagens que pesam em operação pequena: não exige nada da camada de análise, porque o trabalho acontece na hora do sorteio, e elimina de saída o desequilíbrio acidental entre braços, aquele em que o grupo A leva os clientes grandes por azar. Quando a correlação da sua covariável cai na faixa de 0,3, estratificar costuma ser a escolha mais sensata: entrega parte do benefício por uma fração do esforço.

Escolha a métrica primária mais cara do seu programa, aquela cuja conta de amostra sempre estoura o prazo, e meça a correlação entre ela e o comportamento do mesmo visitante nas quatro semanas anteriores. Essa correlação é o teto do ganho que CUPED consegue entregar na sua base. Correlação alta justifica exigir o recurso do fornecedor ou implementar o ajuste na sua camada de análise; correlação baixa aponta para outro caminho, em geral trocar por uma métrica primária mais frequente.