CRO: Otimização de Conversão e Experimentação · Capítulo 10 de 30 · 38 min
Testes A/B: o que a estatística realmente exige
Significância, poder e MDE explicados sem fórmula, e por que o efeito que você quer detectar define o custo do teste.
Este capítulo faz parte do curso gratuito CRO: Otimização de Conversão e Experimentação.
Etapa: Desenho experimental. Pergunta que este módulo responde: A comparação proposta consegue separar efeito causal de coincidência? Dono mais comum: Produto e dados, com engenharia responsável pela implementação. Passagem de bastão: protocolo com população, unidade, hipótese, amostra, duração e regra de decisão.
A/B é a pista paralela do aeroporto
Comparar um voo desta semana com outro do mês passado mistura clima, demanda, tripulação e feriado. Pistas paralelas, operando ao mesmo tempo com alocação controlada, reduzem essas diferenças externas.
Antes/depois mede mudança no tempo; randomização mede diferença causada pelo tratamento, dentro das premissas do desenho.
Gerente de produto
Aplicativo de assinatura
Dor
A equipe quer lançar uma nova tela de upgrade e comparar com o mês anterior.
Solução
Usuários elegíveis são alocados no mesmo período; renovação vira OEC e chamados por cobrança viram guardrail.
Resultado
Sazonalidade e campanha deixam de ser explicações concorrentes para o efeito observado.
Custo apurado: Cenário executivo ilustrativo, construído a partir de rotinas empresariais recorrentes.
Cenário construído para fins didáticos. Números não correspondem a cliente específico.
O que significa: Um teste A/B divide unidades elegíveis ao acaso entre controle e variante, ao mesmo tempo. A randomização busca criar grupos comparáveis; assim, a diferença observada pode ser atribuída à mudança com uma margem explícita de incerteza. Por que isso importa na empresa: Comparar este mês com o anterior mistura campanha, sazonalidade, concorrência e mudança de público. Controle simultâneo funciona como contrafactual: aproxima o que teria ocorrido com a variante se ela não tivesse recebido o tratamento.
- Etapa 1 de 5: Unidade
Escolha o que será sorteado: usuário, conta, loja ou região.
- Etapa 2 de 5: População
Defina elegibilidade e exclusões antes do início.
- Etapa 3 de 5: Amostra
Calcule volume para o menor efeito que importa.
- Etapa 4 de 5: Protocolo
Fixe hipótese, métricas, duração e regra de parada.
- Etapa 5 de 5: Leitura
Valide divisão e dado antes de estimar o efeito.
Exemplo calculado — números ilustrativos
| Situação | Conta | Como interpretar | Decisão executiva |
|---|---|---|---|
| Controle tem 10.000 usuários e 500 conversões; variante tem 10.000 e 550. | Controle = 5%; variante = 5,5%. Ganho absoluto = 0,5 ponto percentual. Ganho relativo = 0,5 ÷ 5 = 10%. | A diferença observada é 50 conversões nesta amostra. Ainda é preciso avaliar o intervalo de incerteza e a integridade do teste. | A equipe lança apenas se o efeito plausível, os guardrails e o custo de produção satisfizerem a regra definida antes. |
Os números foram criados para ensinar o raciocínio. Substitua base, janela, valor e premissas pelos dados validados da sua empresa.
Dúvidas comuns de quem está começando
O que significa controle?
É a experiência de referência. Ela recebe usuários no mesmo período e permite estimar o que aconteceria sem a nova mudança.
Significativo significa importante para o negócio?
Não. Significância trata compatibilidade estatística; importância depende do tamanho do efeito, custo, risco, margem e decisão concreta.
Uma equipe de e-commerce troca a cor do botão de compra numa terça. Na quinta, o painel da ferramenta mostra a variante B na frente, com 97% de confiança e uma seta verde. O time comemora, publica a mudança e passa para a próxima ideia. Três meses depois, a conversão do site está exatamente onde estava.
Esse desfecho é comum, e a causa raramente é a cor do botão. O teste foi encerrado sem que ninguém tivesse decidido, antes de começar, qual efeito valeria a pena detectar e quanta amostra isso exigiria.
Leve ao próximo comitê a proposta de trocar a métrica de reporte do programa: de testes rodados para decisões apoiadas em evidência. Dono da decisão é quem responde pelo programa diante do comitê, em geral o head de growth ou o diretor de e-commerce. Prazo: o fechamento do próximo relatório trimestral. Volume de testes mede atividade, e atividade sobe quando o time encurta prazo e afrouxa desenho, que é justamente o comportamento responsável pela fila de inconclusivos. Um trimestre com onze testes e nove sem conclusão vira, na reunião seguinte, a pergunta sobre se o programa se paga. Quem responde com número de testes rodados perde essa conversa para a primeira pessoa que perguntar quantas decisões saíram dali.
O que você vai conseguir fazer depois deste módulo
- Separar erro tipo I de erro tipo II e apontar qual parâmetro do desenho controla cada um.
- Estimar amostra e duração a partir da sua taxa-base, do seu tráfego e do efeito que pretende detectar.
- Defender um MDE em reunião com o custo de tráfego escrito ao lado, em vez de escolhê-lo por hábito.
- Ler um resultado não significativo sem confundi-lo com prova de que a mudança não funciona.
- Recusar um teste cujo desenho não alcança o efeito plausível da hipótese, antes de gastar tráfego com ele.
Um teste A/B é desenhado antes de rodar, e não interpretado depois. Três números fecham o desenho: a significância (quanto de falso positivo você aceita), o poder (quanta chance você quer de enxergar um efeito que existe) e o MDE, o menor efeito que o teste consegue detectar. O MDE é o que define o preço, porque cortá-lo pela metade multiplica a amostra necessária por quatro.
O experimento mais citado da área não veio do varejo. Em 2008, a campanha presidencial de Barack Obama tinha uma página de cadastro com um vídeo de fundo e um botão escrito 'Sign Up'. Em vez de decidir por gosto, a equipe testou combinações de imagem e de texto do botão. A variante vencedora trocava o vídeo por uma foto da família do candidato e o botão por 'Learn More', e superou a original em 40,6% na taxa de cadastro. Aplicado ao volume da campanha, o ganho foi estimado em cerca de 2,8 milhões de e-mails a mais e algo perto de 60 milhões de dólares em doações adicionais.
O detalhe que interessa a este módulo é outro: a vencedora era contraintuitiva. Quase toda a equipe apostava no vídeo, e o vídeo perdeu. Quem responde por receita vive esse momento toda semana: a versão que a sala inteira jura que vai ganhar é derrubada pelo experimento. Foi o teste, e não a opinião de quem tinha mais tempo de casa, que decidiu. O responsável, Dan Siroker, saiu da campanha e fundou a Optimizely, uma das ferramentas que aparecem adiante neste módulo.
Glossário rápido
Significância (alfa)
A fatia de falso positivo que você aceita antes de começar. Alfa de 0,05 significa que, num mundo sem efeito nenhum, o teste ainda apitaria em 5 de cada 100 repetições. É escolha de desenho, não constante da natureza.
Poder (1 menos beta)
A chance de o teste enxergar um efeito que existe de verdade, no tamanho que você definiu como MDE. Poder de 80% aceita, por contrato, que uma em cada cinco melhorias reais passe batida.
Beta
O complemento do poder: a probabilidade de deixar passar um efeito real. Com poder de 80%, beta vale 0,20.
MDE (efeito mínimo detectável)
O menor efeito que o desenho do teste consegue distinguir do ruído. Cortar o MDE pela metade multiplica a amostra necessária por quatro, e por isso ele é a decisão mais cara do desenho.
p-valor
A probabilidade de observar um resultado tão extremo quanto o seu se não houvesse diferença nenhuma entre A e B. Fala sobre os dados sob a hipótese nula, e nunca sobre a probabilidade de a sua hipótese estar certa.
Taxa-base
A taxa de conversão atual da métrica primária na superfície testada. Entra na conta de amostra e determina, junto com o tráfego, quanto tempo o teste vai levar.
Unidade de randomização
Aquilo que o sorteio separa entre A e B: usuário, dispositivo, sessão ou cluster. Precisa coincidir com a unidade contada na métrica e permanecer estável durante todo o teste, sob pena de o resultado deixar de ser interpretável.
Métrica primária
A única métrica que decide o resultado do teste, escolhida antes de subir o experimento. Todas as outras são leitura de contexto ou guardrail, e nenhuma delas pode salvar um teste que perdeu na primária.
É o mesmo desenho de um ensaio clínico
Quando um laboratório testa um remédio novo, ele não distribui o comprimido para todo mundo e mede se a turma melhorou. Divide os pacientes por sorteio em dois grupos: um recebe o remédio, o outro recebe um placebo. Sem o grupo que não tomou nada, seria impossível saber se a melhora veio do remédio, do descanso, da estação do ano ou da própria expectativa de cura. O grupo de controle existe para responder a uma pergunta só: o que teria acontecido sem a intervenção. Um teste A/B é esse desenho aplicado a uma tela. O grupo A é o placebo, o grupo B é o remédio, e o sorteio de quem cai em cada braço é o que autoriza atribuir a diferença à mudança em vez de ao acaso.
Sem grupo de controle sorteado no mesmo período, o que você tem é um 'antes e depois'. E antes e depois confunde o efeito da mudança com tudo o mais que se moveu no intervalo: campanha nova no ar, sazonalidade, feriado, ajuste de preço do concorrente.
Comece pela intuição, e deixe a fórmula para depois.
Imagine um alarme de incêndio. Ele pode errar de duas maneiras. Dispara sem fogo nenhum, e o prédio inteiro desce a escada à toa: esse é o erro tipo I, o falso positivo. Ou fica em silêncio com fumaça saindo da cozinha: esse é o erro tipo II, o falso negativo.
Um teste A/B carrega os mesmos dois riscos, e o desenho decide quanto de cada um você aceita. A significância de 5% é a sensibilidade do alarme. O poder de 80% é o outro lado da moeda: quando o efeito existe no tamanho que você definiu, o teste o enxerga em 80 das 100 vezes e deixa passar em 20. As ferramentas costumam travar os dois em 95% e 80%, e ambos podem ser mudados. Um teste que decide o redesenho do checkout do ano merece mais poder que um teste de headline.
Se a figura ultrapassar a área visível, deslize para os lados. Pelo teclado, foque a figura e use as setas.
Confiança de 95% não quer dizer 95% de chance de a variante B ser melhor. Quer dizer que, se não houvesse diferença nenhuma entre A e B, um resultado tão extremo quanto o observado apareceria em menos de 5% das repetições do experimento. O p-valor responde sobre os dados sob a hipótese nula, e nunca sobre a probabilidade de a sua hipótese estar certa. Existe um jeito legítimo de obter a segunda leitura, e ele não é este. Plataformas bayesianas calculam a probabilidade posterior de B ser melhor que A, que é exatamente a frase que o gestor quer ouvir, a partir de um arcabouço diferente e de premissas declaradas. O erro que você precisa saber identificar é a troca de rótulo: apresentar um p-valor frequentista como se fosse probabilidade de a hipótese estar certa. O módulo seguinte trata das duas famílias com o cuidado que elas merecem.
Se a figura ultrapassar a área visível, deslize para os lados. Pelo teclado, foque a figura e use as setas.
Antes de calcular quanta amostra o teste precisa, resolva uma pergunta que quase nenhum time responde por escrito: amostra de quê.
O sorteio que separa A de B precisa acontecer sobre alguma coisa, e essa coisa é a unidade de randomização. Sortear por usuário, por dispositivo ou por sessão produz três experimentos diferentes a partir da mesma mudança, com contas de amostra diferentes e validades diferentes. A escolha mais comum é também a mais perigosa: randomizar por sessão porque é o que a ferramenta faz por padrão.
A unidade de randomização precisa ser a mesma unidade que você conta na métrica, e ela precisa ser estável durante todo o teste. Se o sorteio é por usuário, o denominador é usuário. Randomizar por sessão e reportar conversão por usuário mistura duas réguas e produz um número que ninguém consegue reproduzir depois. A regra prática que atravessa o resto deste curso: conte usuários, nunca sessões. O motivo é que a mesma pessoa gera várias sessões, e essas sessões não são observações independentes. Tratá-las como independentes infla artificialmente o tamanho da amostra, estreita o intervalo de confiança sem que nenhuma informação nova tenha entrado, e faz o teste declarar significância que não existe.
As unidades de randomização e o que cada escolha custa
| Unidade sorteada | Quando é a escolha certa | O que essa escolha cobra de quem decide |
|---|---|---|
| Usuário identificado (login) | Sempre que existir login e a mudança puder ser percebida entre visitas, como preço, layout ou fluxo de compra. | Só funciona para quem está logado; visitante anônimo precisa de tratamento à parte, e a fatia anônima costuma ser maior do que o time imagina. Cobre essa fatia medida antes de aprovar o desenho: acima de um terço, o resultado vale para a base logada e precisa ser apresentado com essa restrição escrita. |
| Dispositivo ou cookie | Padrão razoável em e-commerce sem login obrigatório. É a escolha mais comum em CRO. | A mesma pessoa no celular e no desktop vira duas unidades e pode cair em braços opostos. Limpeza de cookie recria a unidade e reembaralha a atribuição. O relatório precisa declarar que mede jornada de dispositivo único, senão a diretoria vai ler o número como jornada de pessoa. |
| Sessão | Apenas quando a mudança se esgota dentro da própria visita e não deixa memória, como a ordem de um bloco de resultados de busca. | Sessões da mesma pessoa não são independentes. Usar sessão como unidade e usuário como denominador é o erro que mais produz significância falsa, e ele é verificável em trinta segundos por quem pedir o denominador na reunião. |
| Cluster (região, loja, janela de tempo) | Quando os visitantes se influenciam entre si ou compartilham um recurso, como estoque, fila de entrega ou leilão de anúncio. | Amostra efetiva muito menor: o que conta é o número de clusters, não de pessoas. É o desenho de switchback, tratado no módulo sobre interferência. Dimensione pelo número de clusters antes de prometer prazo a quem cobra a decisão. |
Um teste que muda de unidade no meio do caminho, por troca de ferramenta ou por implementação de uma tag nova, deixa de ser interpretável. Registre a unidade junto da métrica primária, no mesmo documento e na mesma data.
O problema de identidade entre dispositivos é a fonte silenciosa de contaminação mais comum em e-commerce, e ele não aparece em nenhum painel. A pessoa pesquisa no celular durante o dia, cai na variante B, e finaliza a compra à noite no desktop, onde é sorteada de novo e cai na variante A. Duas coisas quebram ao mesmo tempo. A pessoa foi exposta às duas versões, o que dilui o efeito medido na direção do zero, e a conversão é creditada ao braço que não fez o trabalho de convencimento. O efeito prático é subestimar sistematicamente mudanças que agem no início da jornada e superestimar as que agem no fim. Não existe correção estatística para isso: ou você tem identidade estável, tipicamente por login, ou aceita que o seu teste mede a jornada de dispositivo único e declara essa limitação no relatório. Dois sintomas de que a unidade está mal definida: a soma dos visitantes dos braços não bate com o total da superfície, e a razão entre os braços se afasta da divisão planejada. Esse segundo sinal tem nome, SRM, e é o assunto do módulo seguinte da parte 2.
O MDE é o número que a maior parte dos times define no chute, e é o que mais custa dinheiro.
A relação com a amostra é quadrática: para detectar um efeito duas vezes menor, você precisa de quatro vezes mais gente. Um teste dimensionado para achar mais 20% de conversão sai barato e quase nunca acha nada, porque efeitos desse tamanho são raros. Um teste dimensionado para mais 2% é honesto e pode exigir meses de tráfego.
A consequência prática é direta. Se a sua regra é só rodar teste que caiba em duas semanas, você aceitou enxergar apenas efeitos grandes. O teste curto compra velocidade pagando com cegueira justamente na faixa onde os ganhos reais acontecem.
Se a figura ultrapassar a área visível, deslize para os lados. Pelo teclado, foque a figura e use as setas.
O que cada MDE custa em amostra e em dias de calendário
| MDE relativo | Efeito absoluto | n por variante | Total | Dias |
|---|---|---|---|---|
| mais 20% | 0,40 p.p. | 19.600 | 39.200 | cerca de 4 |
| mais 10% | 0,20 p.p. | 78.400 | 156.800 | cerca de 16 |
| mais 5% | 0,10 p.p. | 313.600 | 627.200 | cerca de 63 |
| mais 2% | 0,04 p.p. | 1.960.000 | 3.920.000 | cerca de 392 |
A linha de mais 2% é a única que cai dentro da faixa de efeito realmente observada em e-commerce, e é também a única que exigiria mais de um ano de tráfego neste cenário. É por isso que a maior parte dos programas de CRO só consegue medir mudanças estruturais, e não ajustes finos.
Fonte: Cenário aritmético: taxa de conversão atual de 2,0%, 10.000 visitantes por dia divididos em duas variantes, 95% de confiança bilateral e 80% de poder.
Regra de bolso (aproximação normal, 95% de confiança bilateral, 80% de poder)
n por variante ~= 16 x p x (1 - p) / (efeito absoluto)^2
p = taxa de conversão atual (ex.: 0,020 para 2,0%)
efeito absoluto = MDE relativo x p
(ex.: +10% sobre 2,0% => 0,002 => 0,20 p.p.)
O 16 do numerador é o arredondamento de 15,7, fator que já embute alfa
bilateral de 0,05 e poder de 80%. Com poder de 90% esse fator vai para
cerca de 21,0, um acréscimo de cerca de 34% na amostra.
O efeito absoluto entra ao QUADRADO no denominador. Toda a economia e
todo o custo do desenho moram nesse expoente.
A leitura executiva dessa conta cabe em duas frases. Cobre do time a
data de encerramento do teste antes de ele subir. Se essa data não
couber no trimestre, o teste não deveria consumir tráfego.O tamanho dos efeitos que a experimentação madura realmente encontra
cerca de 1%
Ordem de grandeza do efeito relativo observado
Em testes A/B de e-commerce, a distribuição se concentra perto de zero; sem publicação primária localizada
cerca de 8%
Ideias que viraram ganho no Airbnb
20 de 250 ideias; somadas, geraram cerca de 6% de melhoria na conversão de reservas
cerca de 10%
Taxa de acerto no Booking.com
Uplift médio próximo de 1% de receita entre os testes vencedores
1 em 3
Testes positivos na régua de Kohavi
Microsoft e Bing: um terço positivos, um terço neutros, um terço negativos
Fonte: Levantamento de mercado sobre distribuição de efeitos em e-commerce, sem publicação primária localizada, para a magnitude do efeito; ordens de grandeza relatadas por praticantes de Airbnb, Booking.com e Microsoft/Bing para as taxas de acerto. Todos os quatro números são ordem de grandeza, não medida.
Se a figura ultrapassar a área visível, deslize para os lados. Pelo teclado, foque a figura e use as setas.
O seu próximo teste cabe no tráfego que você tem?
Quatro perguntas sobre a superfície que você pretende testar. A soma indica se o desenho fecha, se ele precisa de mais tráfego ou se o MDE está otimista demais para a sua operação. É triagem, não substituto do cálculo de amostra.
0 = menos de 5 mil · 1 = de 5 mil a 25 mil · 2 = de 25 mil a 100 mil · 3 = acima de 100 mil
0 = abaixo de 0,5% · 1 = de 0,5% a 2% · 2 = de 2% a 8% · 3 = acima de 8%. Métrica mais frequente encurta o teste.
0 = quero enxergar mais 1% ou menos · 1 = mais 2% a 5% · 2 = mais 5% a 15% · 3 = só mudanças estruturais, acima de mais 15%
0 = até uma semana · 1 = até duas semanas · 2 = até um mês · 3 = um trimestre ou mais
Nesta combinação, o experimento terminaria antes de acumular amostra para distinguir qualquer coisa do ruído, e o resultado seria inconclusivo por construção. Antes de subir, troque a métrica primária por uma mais frequente e correlacionada com a conversão final, como o avanço para a etapa de pagamento, ou concentre o tráfego numa hipótese só. Rodar assim consome tráfego que outra hipótese usaria melhor.
"Não deu significativo" é a frase mais mal interpretada da experimentação. Ela não prova que as duas versões são iguais. Diz apenas que o teste, com a amostra que teve, não conseguiu distinguir o efeito do ruído. Teste com poder baixo falha em detectar efeitos que existem, e isso acontece o tempo todo. Antes de arquivar a hipótese, verifique qual era o MDE do desenho. Se o teste só conseguia enxergar mais 15% e o efeito plausível era mais 2%, o resultado nulo não informa nada sobre a hipótese: informa sobre o dimensionamento. Ausência de evidência e evidência de ausência são coisas diferentes. Confundir as duas mata boas ideias em silêncio, e o time nem percebe que perdeu.
Verificação rápida
O teste do novo fluxo de cadastro rodou catorze dias e terminou com p-valor de 0,31. O MDE do desenho era de mais 15%. Qual é a leitura correta para levar à reunião de priorização?
A duração mínima é de sete dias inteiros, mesmo quando a conta de amostra fecha em três.
O comportamento de compra tem sazonalidade dentro da semana: quem navega na terça de manhã do trabalho não é o mesmo público que compra no domingo à noite pelo celular. Um teste que roda de terça a quinta mede um recorte enviesado da sua base e generaliza para a semana inteira. Se a amostra exigir onze dias, arredonde para catorze, porque encerrar no meio de um ciclo deixa dias da semana representados de forma desigual entre as variantes, e essa desigualdade vira uma diferença que você vai ler como efeito da mudança.
- Etapa 1 de 5: Métrica primária
Uma só, escolhida antes · quem responde pelo processo decide
- Etapa 2 de 5: Efeito que muda a decisão
O MDE em números · se a frase não sai, o problema está na hipótese
- Etapa 3 de 5: Amostra e data de fim
Calculadas a partir da taxa-base e do tráfego · registradas em local auditável
- Etapa 4 de 5: Regra de parada
Teste fixo ou método sequencial documentado pela plataforma
- Etapa 5 de 5: Guardrails
O que faria você reverter mesmo com a primária ganhando
Duas formas de conduzir o mesmo experimento
Teste interpretado depois que os dados chegaram
Coluna a evitar
- A métrica que decide é escolhida entre as que ficaram bonitas no painel
- O prazo termina quando alguém acha que já dá para concluir
- O MDE nunca foi calculado, então ninguém sabe do que o teste era capaz
- Resultado nulo entra no relatório como hipótese refutada
- A discussão na reunião gira em torno de quem acredita mais na mudança
Teste desenhado antes de subir uma linha de código
Coluna recomendada
- A métrica primária está escrita e datada antes do primeiro visitante entrar
- A data de fim foi calculada a partir da amostra e não se move sem registro
- O MDE é conhecido, então o resultado nulo informa sobre o dimensionamento
- Guardrails definem o que faria reverter mesmo com a primária ganhando
- A discussão na reunião gira em torno do que foi medido e com qual régua
Head de e-commerce de uma marca de moda
Varejo online, ticket médio de 240 reais
Dor
O relatório trimestral fecha com onze testes rodados e nove inconclusivos. A diretoria começou a perguntar se o programa de CRO se paga, e o time não tem resposta melhor do que a promessa de rodar mais testes no trimestre seguinte.
Solução
Em vez de aumentar o volume, o time reconstruiu o MDE de cada um dos onze testes a partir do tráfego e da taxa-base que eles de fato tiveram. Descobriu que dez dos onze só conseguiam detectar efeitos acima de mais 12%. A correção foi cortar a fila de hipóteses pela metade, concentrar o tráfego em duas superfícies de maior volume e trocar a métrica primária de compra finalizada para avanço à etapa de pagamento.
Resultado
O trimestre seguinte fechou com cinco testes em vez de onze, e quatro deles chegaram a uma conclusão que sustentou decisão. O número de experimentos caiu e a quantidade de decisões apoiadas em evidência subiu, que é a métrica que interessa ao programa.
Custo apurado: Nenhum investimento em ferramenta; o custo foi arquivar seis hipóteses.
Cenário construído para fins didáticos. Números não correspondem a cliente específico.
Antes de subir qualquer teste, escreva quatro linhas: qual é a métrica primária, qual efeito nela mudaria a sua decisão, quanta amostra isso exige e em que data o teste termina. Quando a segunda linha não sai, o problema está na hipótese, e nenhuma estatística conserta isso. Teste sem consequência de decisão consome tráfego que outra hipótese usaria melhor.
As objeções que aparecem quando você leva esse desenho para a reunião
Isso não é rigor demais para o tamanho da nossa operação?
A relação é inversa: quanto menor o tráfego, mais caro é cada teste mal desenhado, porque a sua operação tem menos amostra para gastar aprendendo nada. Operação grande pode se dar ao luxo de rodar experimento malfeito e descobrir depois. Com tráfego limitado, o desenho prévio é o que impede o trimestre inteiro de virar uma fila de inconclusivos.
Se quase nenhum teste dá resultado positivo, por que continuar testando?
Porque a alternativa não é acertar mais, é publicar mudanças sem saber o que elas fizeram. Programas maduros convivem com taxa de acerto perto de 10% e continuam investindo porque o teste também impede que mudanças ruins entrem em produção. Metade do valor do experimento está nas alterações que ele barrou, e essa metade nunca aparece no relatório de uplift.
O painel já mostra 97% de confiança no terceiro dia. Por que esperar catorze?
Por duas razões independentes. A primeira é a regra de parada: um número consultado todos os dias e usado para encerrar o teste na primeira vez em que fica bonito não sustenta a garantia de 5%, e o módulo seguinte mostra por quê. A segunda é o ciclo semanal: três dias medem um recorte de público e generalizam para a semana inteira.
Podemos rodar quatro variantes de uma vez para aprender mais rápido?
Cada variante extra divide o tráfego e multiplica as comparações, o que eleva o falso positivo quando não há correção para múltiplas comparações. Com tráfego limitado, duas variantes bem contrastadas ensinam mais do que quatro variações tímidas disputando a mesma amostra, porque contraste alto é o que permite um MDE maior sem perder relevância.
Desenho do teste, antes de subir
Hipótese e métrica
0/4Dimensionamento
0/4Registro
0/3Pegue os três últimos testes que a sua equipe rodou e reconstrua o MDE de cada um a partir do tráfego e da taxa-base que eles tiveram. Na maioria das operações, essa conta revela que os testes só conseguiam detectar efeitos de dois dígitos, o que explica a fila de resultados "inconclusivos" no relatório. A correção costuma ser concentrar tráfego em menos hipóteses, e quase nunca rodar mais testes em paralelo.
Este módulo está concluído quando, nos próximos catorze dias, você tiver (1) reconstruído o MDE dos três últimos testes que a sua equipe rodou, a partir do tráfego e da taxa-base reais de cada um, numa planilha de uma aba; (2) escrito, para o próximo teste da fila, as quatro linhas de desenho, que são métrica primária, efeito que muda a decisão, amostra necessária e data de encerramento; (3) levado ao comitê a proposta de trocar a métrica de reporte do programa de testes rodados para decisões apoiadas em evidência, usando a reconstrução do item 1 como evidência. O artefato do item 1 costuma revelar que os testes só enxergavam efeitos de dois dígitos, o que explica a fila de inconclusivos sem depender de opinião. Se a data de encerramento do item 2 não couber no trimestre, o teste não deveria consumir tráfego, e essa conclusão vale mais que o exercício inteiro.
Transfira para a sua rotina nesta semana
- Escreva o contrafactual em uma frase: o que aconteceria sem a mudança?
- Confirme a unidade de randomização antes de calcular amostra.
- Proíba alteração de hipótese ou métrica após a leitura do placar.
Perguntas frequentes deste capítulo
A ferramenta já mostra confiança de 95% no painel. Preciso mesmo calcular a amostra antes?
Posso usar poder de 80% em todos os testes?
Minha taxa de conversão é baixa e a conta de amostra dá meses. O que fazer?
Vale rodar teste com três ou quatro variantes ao mesmo tempo?
Como explico para a diretoria que o programa vai rodar menos testes por trimestre?
Somos B2B, com poucas dezenas de conversões por mês. Teste A/B serve para nós?
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Conexões deste capítulo
Veja o que estudar antes e para onde seguir depois, explore os conceitos e compare abordagens em outros cursos. Sugestões marcadas como “sugerido pelo grafo” vêm dos assuntos em comum, não do índice do curso.
Estude antes
- CursoGoogle Ads 2027sugerido pelo grafo3 capítulos de “CRO: Otimização de Conversão e Experimentação” usam conceitos apresentados em “Google Ads 2027”.
- CursoGEO Universal Frameworksugerido pelo grafo2 capítulos de “CRO: Otimização de Conversão e Experimentação” usam conceitos apresentados em “GEO Universal Framework”.
Conceitos deste capítulo
O mesmo assunto em outros cursos
- Meta Ads 2027Desenhar testes A/B e medir o incremento que a mídia trouxeExaminar conexões de Desenhar testes A/B e medir o incremento que a mídia trouxe
- LinkedIn Ads 2027Escrever o anúncio B2B que um decisor lê até o fimExaminar conexões de Escrever o anúncio B2B que um decisor lê até o fim
- Google Ads 2027Desenhar experimentos e decidir escalar, manter, ajustar ou pausarExaminar conexões de Desenhar experimentos e decidir escalar, manter, ajustar ou pausar
- Motor de crescimento para IAEscalar sem se enganar: elasticidade e incrementalidadeExaminar conexões de Escalar sem se enganar: elasticidade e incrementalidade
Leve uma ideia para a prática
Escolha uma atividade no painel e volte a este curso quando quiser.
Atividades e evolução ficam reunidas no painel da sua conta.