CRO, sigla em inglês para otimização da taxa de conversão, é o trabalho de aumentar a parcela de visitantes que compra, se cadastra ou pede proposta. Pela conta ilustrativa do curso, um programa de testes A/B só vale a pena a partir de cerca de 50 conversões por semana na página principal. Nesse piso, o teste só enxerga efeitos grandes. Abaixo dele, pesquisa com usuários e correção de falhas tendem a render mais. O curso reúne 30 módulos gratuitos em três rotas de leitura, do diagnóstico do funil à política de experimentação que define orçamento, dono e critério de parada.
12 semanasPela conta ilustrativa do curso, com 50 conversões semanais somadas nos dois braços, um teste A/B leva cerca de 12 semanas para detectar um ganho relativo de 25%.
Você começa pelo vocabulário e aprende cada conta antes de chegar aos métodos avançados. Ao final, enxerga CRO como um sistema inteiro: decide se vale investir, encontra a perda que mais custa, formula hipóteses, escolhe a evidência compatível com volume e risco, governa alçadas e leva ao conselho uma projeção que sobrevive à calculadora do CFO.
Uma taxonomia do início ao fim, com três rotas de leitura
Business case, custo total e decisão de não investir quando necessário
Governança: decisão, veto, cadência e escalonamento
Plano de 90 dias, aprendizagem e realização em produção
Para quem é
CEOs, diretores, heads de growth, produto e e-commerce
Nenhum pré-requisito de CRO, estatística ou programação
Quem aprova orçamento de otimização ou cobra o resultado dele
Disposição de aplicar cada decisão à própria operação
Percursos comparáveis
Escolha pela decisão que você precisa tomar
As três rotas usam a mesma taxonomia e o mesmo registro de progresso. A diferença está na profundidade necessária para sua função agora; você pode migrar de rota sem recomeçar.
8 módulos · 3h 39min
Rota executiva
CEO, diretoria, CFO e patrocinadores
Decidir se vale investir, separar resultado válido de resultado bonito, definir alçadas, cobrar o programa e aprovar um piloto de 90 dias.
Começa:
O sistema CRO em uma página: da meta ao aprendizado
Termina:
Plano de 90 dias: provar o sistema antes de escalar
22 módulos · 10h 31min
Rota de liderança
Heads de growth, produto e e-commerce
Conduzir diagnóstico, priorização, experimentos, superfícies, tráfego de IA e risco, com a leitura econômica de cada decisão.
Começa:
O sistema CRO em uma página: da meta ao aprendizado
Termina:
Plano de 90 dias: provar o sistema antes de escalar
30 módulos · 14h 53min
Trilha completa
Growth, dados, UX, engenharia e analytics
Percorrer os 30 módulos, inclusive a camada de aprofundamento opcional: monitoramento contínuo, CUPED, bandits, performance, assinatura, IA na operação, personalização e projeto auditável.
Começa:
O sistema CRO em uma página: da meta ao aprendizado
Termina:
Projeto: um programa de CRO de ponta a ponta
Módulo 1Parte 1 — Vale montar um programa de CRO?
O sistema em uma página, o business case com o topo do funil encolhendo e a conta de volume que diz se o programa se paga.
Módulo 1 de 30 · 11 min
O sistema CRO em uma página: da meta ao aprendizado
O vocabulário, a sequência e as três rotas de leitura que impedem o curso de virar uma coleção de táticas desconectadas.
Segunda-feira, 9h. O CEO pergunta por que a caiu. Antes de qualquer resposta, a reunião precisa de duas decisões: qual rota de leitura cada pessoa vai seguir e quem responde por cada etapa do trabalho, da meta ao aprendizado.
Marketing culpa a qualidade do tráfego, Produto aponta uma mudança no formulário, Tecnologia lembra a lentidão do checkout e Finanças pergunta se o problema está na receita ou apenas no painel. Todos podem estar parcialmente certos, e daí vem a confusão: cada área olha uma peça diferente e chama a peça de . Comece organizando as peças; o aprofundamento vem depois.
Repare na divisão de papéis: o número de analytics aponta onde a conversão caiu e a pesquisa explica por quê. É a mesma separação que resolve a reunião de segunda-feira entre marketing, produto e tecnologia. Tela: Nielsen Norman Group, artigo 3 Uses for Analytics in User Experience Practice, capturada em 29/10/2026.
Artigo do Nielsen Norman Group sobre três usos de analytics em experiência do usuário, com título, autoria e o início da explicação.
Ponto de partida
Parte: Parte 1: Vale montar um programa de CRO? Pergunta a responder: Quais etapas formam um programa de CRO e quem responde por cada uma? Quem decide: o patrocinador executivo, com os donos de marketing, produto, dados e tecnologia.
Decisão
Dono: o patrocinador executivo do programa. Prazo: a próxima reunião de diretoria, nesta semana. Artefato: a tabela de camadas abaixo, com um nome por linha e a rota de leitura escolhida para cada pessoa da mesa. Linha sem nome é a etapa que vai parar o programa primeiro.
Resposta rápida
CRO é o sistema de gestão que transforma evidência sobre comportamento em decisões verificáveis de receita, experiência e risco. Analytics mostra onde algo mudou; pesquisa ajuda a explicar por quê; uma hipótese formula o mecanismo; um experimento estima o efeito causal; a governança decide se a mudança entra em produção. Confundir essas funções produz dashboards cheios e decisões fracas.
Em linguagem simples
O que significa: CRO é uma maneira organizada de melhorar os pontos em que pessoas desistem, hesitam ou não conseguem concluir uma ação valiosa. Ele conecta meta de negócio, comportamento do cliente, mudança proposta, medição e decisão. Um teste A/B pode fazer parte desse sistema, mas o trabalho começa antes do teste e termina depois dele.
Por que isso importa na empresa: Sem esse mapa, cada área usa a palavra conversão para uma coisa diferente. Marketing fala em lead, vendas fala em oportunidade, finanças fala em receita e produto fala em ativação. O sistema cria uma cadeia comum para que uma melhora local não seja confundida com melhora do negócio.
Este livro é a referência de método por trás do curso inteiro. Guarde o nome dos autores: quando um fornecedor citar experimento controlado, é deste vocabulário que ele deveria partir. Tela: Experiment Guide, página do livro Trustworthy Online Controlled Experiments, capturada em 29/10/2026.
Dizer apenas que a conversão é 0,3% esconde três decisões diferentes e três donos diferentes.
A diretoria escolhe uma transição, valida a definição e mede o valor perdido antes de pedir uma nova página.
Os números foram criados para ensinar o raciocínio. Substitua base, janela, valor e premissas pelos dados validados da sua empresa.
Analogia
O painel de um avião
O painel não pilota sozinho, e nenhum mostrador isolado diz se a aeronave chegará ao destino. Altitude, combustível, velocidade e clima cumprem papéis diferentes. O OEC, a métrica principal que decide a rodada, é o destino; os guardrails, métricas que podem vetar um lançamento, são os limites de segurança; o diagnóstico interpreta os instrumentos; o experimento muda uma variável em condições controladas; a governança define quem pode alterar a rota.
Quando uma equipe tenta maximizar todos os mostradores ao mesmo tempo, ela perde a prioridade. Toda rodada precisa de uma métrica que decide e de poucas métricas que vetam.
Campanha pontual e sistema de CRO usam verbos diferentes
Ação pontual
Coluna a evitar
Escolher uma ideia que parece promissora
Publicar e comparar antes/depois
Celebrar a métrica que subiu
Arquivar o slide quando a campanha termina
Sistema de CRO
Coluna recomendada
Diagnosticar um problema com evidência convergente
Registrar mecanismo, OEC, guardrails e critério de parada
Decidir com efeito, incerteza, risco e custo de implantação
Guardar o aprendizado para que o próximo time não recomece do zero
A sequência do curso e do trabalho
01Etapa 1 de 6: Direção
Qual resultado importa e vale investir?
02Etapa 2 de 6: Diagnóstico
Onde há perda e por que ela acontece?
03Etapa 3 de 6: Hipótese
Qual mecanismo pode mudar o comportamento?
04Etapa 4 de 6: Experimento
Que desenho separa efeito de coincidência?
05Etapa 5 de 6: Decisão
Lançar, iterar, parar ou repetir?
06Etapa 6 de 6: Memória
O que a organização aprendeu e reutilizará?
Ver como texto
Direção: Qual resultado importa e vale investir?
Diagnóstico: Onde há perda e por que ela acontece?
Hipótese: Qual mecanismo pode mudar o comportamento?
Experimento: Que desenho separa efeito de coincidência?
Decisão: Lançar, iterar, parar ou repetir?
Memória: O que a organização aprendeu e reutilizará?
Cada camada responde uma pergunta e entrega um artefato
Camada
Pergunta executiva
Dono mais comum
Artefato verificável
Direção
Qual resultado econômico justifica atenção agora?
CEO, CMO, diretor de produto ou e-commerce
OEC, guardrails e tese de valor
Diagnóstico
Em qual transição a perda é material e qual evidência explica o mecanismo?
Growth, analytics, UX research
Mapa do funil e dossiê de evidências
Desenho
Qual mudança, população e comparação podem refutar a hipótese?
Produto, dados e engenharia
Protocolo pré-experimento
Decisão
O efeito compensa incerteza, risco e custo de implantação?
Dono da métrica com vetos técnicos
Registro de decisão
Governança
Quem decide, quem veta e quando o conflito sobe?
Patrocinador, dados, jurídico e tecnologia
Política de experimentação
Memória
O que passa a ser verdade provisória sobre o cliente?
Líder do programa
Repositório de testes e síntese trimestral
A sequência não obriga que toda hipótese vire A/B. Ela obriga que toda decisão importante deixe clara a evidência usada e o limite daquela evidência.
Três rotas de leitura
Rota executiva: “O sistema CRO em uma página”, “CRO quando o topo do funil encolheu”, “Montar ou não montar: a decisão de abrir um programa”, “Antes de aprovar o vencedor: seis checagens de validade”, “Governança: quem decide, quem veta e com que cadência”, “Maturidade, metas e como cobrar o programa”, “Apresentar resultados para a diretoria” e “Plano de 90 dias: provar o sistema antes de escalar”.
Rota de liderança: soma à executiva diagnóstico, testes, superfícies, tráfego de IA e risco. Trilha completa: os 30 módulos na ordem, com o aprofundamento opcional, como CUPED (ajuste pelo comportamento anterior do visitante que encurta o teste) e switchback (alternância da versão inteira por período).
Caso de usoExemplo hipotético:
Diretora comercial de uma empresa SaaS B2B
Software empresarial
Dor
O painel mostra queda de conversão de MQL (lead que o marketing considera qualificado) para SQL (lead que vendas aceita trabalhar), mas marketing quer trocar a landing page e vendas quer contratar mais SDRs, os pré-vendedores que fazem o primeiro contato.
Solução
Ela separa a conversão em duas transições, verifica se a definição de MQL mudou, ouve dez ligações perdidas e descobre que o formulário promete demonstração enquanto o fluxo entrega contato comercial em até dois dias.
Resultado do exemplo
O primeiro trabalho vira correção de promessa e de SLA, o prazo de atendimento combinado entre as áreas, com medição antes e depois. O A/B fica para a etapa seguinte, quando houver duas propostas comparáveis e volume suficiente.
Custo estimado no exemplo: Cenário de rotina; números e empresa são ilustrativos.
Cenário construído para fins didáticos. Números não correspondem a cliente específico.
A Microsoft descreve experimentação como uma forma de avaliar ideias em diferentes estágios do planejamento, apoiada por randomização e desenho adequado. A plataforma protege a comparação; a pergunta continua sendo trabalho de quem decide.
Leia o resumo procurando a palavra estágios: a Microsoft usa experimento para avaliar ideias em fases diferentes do planejamento, do começo ao fim. Isso muda quando a diretoria deve pedir evidência. Tela: Microsoft Research, publicação Online Experimentation at Microsoft, capturada em 29/10/2026.
Página da Microsoft Research com o resumo do artigo Online Experimentation at Microsoft e o link para o texto completo.
Anos depois, o Spotify formalizou outra correção de rota: passou a medir “experimentos com aprendizado”, porque um teste útil pode impedir uma decisão ruim mesmo sem produzir vencedor. A empresa relatou taxa de aprendizado próxima de 64%, acima da taxa de vitórias.
Observe a troca de métrica: o Spotify deixou de contar só vitórias e passou a contar experimentos que geraram aprendizado válido. Use o mesmo critério para cobrar o seu programa. Tela: Spotify Engineering, artigo Beyond Winning: Spotify's Experiments with Learning Framework, capturada em 29/10/2026.
Artigo do blog de engenharia do Spotify intitulado Beyond Winning, sobre o framework Experiments with Learning.
Dúvidas comuns de quem está começando
CRO serve apenas para e-commerce?
Não. Qualquer percurso com mudança de estado pode ser melhorado: ativação de software, renovação, agendamento, contratação, doação ou adesão a um serviço.
Toda melhoria precisa de teste A/B?
Não. Defeito evidente, obrigação legal ou problema grave de acessibilidade pode exigir correção direta e rollout monitorado. O método deve combinar com a dúvida e com o risco.
Checkpoint
Abra uma pauta real desta semana e complete seis frases: a meta é ___; a perda aparece em ___; a evidência disponível é ___; o mecanismo suspeito é ___; a decisão necessária é ___; o que ainda não sabemos é ___. Se alguma frase não puder ser preenchida, você encontrou a próxima tarefa do programa.
Você está aqui: módulo 1 de 30
0 de 30 concluídos
Pendente
Próximo · Módulo 2 de 30 · 22 minCRO quando o topo do funil encolheu
Use "Concluir e ir para o módulo 2" para registrar seu progresso. Avançar a leitura não marca a conclusão.
CRO quando o topo do funil encolheu
Por que a conversão virou a alavanca principal quando 68% das buscas deixaram de gerar clique, e qual é o tamanho realista do ganho por teste.
Montar ou não montar: a decisão de abrir um programa
Quanto custa, quantas pessoas, ferramenta, agência ou time próprio, e o piso de volume abaixo do qual a decisão correta é não montar programa nenhum.
Funil de conversão: onde o dinheiro vaza
Como dividir o funil em topo, meio e fundo, medir cada transição com o denominador certo e ordenar a fila de trabalho pela perda em reais.
De onde vem o tráfego: CRM, SEO, GEO e mídia paga
Os seis canais que trazem tráfego em 2026, a intenção e o custo de cada um e por que a conversão só se lê separada por origem antes de qualquer teste.
Pesquisa qualitativa: o porquê por trás do número
Mapa de calor, gravação de sessão, enquete e teste de usabilidade para achar a causa da perda, com a triagem por IA de 2026 e a base legal da LGPD.
Qual métrica decide o teste e quais podem vetar
Como escolher a única métrica que decide um experimento, quais guardrails vetam sem decidir e por que otimizar microconversão isolada piora o negócio.
Hipóteses e fila de testes quando poucas ideias vencem
Como ordenar um backlog quando a maioria das ideias não vence e o aprendizado é o retorno que se acumula.
Testes A/B: o que a estatística realmente exige
Testar duas versões da página para ver qual vende mais: significância, poder e MDE explicados sem fórmula, e por que o efeito que você quer detectar define o custo do teste.
Antes de aprovar o vencedor: seis checagens de validade
As seis checagens que o executivo exige antes de aprovar um vencedor, para que o ganho do teste não suma quando a mudança vai para todo o tráfego.
Monitoramento contínuo e o fim da regra de não espiar
Aprofundamento opcional: para quem acompanha o painel do teste todo dia ou negocia plataforma. Mostra quando olhar cedo é legítimo e o que exigir do fornecedor.
CUPED e CUPAC: testes mais curtos sem perder rigor
Aprofundamento opcional: para quem precisa encurtar testes em métrica cara. Mostra quando o histórico do visitante corta o prazo e quando não ajuda.
Quando o A/B não serve: bandits, switchback e rede
Aprofundamento opcional: para campanhas curtas, marketplace e logística, onde o A/B por usuário erra a alocação ou a medida.
Landing pages: clareza acima da dobra
Por que a clareza da proposta de valor pesa acima do gatilho psicológico, como ligar anúncio e página e como filtrar regra de conversão sem procedência.
Formulários e checkout: onde a conversão morre
Por que o cliente desiste na hora de preencher os dados e pagar: as razões de abandono lidas sem somar percentuais, os meios de pagamento do Brasil e a taxa de aprovação como alavanca de receita.
Mobile e performance: INP e Core Web Vitals
Aprofundamento opcional: para quem contrata ou cobra front-end. INP, LCP e CLS medidos em campo, o critério de aceite no contrato e o custo do snippet anti-flicker.
Acessibilidade: fator de conversão e obrigação legal
A obrigação brasileira e a europeia sobre o seu checkout, o WCAG 2.1 AA como piso e o 2.2 AA como alvo, e as correções que também reduzem erro de preenchimento.
CRO de assinatura: trial, ativação, preço e retenção
Aprofundamento opcional: para quem vende assinatura, SaaS ou infoproduto recorrente. Trial, ativação, preço, cancelamento, cobrança e expansão.
Tráfego de LLM: o visitante que chega decidido
Por que quem chega de um assistente de IA converte acima da média, quanto esse canal pesa diante do orgânico e como medir o que se esconde em Direto.
Agentic commerce: converter para quem não tem olhos
Como o comprador que é software lê a sua loja, o que cada protocolo resolve, o que arrumar agora no catálogo e o que deixar em monitoramento.
IA na operação: onde acelera e onde destrói
Aprofundamento opcional: para quem compra ferramenta de experimentação com IA. Onde a IA encurta o ciclo, por que a coleta não encolhe e o custo de marca.
Personalização: regra, modelo e evidência
Aprofundamento opcional: para quem recebe proposta de personalização com IA. Os quatro degraus por custo e retorno e como medir o ganho com holdout.
Privacidade e mensuração sem autoengano
O que mudou de fato em cookies, consentimento e LGPD, e como medir sem confundir número modelado com número observado.
Ética e risco: as táticas que viraram processo
Urgência fabricada e fricção de cancelamento viraram infração sancionada, com valores e órgãos definidos, e o ECA Digital amplia o risco no Brasil.
Governança: quem decide, quem veta e com que cadência
Direitos de decisão escritos antes do primeiro teste, separação entre veto técnico e decisão de negócio, arranjo organizacional e ritmo de reporte.
Da reunião ao backlog: o ritual executivo de CRO
A pauta semanal e mensal que leva um problema do painel a uma decisão registrada, usando as reuniões que a empresa já tem e as alçadas da governança.
Maturidade, metas e como cobrar o programa
Como se comparar ao mercado sem se enganar, quais métricas cobrar do programa, que perguntas fazer ao head de growth e quando parar de investir.
Apresentar resultados para a diretoria
Como reportar uplift com faixa e premissa, defender um teste sem significância e pedir orçamento com base em aprendizado acumulado.
Plano de 90 dias: provar o sistema antes de escalar
Um piloto executivo com entregas quinzenais, casos de e-commerce, SaaS e marketplace, critérios de avanço e a saída certa quando experimentar não compensa.
Projeto: um programa de CRO de ponta a ponta
Aprofundamento opcional: para quem vai montar o programa, o projeto que junta as peças do curso num documento auditável.
Perguntas frequentes
Nunca estudei estatística ou CRO. Vou conseguir acompanhar?
Sim. Os 30 módulos começam com uma explicação em linguagem simples, mostram o raciocínio em etapas, resolvem uma conta com números ilustrativos e respondem dúvidas de iniciantes antes do conteúdo técnico. Termos como denominador, uplift, controle, guardrail, SRM e CUPED são introduzidos pelo problema que resolvem, e cada termo ganha uma explicação de uma linha na primeira vez em que aparece; nenhuma fórmula aparece sem interpretação e decisão empresarial.
Sou diretor e não vou desenhar teste nenhum. O curso serve para mim?
Sim. A rota executiva soma cerca de 219 minutos e percorre modelo mental, business case, decisão de investir, checagens de validade de um resultado, governança, cobrança, reporte e plano de 90 dias. Os módulos técnicos existem para você conseguir sabatinar o próprio time e fornecedores; cada um abre com a pergunta executiva, o dono, uma metáfora e um caso de rotina.
Quanto custa montar um programa de experimentação?
O curso não dá um número de mercado brasileiro porque ele não existe de forma auditável, e inventar cifra seria o tipo de coisa que um CFO derruba na primeira checagem. O que o módulo "Montar ou não montar: a decisão de abrir um programa" entrega é a estrutura da conta, com licença, pessoas, tempo de engenharia e custo de oportunidade do backlog, mais a regra de proporção que denuncia o erro mais caro: se a licença passa de cerca de um quarto do total, a empresa comprou plataforma sem capacidade de operá-la.
Minha empresa tem pouco tráfego. Devo montar o programa mesmo assim?
Na maioria dos casos, não. Pela conta ilustrativa do curso, com 50 conversões semanais um teste leva cerca de 12 semanas para detectar um ganho relativo de 25%. Com 25 por semana, o mesmo teste leva perto de 25 semanas, e efeitos menores ficam fora de alcance. Com esse volume, entrevistas com clientes, análise do funil e correção de falhas tendem a render mais. O módulo “Montar ou não montar: a decisão de abrir um programa” mostra como fazer essa conta com os seus números.
Como sei se o resultado que meu time me apresenta é confiável?
O módulo "Maturidade, metas e como cobrar o programa" traz a sabatina interna: as perguntas que um diretor faz ao head de growth, com o que uma boa resposta parece e o que uma resposta ruim revela. Qual o denominador, quantos testes rodaram sem atingir a amostra planejada, quem checou o desvio de divisão e quando, quantos resultados anunciados foram depois revertidos. O curso também calibra a expectativa: a proporção de experimentos que produzem vencedor é baixa em qualquer programa sério, e taxa de acerto acima de 40% costuma indicar método frouxo, e o módulo mostra como auditar.
Quanto tempo leva para concluir?
A trilha completa soma cerca de 893 minutos em 30 módulos e sete partes, com diagramas, tabelas, calculadoras e modelos preenchíveis. A rota executiva leva cerca de 219 minutos; a rota de liderança soma diagnóstico, testes, superfícies, tráfego de IA e risco à rota executiva; a trilha completa percorre a ordem integral. O progresso fica salvo no navegador.
O curso serve para quem trabalha com geração de leads em vez de e-commerce?
Sim. Funil, priorização, estatística, governança e decisão de investimento são agnósticos de modelo de negócio. Os exemplos de checkout são de e-commerce por serem os mais bem documentados publicamente, e cada um traz o equivalente para captação de lead e para SaaS.
Próximo passo · plataforma NAIA
Terminou o curso? Execute GEO em escala com a NAIA.
Plataforma de visibilidade algorítmica com análises contínuas em ChatGPT, Gemini, Claude e Perplexity. R$ 99/mês nos primeiros 3 meses com cupom ALE99. Ideal para aplicar o que você aprendeu em CRO: Otimização de Conversão e Experimentação.
Como ler o Experimento 042 e calcular quantas semanas um teste exige
Esta seção decide se o resultado do painel no topo da página autoriza lançar a variação B. Também mostra, pelo seu volume semanal de conversões, quantas semanas um teste precisa rodar antes de dar veredito.
A conta resolvida do painel
O Experimento 042 é um caso ilustrativo. Em 21 dias, 28.400 visitantes foram divididos meio a meio, com 14.200 por braço. A versão de controle A teve 328 conversões (2,31%), e a variação B teve 366 (2,58%). A diferença é de +0,27 ponto percentual, ou 11,6% a mais em termos relativos.
O número que decide é o intervalo de confiança de 95%, a faixa de efeitos compatíveis com os dados do teste. Aqui, ele vai de -4,0% a +27,1% no efeito relativo. Como a faixa inclui o zero, os dados não distinguem B pior, igual ou melhor que A. Por isso o painel diz que não há evidência para lançar.
Quanto tráfego faltou? Pela conta da amostra, detectar 11,6% exigiria cerca de 52 mil visitantes por braço com poder estatístico de 80%, que é a chance de enxergar um efeito que existe de fato. São cerca de 104 mil visitantes no total, 3,7 vezes o que o teste teve. No ritmo de 1.350 visitantes por dia, seriam cerca de 77 dias.
Semanas até o veredito, pelo seu volume
Semanas até o veredito, conforme as conversões semanais somadas nos dois braços. As colunas mostram o efeito mínimo detectável, o menor ganho relativo que o teste enxerga, de 25%, 10% e 5%; o total necessário é de cerca de 620, 3.380 e 12.900 conversões. Premissas: poder de 80%, alfa de 5% bicaudal (risco aceito de falso positivo), taxa-base de 2,31% e divisão 50/50. Números ilustrativos.
Conversões por semana
Efeito de 25%
Efeito de 10%
Efeito de 5%
Decisão prática
25
24,8
135
515
Até para efeito de 25%, quase meio ano; não monte programa.
50
12,4
67,5
258
Piso mínimo; teste só mudanças grandes, com cerca de 12 semanas.
100
6,2
33,8
129
Efeitos de 25% em seis semanas; 10% ainda leva quase oito meses.
250
2,5
13,5
51,5
Programa viável; ganhos de 10% saem em cerca de 14 semanas.
500
1,2
6,8
25,8
Ritmo regular; 10% em sete semanas, 5% em cerca de seis meses.
1.000
0,6
3,4
12,9
Testes de 10% em menos de um mês; 5% em 13 semanas.
Antes de declarar vencedor
Defina antes do teste o efeito mínimo detectável e a amostra por braço; só leia antes disso com método sequencial planejado.
Rode ao menos uma semana completa para cobrir o efeito do dia da semana, como recomendam Kohavi, Tang e Xu (2020).
Confira se o intervalo de confiança de 95% do efeito exclui o zero; se ele cruza o zero, não há vencedor.
Estime a amostra por grupo pelo atalho de Lehr (1992): 16 vezes a variância sobre o quadrado da diferença buscada.
Verifique se a divisão real de visitantes entre os braços ficou perto de 50/50 antes de confiar no resultado.
Fontes: Robert Lehr, “Sixteen S-squared over D-squared”, Statistics in Medicine, 15/06/1992. Ron Kohavi, Diane Tang e Ya Xu, “Trustworthy Online Controlled Experiments”, Cambridge University Press, 2020.
Módulo 1 de 30
Leve uma ideia para a prática
Escolha uma atividade no painel e volte a este curso quando quiser.