CRO: Otimização de Conversão e Experimentação · Capítulo 27 de 30 · 43 min
Maturidade, metas e como cobrar o programa
Como se comparar ao mercado sem se enganar, quais métricas cobrar do programa, que perguntas fazer ao head de growth e quando parar de investir.
Este capítulo faz parte do curso gratuito CRO: Otimização de Conversão e Experimentação.
Etapa: Gestão do programa. Pergunta que este módulo responde: A capacidade está produzindo decisões melhores ou apenas mais testes? Dono mais comum: Patrocinador, líder do programa e CFO. Passagem de bastão: scorecard de aprendizado, confiança, ciclo, cobertura e valor realizado.
Maturidade é uma escola, não uma fábrica de diplomas
Contar testes é como contar provas aplicadas. A pergunta relevante é se a organização aprende, corrige o método e toma decisões melhores. Volume sem qualidade apenas industrializa erro.
Taxa de aprendizado, integridade e realização em produção importam mais que taxa de vencedores.
CEO na revisão mensal
Plataforma digital
Dor
O programa anuncia vinte testes e 55% de vencedores, mas receita não percebe o efeito.
Solução
A cobrança passa a incluir testes inválidos, efeito realizado, regressões, tempo até decisão e aprendizado reutilizado.
Resultado
A taxa de acerto cai, a confiança sobe e hipóteses fracas deixam de ser declaradas vitória.
Custo apurado: Cenário executivo ilustrativo, construído a partir de rotinas empresariais recorrentes.
Cenário construído para fins didáticos. Números não correspondem a cliente específico.
O que significa: Maturidade mede a capacidade repetível de transformar perguntas em decisões confiáveis. Inclui instrumentação, método, velocidade, cobertura, governança, memória e uso do aprendizado. Não é uma corrida para usar a técnica mais sofisticada. Por que isso importa na empresa: Cobrar apenas número de testes incentiva experimentos pequenos e fáceis. Cobrar só taxa de vitória incentiva seleção e maquiagem. Um programa saudável mostra ciclo, validade, decisões, cobertura e aprendizado acumulado.
- Etapa 1 de 5: Base
Meça qualidade de dado, papéis e ciclo atual.
- Etapa 2 de 5: Saúde
Acompanhe validade, tempo, cobertura e implementação.
- Etapa 3 de 5: Aprendizado
Conte decisões informadas, inclusive as evitadas.
- Etapa 4 de 5: Economia
Use faixas conservadoras e realização em produção.
- Etapa 5 de 5: Próximo estágio
Financie o gargalo real, não o rótulo de maturidade.
Exemplo calculado — números ilustrativos
| Situação | Conta | Como interpretar | Decisão executiva |
|---|---|---|---|
| O programa conclui 40 testes: 10 vencedores, 8 inválidos, 12 neutros úteis e 10 sem decisão ou registro. | Taxa de vitória bruta = 10 ÷ 40 = 25%. Testes válidos = 32 ÷ 40 = 80%. Aprendizado registrado = 22 ÷ 40 = 55% se vencedores e neutros úteis forem documentados. | Uma única taxa não revela invalidação, abandono de decisão nem qualidade da memória. | A liderança ataca primeiro testes inválidos e sem decisão antes de exigir mais volume. |
Os números foram criados para ensinar o raciocínio. Substitua base, janela, valor e premissas pelos dados validados da sua empresa.
Dúvidas comuns de quem está começando
Taxa de vitória alta é sinal de maturidade?
Não necessariamente. Pode indicar hipóteses óbvias, seleção retrospectiva ou testes conservadores. Aprendizado, validade e valor realizado dão contexto.
Como cobrar ROI sem somar uplifts?
Acompanhe mudanças efetivamente lançadas, população exposta, duração, sobreposição e margem. Use faixa e holdout quando possível; nunca some percentuais de bases diferentes.
Pergunte hoje ao responsável pelo programa quantos experimentos foram concluídos com poder adequado no último trimestre, e quantos foram encerrados antes de atingir o tamanho de amostra planejado. A razão entre os dois números diz mais sobre a saúde do programa que qualquer relatório de vencedores.
A pergunta é desconfortável de propósito. Programa cobrado apenas por vencedores otimiza para produzir vencedores, e o caminho mais curto para isso não é melhorar as hipóteses: é afrouxar a métrica, encerrar cedo o que está favorável e escolher o recorte depois de ver o resultado. Nenhuma dessas três coisas aparece num slide de resultados, e todas aparecem na razão que você acabou de pedir.
O que você vai conseguir decidir ao terminar este módulo
- Em que estágio de maturidade o seu programa está, avaliado em três dimensões que se movem em ritmos diferentes.
- Quais cinco métricas cobrar trimestralmente, com meta e com o sinal de alarme de cada uma.
- Que perguntas fazer ao head de growth para detectar número bonito produzido por método frouxo.
- Como calcular retorno de forma que ele sobreviva à reconciliação do CFO no fechamento do ano.
- Em que condições a decisão correta é reduzir ou encerrar o programa, definidas antes de haver pressão para isso.
A decisão deste módulo é o contrato de cobrança do programa: quais métricas serão cobradas, com que meta e em que ritmo, definidos antes de existir resultado para defender. Ela pertence ao patrocinador executivo em conjunto com quem lidera o programa. Prazo sugerido: fechar antes do início do próximo trimestre. Meta de cobrança definida depois do resultado é sempre negociada com o resultado à vista, e vira exercício de justificação.
Maturidade é o check-up, não o extrato bancário
Um executivo saudável faz exame de sangue todo ano mesmo se sentindo bem, porque colesterol alto não dói até o dia em que dói. Cobrar um programa de experimentação apenas pelo resultado financeiro é esperar o infarto para descobrir que havia problema. As métricas de maturidade, quantos testes atingiram poder adequado, quantos foram encerrados cedo, quantos vencedores foram depois revertidos em produção, funcionam como o hemograma do programa: revelam a doença enquanto ela ainda tem conserto barato, antes de o número do trimestre entregar a fatura.
O extrato financeiro é indicador atrasado, conta o que já aconteceu. Os indicadores de maturidade são o exame preventivo, e é neles que a cobrança trimestral deveria olhar primeiro.
Existe um número de calibração que separa a cobrança madura da ingênua. Em programas grandes e bem instrumentados, como o da Microsoft relatado por Ronny Kohavi, cerca de um terço das ideias melhora a métrica que se propôs a melhorar, um terço não move nada e um terço piora. A consequência para quem cobra é contraintuitiva: taxa de vitória muito acima de um terço raramente indica um time genial, e costuma denunciar método frouxo, hipótese testada só depois de já se saber o resultado, ou métrica afrouxada até o teste passar. Win rate, a taxa de acerto do programa, é a proporção de testes que produzem um vencedor real, e ela é baixa por natureza em qualquer programa honesto.
Helena, VP de produto que patrocina o programa
SaaS B2B com autoatendimento de assinatura
Dor
No comitê trimestral, o head de growth apresentou catorze vitórias em dezesseis testes e projetou um ganho anual que impressionou o conselho. O número parecia bom demais.
Solução
Em vez de aplaudir, Helena fez as perguntas de sabatina deste módulo: qual o denominador, quantos testes foram encerrados antes do tamanho de amostra planejado, quem checou o desvio de proporção de amostra e quando, quantos vencedores anteriores foram depois revertidos em produção. Descobriu que metade das vitórias vinha de testes parados no primeiro dia favorável.
Resultado
A taxa real de acerto, recalculada com poder adequado, ficou perto de um terço, coerente com o mercado. A projeção levada ao conselho foi refeita com o efeito descontado da maldição do vencedor, e sobreviveu à reconciliação do CFO no fechamento do ano.
Custo apurado: Uma reunião mais longa e desconfortável, em troca de uma projeção que não explodiu no fechamento.
Cenário construído para fins didáticos. Números não correspondem a cliente específico.
Se a figura ultrapassar a área visível, deslize para os lados. Pelo teclado, foque a figura e use as setas.
Crawl, Walk, Run e Fly: o que caracteriza cada estágio
| Estágio | Volume anual de referência | O que já existe | O que decidir para avançar |
|---|---|---|---|
| Crawl | Cerca de 10 experimentos por ano | Instrumentação básica e os primeiros testes. Métricas ainda são definidas caso a caso e a análise depende de uma pessoa específica. | Investir em pré-requisitos, não em volume. Definição única de conversão, filtragem de bot, exclusão de tráfego interno e validação de evento. Cobrar volume neste estágio produz testes ruins mais rápido. |
| Walk | Cerca de 50 experimentos por ano | Métricas padronizadas, processo repetível e uma primeira noção de fila. A revisão de validade começa a ser feita por quem não propôs o teste. | Estabelecer a métrica de decisão única por superfície e o repositório consultável. Metade dos times de mercado nunca faz isso, e é o item que impede o acervo de sumir com a saída de uma pessoa. |
| Run | A maioria das mudanças relevantes avaliada por experimento | Métrica de decisão codificada, revisão independente institucionalizada e experimentação como pré-requisito de lançamento em superfícies relevantes. | Decidir sobre cobertura: quais superfícies entram no escopo e quais ficam de fora por decisão explícita. Ampliar sem decidir produz fila que a capacidade de engenharia não sustenta. |
| Fly | Rotina automatizada, com memória institucional consultável | Detecção automática de problema de validade, alerta de degradação, acervo pesquisável e reuso sistemático de aprendizado entre times. | Decidir onde a automação para. Autonomia total de decisão sobre superfície com exposição regulatória é o ponto em que a economia de processo vira risco jurídico. |
O modelo avalia três dimensões de forma independente: técnica, organizacional e de negócio. Uma empresa pode estar em Walk na plataforma e em Run na organização, e forçar um estágio único no relatório esconde exatamente a informação que decide o próximo investimento.
A independência das três dimensões é a parte do modelo que mais se perde na tradução corporativa, e é a mais útil para quem decide investimento. Plataforma sofisticada com organização imatura produz o desperdício mais caro do tema: o instrumento existe, ninguém tem alçada para agir sobre a leitura, e a licença é renovada por três anos até que alguém pergunte o que ela produziu.
A assimetria inversa também aparece, e é mais barata de corrigir. Organização madura com plataforma limitada roda menos testes e decide melhor, porque a leitura é honesta e a decisão tem dono. Quando você tiver as três notas separadas, invista na menor, e desconfie de qualquer diagnóstico que devolva um número único de maturidade.
Autoavaliação de maturidade do programa em três dimensões
Pontue cada item de 0 a 4 pensando no que acontece hoje, e não no que está previsto. As duas primeiras dimensões formam a nota técnica, as duas seguintes a organizacional e as duas últimas a de negócio. A soma indica o estágio predominante; a leitura que importa é a diferença entre as três notas parciais, porque o modelo original as avalia de forma independente e o investimento certo é sempre na menor delas.
0 = eventos definidos caso a caso, sem filtragem de bot nem exclusão de tráfego interno. 2 = eventos padronizados, filtragem parcial. 4 = validação automática de evento, filtragem de bot e detecção de desvio de proporção de amostra em toda execução.
0 = cada teste é uma implementação artesanal. 2 = plataforma em uso, com capacidade de engenharia negociada a cada sprint. 4 = plataforma integrada ao ambiente analítico, com reserva fixa de engenharia e testes em paralelo.
0 = quem propõe o teste analisa o próprio resultado. 2 = existe revisão informal, sem nomeação. 4 = política escrita, veto técnico nomeado e revisão independente registrada em toda leitura.
0 = os resultados vivem em apresentações e conversas. 2 = existe planilha ou pasta compartilhada, sem busca útil. 4 = repositório consultável, com hipótese, desenho, leitura e decisão, usado antes de propor teste novo.
0 = a métrica muda conforme o teste. 2 = existe métrica principal por superfície, sem contramétrica de guarda. 4 = métrica de decisão codificada, com contramétricas e limites definidos antes de cada execução.
0 = o resultado raramente muda a fila de desenvolvimento. 2 = influencia quando confirma a prioridade já estabelecida. 4 = experimento é pré-requisito de lançamento nas superfícies relevantes, com reversões efetivamente executadas.
Cobrar volume de experimentos neste estágio produz testes ruins mais rápido. As três entregas do trimestre são definição única de conversão por superfície, filtragem de bot com exclusão de tráfego interno, e validação automática de evento. Referência de volume para o estágio é da ordem de dez experimentos por ano, e ultrapassá-la sem os pré-requisitos gera acervo de leituras que ninguém vai poder reaproveitar.
Se a figura ultrapassar a área visível, deslize para os lados. Pelo teclado, foque a figura e use as setas.
As cinco métricas de saúde do programa, com meta e alarme
| Métrica | O que ela mede | Meta de referência | Sinal de alarme e o que fazer |
|---|---|---|---|
| Velocity | Experimentos concluídos por mês, trimestre ou ano, contando apenas os que atingiram o tamanho de amostra planejado. | Crescimento de 10% a 20% ao ano, partindo do volume compatível com o estágio de maturidade. | Queda sustentada por dois trimestres. Quase sempre a causa é capacidade de engenharia consumida por roadmap, e não falta de hipóteses. Verifique a reserva de sprint antes de cobrar o time. |
| Cycle time | Tempo médio ponta a ponta, do desenho da hipótese à decisão registrada. | Redução consistente ao longo do ano, com meta própria definida a partir da linha de base da casa. | Aumento com velocity estável indica fila crescendo antes do gargalo. Identifique em qual etapa o tempo se acumula antes de contratar mais gente. |
| Development time | Tempo de construção da variação até estar pronta para subir. | A menor das etapas do cycle time em um programa saudável. | Quando passa de metade do cycle time, o gargalo é engenharia. Nenhuma melhoria de processo de priorização resolve, e a decisão é de alocação. |
| Win rate | Percentual de experimentos concluídos que produziram vencedor na métrica de decisão. | Entre 10% e 40%. Google e Bing operam entre 10% e 20%; Microsoft perto de 33%, às custas de refino pesado antes de o teste entrar no ar. | Acima de 40% quase sempre indica métrica frouxa, parada oportunista ou recorte escolhido depois da leitura. Audite o método antes de comemorar. |
| Coverage | Percentual das superfícies relevantes que estão sob experimentação. | Crescente e decidida, com as exclusões declaradas explicitamente. | Cobertura alta com velocity baixa indica escopo maior que a capacidade. Reduza o escopo declarado em vez de deixar superfícies formalmente cobertas e efetivamente abandonadas. |
As cinco são cobradas juntas por desenho. Cada uma isolada tem uma forma óbvia de ser satisfeita sem melhorar o programa, e o conjunto é o que impede a otimização de indicador.
Calibragem contra o mercado, para a conversa de expectativa
25 a 50
Experimentos por ano em organizações comuns
O topo do mercado passa de 10.000 por ano, e comparar-se com ele calibra ambição, não meta
2 a 3
Testes por mês na mediana de mercado
46,9% dos praticantes rodam 1 a 2 por mês e apenas 9,5% rodam 20 ou mais
12%
Experimentos que produzem vencedor na base da Optimizely
Número do próprio fornecedor sobre a base de clientes, no relatório The Evolution of Experimentation, de 27/11/2023
20%
Experimentos que atingem 95% de significância
Em base agregada de 28.304 experimentos; a maioria termina sem conclusão estatística
Fonte: Conversion.com (agência), Big Sur AI e CXL/Convert (agregadores) e Optimizely (fornecedor, sobre a própria base). Todos com conflito de interesse ou número herdado: use para calibrar ordem de grandeza, nunca como meta.
Os quatro números desta calibragem não têm o mesmo peso numa discussão de diretoria, e vale saber qual deles você leva. O de 12% da Optimizely é o único que chega a um documento datado e citável, The Evolution of Experimentation, de 27 de novembro de 2023, construído sobre mais de 127 mil experimentos entre 2018 e 2023. Os outros três passam por agregadores que repetem dado de fornecedor sem publicar a base que permitiria conferir.
Quando precisar sustentar que a maioria dos testes não produz vencedor, use o número de 12% e declare a origem completa, inclusive que quem publicou vende plataforma de experimentação. Número de fornecedor com procedência declarada sobrevive à pergunta difícil; número sem endereço cai na primeira cobrança e leva junto a credibilidade do resto da apresentação.
Se a figura ultrapassar a área visível, deslize para os lados. Pelo teclado, foque a figura e use as setas.
Taxa de acerto fora da faixa de 10% a 40% é sintoma de problema metodológico, não conquista. Abaixo de 10%, ou as hipóteses são fracas ou os testes não têm poder para detectar o que existe. Acima de 40%, as três causas prováveis são métrica frouxa que se move com quase qualquer mudança, parada assim que o resultado fica favorável, e recorte de segmento escolhido depois da leitura. Quando a taxa sobe muito, a auditoria de método é mais urgente do que quando ela cai, porque a queda gera desconfiança espontânea e a subida gera comemoração.
A sabatina interna: cinco perguntas ao responsável pelo programa
| Pergunta | Como é uma boa resposta | O que uma má resposta revela | O que fazer se a resposta for ruim |
|---|---|---|---|
| Qual é o denominador desse número? | Nomeia a população, a janela e a unidade de contagem, e é a mesma usada no trimestre anterior. | Denominador trocado entre períodos, ou métrica de engajamento ocupando o lugar da métrica de decisão. | Exija a série recalculada com denominador único antes de qualquer discussão sobre o resultado. Comparação entre períodos com bases distintas não é comparação. |
| Quantos testes rodaram sem atingir o tamanho de amostra planejado? | Traz o número, a proporção sobre o total e a causa mais frequente das interrupções. | A resposta não existe, o que significa que o programa não distingue teste concluído de teste abandonado. | Institua a contagem antes de cobrar volume. Sem ela, a métrica de velocity pode estar contando execuções que nunca produziram leitura. |
| Quem checou o desvio de proporção de amostra, e quando? | Nomeia a pessoa, que não é a autora da hipótese, e informa que a checagem ocorreu antes da leitura do resultado. | Checagem feita pelo próprio autor, feita depois da leitura, ou não feita. | Nomeie o revisor independente nesta semana e reprocesse os testes do trimestre. É a correção mais barata com maior efeito sobre a confiabilidade do acervo. |
| Qual foi a taxa de acerto do trimestre e como ela se compara à do anterior? | Traz os dois números, explica variações grandes e situa o resultado dentro da faixa de 10% a 40%. | Salto acima de 40% apresentado como melhoria de time, sem mudança correspondente no processo. | Audite método antes de reconhecer o resultado: definição de métrica, regra de parada e momento em que os recortes de segmento foram definidos. |
| Quantos resultados anunciados foram depois revertidos? | Existe a contagem, com o motivo de cada reversão registrado no repositório. | Nenhuma reversão registrada em um ano, o que costuma indicar ausência de verificação em produção, e não acerto perfeito. | Institua a releitura em produção dos lançamentos maiores, com controle retido. Programa que nunca reverte quase sempre é programa que nunca confere. |
Este curso passa vários módulos ensinando a interrogar o fornecedor. As mesmas perguntas se aplicam ao time interno, e o desconforto de fazê-las é menor que o de descobrir a resposta em uma reconciliação de fim de ano.
A cadência trimestral só sustenta cobrança se o formato do relatório for estável entre trimestres, com as mesmas cinco métricas, as mesmas definições e a série histórica visível ao lado. Relatório que muda de forma a cada apresentação impede comparação e, na prática, protege o resultado da leitura. A estrutura de slide para report executivo recorrente está tratada em Gestão de Projetos GEO, e vale reaproveitar o formato em vez de inventar um padrão próprio. A cadência, porém, é diferente: aquele curso trabalha em ciclo mensal de projeto, e métrica de programa de experimentação só forma série comparável no trimestre.
Relatório trimestral do programa de experimentação ao board
Preencha e baixe. Estrutura fixa, para permitir comparação entre trimestres. Traz as cinco métricas de saúde, a lista de overrides, o retorno calculado com haircut declarado e os limites do que o relatório não mede.
Documento montado
RELATÓRIO TRIMESTRAL DO PROGRAMA DE EXPERIMENTAÇÃO Período e maturidade: [TRIMESTRE E ESTÁGIO DE MATURIDADE NAS TRÊS DIMENSÕES] O modelo de maturidade avalia três dimensões de forma INDEPENDENTE. Notas diferentes entre elas não são inconsistência: são o diagnóstico, e o investimento certo é sempre na menor. 1. VELOCITY [VELOCITY: CONCLUÍDOS COM PODER ADEQUADO E INICIADOS SEM CONCLUSÃO] Só conta como concluído o experimento que atingiu o tamanho de amostra planejado. Teste encerrado antes disso não produz resultado neutro: produz ausência de medição. 2. TEMPO DE CICLO E TEMPO DE CONSTRUÇÃO [CYCLE TIME E DEVELOPMENT TIME, COM COMPARAÇÃO AO TRIMESTRE ANTERIOR] Quando a construção passa de metade do ciclo, o gargalo é capacidade de engenharia. É decisão de alocação, e nenhuma melhoria de priorização resolve. 3. TAXA DE ACERTO [TAXA DE ACERTO DO TRIMESTRE E DO ANTERIOR, COM A FAIXA DE REFERÊNCIA] Faixa saudável entre 10% e 40%. Acima de 40%, auditar método antes de reconhecer o resultado: métrica frouxa, parada oportunista e recorte definido depois da leitura são as três causas prováveis. 4. COBERTURA [COBERTURA: SUPERFÍCIES SOB EXPERIMENTAÇÃO E AS EXCLUÍDAS POR DECISÃO] 5. EFEITO VERIFICADO EM PRODUÇÃO [EFEITO VERIFICADO EM PRODUÇÃO, COM MÉTODO DE VERIFICAÇÃO] Este é o único número que reconcilia com o resultado financeiro. A soma dos upliftes projetados dos vencedores NÃO é apresentada neste relatório, por política. 6. OVERRIDES DO TRIMESTRE [OVERRIDES DO TRIMESTRE, COM MOTIVO E DESFECHO OBSERVADO] 7. PEDIDO E CRITÉRIO DE DESCONTINUIDADE [PEDIDO PARA O PRÓXIMO TRIMESTRE E CRITÉRIO DE DESCONTINUIDADE] 8. O QUE ESTE RELATÓRIO NÃO COBRE Não apresenta retorno financeiro agregado do programa sem haircut declarado e sem janela de projeção travada em 6 a 12 meses. Não soma upliftes de testes diferentes como se fossem aditivos. Não atribui ao programa melhorias de receita com múltiplas causas concorrentes no período. Não mede o valor do aprendizado sobre hipóteses descartadas, que é real e não tem método de mensuração defensável disponível. Não avalia o desempenho individual de pessoas do time, que pertence a outro rito e não deve ser inferido de taxa de acerto.
O que você digitar fica salvo neste navegador. Nada é enviado para servidor algum.
Se a figura ultrapassar a área visível, deslize para os lados. Pelo teclado, foque a figura e use as setas.
Duas formas de levar o retorno do programa ao CFO
Soma bruta dos vencedores do ano
Coluna a evitar
- Adiciona os upliftes projetados de todos os testes vencedores como se fossem aditivos
- Assume que o efeito medido persiste indefinidamente, sem decaimento
- Credita ao programa toda a melhora de receita do período, ignorando as demais causas
- Aplica o percentual observado a todo o tráfego futuro, incluindo segmentos não testados
- Não desconta falso positivo, embora a maior parte dos testes não atinja significância
- Desfecho típico: o número não aparece no fechamento, e a credibilidade cai junto com o orçamento seguinte
Conta que sobrevive à reconciliação
Coluna recomendada
- Parte do efeito verificado em produção, com controle retido, e não da projeção do teste
- Trava a projeção em 6 a 12 meses, com decaimento explícito declarado na premissa
- Atribui apenas o que o desenho experimental isola, e nomeia as causas concorrentes do período
- Aplica haircut de 10% a 30% por falso positivo, com o percentual escolhido justificado
- Apresenta faixa, e não ponto, com as premissas escritas ao lado do número
- Desfecho típico: o número é menor, e é o único que continua de pé na conversa seguinte
Estabeleça por escrito que a soma bruta dos upliftes dos vencedores do ano não é apresentada em nenhum documento do programa. A proibição precisa ser de política e não de bom senso, porque a soma bruta é o número mais fácil de produzir, o mais bonito de mostrar e o que o próprio time tem incentivo para levar. Uma vez apresentado, ele vira meta no orçamento seguinte, e o programa passa a ser cobrado por um número que nunca vai aparecer na conciliação contábil.
Verificação rápida
O head de growth apresenta uma taxa de acerto de 52% no trimestre, contra 19% no anterior, e atribui o salto à nova rotina de pesquisa qualitativa antes de cada teste. Qual é a leitura executiva correta?
Pauta da reunião mensal do programa, com quem decide o quê
Abertura: o que a operação reporta
0/4Meio: o que o comitê decide
0/4Fechamento: o que fica registrado
0/4Quando reduzir ou encerrar o programa, decidido antes de haver pressão
| Sinal observado | O que ele geralmente significa | Antes de encerrar, verifique | Decisão recomendada |
|---|---|---|---|
| Velocity em queda por dois trimestres seguidos | Capacidade de engenharia consumida por roadmap, e não escassez de hipóteses. | Se a reserva de sprint acordada foi cumprida e qual proporção do tempo de ciclo está em construção. | Não encerre. Reduza escopo a uma superfície e restabeleça a reserva de engenharia. Encerrar aqui destrói acervo por um problema de alocação. |
| Volume mantido e efeito verificado próximo de zero por um ano | As hipóteses estão em superfícies de baixo valor, ou a métrica de decisão não captura o que o negócio decide. | Se a fila está ordenada por valor recuperável e se a métrica de decisão é a mesma que o negócio usa para decidir. | Redirecione antes de reduzir. Se após dois trimestres de fila reordenada o efeito seguir nulo, reduza para o modelo de ferramenta com responsável nomeado. |
| A superfície principal perdeu volume e não recupera o piso | Mudança estrutural de canal ou de modelo de negócio, e não falha do programa. | Se o piso de 50 conversões semanais foi perdido de forma sustentada e se existe outra superfície acima dele. | Encerre o programa formalmente e migre para pesquisa qualitativa e rollout gradual. Registre a decisão com critério de retomada, para não repetir a avaliação a cada trimestre. |
| Overrides frequentes e resultados que não mudam decisão | O programa perdeu jurisdição: produz evidência que a organização não usa. | Se o patrocinador tem autoridade sobre o roadmap da superfície e se os overrides têm causa repetida. | Suspenda o investimento e resolva a questão de alçada primeiro. Manter o programa nessa configuração é pagar por informação que a casa já decidiu ignorar. |
| Custo do programa crescendo acima do efeito verificado | Escopo ampliado além da capacidade, ou licença fora da proporção de 25% do custo total. | A composição das quatro linhas de custo e se a ampliação de escopo foi decidida ou apenas acumulada. | Reduza escopo antes de reduzir qualidade. Cortar revisão de validade para preservar volume é a economia que devolve o programa ao estágio inicial. |
Estes critérios valem quando escritos antes de existir pressão para aplicá-los. Definidos durante um corte de orçamento, viram justificativa para a decisão que já estava tomada.
As objeções que vêm do board
Qual foi o retorno do programa este ano?
A resposta defensável parte do efeito verificado em produção, com controle retido, e não da soma dos upliftes projetados. Ela vem como faixa, com a janela travada em 6 a 12 meses, decaimento declarado e haircut de 10% a 30% por falso positivo. O número resultante é menor que o da soma bruta e tem uma propriedade que o outro não tem: continua de pé quando o CFO reconcilia com o fechamento contábil.
Nossa taxa de acerto está abaixo da de mercado. O time é ruim?
Depende de qual mercado, e a comparação costuma ser feita com bases não comparáveis. Google e Bing operam entre 10% e 20%; a base da Optimizely registra 12% de experimentos com vencedor. O que precisa ser auditado antes da taxa de acerto é quantos testes concluíram com poder adequado, porque teste sem poder não produz resultado neutro, produz ausência de medição, e ele entra na conta puxando o indicador para baixo sem ter medido nada.
Por que não cobramos o time por número de vencedores?
Porque o comportamento racional diante dessa cobrança não é melhorar as hipóteses: é escolher testes fáceis, afrouxar a métrica e encerrar cedo o que estiver favorável. Nenhuma das três aparece no relatório de vencedores e todas destroem o valor do acervo. As cinco métricas de saúde são cobradas em conjunto justamente para que nenhuma delas possa ser satisfeita isoladamente sem melhorar o programa.
Estamos há três anos no mesmo estágio de maturidade. Isso é fracasso?
É o padrão de mercado, o que não o torna aceitável, e ajuda a calibrar a conversa: por três anos consecutivos a pesquisa de referência registrou pouca mudança nos níveis de maturidade do setor. O diagnóstico útil vem das três notas separadas. Estagnação na dimensão organizacional com avanço na técnica indica que o investimento foi para ferramenta quando o gargalo era alçada, e é o padrão mais caro dos três.
Quando saberemos que é hora de parar de investir?
Quando os critérios escritos antes forem atingidos, e não quando o orçamento apertar. Os quatro sinais são velocity em queda sustentada, efeito verificado próximo de zero com fila já reordenada por valor, perda sustentada do piso de volume na superfície principal, e overrides frequentes indicando que a organização não usa a evidência que compra. Cada um deles tem uma verificação prévia obrigatória, porque três dos quatro têm causa que se corrige sem encerrar o programa.
Glossário rápido
Velocity de programa
Número de experimentos concluídos com poder adequado por período, contando apenas os que atingiram o tamanho de amostra planejado. Referência de crescimento saudável entre 10% e 20% ao ano. Contar execuções interrompidas infla o indicador e esconde ausência de medição.
Coverage
Percentual das superfícies relevantes que estão efetivamente sob experimentação. Cobertura alta com velocity baixa indica escopo declarado maior que a capacidade real, situação em que superfícies formalmente cobertas ficam sem teste algum.
Haircut de projeção
Desconto de 10% a 30% aplicado sobre a projeção agregada de retorno para compensar falso positivo. É correção de programa, distinta do encolhimento por winner's curse, que age sobre a estimativa de cada teste isolado.
Efeito verificado em produção
Ganho medido depois do lançamento, com controle retido por período longo. É o único número do programa que reconcilia com o resultado financeiro, porque mede o que aconteceu e não a soma das projeções apresentadas ao longo do trimestre.
Sabatina interna
Rotina em que a diretoria aplica ao próprio time as mesmas perguntas de auditoria que faria a um fornecedor: denominador, testes sem tamanho de amostra, quem checou validade e quando, taxa de acerto comparada e resultados revertidos.
Marque para as próximas duas semanas uma conversa de trinta minutos com quem lidera o programa e faça as cinco perguntas da sabatina, nesta ordem, anotando as respostas. Se três delas não tiverem resposta imediata, o item de investimento do trimestre não é volume de testes: é a instrumentação de medição do próprio programa, que é mais barata e destrava as outras.
Este módulo está concluído quando, nos próximos trinta dias, você tiver: (1) as três notas de maturidade separadas, com a dimensão mais fraca identificada e um investimento nomeado para ela; (2) as cinco métricas de saúde do programa com meta e sinal de alarme escritos, acordadas antes do início do trimestre; (3) a sabatina aplicada uma vez, com as respostas registradas e as lacunas listadas; (4) o relatório trimestral preenchido no formato fixo, sem nenhuma soma bruta de upliftes; e (5) os critérios de redução e de encerramento do programa escritos e aprovados enquanto não existe pressão de orçamento sobre eles.
Transfira para a sua rotina nesta semana
- Compare taxa de vitória, taxa de aprendizado e taxa de invalidação.
- Reconcilie o efeito do teste com a produção após 30 e 90 dias.
- Pergunte qual decisão ruim o programa impediu.
Perguntas frequentes deste capítulo
Podemos comparar nossa taxa de acerto com a de empresas como Booking.com?
Como avalio se o meu time de experimentação é bom?
Quanto tempo leva para sair de Crawl e chegar a Run?
É aceitável um trimestre inteiro sem nenhum vencedor?
Como incluo no relatório o valor do aprendizado, e não só o do uplift?
Posso amarrar bônus ou OKR do time às métricas de saúde do programa?
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Conexões deste capítulo
Veja o que estudar antes e para onde seguir depois, explore os conceitos e compare abordagens em outros cursos. Sugestões marcadas como “sugerido pelo grafo” vêm dos assuntos em comum, não do índice do curso.
Estude antes
- CursoGoogle Ads 2027sugerido pelo grafo3 capítulos de “CRO: Otimização de Conversão e Experimentação” usam conceitos apresentados em “Google Ads 2027”.
- CursoGEO Universal Frameworksugerido pelo grafo2 capítulos de “CRO: Otimização de Conversão e Experimentação” usam conceitos apresentados em “GEO Universal Framework”.
Conceitos deste capítulo
O mesmo assunto em outros cursos
- Agentes de código para executivosAprovar o piloto só com quatro linhas escritasExaminar conexões de Aprovar o piloto só com quatro linhas escritas
- Autoridade Temática e SEO de EntidadesQuanto do seu tema você já cobre de fatoExaminar conexões de Quanto do seu tema você já cobre de fato
- Do Agile ao Agentic Operating ModelParar de aprovar esforço e passar a aprovar entrega provadaExaminar conexões de Parar de aprovar esforço e passar a aprovar entrega provada
- Motor de crescimento para IAOs primeiros 90 diasExaminar conexões de Os primeiros 90 dias
Leve uma ideia para a prática
Escolha uma atividade no painel e volte a este curso quando quiser.
Atividades e evolução ficam reunidas no painel da sua conta.