Desenhar testes A/B e medir o incremento que a mídia trouxe

Com três hipóteses anotadas na leitura da cadeia, falta provar qual delas é verdade. O relatório do Gerenciador mostra o que aconteceu depois do anúncio. Ele não mostra o que teria acontecido sem o anúncio, e é essa diferença que diz se o dinheiro comprou venda ou só acompanhou uma venda que viria de qualquer jeito.

Decidir sem teste custa de dois jeitos. A conta mantém verba em campanhas que recebem crédito por clientes que já iam comprar, e corta campanhas de descoberta que criam demanda mas raramente recebem o último clique. Os dois erros parecem otimização no relatório do mês e aparecem como margem menor no fechamento do trimestre.

Ao terminar, você escreve um teste com hipótese, controle, métrica e decisão prevista para cada resultado, e sabe quando um teste A/B basta e quando a pergunta pede Conversion Lift, experimento geográfico ou modelo de mix de mídia. O plano de testes da Torra Serrana para o quarto trimestre mostra as três escolhas com número.

Hipótese: uma frase que diz o que muda, em quem e quanto se espera. 'Vídeo de rotina da manhã reduz o custo por assinatura do clube em pelo menos 10 por cento contra o vídeo de origem do café' é hipótese; 'testar vídeos novos' é intenção. A hipótese fixa antes do resultado a métrica que decide, e impede que se escolha depois a coluna que favorece a peça preferida.

Dois tipos de teste cobrem quase tudo o que um gestor pergunta. O criativo compara conceitos, formatos ou mensagens com a mesma configuração. O de configuração compara público, evento de otimização, estrutura ou estratégia de lance com o mesmo criativo. Os dois usam o teste A/B do Gerenciador de Anúncios, que divide o público em grupos sem sobreposição e entrega uma versão a cada grupo.

Comparar anúncios dentro do mesmo conjunto não é teste. Andromeda, o sistema da Meta que seleciona os anúncios candidatos a cada impressão, junto com os modelos de ranqueamento, manda mais verba para a peça que prevê render mais e entrega cada peça a pessoas diferentes. A peça com CPA menor pode ter recebido só o público mais quente. Use essa comparação para gerar hipótese, e o teste A/B para confirmá-la.

Interpretar começa por aceitar três saídas possíveis: tratamento melhor, tratamento pior ou inconclusivo, quando a diferença cabe dentro da oscilação natural. Amostra pequena e duração curta empurram para o inconclusivo, e uma semana só mistura dias úteis com fim de semana. Um resultado inconclusivo é resposta útil: a mudança, se existe, é pequena demais para mexer na verba.

Incrementalidade é a outra pergunta, e a mais cara de responder: quantas vendas existiram só por causa da mídia. Conversion Lift, o experimento da Meta com grupo exposto e grupo de controle, mede a diferença de conversões entre quem podia ver o anúncio e quem foi impedido. Brand Lift faz o mesmo com pesquisa de lembrança, favorabilidade, consideração e intenção. Os dois ficam em Experimentos, no Gerenciador.

Os requisitos mínimos de verba e de volume variam por mercado e estão na Central de Ajuda da Meta; confira no Gerenciador se a sua conta já recebeu a opção antes de planejar um estudo. É a medida mais próxima de causa que a própria plataforma oferece, e por isso vale reservá-la para decisões grandes, como manter ou cortar uma frente inteira.

Quando o experimento da plataforma não cabe, o teste geográfico resolve. GeoLift, método de código aberto da Meta, compara regiões onde a mídia rodou com um controle sintético: uma combinação de regiões sem mídia que imita o comportamento das tratadas antes do teste. Ele atende quem vende em muitas praças e registra vendas por região na loja ou no CRM, sem depender de Pixel nem de atribuição.

Entre a atribuição comum e o experimento existe a atribuição incremental, uma configuração que estima quais conversões o anúncio causou. A Meta anunciou a otimização para conversões incrementais em agosto de 2024, e a opção chegou amplamente ao Gerenciador a partir de abril de 2025. Em janeiro de 2026 a empresa disse que o modelo novo gerou 24 por cento mais conversões incrementais que o padrão, segundo dado interno.

Essa estimativa continua sendo um modelo, e não um experimento. Num teste publicado em abril de 2025, a agência Seer Interactive aplicou a configuração em seis contas com US$ 1,05 milhão de gasto. A Meta classificou 87 por cento das conversões como incrementais, contra 67 por cento no GA4. A diferença não prova erro de nenhum lado e mostra por que vale triangular.

Triangular é ler a mesma pergunta por três instrumentos. A atribuição diz quem tocou a venda. O experimento diz quanto a mídia causou num período. O MMM, modelo de mix de mídia que estima o efeito de cada canal pela série de gasto e venda, diz como repartir a verba no ano. Robyn é o MMM de código aberto da Meta, em R e em Python, este ainda descrito como beta.

Armadilha comum: encerrar o teste no dia em que a versão preferida passa à frente. O processo que olha o placar todo dia acaba parando na primeira oscilação favorável, e a decisão sai do ruído. Duração e volume ficam escritos antes de ligar, e o teste só termina quando os dois forem cumpridos.

A Torra Serrana transformou as hipóteses de agosto num plano de três leituras para o quarto trimestre, cada uma com a decisão escrita antes de começar. Marina fixou duas regras da casa: nenhum teste de compra com menos de 100 conversões por grupo ou menos de três semanas, e resultado inconclusivo vale como manter o que já existe.

O teste do clube terminou em quatro semanas com 112 e 118 assinaturas por grupo. O vídeo de rotina da manhã fechou o custo por assinatura em R$ 49 contra R$ 58 do vídeo de origem, 16 por cento abaixo, e virou o conceito principal da frente. A decisão já estava escrita, e ninguém precisou de reunião para cumpri-la.

No GeoLift, a frente de reconhecimento e criadores ficou desligada em 12 das 36 cidades onde a loja mais vende, por quatro semanas. Os pedidos pagos nessas cidades ficaram 9 por cento abaixo do controle sintético, com intervalo entre 4 e 14 por cento. Projetado para a loja inteira, isso dá perto de 135 pedidos por mês e R$ 7.200 de margem contra R$ 6.750 de mídia, antes de contar assinatura e recompra.

Na campanha de vendas, a coluna de comparação mostrou 80 por cento das compras atribuídas como incrementais. Marina refez a conta: o CPA de R$ 47 sobre compras atribuídas vira perto de R$ 59 sobre compras incrementais, acima dos R$ 53 de margem do primeiro pedido e coberto pela recompra de quem vira cliente. A parcela passou do gatilho de 70 por cento, e o teto de escala ficou como estava.

A Torra Serrana entrou no quarto trimestre sabendo três coisas que o relatório sozinho não dizia. Sabia qual conceito vende assinatura mais barato, que a frente de reconhecimento paga a própria mídia e que um quinto das compras atribuídas viria sem anúncio. Cada decisão saiu de um resultado lido contra uma regra escrita antes.

Calcule o CPA incremental da sua campanha principal: o CPA atribuído dividido pela parcela incremental que a coluna de comparação mostrar. Se o número passar da margem de contribuição por pedido somada à recompra esperada, o capítulo seguinte mostra como escalar para a Black Friday sem ultrapassar esse teto.