Desenhar testes A/B e medir o incremento que a mídia trouxe

Com três hipóteses anotadas na leitura da cadeia, falta provar qual delas é verdade. O relatório do Gerenciador mostra o que aconteceu depois do anúncio. Ele não mostra o que teria acontecido sem o anúncio, e é essa diferença que diz se o dinheiro comprou venda ou só acompanhou uma venda que viria de qualquer jeito.

Decidir sem teste custa de dois jeitos. A conta mantém verba em campanhas que recebem crédito por clientes que já iam comprar, e corta campanhas de descoberta que criam demanda mas raramente recebem o último clique. Os dois erros parecem otimização no relatório do mês e aparecem como margem menor no fechamento do trimestre.

Ao terminar, você escreve um teste com hipótese, controle, métrica e decisão prevista para cada resultado, e sabe quando um teste A/B basta e quando a pergunta pede Conversion Lift, experimento geográfico ou modelo de mix de mídia. O plano de testes da Torra Serrana para o quarto trimestre mostra as três escolhas com número.

Hipótese: uma frase que diz o que muda, em quem e quanto se espera. 'Vídeo de rotina da manhã reduz o custo por assinatura do clube em pelo menos 10 por cento contra o vídeo de origem do café' é hipótese; 'testar vídeos novos' é intenção. A hipótese fixa antes do resultado a métrica que decide, e impede que se escolha depois a coluna que favorece a peça preferida.

Dois tipos de teste cobrem quase tudo o que um gestor pergunta. O criativo compara conceitos, formatos ou mensagens com a mesma configuração. O de configuração compara público, evento de otimização, estrutura ou estratégia de lance com o mesmo criativo. Os dois usam o teste A/B do Gerenciador de Anúncios, que divide o público em grupos sem sobreposição e entrega uma versão a cada grupo.

Comparar anúncios dentro do mesmo conjunto não é teste. Andromeda, o sistema da Meta que seleciona os anúncios candidatos a cada impressão, junto com os modelos de ranqueamento, manda mais verba para a peça que prevê render mais e entrega cada peça a pessoas diferentes. A peça com CPA menor pode ter recebido só o público mais quente. Use essa comparação para gerar hipótese, e o teste A/B para confirmá-la.

Interpretar começa por aceitar três saídas possíveis: tratamento melhor, tratamento pior ou inconclusivo, quando a diferença cabe dentro da oscilação natural. Amostra pequena e duração curta empurram para o inconclusivo, e uma semana só mistura dias úteis com fim de semana. Um resultado inconclusivo é resposta útil: a mudança, se existe, é pequena demais para mexer na verba.

Incrementalidade é a outra pergunta, e a mais cara de responder: quantas vendas existiram só por causa da mídia. Conversion Lift, o experimento da Meta com grupo exposto e grupo de controle, mede a diferença de conversões entre quem podia ver o anúncio e quem foi impedido. Brand Lift faz o mesmo com pesquisa de lembrança, favorabilidade, consideração e intenção. Os dois ficam em Experimentos, no Gerenciador.

Os requisitos mínimos de verba e de volume variam por mercado e estão na Central de Ajuda da Meta; confira no Gerenciador se a sua conta já recebeu a opção antes de planejar um estudo. É a medida mais próxima de causa que a própria plataforma oferece, e por isso vale reservá-la para decisões grandes, como manter ou cortar uma frente inteira.

Quando o experimento da plataforma não cabe, o teste geográfico resolve. GeoLift, método de código aberto da Meta, compara regiões onde a mídia rodou com um controle sintético: uma combinação de regiões sem mídia que imita o comportamento das tratadas antes do teste. Ele atende quem vende em muitas praças e registra vendas por região na loja ou no CRM, sem depender de Pixel nem de atribuição.

Entre a atribuição comum e o experimento existe a atribuição incremental, uma configuração que estima quais conversões o anúncio causou. A Meta anunciou a otimização para conversões incrementais em agosto de 2024, e a opção chegou amplamente ao Gerenciador a partir de abril de 2025. Em janeiro de 2026 a empresa disse que o modelo novo gerou 24 por cento mais conversões incrementais que o padrão, segundo dado interno.

Essa estimativa continua sendo um modelo, e não um experimento. Num teste publicado em abril de 2025, a agência Seer Interactive aplicou a configuração em seis contas com US$ 1,05 milhão de gasto. A Meta classificou 87 por cento das conversões como incrementais, contra 67 por cento no GA4. A diferença não prova erro de nenhum lado e mostra por que vale triangular.

Triangular é ler a mesma pergunta por três instrumentos. A atribuição diz quem tocou a venda. O experimento diz quanto a mídia causou num período. O MMM, modelo de mix de mídia que estima o efeito de cada canal pela série de gasto e venda, diz como repartir a verba no ano. Robyn é o MMM de código aberto da Meta, em R e em Python, este ainda descrito como beta.

Armadilha comum: encerrar o teste no dia em que a versão preferida passa à frente. O processo que olha o placar todo dia acaba parando na primeira oscilação favorável, e a decisão sai do ruído. Duração e volume ficam escritos antes de ligar, e o teste só termina quando os dois forem cumpridos.

A Torra Serrana transformou as hipóteses de agosto num plano de três leituras para o quarto trimestre, cada uma com a decisão escrita antes de começar. Marina fixou duas regras da casa: nenhum teste de compra com menos de 100 conversões por grupo ou menos de três semanas, e resultado inconclusivo vale como manter o que já existe.

O teste do clube terminou em quatro semanas com 112 e 118 assinaturas por grupo. O vídeo de rotina da manhã fechou o custo por assinatura em R$ 49 contra R$ 58 do vídeo de origem, 16 por cento abaixo, e virou o conceito principal da frente. A decisão já estava escrita, e ninguém precisou de reunião para cumpri-la.

No GeoLift, a frente de reconhecimento e criadores ficou desligada em 12 das 36 cidades onde a loja mais vende, por quatro semanas. Os pedidos pagos nessas cidades ficaram 9 por cento abaixo do controle sintético, com intervalo entre 4 e 14 por cento. Projetado para a loja inteira, isso dá perto de 135 pedidos por mês e R$ 7.200 de margem contra R$ 6.750 de mídia, antes de contar assinatura e recompra.

Na campanha de vendas, a coluna de comparação mostrou 80 por cento das compras atribuídas como incrementais. Marina refez a conta: o CPA de R$ 47 sobre compras atribuídas vira perto de R$ 59 sobre compras incrementais, acima dos R$ 53 de margem do primeiro pedido e coberto pela recompra de quem vira cliente. A parcela passou do gatilho de 70 por cento, e o teto de escala ficou como estava.

A Torra Serrana entrou no quarto trimestre sabendo três coisas que o relatório sozinho não dizia. Sabia qual conceito vende assinatura mais barato, que a frente de reconhecimento paga a própria mídia e que um quinto das compras atribuídas viria sem anúncio. Cada decisão saiu de um resultado lido contra uma regra escrita antes.

Guia prático de configuração. Todos os testes da Meta ficam em Experimentos, no menu de ferramentas do Gerenciador. A tabela abaixo, reproduzida da Central de Ajuda, resume a diferença entre o teste A/B, aberto a todos, e os dois estudos com grupo de controle.

Resultado 'semelhante entre grupos' num Conversion Lift é informação, não defeito: diz que a verba testada não mudou o comportamento de compra naquele período. Para desenhar hipóteses de teste fora da Meta, na página e na oferta, o curso de CRO e experimentação usa o mesmo raciocínio de variável única e decisão escrita antes.

Calcule o CPA incremental da sua campanha principal: o CPA atribuído dividido pela parcela incremental que a coluna de comparação mostrar. Se o número passar da margem de contribuição por pedido somada à recompra esperada, o capítulo seguinte mostra como escalar para a Black Friday sem ultrapassar esse teto.