Desenhar experimentos e decidir escalar, manter, ajustar ou pausar

Com a rotina nomeando o diagnóstico, a ação vira pergunta: o que acontece se eu mudar isto? A maioria das contas responde mudando e olhando o painel na semana seguinte, o que mistura o efeito da mudança com sazonalidade, concorrência e o atraso da conversão. Sem controle, a semana boa vira mérito da mudança e a semana ruim vira azar.

O experimento separa as duas coisas. Ele divide o tráfego ou as regiões, mantém tudo igual num lado e muda uma variável no outro, e compara. A ferramenta de experimentos do Google Ads faz a divisão dentro da conta, e o geoexperimento do capítulo anterior faz por cidade. O que os dois exigem é uma hipótese escrita antes, com o critério de decisão fechado.

Ao terminar, a Aurora Casa tem quatro experimentos fechados: um de AI Max, um de Performance Max, um holdout de Demand Gen e um geoexperimento de Pesquisa sem marca. Tem também uma matriz com seis saídas possíveis para cada resultado, inclusive a mais honesta: encerrar sem conclusão.

A hipótese tem cinco partes, e escrever as cinco leva dez minutos que evitam um mês perdido. O problema é o diagnóstico da rotina. A variável é a única coisa que muda. A métrica principal é a que decide, quase sempre CPA ou ROAS com um piso de volume. A métrica secundária vigia efeito colateral, como parcela de impressões ou taxa de lead qualificado. O critério é o número que separa vitória de empate, escrito antes de ver qualquer dado.

Os experimentos de Pesquisa testam correspondência ampla, estratégia de lance, AI Max, criativo, página e orçamento. O AI Max, a camada de IA da Pesquisa que expande termos, texto e URL, é o mais pedido em 2026 porque a migração de DSA acontece em fevereiro de 2027, e o Google recomenda o teste lado a lado antes disso. O experimento certo divide a campanha ao meio por quatro semanas, com AI Max ligado só num braço, e mede conversões a CPA parecido.

O Google publicou, com o lançamento de maio de 2025, 14 por cento mais conversões ou valor de conversão a CPA ou ROAS similar para quem ativou o AI Max, dado interno do Google. Em abril de 2026 somou 7 por cento a mais para quem usa o conjunto completo em vez de só a correspondência de termos. Esses números são a expectativa de entrada, nunca o resultado da sua conta; o experimento existe para descobrir o seu.

Os experimentos de Performance Max têm um cuidado a mais: a campanha aprende com a conta inteira, e mudar estrutura, feed ou recursos no meio do teste contamina os dois braços. A expansão de URL é o teste mais barato, porque a ferramenta mostra quais páginas a expansão escolheu e permite remover as erradas. O de novos clientes é o mais valioso para quem tem base grande, porque separa venda nova de venda que voltaria de qualquer jeito.

O teste de incremento do Performance Max responde à pergunta que todo diretor faz: se eu desligar, o que perco? A ferramenta de experimentos do Google Ads divide o tráfego com e sem a campanha e compara as conversões totais da conta, não só as da campanha. É o teste que mostra quanto do Performance Max era venda que a Pesquisa de marca fecharia sozinha.

Os testes de mídia ficam fora da ferramenta. O holdout guarda uma fatia de público sem anúncio e compara com quem viu. O geoexperimento faz por cidade. O controle sintético monta uma cidade fictícia a partir de várias reais quando nenhuma se parece com a tratada. A comparação de antes e depois é a mais fraca das quatro, porque não tem controle e confunde sazonalidade com efeito; só vale com uma série longa e um período calmo.

A sazonalidade é a inimiga de todos eles. Um teste que começa em outubro e termina em novembro compara semanas normais com a Black Friday, e o braço tratado ganha por calendário, não por mérito. A regra da Aurora passou a ser não abrir experimento que atravesse promoção, feriado prolongado ou troca de coleção, e registrar no painel toda mudança de fora da conta.

Decidir vem depois, com a matriz fechada antes. Escalar é para vitória clara com volume; manter é para empate com custo igual; ajustar é para vitória na métrica principal com dano na secundária. Pausar é para derrota clara; repetir é para resultado promissor sem volume; encerrar inconclusivo é para quando o teste foi contaminado ou nunca teve conversões suficientes. As seis saídas cabem numa tabela, e quem escolhe é o critério escrito, nunca a vontade.

Armadilha comum: parar o experimento no dia em que ele fica favorável. Um teste de conversão ganha e perde a cada dia enquanto o volume é pequeno, e quem olha todo dia encontra o dia da vitória e declara vencedor. A duração e o volume mínimo fazem parte do critério escrito, e o teste termina na data, não no melhor dia.

No cenário composto do curso, a Aurora Casa rodou quatro experimentos entre julho e setembro. O de AI Max dividiu a campanha de Pesquisa sem marca de decoração ao meio por quatro semanas. O braço com AI Max entregou 11 por cento mais conversões com CPA 4 por cento maior, R$ 187 contra R$ 180, e 26 por cento dos termos vieram de consultas que a campanha antiga nunca comprou. Decisão: escalar, com três páginas de promoção encerrada excluídas da expansão de URL.

O de Performance Max testou a expansão de URL por quatro semanas. O braço com expansão ligada trouxe 6 por cento mais pedidos e mandou 9 por cento dos cliques para páginas de blog sem produto. Decisão: ajustar, com o blog excluído e um novo teste de quatro semanas. O holdout de Demand Gen, com 10 por cento do público sem anúncio por seis semanas, mostrou 8 por cento mais pesquisas pela marca em quem viu o vídeo do showroom. Decisão: manter.

Já o geoexperimento repetiu o desenho do capítulo 20 com a Pesquisa sem marca de planejados, agora reforçada em Curitiba com os R$ 2.500 por mês tirados da marca. Curitiba fechou 36 contratos em seis semanas contra 31 previstos: cinco contratos incrementais a um custo adicional de R$ 3.750, R$ 750 por contrato de R$ 28.000. Decisão: escalar, e o teste seguinte já está na fila para Londrina.

No fim do trimestre, a Aurora tinha dois escalados, um ajustado e um mantido, nenhum inconclusivo. A divisão do orçamento saiu de 55, 30 e 15 por cento para 52 por cento em Pesquisa, 33 em Performance Max e 15 em Demand Gen, com a Pesquisa de marca menor e a sem marca maior dentro da mesma fatia. O CPA médio de lead fechou em R$ 226 e o ROAS do e-commerce em 4,3.

Escreva a hipótese do primeiro experimento com as cinco partes e marque a data de término antes de criá-lo na ferramenta. O critério de acerto é um só: no dia do término, a decisão sai da matriz sem que ninguém precise discutir. A trilha seguinte mostra como delegar parte dessa rotina ao Ask Advisor, aos scripts e à API, sempre com uma pessoa aprovando.