Escalar sem se enganar: elasticidade e incrementalidade

A decisão que este capítulo destrava

O painel está verde. O gasto subiu 40% no mês, a aquisição subiu 38% e todo mundo na reunião concluiu que o motor está funcionando. A decisão que você precisa tomar é se coloca mais dinheiro na semana que vem, e a pergunta que decide isso não aparece em nenhuma coluna do painel: quanto daquele gasto adicional trouxe alguém que não viria de qualquer jeito.

O custo de errar aqui é diferente do custo de errar em criativo ou em página de chegada. Um criativo ruim custa o que ele consumiu. Um gasto não incremental custa o valor inteiro do orçamento adicional, todo mês e por tempo indefinido, e vem embrulhado em um relatório que diz que deu certo. Você paga a plataforma para entregar anúncio a quem já ia comprar, registra a compra como resultado da campanha e escala aquilo no mês seguinte, porque o painel confirmou.

Na cena inventada da Canteiro, a Dani chegou nesse ponto no quarto mês. O custo por primeiro diário publicado tinha caído de R$ 226 para R$ 143, o Rafael pediu para dobrar o orçamento e ela não tinha como responder se dobrar traria o dobro, metade ou quase nada. Este capítulo é sobre construir essa resposta antes de precisar dela.

Comece pelo gráfico que quase ninguém desenha

Duas linhas no mesmo eixo de tempo: gasto total de mídia por semana e aquisição do seu evento de conversão por semana. Nada mais. Sem separação por canal, sem atribuição, sem modelo. É deliberadamente grosseiro, e é grosseiro porque o objetivo é ver o formato da relação, sem medir cada canal.

O formato importa mais do que o nível. Se as duas linhas sobem juntas na mesma proporção, você está numa faixa em que o dinheiro ainda compra crescimento linear. Se o gasto sobe 50% e a aquisição sobe 12%, você já passou por um cotovelo. Essa razão entre a variação de um e a variação do outro é o que se chama elasticidade, e ela muda conforme você escala: o mesmo canal que devolvia proporcional em R$ 40 mil por mês pode devolver um terço disso em R$ 200 mil.

O intervalo entre clique e conversão achata a curva de mentira

O detalhe que estraga a leitura de quase todo mundo é o intervalo entre o clique e a conversão paga. Na cena inventada da Canteiro esse intervalo tem mediana de 19 dias: o engenheiro clica no anúncio, testa o produto na obra, mostra para o coordenador e a construtora assina três semanas depois. Se a Dani traçar gasto da semana 12 contra receita da semana 12, ela está comparando o gasto de hoje com a conversão de um gasto que aconteceu antes do carnaval. A curva sai achatada, ela conclui que o canal saturou e desliga um canal saudável.

O conserto é chato e obrigatório: desloque a série de aquisição pela mediana do seu próprio intervalo antes de comparar. E aceite que, num teste de escala, as primeiras duas ou três semanas de dados não significam nada, porque a conversão paga daquele dinheiro ainda está no meio do caminho.

A pergunta que muda tudo, e que precisa ser feita cedo

Quando o motor está funcionando, girar o botão é fácil e gostoso. Você sobe o orçamento diário, a plataforma gasta, o volume de conversão sobe, o custo por conversão fica parecido e ninguém tem motivo para desconfiar. É assim que se chega ao ponto em que o botão está em 13 numa escala de dez e o gasto extra não fez diferença nenhuma: você transferiu dinheiro para a Meta e para o Google em troca de clientes que já estavam vindo.

O mecanismo que produz conversão barata e cliente nenhum

O mecanismo pelo qual isso acontece é bem conhecido de quem opera. As plataformas otimizam para encontrar quem tem maior probabilidade de converter. Quem tem maior probabilidade de converter inclui, por construção, quem já ouviu falar de você, quem já testou, quem já está no meio da decisão e quem digitou o seu nome na busca ontem. Servir anúncio para essas pessoas produz conversão barata e atribuída, e produz pouquíssimo cliente novo. Quanto mais você escala, maior a fatia do orçamento que vai para esse público, porque o público que ainda não conhece você é mais caro de convencer.

A consequência prática é que a pergunta da incrementalidade precisa ser feita cedo, enquanto o orçamento é pequeno e a resposta é barata de descobrir. Quem só pergunta isso quando o investimento passa de um milhão por mês descobre a resposta com um milhão por mês de exposição ao erro. O momento certo de montar o primeiro teste é aquele em que você atinge os requisitos mínimos para rodá-lo, antes de alguém no conselho pedir.

Como a Meta mede isso, e o detalhe que quase todo texto de agência erra

A ferramenta se chama Conversion Lift e a documentação da Meta descreve o desenho em duas frases muito simples. O grupo de teste, na definição literal dela, são as pessoas que têm a oportunidade de ver os seus anúncios. O grupo de controle são as pessoas que não veem os seus anúncios. A diferença de conversão entre os dois grupos é a parcela causada pelo anúncio.

Até aí é o que todo mundo repete. O que quase todo mundo erra vem na frase seguinte, e é a coisa mais importante deste capítulo. A Meta escreve que o Conversion Lift usa uma abordagem de intenção de tratar, em que o público do grupo de teste é elegível a ver um anúncio e o público do grupo de controle não é.

A palavra é elegível. Guarde essa palavra. A comparação é entre quem podia ver o anúncio e quem não podia. Parece um detalhe técnico e é a diferença entre um número honesto e um número enviesado.

Por que elegível vale mais que exposto

O motivo é o seguinte. Se você comparasse quem viu contra quem não viu, o grupo dos que viram já seria diferente do outro antes de qualquer anúncio, porque a própria plataforma escolheu mostrar o anúncio para quem tinha maior probabilidade de converter. Você estaria medindo a competência do algoritmo em prever compradores e chamando isso de efeito da campanha. Ao comparar elegíveis contra não elegíveis, os dois grupos foram sorteados antes de o algoritmo escolher qualquer pessoa, e continuam comparáveis. Dentro do grupo elegível haverá gente que não viu anúncio nenhum, e ela fica no cálculo mesmo assim. Isso derruba o efeito medido para baixo, e é justamente por isso que ele é confiável.

Quando alguém apresentar um teste de incrementalidade e disser que comparou quem viu o anúncio com quem não viu, você já sabe o que perguntar: se o grupo de controle foi sorteado antes ou depois de a plataforma escolher quem receberia a entrega.

O que invalida um teste desses antes de ele começar

A Meta publica, em página servida em português, um aviso que parece burocrático e é o que mais estraga teste na vida real: não use o estudo se você tiver outras campanhas ativas para a mesma marca ou produto, porque veicular mais de uma campanha pode fazer com que pessoas do grupo de controle vejam um anúncio de outra campanha, o que distorce os resultados.

A lógica é direta. O desenho depende de o grupo de controle não ver anúncio da sua marca. Se o retargeting continuar rodando, se o time de produto subir uma campanha de lançamento, se alguém ligar um teste de criativo em paralelo, parte do grupo de controle passa a ver anúncio seu. Os dois grupos deixam de ser diferentes na única coisa que deveria diferenciá-los, e o número que sai no fim mede uma mistura que ninguém consegue interpretar.

O teste de incrementalidade é evento de calendário

Na prática, isso transforma o teste de incrementalidade em evento de calendário. Alguém precisa saber, na semana em que o teste roda, tudo o que está no ar com a marca. Em empresa pequena isso é fácil e ninguém faz. Em empresa média isso é difícil, e é onde o teste morre.

A versão da Dani, na cena inventada da Canteiro, foi congelar por 21 dias qualquer campanha que mencionasse o nome do produto, incluindo o retargeting de quem tinha baixado o material da obra. O crescimento do mês caiu um pouco e a resposta valeu o preço. Vinte e um dias porque o intervalo mediano entre clique e assinatura paga é de 19 dias, e um teste mais curto que o próprio ciclo de conversão mede metade da história.

Ir até quebrar de propósito: por que a pressa justifica o método

Existe uma tática de operador que soa irresponsável e tem uma justificativa sólida. Em vez de subir o orçamento 20% por mês e observar com calma, você multiplica o orçamento de um mês para o outro, vai o mais forte que consegue, observa a coisa explodir, entende onde e como explodiu, recua e usa aquilo como informação. Foi o que o operador entrevistado descreve ter feito na Wispr Flow, multiplicando o orçamento por cinco de um mês para o outro. É relato de operação, sem método publicado por trás, e precisa ser lido assim.

A justificativa dele é de aritmética de tempo, e é boa. Descobrir o teto aos poucos leva seis meses. Quem precisa crescer de 30% a 40% ao mês não tem seis meses de calma disponíveis, porque em seis meses a decisão que dependia dessa informação já foi tomada errada quatro vezes. Gastar um mês de orçamento para comprar a informação inteira sai mais barato que gastar seis meses comprando um pedaço dela por vez.

A segunda metade da tática é a que dá o retorno

O que quase ninguém conta é que quebrar sem recuar é só queimar dinheiro. O ciclo completo tem quatro tempos: multiplique, observe onde quebrou e por qual mecanismo, recue para um patamar sustentável e reescale devagar usando o que você aprendeu. O objetivo do estouro é produzir um mapa de onde estão os limites de cada canal, de cada geografia e de cada formato, para que a subida seguinte seja repetível.

E existe uma condição de entrada que precisa estar escrita antes: quanto dinheiro você está disposto a perder nesse mês. Sem esse número definido antes, a tática vira aposta, porque no meio do mês o painel vai ficar feio e alguém vai querer parar ou dobrar por instinto.

Desligar na hora contra dar tempo: o critério que evita as duas covardias

As duas decisões erradas aqui têm o mesmo formato e sinais opostos. Uma é desligar tudo na primeira semana ruim, porque o custo por conversão assustou. A outra é deixar rodando por três meses uma coisa que nunca teve chance, porque desligar dá trabalho e admitir erro dá mais.

O critério que separa as duas cabe em uma pergunta: se existe algum mundo em que isso faz sentido. Quando não existe, se o público está errado, se o produto não atende aquela geografia, se a página de chegada promete o que o produto não faz, desligue já. Nenhuma quantidade de tempo conserta um erro de premissa, e cada semana adicional é dinheiro comprando a confirmação de algo que você já sabe.

Quando dar tempo é a decisão certa

Se existe esse mundo, e o que você tem são indicadores ruins dentro de uma hipótese razoável, dê tempo. Mil coisas compõem o resultado: o criativo, o texto do anúncio, a velocidade da página, a primeira tela do produto, o cadastro. Um resultado ruim é a soma de todas elas, e desligar antes de mexer em cada uma joga fora a hipótese inteira por causa da mais fraca.

A operacionalização disso é escrever os dois critérios antes de subir a campanha. O critério de morte súbita: qual observação faz eu desligar em 48 horas, sem discussão. E o critério de prazo: qual é a data em que eu decido, e qual número precisa estar em qual patamar naquela data. Escritos antes, os dois protegem você do seu próprio otimismo e do seu próprio susto.

Por que quem entende disso é raro, e o que isso significa para você

O mercado forma especialistas de canal. Alguém muito bom em Meta, alguém muito bom em Google, alguém muito bom em ciclo de vida. Cada um desses profissionais olha o próprio painel, e cada painel foi construído para atribuir a si mesmo o máximo possível de crédito. Somando os relatórios de três canais você chega, com frequência, a mais conversões do que a empresa teve no total.

O que falta é alguém sentado acima do conjunto, capaz de ler a inter-relação entre mídia paga, patrocínio, podcast e imprensa. Essa pessoa é rara porque a habilidade é estranha ao formato de carreira do setor: ela exige saber executar em pelo menos um canal, para não ser enganada por quem executa, e exige recusar a especialização profunda em um só, para conseguir enxergar o sistema.

O que a leitura do conjunto enxerga, com exemplo

O exemplo concreto do que essa leitura enxerga: um patrocínio de podcast que roda em março não gera clique atribuído quase nenhum, e faz a busca por marca subir em abril. Se o painel do Google mostra a busca por marca convertendo barato, o especialista de busca conclui que o canal dele está imprimindo dinheiro e pede mais orçamento. Quem senta acima vê que o podcast criou a demanda e a busca por marca apenas a colheu, e que aumentar o orçamento da busca por marca não vai criar mais demanda nenhuma.

Para você que está começando, isso tem uma tradução prática: a habilidade escassa que vale a pena construir é a de ler o conjunto, e ela se constrói perguntando, a cada resultado bom, qual outra coisa aconteceu naquela semana.

O modelo não substitui o experimento, e as duas plataformas dizem isso por escrito

Quando o investimento cresce, aparece a promessa do modelo de mix de mídia, que estima a contribuição de cada canal a partir do histórico. É uma ferramenta legítima e é onde mora a confusão mais cara do setor, porque muita gente compra um modelo esperando não precisar mais rodar experimento.

A documentação do Meridian, o modelo aberto do Google, resolve a questão em duas frases. A primeira define o que é calibração: o processo de usar resultados de experimento e outro conhecimento de domínio para definir as expectativas do modelo por canal. A segunda é a que fecha o argumento: experimentos de incrementalidade são talvez a base mais forte para formular essa intuição, embora traduzir resultado de experimento em expectativa do modelo não seja fórmula precisa.

O encadeamento que decide a sua ordem de trabalho

Leia de novo o encadeamento. O modelo precisa de expectativas iniciais por canal. Essas expectativas vêm de experimento. O Meta Robyn segue a mesma lógica no lado dele, calibrando por experimento com uma métrica própria de desvio em relação ao teste. As duas famílias de ferramenta convergem no mesmo desenho: o experimento é a fonte causal e o modelo se ancora nele. Nenhuma das duas afirma que o modelo substitui o experimento. Ambas afirmam o contrário.

A consequência para a sua ordem de trabalho é direta. Rodar o experimento primeiro e o modelo depois é a sequência que a documentação sustenta. Comprar o modelo antes de ter experimento nenhum produz um sistema que estima com confiança números que ninguém ancorou em nada.

Os dois papers, e a citação mal montada que circula sobre eles

A base metodológica dos experimentos geográficos tem endereço. O trabalho de referência sobre medir efeito de anúncio com experimentos geográficos é de Jon Vaver e Jim Koehler, de 2011. A abordagem que trata o mesmo problema com regressão temporal veio depois, em 2017, e é de Jouni Kerman, Peng Wang e Jon Vaver.

Atribuir o segundo trabalho a Vaver e Koehler é erro corrente, e vale a pena olhar para ele com atenção, porque é o formato de defeito mais difícil de pegar em uma revisão. Ninguém inventou um paper. Os dois trabalhos existem, os dois são do mesmo grupo, um dos autores se repete e o assunto é adjacente. O que está errado é o casamento entre a afirmação e a autoria, e esse é exatamente o defeito que este curso ensina a evitar: citação montada sobre fonte verdadeira.

O teste que pega a citação montada

O teste que pega isso é chato e barato. Antes de escrever o nome de alguém ao lado de uma afirmação, abra a publicação e confira a lista de autores. Quem repete de segunda mão herda o erro e acrescenta autoridade a ele, porque cada repetição faz o erro parecer mais estabelecido sem que ninguém tenha conferido nada.

A outra divergência que este capítulo precisa expor: a faixa de 35% a 45% de orgânico

O operador entrevistado afirma que um ponto de equilíbrio saudável é ter de 35% a 45% da aquisição vindo de orgânico e boca a boca, e que se você chega a uma receita relevante, desliga o pago e o crescimento cai a zero, você tem outro problema.

A segunda metade dessa afirmação é sólida e não depende de número nenhum. A primeira metade não tem benchmark publicado. As casas de benchmark do setor publicam gasto de vendas e de marketing sobre receita, eficiência de aquisição e tempo de recuperação do custo de aquisição. Elas não publicam mistura de canal, porque mistura de canal depende do modelo de negócio, do preço, do ciclo de venda e da categoria, o que torna a comparação entre empresas pouco informativa. Trate os 35% a 45% como leitura de operador experiente, com a autoria à mostra, em vez de faixa de referência de mercado.

O teste que substitui a proporção, e é melhor que ela

Existe um teste que substitui o número, e ele é melhor que o número seria. Em vez de perseguir uma proporção, reduza o investimento de propósito e meça a queda. Corte 30% do orçamento de mídia por um período maior que o seu intervalo entre clique e conversão paga, e observe o que acontece com a aquisição total. Se a aquisição cai proporcionalmente ao corte, você está inteiramente pendurado no pago. Se cai bem menos do que o corte, existe uma base de demanda que continua chegando sem anúncio, e é essa base que você queria medir.

A vantagem desse teste sobre a proporção é que ele mede a sua operação em vez de comparar você a uma média de empresas que não são a sua. E a redução deliberada tem um segundo uso: ela remede a elasticidade na direção contrária, o que quase ninguém faz. Toda a sua curva foi construída subindo. Descer mostra se ela é a mesma nos dois sentidos.

Quatro erros que aparecem sempre nesta parte do trabalho

Os quatro têm o mesmo formato: um sintoma que parece dizer uma coisa, uma causa que diz outra e uma saída que custa pouco quando você a conhece antes. Deslize os cartões abaixo comparando sintoma, causa e saída na mesma ordem.

De volta à reunião do começo

O painel verde continua verde e a pergunta do Rafael continua na mesa. A diferença é que agora existe um caminho para respondê-la, e ele não passa por opinião.

Primeiro você monta a curva, com o intervalo entre clique e conversão paga descontado, e olha o formato dela. Depois, se precisa da informação inteira rápido, você compra o mapa dos limites com um mês de estouro deliberado, com o teto de perda escrito antes, e recua abrindo o resultado por canal em vez de por média. Em paralelo, assim que a operação atinge os requisitos publicados, você desenha o teste de incrementalidade com grupos sorteados por elegibilidade e com o calendário limpo na janela. E quando alguém quiser o modelo de mix de mídia, você já tem o resultado de experimento que dá âncora a ele.

Na cena inventada da Canteiro, a resposta que a Dani levou para a reunião seguinte foi mais útil que um sim ou um não ao dobro de orçamento: existe espaço para escalar o vídeo e existe um teto conhecido na busca sem marca, e a fatia do resultado que teria acontecido sem anúncio nenhum sai medida em 21 dias. Foi essa frase que mudou a conversa de fé para engenharia.