CRO: Otimização de Conversão e Experimentação · Capítulo 14 de 30 · 36 min
Quando o A/B não serve: bandits, switchback e rede
Os desenhos experimentais para volume alto, decisão perecível e unidades que competem entre si.
Este capítulo faz parte do curso gratuito CRO: Otimização de Conversão e Experimentação.
Etapa: Escolha do desenho. Pergunta que este módulo responde: Usuários interferem entre si ou a decisão precisa aprender e explorar ao mesmo tempo? Dono mais comum: Ciência de dados com produto e operação. Passagem de bastão: unidade e desenho compatíveis com rede, estoque, horário ou alocação adaptativa.
Switchback é um semáforo por janelas; bandit é uma torneira adaptativa
Quando motoristas compartilham a mesma rua, separar por pessoa não separa o trânsito. Alternar períodos trata a rede como unidade. Quando o objetivo é direcionar mais volume para a melhor opção durante o aprendizado, a torneira adaptativa muda a vazão.
Escolha o desenho pelo tipo de interferência e pela decisão econômica, nunca porque o nome parece mais avançado.
Diretor de operações
Delivery
Dor
Um incentivo para entregadores altera oferta e tempo de espera de todos na região.
Solução
A cidade é dividida por regiões e janelas; o tratamento alterna no tempo para evitar contaminação por usuário.
Resultado
A comparação passa a respeitar o mercado compartilhado em vez de fingir independência entre participantes.
Custo apurado: Cenário executivo ilustrativo, construído a partir de rotinas empresariais recorrentes.
Cenário construído para fins didáticos. Números não correspondem a cliente específico.
O que significa: A/B clássico funciona bem quando unidades podem ser separadas e a alocação fica estável. Bandits mudam a distribuição enquanto aprendem; switchbacks alternam tratamento por períodos; desenhos por cluster tratam grupos. Eles respondem problemas diferentes. Por que isso importa na empresa: Em marketplace, logística ou rede social, o tratamento dado a uma pessoa pode alterar a experiência das outras. Sortear individualmente finge uma independência inexistente. Já bandits sacrificam parte da clareza inferencial para direcionar mais tráfego às opções promissoras.
- Etapa 1 de 5: Interferência
Pergunte se uma unidade muda o ambiente de outra.
- Etapa 2 de 5: Objetivo
Separe aprender o efeito de maximizar retorno durante o teste.
- Etapa 3 de 5: Unidade
Escolha pessoa, conta, região, loja ou janela temporal.
- Etapa 4 de 5: Memória
Considere efeitos que atravessam períodos e exigem washout.
- Etapa 5 de 5: Desenho
Use a técnica mais simples que respeita o sistema real.
Exemplo calculado — números ilustrativos
| Situação | Conta | Como interpretar | Decisão executiva |
|---|---|---|---|
| Um app de entrega altera incentivo de entregadores. A oferta de uma região afeta o tempo de espera de todos os clientes locais. | Alternar dias tratados e controle em 8 regiões gera 16 unidades região-dia por ciclo, em vez de fingir milhares de pedidos independentes. | O número de pedidos continua útil, mas a unidade efetiva de comparação precisa respeitar a interferência compartilhada. | Operação escolhe switchback com períodos de estabilização e métricas de cliente, entregador e margem. |
Os números foram criados para ensinar o raciocínio. Substitua base, janela, valor e premissas pelos dados validados da sua empresa.
Dúvidas comuns de quem está começando
Bandit sempre converte mais que A/B?
Pode reduzir perda durante a exploração, mas dificulta algumas leituras causais e depende de objetivo, estabilidade e implementação. Não é melhoria automática.
O que é washout?
É o intervalo usado para dissipar efeito do período anterior. Sem ele, um tratamento pode contaminar a janela seguinte, como trânsito ainda acumulado após mudar a regra.
Uma promoção de três dias precisa escolher entre seis criativos de banner. O A/B clássico divide o tráfego igualmente entre os seis e mantém essa divisão até o fim: cinco sextos das impressões continuam indo para criativos que já se sabia piores no segundo dia, e a decisão fica pronta quando a promoção acabou.
O desenho experimental padrão assume que o custo de explorar é aceitável porque a decisão vale por muito tempo. Quando essa premissa cai, o desenho precisa mudar.
Escreva no padrão de relatório do programa que resultado de bandit não vira número de apresentação ao board. Dono da decisão é quem assina o relatório de resultado; quem opera o bandit fica com a alocação, não com a estimativa. Prazo: antes do próximo ciclo de reporte. O bandit responde qual braço servir agora e otimiza arrependimento acumulado, não precisão da estimativa de efeito. Levar a taxa final de um braço adaptativo como se fosse efeito medido entrega ao board um número sem barra de erro defensável, e ele cai na primeira pergunta sobre com que probabilidade aquele braço recebeu tráfego. Quando a decisão precisa de número auditável, reserve a fatia fixa em alocação uniforme ou rode um A/B entre os finalistas.
O que você vai conseguir fazer ao final deste módulo
- Escolher entre A/B fixo, desenho sequencial, bandit e switchback a partir da durabilidade da decisão e da competição por recurso.
- Explicar por que um bandit entrega boa alocação e má estimativa de efeito, e quando essa troca é aceitável.
- Reconhecer recompensa atrasada antes de ela fazer o bandit convergir para o criativo errado.
- Identificar interferência de rede pela pergunta do recurso finito, sem precisar rodar o teste primeiro.
- Dimensionar um switchback pelo número de células, e não pelo número de usuários dentro delas.
A/B fixo quando a decisão for durável e o efeito precisar ser auditável. Bandit quando o volume for alto, a validade da decisão for curta e a exposição ao braço perdedor for o próprio prejuízo. Switchback ou randomização por cluster quando as unidades do teste competirem pelo mesmo recurso, porque nesse caso a randomização por usuário mede uma coisa que não é o efeito do tratamento.
O caça-níquel de vários braços
O termo bandit vem do apelido das máquinas de cassino, as one-armed bandit, o bandido de um braço só que puxa o seu dinheiro a cada alavancada. Imagine agora uma fileira dessas máquinas, cada uma com uma taxa de pagamento desconhecida, e um punhado limitado de fichas. A cada jogada você enfrenta o mesmo dilema: gastar a ficha para descobrir qual máquina paga melhor, que é explorar, ou jogar naquela que já vem pagando, que é aproveitar. Um teste A/B fixo explora até o fim, dividindo as fichas por igual entre todas as máquinas, e só aproveita a vencedora depois que o teste fecha. Um bandit desloca fichas para a máquina promissora enquanto ainda aprende, o que compensa quando cada ficha jogada numa máquina ruim é dinheiro que não volta, como numa promoção de três dias ou numa manchete que perde a validade amanhã.
A mesma imagem mostra o limite do método. Com poucas fichas, ou seja, pouco tráfego, o bandit trava cedo numa máquina escolhida quase por acaso e não explora o suficiente para corrigir o engano. Volume baixo pede A/B, não bandit.
PMax e Advantage+ já são bandits que você não controla. A Meta usa cerca de 5% das impressões para testar combinações novas de enhancement e realoca exposição para o que parece ganhar (verificar, dado de fornecedor); o Google faz o mesmo dentro dos asset groups da Performance Max. Isso maximiza receita de curto prazo, mas viola a alocação fixa que o A/B clássico exige, então não adianta forçar um teste de hipótese ali dentro. Aceite a rotação interna como bandit sob gestão da plataforma e reserve a leitura causal para fora dela: um geo holdout, que funciona como um switchback geográfico, é o instrumento que devolve a resposta de negócio que a caixa-preta esconde.
Um bandit reequilibra a alocação de tráfego enquanto o teste roda. Thompson Sampling faz isso amostrando de uma distribuição posterior por braço e enviando cada novo visitante para o braço que venceu naquele sorteio. Braços com desempenho consistente ganham posterior mais concentrada e recebem fatias crescentes; braços fracos continuam recebendo uma fatia pequena, o que preserva a chance de correção caso o mundo mude no meio do caminho.
O ganho é medido em arrependimento acumulado, a diferença entre o que você faturou e o que teria faturado sabendo desde o início qual braço era o melhor. Sob alocação adaptativa, esse acúmulo cresce muito mais devagar que sob alocação fixa. Em seleção de criativo, ordenação de vitrine e ranking, isso é receita que deixa de ser queimada em exploração.
Se a figura ultrapassar a área visível, deslize para os lados. Pelo teclado, foque a figura e use as setas.
Glossário rápido
Thompson Sampling
Política de alocação que amostra de uma distribuição posterior por braço e envia o próximo visitante ao braço vencedor daquele sorteio. Braços consistentes ganham posterior concentrada e fatia crescente, sem que os fracos fiquem em zero.
Arrependimento acumulado
Diferença entre o que a operação faturou durante o teste e o que teria faturado se soubesse desde o primeiro minuto qual braço era o melhor. É a métrica que o bandit otimiza, e não a precisão da estimativa de efeito.
Recompensa atrasada
Situação em que o sinal que alimenta a atualização chega em escalas de tempo diferentes: clique em segundos, compra em dias, cancelamento em semanas. Atualizar com a recompensa do instante premia o braço de conversão rápida e barata.
Interferência de rede
Quebra da premissa de que a exposição de um usuário não afeta o resultado de outro. Aparece sempre que os braços disputam um recurso finito, como frota, estoque, inventário de anúncio ou espaço no feed de terceiros.
Switchback
Desenho em que a unidade sorteada é uma combinação de região e janela de tempo, e não um usuário. Dentro de cada célula, todo mundo vive sob a mesma regra, o que impede os braços de disputarem o mesmo recurso.
Ponderação por inverso da probabilidade (IPW)
Correção que repondera cada observação pelo inverso da probabilidade com que ela foi atribuída ao seu braço, reconstruindo uma estimativa não enviesada a partir da amostra desbalanceada que o bandit produziu. Paga em variância quando algum braço recebeu fatia muito pequena.
Carryover
Efeito de uma janela de switchback que vaza para a janela seguinte, quando a operação ainda carrega o estado deixado pela regra anterior. É o problema central do desenho: janela curta demais mede a mistura das duas regras em vez do efeito de uma delas.
CUPED e CUPAC
Técnicas de redução de variância que usam informação anterior ao teste para explicar parte do ruído. O CUPED usa uma covariável simples, como o comportamento do usuário no período anterior; o CUPAC substitui essa covariável por uma predição de aprendizado de máquina.
O preço dessa eficiência é a limpeza da inferência. Como a alocação passa a depender dos resultados parciais, a amostra de cada braço deixa de ser uma amostra aleatória do período. Comparar taxas finais entre braços de um bandit sem correção produz estimativa enviesada de efeito, e o intervalo de confiança convencional não descreve mais a incerteza real.
Esse viés tem duas saídas conhecidas, e a escolha entre elas é operacional. A primeira é a ponderação por inverso da probabilidade, o IPW: como o sistema sabe com que probabilidade cada visitante foi enviado a cada braço em cada instante, cada observação é reponderada pelo inverso dessa probabilidade, o que reconstrói uma estimativa não enviesada a partir de uma amostra desbalanceada. O custo é variância alta quando algum braço recebeu fatia muito pequena, exatamente o caso do braço que o bandit abandonou cedo. A segunda saída é mais simples e costuma bastar: reservar uma fatia fixa do tráfego, algo em torno de cinco a dez por cento, em alocação uniforme permanente entre todos os braços. Essa fatia é um A/B fixo em miniatura rodando em paralelo, e é dela que sai o número auditável, enquanto o resto do tráfego é otimizado pelo bandit.
Sem uma das duas providências, a decisão que vai para relatório de resultado, discussão de roadmap ou auditoria fica sem estimativa defensável. Um bandit responde qual braço servir agora. Um A/B responde quanto aquela mudança vale, com uma barra de erro que outra pessoa pode contestar tecnicamente.
Qual desenho usar, a partir de duas perguntas feitas na ordem
Eixo horizontal: Durabilidade da decisão: perecível à esquerda, durável à direitaEixo vertical: Unidades independentes embaixo, competindo por recurso finito em cima
Decisão perecível, unidades independentes: bandit
- Escolha de criativo em campanha de poucos dias
- Ordenação de vitrine e ranking de resultados
- Banner de promoção sazonal com muitos candidatos
Decisão durável, unidades independentes: A/B fixo ou sequencial
- Novo fluxo de checkout que vai ficar anos no ar
- Mudança de precificação que será cobrada em orçamento
- Qualquer efeito que precise ser defendido em auditoria
Decisão perecível, unidades competindo: switchback de janelas curtas
- Regra de despacho testada durante um pico de demanda
- Política de preço dinâmico em janela promocional
- Ajuste de leilão de anúncio dentro de um evento
Decisão durável, unidades competindo: cluster ou switchback com redução de variância
- Algoritmo de despacho que vira padrão da operação
- Mudança de feed que altera o conteúdo visto por terceiros
- Regra de matching em marketplace de dois lados
O que derruba bandit em produção raramente é estatística. É tempo. O sinal que alimenta a atualização chega em momentos diferentes: o clique acontece em segundos, a compra pode vir dias depois, o cancelamento vem semanas depois. Um bandit atualizado de forma ingênua com a recompensa disponível no instante penaliza braços cuja conversão ainda não maturou, e converge com alta confiança para o criativo que gera clique barato e venda nenhuma. Duas saídas funcionam. Atualizar com janela de atribuição fechada, aceitando reagir mais devagar em troca de recompensa completa. Ou modelar explicitamente o atraso, estimando a fração da recompensa ainda por chegar em cada braço. Escolher a primeira por simplicidade é legítimo; ignorar o problema não é.
Se a figura ultrapassar a área visível, deslize para os lados. Pelo teclado, foque a figura e use as setas.
Quatro desenhos e o que cada um cobra
| Desenho | Unidade sorteada | Quando usar | O que você abre mão |
|---|---|---|---|
| A/B fixo | Usuário | Decisão durável, com efeito que precisa ser auditável e defendido fora do time. | Tráfego consumido pelo braço perdedor até o último dia do período. |
| Sequencial | Usuário | Mesma decisão do A/B fixo, com parada antecipada estatisticamente válida. | Poder por observação, compensado pela duração menor quando o efeito é grande. |
| Bandit | Usuário, com alocação adaptativa | Volume alto, validade curta da decisão e muitos braços candidatos. | Estimativa limpa do efeito de cada braço, e com ela a barra de erro auditável. |
| Switchback | Região por janela de tempo | Unidades que disputam recurso finito, como frota, estoque ou espaço no feed. | Tamanho efetivo de amostra, que cai de milhões de usuários para centenas de células. |
As três primeiras linhas acompanham resultados enquanto os dados chegam, e nenhuma delas pode fazer isso com estatística de amostra fixa. O bandit converte o monitoramento em realocação de tráfego; o sequencial converte em fronteira de parada calculada para o número de olhadas planejadas.
A escolha entre esses desenhos costuma ser apresentada como preferência metodológica, e não é. Cada linha da tabela responde a uma pergunta diferente do negócio. Perguntar qual braço servir agora é operação; perguntar quanto essa mudança vale é planejamento. Um time que usa o instrumento de uma pergunta para responder a outra vai errar de forma previsível, e o erro mais caro é o bandit cujo resultado vira número de apresentação.
Verificação rápida
Sua equipe quer usar um bandit para escolher o novo layout do checkout, que ficará no ar pelos próximos dois anos e cujo ganho será cobrado no orçamento do ano. Qual é a leitura correta?
Todo o raciocínio acima assume que o resultado de um usuário não depende de qual variante os outros usuários receberam. Essa premissa quase nunca é escrita, o que a torna invisível, e ela quebra em qualquer plataforma onde as unidades disputam um recurso comum.
Logística sob demanda dá o exemplo mais nítido. Se metade dos pedidos recebe um algoritmo de despacho mais agressivo, esses pedidos capturam entregadores que teriam atendido o grupo de controle. O tratamento melhora, o controle piora, e a diferença medida entre eles fica maior que o efeito real do algoritmo aplicado a todo mundo. Em marketplace de dois lados o vazamento tem a mesma forma: compradores do tratamento consomem o estoque que compradores do controle veriam. Em app social, o conteúdo produzido sob a variante nova aparece no feed de quem está no controle.
Se a figura ultrapassar a área visível, deslize para os lados. Pelo teclado, foque a figura e use as setas.
Interferência de rede quebra a premissa de que a exposição de um usuário não afeta o resultado de outro. A resposta é subir o nível da randomização até que as unidades sorteadas sejam razoavelmente independentes entre si: região e janela de tempo no lugar de usuário, comunidade no lugar de conta, cluster do grafo social no lugar de indivíduo.
Se a figura ultrapassar a área visível, deslize para os lados. Pelo teclado, foque a figura e use as setas.
A grade de um switchback: cada célula é uma unidade de amostra
| Região | 10h às 12h | 12h às 14h | 14h às 16h | 16h às 18h |
|---|---|---|---|---|
| Zona Sul | Tratamento | Controle | Controle | Tratamento |
| Zona Norte | Controle | Tratamento | Controle | Controle |
| Zona Leste | Controle | Controle | Tratamento | Tratamento |
| Centro | Tratamento | Tratamento | Controle | Controle |
Dentro de cada célula, todos os pedidos vivem sob a mesma regra, e é por isso que a frota deixa de ser disputada entre os braços. Esta grade de quatro regiões por quatro janelas rende 16 unidades de amostra, não os milhares de pedidos que passam por ela. O sorteio da grade inteira acontece antes da largada: alternar por conveniência durante o teste reintroduz a correlação que o desenho existe para eliminar.
O erro que arruína switchback bem desenhado é o carryover: efeito de uma janela que vaza para a seguinte porque a operação ainda carrega o estado deixado pela regra anterior. Um algoritmo de despacho mais agressivo que termina às 12h deixa entregadores posicionados de forma diferente do que a regra de controle teria deixado, e a célula das 12h às 14h começa contaminada. O resultado é que a diferença medida entre os braços encolhe, porque as duas condições se misturam dentro da mesma célula, e a mudança boa aparece como neutra. Duas providências resolvem a maior parte dos casos. Dimensionar a janela para conter o ciclo completo do evento medido, o que em entrega costuma significar horas e não minutos. E descartar os primeiros minutos de cada janela da análise, tratando esse trecho como período de acomodação, ao custo de perder um pouco de amostra em troca de células que medem o que dizem medir.
- Etapa 1 de 6: Mapear o recurso disputado
Frota, estoque, inventário de anúncio ou espaço no feed
- Etapa 2 de 6: Escolher a unidade
Janela longa o bastante para conter o ciclo e evitar carryover
- Etapa 3 de 6: Dimensionar pelas células
A amostra efetiva são as células, nunca os usuários dentro delas
- Etapa 4 de 6: Sortear a grade antes da largada
Alternância definida no início, jamais ajustada no meio
- Etapa 5 de 6: Reduzir variância
CUPED ou CUPAC deixam de ser opcionais nesse regime
- Etapa 6 de 6: Analisar no nível da célula
Erro padrão sobre células; usar usuários infla a significância
O DoorDash trata o problema com switchback, sorteando combinações de região e janela de tempo em vez de usuários, e alternando qual algoritmo está ativo em cada cidade a cada intervalo.
A Meta usa graph cluster randomization, agrupando contas socialmente conectadas e sorteando o cluster inteiro. O LinkedIn usa Ego-Cluster, montando clusters em torno de um usuário e sua vizinhança imediata. A lógica é comum às três empresas: a unidade de randomização precisa conter a maior parte da interação relevante, para que o vazamento entre braços caia a um nível tolerável.
A fatura chega em poder estatístico. Trocar milhões de usuários independentes por algumas centenas de janelas ou clusters derruba o tamanho efetivo da amostra e alonga o teste. O CUPAC do DoorDash, que substitui a covariável simples do CUPED por predição de aprendizado de máquina, existe em boa medida para compensar isso, e permitiu encurtar switchback tests em mais de 25%.
Métodos de randomização adotados por quem enfrenta interferência em escala
| Empresa | Método | Unidade sorteada | Por que essa unidade contém a interação, e o que se copia dela |
|---|---|---|---|
| DoorDash | Switchback | Região por janela de tempo | A disputa pela frota acontece dentro de uma área e de um intervalo. Fixar a regra para a célula inteira impede que os braços briguem pelos mesmos entregadores. O que se copia é a pergunta sobre onde a disputa acontece no seu produto, e não a grade de duas horas. |
| Meta | Graph cluster randomization | Cluster de contas socialmente conectadas | A maior parte da interação de um usuário ocorre com a sua vizinhança social. Sortear o cluster inteiro mantém quase todo o vazamento dentro do mesmo braço. Copie o critério, que é conter a maior parte da interação, e meça isso no seu grafo antes de fixar o tamanho do cluster. |
| Ego-Cluster | Usuário mais a sua vizinhança imediata | O efeito de rede se concentra no primeiro grau de conexão, o que permite clusters menores e mais numerosos que os do grafo completo. Só vale quando o efeito realmente se esgota no primeiro grau, e essa verificação vem antes de encolher o cluster para ganhar amostra. |
As três respostas seguem o mesmo princípio e diferem no formato do grafo de interação de cada produto. Copiar o método sem verificar onde a interação acontece no seu produto reproduz o desenho e não a proteção.
Antes de confiar na randomização por usuário, rode um teste A/A no nível de cluster: monte os grupos exatamente como o teste real montaria, não aplique tratamento nenhum e compare. Se dois grupos idênticos apresentam diferença sistemática na métrica principal, a sua unidade de randomização já está contaminada e o próximo teste vai medir contaminação junto com efeito. O A/A custa uma janela de tráfego e responde uma pergunta que nenhuma discussão de reunião resolve.
Diretor de operações
Marketplace de entrega de refeições em quatro capitais
Dor
Um novo algoritmo de despacho mediu +9% de pedidos entregues no prazo em teste randomizado por usuário. A mudança foi para toda a base e o indicador de prazo ficou praticamente onde estava, sem que nenhuma falha técnica explicasse a diferença.
Solução
Refazer o teste como switchback por região e janela de duas horas, com a grade sorteada antes da largada, análise no nível da célula e CUPAC como redutor de variância para compensar a perda de amostra efetiva.
Resultado
O efeito real aparece bem menor que o medido no desenho por usuário. Parte do ganho anterior vinha de tirar entregadores do grupo de controle, o que melhorava o tratamento e piorava o controle ao mesmo tempo, dobrando a diferença aparente.
Custo apurado: A amostra efetiva cai de milhões de pedidos para algumas centenas de células, e a duração do teste sobe na mesma proporção. Sem redução de variância, o período necessário deixaria de caber no calendário do time.
Cenário construído para fins didáticos. Números não correspondem a cliente específico.
Dúvidas que aparecem na primeira tentativa de sair do A/B por usuário
Nosso site é pequeno. Bandit resolve a falta de tráfego?
Não resolve, e costuma piorar. O bandit precisa de volume para separar os braços antes de concentrar a alocação. Com tráfego baixo, ele converge cedo para um braço escolhido essencialmente por ruído e depois explora pouco demais para corrigir o engano, o que produz uma decisão ruim com aparência de decisão informada. Em volume baixo, o caminho é reduzir o número de braços, alongar o período e aceitar que algumas decisões serão tomadas sem teste.
Switchback exige plataforma própria de experimentação?
Exige controle sobre a decisão no servidor e um relógio confiável para alternar a regra por janela, o que a maioria das plataformas de teste client-side não oferece. A alternância em si é simples de implementar. O que não é trivial é analisar no nível da célula: calcular o erro padrão sobre os usuários dentro de um switchback produz significância inflada, e essa conta costuma sair errada mesmo em times que acertaram o desenho.
Podemos rodar um bandit e um A/B ao mesmo tempo na mesma superfície?
Podem, desde que a atribuição de cada experimento seja independente e você aceite que os dois se contaminam quando disputam o mesmo espaço de tela. O arranjo mais limpo é sequenciar: bandit para triar muitos criativos com custo baixo de exploração, A/B fixo depois entre os dois ou três finalistas, que é onde a estimativa auditável passa a valer o tráfego gasto.
A interferência de rede sempre infla o efeito medido?
Não. Ela afasta a medida do efeito real em qualquer direção, dependendo de quem consome o recurso. Quando o tratamento captura oferta que era do controle, o efeito medido infla. Quando o tratamento produz conteúdo que aparece para o controle e melhora a experiência dele, o efeito medido encolhe, e uma mudança boa é descartada como neutra. O segundo caso é o mais perigoso porque não gera nenhum sintoma que chame atenção.
Antes de escolher o desenho, responda duas perguntas na ordem. Primeira: as unidades competem por algum recurso finito, oferta, frota, estoque, atenção em feed? Se competem, randomize por cluster ou por janela de tempo, porque nenhum desenho por usuário conserta interferência. Segunda: a decisão precisa de uma estimativa de efeito auditável? Se precisa, A/B fixo ou sequencial. Bandit é para a decisão que expira, e o resultado dele não deve virar número de apresentação.
Este módulo está concluído quando, nos próximos vinte e um dias, você tiver (1) listado os recursos finitos que os braços dos seus testes disputam, de frota e estoque a inventário de anúncio e espaço no feed, marcando quais superfícies exigem randomização por cluster ou por janela de tempo; (2) definido, para cada bandit em operação, se a estimativa auditável virá da fatia fixa em alocação uniforme ou da ponderação por inverso da probabilidade; (3) incluído no padrão de relatório do programa a frase de que resultado de bandit não vai ao board como efeito medido. Bandit em produção sem nenhuma das duas providências do item 2 está otimizando tráfego e não produzindo evidência, o que é uma escolha legítima desde que ninguém apresente a saída dele como número de decisão.
Transfira para a sua rotina nesta semana
- Pergunte se o tratamento muda o ambiente de quem está no controle.
- Defina a unidade física ou temporal antes da técnica.
- Compare custo de oportunidade de aprender com custo de explorar opções piores.
Perguntas frequentes deste capítulo
Posso usar bandit para decidir o layout definitivo da página de produto?
Como sei se meu produto sofre interferência de rede antes de rodar o teste?
Switchback exige quanto tempo a mais de teste?
Qual o tamanho ideal da janela de tempo num switchback?
Dá para começar com bandit e depois validar o vencedor num A/B?
Meu bandit convergiu em dois dias e o time quer encerrar. Posso confiar nessa convergência?
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Conexões deste capítulo
Veja o que estudar antes e para onde seguir depois, explore os conceitos e compare abordagens em outros cursos. Sugestões marcadas como “sugerido pelo grafo” vêm dos assuntos em comum, não do índice do curso.
Estude antes
- Operar Performance Max com sinais, exclusões e relatórios que explicamsugerido pelo grafoApresenta o conceito “Performance Max”, usado em “Quando o A/B não serve: bandits, switchback e rede”.
- CursoGoogle Ads 2027sugerido pelo grafo3 capítulos de “CRO: Otimização de Conversão e Experimentação” usam conceitos apresentados em “Google Ads 2027”.
- CursoGEO Universal Frameworksugerido pelo grafo2 capítulos de “CRO: Otimização de Conversão e Experimentação” usam conceitos apresentados em “GEO Universal Framework”.
Conceitos deste capítulo
O mesmo assunto em outros cursos
- Google Ads 2027Desenhar experimentos e decidir escalar, manter, ajustar ou pausarExaminar conexões de Desenhar experimentos e decidir escalar, manter, ajustar ou pausar
- Motor de crescimento para IAEscalar sem se enganar: elasticidade e incrementalidadeExaminar conexões de Escalar sem se enganar: elasticidade e incrementalidade
- Agentes de código para executivosComprar primeiro a proteção barata que corta fraudeExaminar conexões de Comprar primeiro a proteção barata que corta fraude
- RLM 2027Governar o agente contínuo com portões, orçamento, interruptor e relatório de plantãoExaminar conexões de Governar o agente contínuo com portões, orçamento, interruptor e relatório de plantão
Leve uma ideia para a prática
Escolha uma atividade no painel e volte a este curso quando quiser.
Atividades e evolução ficam reunidas no painel da sua conta.