IA na operação: onde acelera e onde destrói

O fornecedor abre o slide com um número redondo: teste A/B completo em 12 minutos. O time de produto se anima. O analista que entende de estatística fica desconfortável e não consegue explicar o motivo em trinta segundos, então a compra avança. Este módulo dá a explicação em trinta segundos.

Três implementações têm uso operacional verificável hoje, e todas compartilham a mesma forma: a IA opera nas extremidades do ciclo. O Copilot do Microsoft Clarity resume sessões em lote e responde perguntas em linguagem natural sobre comportamento, o que ataca o gargalo real do qualitativo, que sempre foi o custo em horas de assistir gravação. O PostHog AI cria feature flags e queries via MCP, encurtando a distância entre a hipótese escrita e o experimento no ar. A Optimizely lançou um agente que audita a configuração do experimento antes de rodar, pegando erro de segmentação e de métrica antes que ele custe duas semanas de tráfego.

O tempo de um experimento é uma conta, não uma opinião. Ele sai do tamanho de amostra necessário dividido pelo tráfego diário da página, e o tamanho de amostra cresce quando a taxa-base de conversão é baixa e quando o efeito que você quer detectar é pequeno. E o efeito costuma ser pequeno: os levantamentos de mercado sobre testes de e-commerce descrevem efeito relativo de conversão concentrado perto de zero, com magnitudes típicas da ordem de um por cento, número que vale como ordem de grandeza e não como medida. Detectar diferença dessa ordem exige volume, e volume exige dias de calendário. Um agente que escreve a variante em segundos não altera uma única linha dessa conta.

Falta nomear o mecanismo que os fornecedores efetivamente vendem sob o rótulo de IA em experimentação, porque quase nunca é um modelo de linguagem. É alocação adaptativa, na família dos algoritmos de bandit. Em vez de dividir o tráfego em fatias fixas e esperar o tamanho de amostra planejado, o algoritmo desloca tráfego para a variante que está performando melhor à medida que os dados chegam.

A técnica tem uso legítimo e bem delimitado: quando o custo de manter tráfego numa variante ruim é alto e a janela é curta, como em campanha sazonal, manchete de conteúdo ou sortimento de curta validade, o bandit ganha do teste clássico porque otimiza enquanto aprende. O preço é conhecido. Alocação adaptativa entrega ganho acumulado, e não estimativa limpa de efeito: como o tráfego deixa de ser aleatório em relação ao tempo, qualquer tendência temporal contamina a comparação, e você termina o período sem saber quanto a variante vencedora de fato vale. Para decidir se uma mudança entra no produto de forma permanente, teste com alocação fixa continua sendo o instrumento certo.

O custo de marca subiu rápido e há medição disponível, com uma ressalva que este curso precisa aplicar a si mesmo. Segundo a Klaviyo, em 2026, 39% dos consumidores dizem que uso pesado de IA por uma marca reduziria sua confiança nela, contra 20% em 2025. Sobre o conteúdo genérico que o mercado apelidou de AI slop, cerca de 1 em cada 5 consumidores relata ver material desse tipo vindo de marcas toda semana, e 32% dizem que isso reduz a confiança.

A ressalva: a Klaviyo é fornecedora de plataforma de marketing e vende, entre outras coisas, o uso disciplinado de automação. O dado sustenta uma tese que favorece o produto dela, o tamanho e o desenho da amostra não foram publicados, e nenhum terceiro replicou a medição. Aplicamos aqui o mesmo critério usado com a First Page Sage no módulo "Tráfego de LLM: o visitante que chega decidido" e com os fornecedores de personalização no módulo "Personalização: regra, modelo e evidência": a direção do achado é plausível e útil, a magnitude precisa ser tratada como ordem de grandeza. Citar 39% como se fosse medida fina seria abrir a exceção que o curso inteiro se recusa a abrir.

Falta a linha que quase nunca aparece no plano de IA aplicada a CRO: quanto custa manter isso rodando todo mês. Três rubricas cobrem praticamente todo o gasto, e nenhuma delas exige benchmark de mercado para ser estimada na sua casa. A primeira é consumo de token, que varia com o tamanho do material enviado e com a frequência da chamada, de modo que triagem de mil gravações por mês fica em outra ordem de grandeza que a de cem, e o desenho do pedido determina o multiplicador. A segunda é cache de prompt, que reaproveita o trecho fixo da instrução entre chamadas repetidas e costuma ser a economia mais simples disponível quando o mesmo modelo de triagem roda sobre materiais diferentes. A terceira é o teto de gasto por ambiente, que precisa existir antes da primeira chamada, porque consumo de modelo é torneira aberta que ninguém percebe até a fatura chegar.

A regra de gestão que evita a surpresa mais comum é de leitura, não de tecnologia: limite autorizado e consumo real são números diferentes e não podem ocupar o mesmo campo do relatório. Programa que confunde os dois cancela piloto que estava barato e renova piloto que estava caro, e nos dois casos a decisão foi tomada sobre o número errado. Peça as duas colunas separadas desde o primeiro mês. Como montar o conjunto de casos que responde se o agente melhorou ou piorou é objeto de Do Agile ao Agentic Operating Model; o custo de rodar isso todo mês está em LLM FinOps.