Trocar a contagem de esforço por um painel que o conselho entende

Uma média de doze semanas pressupõe que as doze semanas saíram do mesmo processo. Quando um agente entra no fluxo (programa que executa a tarefa inteira sozinho, como um estagiário com procuração), essa premissa cai toda vez que alguém troca de modelo, reescreve as instruções padrão, conecta uma ferramenta nova ou mexe no teto de gasto por tarefa.

O histórico continua respondendo perguntas de tendência e de auditoria. Ele para de sustentar compromisso de data, porque compromisso exige que a amostra e o sistema previsto sejam o mesmo sistema. A saída prática tem duas partes: encurtar a janela de dados até o ponto em que ela ainda descreve o regime vigente, e trocar o número único pela faixa.

Antes de escolher indicador, calibre a régua com o que o mercado consegue medir. Três levantamentos recentes, com métodos diferentes, apontam para a mesma distância entre o discurso de adoção e o gasto observado. Dois deles abriram o curso, na aula sobre a nova unidade de produção; aqui eles voltam com outra função, que é servir de piso de comparação para o painel que você vai montar.

Pelo lado do controle, a Deloitte mediu a mesma distância: 21% das organizações declaram governança madura para agentes no recorte global e 27% no recorte brasileiro, enquanto 58% dos executivos brasileiros levaram à produção no máximo um quinto dos pilotos que iniciaram. A amostra brasileira tem 115 respondentes, o que recomenda ler a diferença de seis pontos como empate técnico.

Esses quatro números formam o pano de fundo do painel. Um conselho que pergunta quanto o time entregou recebe atividade de volta. Um conselho que pergunta quanto saiu verificado, a que custo e com qual taxa de regressão recebe operação.

Os quinze indicadores se organizam sob uma métrica-mãe. A tabela abaixo é a lista definitiva do curso: quando uma figura, um slide antigo ou uma planilha interna trouxer outro nome para a mesma coisa, vale esta.

Repare na costura entre o painel e a previsão. Estimativas vencidas conta quantas previsões perderam a validade antes de a entrega acontecer, ou seja, quantas vezes o regime mudou mais rápido do que a previsão feita sobre ele. O termo em inglês, Estimate TTL Breach, carrega a sigla TTL, de time to live, que é o prazo durante o qual uma informação continua valendo.

Quando esse indicador sobe, a leitura correta aponta para a janela de previsão. Ela está longa demais para a velocidade com que o seu regime muda, e precisa encurtar. Painel e previsão são o mesmo sistema visto de dois ângulos: um mede o que aconteceu, o outro promete o que vem, e ambos dependem de saber quando o regime virou.

Sobre essa base, a linha de roadmap (o itinerário de entregas que você apresenta ao conselho) troca a lista de datas por sete campos: frente, resultado esperado, KPI (o número que a frente promete mover, como a meta de vendas do mês), janela, confiança em faixa P50 a P75, risco principal e portão de evidência.

Escolher P75 no lugar de P90 acompanha o tamanho da amostra. Com quatorze dias de dados sob regime novo, um P90 é um número que a amostra não sustenta, e o conselho vai cobrá-lo como se sustentasse. P50 é o cenário que você espera; P75 é o que você assina. Conforme a base cresce sem troca de regime, a faixa estreita sozinha.

O campo que decide se a linha vale alguma coisa é o portão de evidência. Sem ele, o roadmap volta a ser uma lista de intenções com percentuais decorativos ao lado.

Suponha uma loja virtual pequena que concilia à mão os 1.400 estornos do mês, como no caso ilustrativo do quadro abaixo. Na linha antiga, o dono lê "entrega em 26/09" e só descobre o atraso no próprio dia 26. Na linha nova, ele lê P50 em 26/09 e P75 em 10/10, sabe que as duas semanas de diferença dependem do parceiro de cartão e só dá a frente por encerrada quando 200 estornos reais fecharem sem planilha.

Um caso corporativo cobre a distância inteira entre percentual anunciado e decisão de estrutura, e leva oito meses e meio para se completar. Em 20/08/2025, no podcast Cheeky Pint, apresentado por John Collison, da Stripe, o cofundador e CEO da Coinbase, Brian Armstrong, contou que havia mandado a engenharia inteira criar conta nas ferramentas de IA até o fim daquela semana. A exigência era fazer o cadastro, e ele diz isso com todas as letras na mesma passagem: por enquanto ninguém precisava usar a ferramenta todo dia. No sábado ele entrou numa chamada com quem não tinha feito, ouviu as justificativas e desligou algumas pessoas. Quantas, ninguém sabe: ele diz "a couple people", e a Coinbase nunca divulgou número. Ele mesmo classifica o próprio movimento como pesado e conta que agiu por fora do processo.

No mesmo episódio vem o número que interessa a este painel. Armstrong declarou que cerca de 33% do código da companhia já era escrito por IA e fixou meta de 50% para o fim do trimestre. E aqui está o defeito aritmético que nenhuma empresa corrige quando divulga esse tipo de percentual: o denominador não é publicado. Sugestão de autocompletar aceita, trecho produzido por agente e mudança inteiramente sintética caem no mesmo balde, e quem reporta define o balde. Duas empresas com o mesmo percentual podem estar descrevendo operações que não se parecem.

Em 05/05/2026 chegou o desfecho, e é ele que dá valor executivo ao caso. A Coinbase informou à SEC, em documento próprio para isso, um plano de reestruturação que reduziu o quadro em cerca de 700 pessoas, aproximadamente 14% da força global, com custo estimado entre US$ 50 e US$ 60 milhões. O ponto de rigor está na redação do documento: ele lista duas razões, e a primeira é despesa operacional diante das condições de mercado. A IA aparece na segunda, na expressão "optimize the Company's operations for the AI era". A imprensa noticiou como corte por causa da IA; o que a empresa declarou ao regulador foi outra coisa, e a diferença entre as duas leituras é exatamente o tipo de imprecisão que este painel existe para impedir dentro de casa.

Daí a cláusula que precisa vir impressa no topo do quadro: estes quinze indicadores são diagnóstico. Eles existem para responder às perguntas do conselho e para localizar a camada mais fraca da operação. No instante em que um deles vira meta individual, ele para de medir o sistema, e a meta de percentual de código da Coinbase é o exemplo público de como isso começa.

Medir errado é o risco simétrico, e quem melhor descreve a dificuldade é o laboratório que mais tentou. A METR mudou o desenho do próprio ensaio aleatorizado sobre produtividade com IA, e o motivo da mudança vale mais do que qualquer resultado: participantes passaram a recusar a participação porque não queriam trabalhar sem IA, o que desequilibra o sorteio entre as duas condições.

Os números do estudo novo saem com intervalo que atravessa o zero. No subgrupo original, 18% de aceleração, com intervalo de menos 38% a mais 9%. Entre os recrutados novos, 4%, com intervalo de menos 15% a mais 9%. Citar qualquer um desses números sem o intervalo é apresentar ruído com casas decimais. A lição de método sobrevive intacta: percepção e medição divergem, e o desenho experimental colapsa quando o participante já incorporou a ferramenta ao próprio trabalho.

Alguém na mesa vai levantar o outro lado dessa moeda, por isso ele precisa estar com você antes da reunião. Nenhuma das empresas que cortaram pessoal atribuindo a decisão à IA publicou a medição que justificaria o corte. O experimento de campo aleatorizado mais completo do período nem sequer é de software: foi feito no atendimento ao cliente do Taobao, com 647 atendentes e 680.676 conversas coletadas em agosto de 2024. Nas conversas em que o agente atuou, a duração caiu 16,8% e a nota do cliente caiu 0,412 ponto, dois efeitos grandes de sinal trocado que a média consolidada da operação esconderia. A pergunta que isso devolve ao seu painel é se ele reporta média agregada ou efeito por segmento.

Uma advertência de custo acompanha o custo por mudança verificada e o consumo de modelo por período, porque a maior alavanca de conta em operação real não aparece em nenhum dos dois quando eles são lidos de forma ingênua. Boa parte de cada chamada a um modelo é instrução fixa e sempre igual: convenções da casa, definição das ferramentas disponíveis, contexto do sistema em que se trabalha. O fornecedor cobra o reenvio dessa parte fixa por uma fração do preço, desde que o time organize o trabalho para mantê-la estável.

Daí sai uma consequência que atinge diretamente a sua leitura do painel. Dois times com o mesmo roteamento de modelos, entregando o mesmo trabalho, chegam a contas diferentes conforme cuidem ou não desse reaproveitamento. Comparar consumo de modelo entre eles sem saber disso é usar a mesma unidade para medir coisas diferentes.

Na prática, a decisão é de contabilidade, a mesma que um balanço aplica ao declarar o critério ao lado do número: exija que a política de reaproveitamento esteja escrita ao lado do indicador de consumo, sob pena de o indicador não ser comparável nem com ele mesmo depois de uma mudança de fluxo.

Há um caso em que o comunicado ao mercado e o documento de risco da mesma empresa, no mesmo dia, dizem coisas opostas. Em 07/05/2026, no dia da divulgação de um trimestre de receita recorde, a Cloudflare anunciou o corte de cerca de 20% do quadro declarando como motivo a transição para um modelo operacional que ela chama de agentic AI-first. O documento trimestral entregue ao regulador registra o plano com essa mesma redação. Algumas páginas adiante, na seção de fatores de risco do mesmo documento, a empresa escreve que essa evolução pode não produzir os benefícios esperados no prazo esperado, ou não produzi-los de forma alguma, e que pode prejudicar o negócio.

Os dois textos saíram da mesma casa no mesmo dia. O primeiro é o que o mercado leu; o segundo é aquele em que o departamento jurídico acredita, porque é o que a empresa assina sob risco de responsabilização. Antes de aceitar o número de qualquer fornecedor, de qualquer concorrente ou do seu próprio time, procure onde está escrita a versão que não promete nada.

Duas tarefas levam o painel da página para a sua operação, e cada uma termina num critério que você confere.

Painel em trinta dias. Preencha o modelo desta aula com as cinco linhas que a sua casa mede hoje. Para cada uma, abra a ferramenta que guarda o dado e confira se o número sai sem ninguém montar planilha. O que exigir montagem manual vai para a seção de lacuna declarada, com data e nome.

Teste do documento de risco. Escolha uma empresa listada que tenha anunciado ganho ou corte atribuído a IA nos últimos doze meses. Leia o comunicado, depois procure no relatório trimestral dela o parágrafo em que o benefício aparece como possibilidade e não como fato. Leve os dois trechos lado a lado para a próxima reunião de liderança e pergunte qual dos dois a sua casa está escrevendo.

Critérios de sucesso

• Cada uma das cinco linhas tem fonte de dado aberta hoje e nome de pessoa, não de área.
• A lacuna declarada tem data e responsável, e ninguém a preencheu com estimativa de mesa.
• Você explica, sem usar termo em inglês, por que o quinto indicador foi escolhido e a que pergunta do conselho ele responde.

Comece pelo painel ainda esta semana e marque a conferência para daqui a trinta dias: se as cinco linhas tiverem fonte aberta e nome de pessoa, leve o quadro à próxima reunião de conselho.