Montar um relatório de IA só com métricas que resistem à pergunta

Um relatório de IA que se sustenta traz cinco números com denominador e linha de base: taxa de tarefas aceitas, custo por tarefa aceita, tempo até a resolução, taxa de escalonamento humano e retrabalho. Vale para quem presta contas de um fluxo com IA à diretoria, e a ação de hoje é trocar o indicador mais fraco do último relatório.

Os indicadores que mais circulam não têm denominador nem linha de base. Número de prompts enviados sobe quando a equipe usa bem e quando refaz o mesmo pedido cinco vezes. Horas economizadas, declaradas numa pesquisa interna, somam a impressão de quem respondeu, sem medir nada. Um NPS (a nota de 0 a 10 sobre recomendar algo) colhido com 14 respostas descreve o humor de 14 pessoas.

O teste aparece na primeira pergunta do financeiro: quanto custou cada chamado resolvido, comparado com o mês anterior à IA? Se o relatório não responde, ele mede a existência do programa, e o orçamento seguinte vai ser decidido no escuro.

Métrica defensável é a que sai de um registro que existiria mesmo sem a IA, ou de um critério de aceite escrito antes da medição, e vem com denominador, período e linha de base (baseline, o mesmo indicador medido antes da mudança). Métrica de vaidade cresce tanto com sucesso quanto com desperdício, como o hodômetro de um carro que anda em círculos.

A peça central é a tarefa aceita (accepted task): a entrega que passa no critério de aceite do fluxo, como o chamado que o atendente envia ao cliente sem refazer. O rótulo é binário, passa ou falha, como na suíte de avaliação do capítulo anterior, e a taxa de tarefas aceitas aplica o mesmo critério à produção. Escalonamento humano é o caso que a IA passa para uma pessoa resolver.

Em 2026 a conta por token passou a enganar mais que em 2024. Modelos de raciocínio cobram o pensamento como saída, o cache barateia o começo repetido do pedido e o mesmo texto vira mais ou menos tokens conforme o fornecedor. Divida o gasto por tarefa aceita: o pedido barato que precisa ser refeito entra duas vezes no gasto e uma vez no denominador.

Quatro condições para o número valer

Linha de base vem primeiro: o mesmo indicador, no mesmo fluxo, medido antes da IA e numa janela do mesmo tamanho. Janela de medição é o período fixo, decidido antes de olhar os dados, que cobre ciclos completos; quatro semanas inteiras pesam mais que três dias bons escolhidos depois.

Amostra é quanto do volume alguém revisou e como as entregas foram sorteadas. Hamel Husain recomenda revisar de 20 a 50 saídas a cada mudança relevante, cerca de 30 minutos de leitura, e manter um conjunto de uns 100 registros variados. Atribuição (attribution) é dizer quanto da mudança vem da IA e quanto vem de outra coisa do período, como política nova, sazonalidade ou troca de equipe, que precisa aparecer no relatório com a data.

Como a métrica de produção se liga à suíte de avaliação

A suíte de 20 a 50 tarefas decide se o fluxo sobe; a métrica de produção mostra se ele continua de pé com volume real. O elo é o critério de aceite: escreva-o uma vez e use-o nas duas pontas. Quando um juiz automático (outro modelo que aplica a rubrica) faz a revisão da amostra, meça dois números contra rótulos humanos, a parcela de falhas reais que ele pega e a parcela de boas entregas que ele aprova, como sugerem Husain e Shankar.

A distância entre acerto por tentativa e consistência, o pass^k do capítulo anterior, reaparece na produção: num relatório de atendimento, ela separa a taxa de tarefas aceitas do retrabalho, e os dois entram lado a lado.

O custo por tarefa aceita depende do que o campo usage (o recibo de tokens que a API devolve em cada resposta) registra em cada fornecedor. Os nomes dos campos e o que conta como saída mudam, e a planilha precisa guardar o recibo inteiro para a conta fechar. Recusa, resposta cortada e pedido desviado para outro modelo também aparecem no recibo, e cada um muda o denominador: entram nas tarefas recebidas e ficam fora das aceitas.

Transformar um registro de uso em relatório de uma página

O exemplo usa a triagem de chamados de garantia da Casa Ipê Eletrodomésticos, empresa fictícia, com quatro semanas de registro e uma linha de base de agosto. O prompt pede as cinco métricas, a atribuição e uma seção com o que fica de fora.

Examine um diagnóstico com a régua do capítulo

Abra o GEO Score para explorar a análise do site. Ao ler a pontuação, confira o que foi avaliado e mantenha esse diagnóstico separado dos resultados comerciais.

Faça hoje

Abra o último relatório de IA da sua área, risque os indicadores que não têm denominador nem linha de base e troque o mais visível deles por custo por tarefa aceita ou taxa de tarefas aceitas, com o critério de aceite escrito ao lado. Em 30 minutos, um colega deve chegar ao mesmo número usando só a planilha, e o relatório ganha a seção do que ficou de fora.