Conduzir a revisão executiva de um sistema de IA em 30 minutos

Uma revisão executiva de sistema de IA cabe em 30 minutos quando a pauta tem seis blocos de tempo e cada pergunta exige um número que o time puxa do painel ou da API. Serve a quem aprova orçamento ou responde pelo risco. Hoje, monte a pauta do seu sistema mais caro.

Reunião sem pauta escorrega para a demonstração de tela, e demonstração sempre impressiona. Três meses depois aparecem a fatura acima do previsto, a suíte de testes com as mesmas tarefas do dia da entrega e uma ata sem nada que sustente a aprovação.

Seis blocos resolvem isso: o que o sistema faz e para quem, o que entra no contexto, qual modelo com qual versão e quanto custa cada tarefa, como se mede a qualidade, qual a classe de risco diante de injeção e quem é o dono com qual plano. Resposta sem número vira achado na ata, e o prazo que o time pede para responder também.

Custo por tarefa concluída é o gasto até uma tarefa chegar a um fim aceitável, somadas as tentativas que falharam, como o custo por pedido entregue numa transportadora. Ele tomou o lugar do preço por milhão de tokens na reunião porque dois modelos com a mesma tabela gastam quantidades diferentes de tokens na mesma tarefa. O raciocínio (rascunho interno do modelo) é cobrado como saída, e o tokenizador do Claude, que corta o texto em pedaços cobráveis, gera cerca de 30% mais tokens desde o Opus 4.7. Peça o custo por tarefa antes e depois da última troca de modelo.

A qualidade se mede numa suíte de avaliação (eval), uma prova fixa rodada a cada mudança de prompt, modelo ou ferramenta. A Anthropic recomendou, em janeiro de 2026, começar com 20 a 50 tarefas tiradas de falhas reais. Para fluxo que fala com cliente, a métrica pass^k (chance de todas as k tentativas acertarem) mostra o que a média esconde: 75% de acerto por tentativa viram cerca de 42% quando três tentativas seguidas precisam acertar. Hamel Husain e Shreya Shankar, em setembro de 2026, propõem como rotina mínima cerca de 30 minutos revendo 20 a 50 saídas a cada mudança relevante, com rótulo de passa ou falha.

Desde 2024 o risco mudou de lugar. Com o agente lendo e-mail, chamando ferramenta e enviando mensagem, a injeção de prompt (texto de terceiro que dá ordens ao modelo, como um bilhete falso dentro de um envelope legítimo) virou pergunta de arquitetura. Simon Willison chamou de tríade letal (lethal trifecta), em junho de 2025, a soma de acesso a dados privados, exposição a conteúdo não confiável e capacidade de comunicar para fora. Remover uma das três pernas quebra o ataque, por isso a revisão pergunta quais fluxos têm as três.

O bloco de contexto é o que a maioria das revisões pula, e é nele que custo e risco nascem juntos. Peça a lista do que entra na janela a cada pedido: prompt de sistema, documentos recuperados, histórico da conversa e resultados de ferramenta. Texto que vem de fora da empresa (e-mail de cliente, página da web, PDF anexado) é a porta da injeção. Quando o time não sabe o tamanho médio do pedido em tokens, também não sabe o custo nem em que faixa de preço o pedido cai.

As perguntas abaixo não aceitam sim ou não como resposta. Cada uma pede um número, um nome ou um documento, e a coluna da direita mostra a frase que, ouvida na sala, já entra na ata como achado.

Contar as ausências antes do minuto 26 evita a decisão por simpatia. Um sistema com três ou mais respostas ausentes não recebe "segue", porque ninguém consegue dizer depois o que a diretoria sabia quando aprovou. O fluxo com as três pernas da tríade letal e sem revisão humana pesa mais que qualquer número de custo: fatura alta se corrige no mês seguinte, e resposta errada enviada ao cliente já saiu da empresa.

No bloco de modelo e versão, a resposta vaga sai cara porque o fornecedor pode mudar o que está atrás de um nome. A DeepSeek anunciou em 10/09/2026 que os pedidos ao deepseek-v4-pro passariam a ser atendidos pelo V4.1-Flash a partir de 14/09. Quem não guarda o id e a versão servida só percebe a troca quando a qualidade cai. A tabela mostra o que pedir ao time em cada fornecedor.

Os achados mudam com o setor, mas a pauta é a mesma. Nos três casos fictícios abaixo, o bloco que decidiu a reunião foi diferente em cada um.

A ordem das condições na ata sai do custo de desfazer cada erro, e o caso abaixo coloca essa escolha nos quatro minutos finais.

Faça hoje

Escolha o sistema de IA que mais gasta na sua área, escreva a descrição em uma página e rode o primeiro prompt. Em 30 minutos você tem a pauta e as perguntas para enviar ao time com 48 horas de antecedência. A revisão funcionou quando a ata sai no mesmo dia com uma linha entre segue, para ou segue com condição, no máximo duas respostas ausentes e a data da próxima revisão marcada.