Rotear modelo por classe de tarefa, e medir o corte em vez de repeti-lo

Rita Bevilacqua abriu a fatura do provedor de modelo e travou: quanto daquele valor foi gasto lendo PDF de medição de obra, e quanto foi gasto escrevendo relatório para cliente. Nenhum dos dois agentes que a Vinco tem em produção grava o custo da chamada nem o tipo de trabalho dela. Este capítulo instrumenta o custo por classe de tarefa e decide o roteamento com dado da própria operação.

Cena inventada para a didática deste curso, com números que se repetem sem alteração em todos os capítulos: 21 pessoas, receita de R$ 31 milhões por ano, dois agentes em produção. A fatura era um número agregado, e número agregado não se corta. Rita podia negociar preço, podia reduzir volume, podia desligar um agente inteiro. O que ela não podia fazer era a única coisa que resolvia o problema: mandar o trabalho trivial para um modelo trivial e guardar o modelo caro para o trabalho que exige juízo. Sem registro por chamada, essa decisão é palpite com cara de engenharia.

Você já roteia trabalho por classe de tarefa há anos, e faz isso sem pensar. Ninguém coloca o engenheiro sênior para conferir se a nota fiscal tem CNPJ preenchido, e ninguém entrega negociação de escopo com cliente irritado para quem entrou na semana passada. A intuição existe porque a folha de pagamento é explícita: hora de sênior aparece na planilha com preço maior, e todo mundo enxerga o desperdício de gastar essa hora em conferência de campo obrigatório.

A âncora quebra exatamente no ponto em que o custo deixa de ser visível. A chamada de modelo caro e a chamada de modelo barato saem do mesmo código, chegam no mesmo formato, demoram alguns segundos as duas e somem na mesma linha de fatura. O sinal de preço que faz você rotear bem entre pessoas simplesmente não existe entre modelos, até que alguém o construa. Instrumentar custo por chamada é reconstruir esse sinal.

A fronteira entre os dois grupos é o eixo de todo o roteamento, e uma pergunta única a traça: a saída correta está determinada pela entrada, ou depende de julgamento sobre alternativas?

Segundo Luke Pierce, CEO da Boom Automations, em material publicado em 17 de agosto de 2026 e sem amostra nem período divulgados, rotear por classe de tarefa corta 80% ou mais do gasto de token, e um modelo a um vigésimo do preço resolve a maior parte das chamadas. Ele completa afirmando que quem manda tudo para o maior modelo disponível queima dinheiro em tarefa que um modelo 20 vezes mais barato resolve perfeitamente.

Existe uma fonte primária contra a qual comparar essa alegação, e ela é mais velha e mais franca. O paper FrugalGPT, de Chen, Zaharia e Zou, publicado no arXiv com o identificador 2305.05176 em maio de 2023, registra que uma cascata de modelos consegue igualar o desempenho do melhor modelo individual com redução de custo de até 98%. A frase de capa é essa, e é a que viaja sozinha. A faixa que o próprio trabalho declara, lida no corpo do paper, vai de 50% a 98%.

Os 98% saíram de um único conjunto de dados, o HEADLINES, com 10.000 itens avaliados. Nos outros dois conjuntos do mesmo experimento a redução caiu. No OVERRULING, com 2.400 itens, foram 73,3%. No COQA, com 7.982 itens, foram 59,2%. Três medições, três resultados distintos, e o maior deles virou o título. O trabalho é de maio de 2023 e foi conduzido com os modelos daquele ano, GPT-J, GPT-3, ChatGPT, GPT-4, J1 e Cohere, o que impede transportar a magnitude do corte para o catálogo que você tem disponível hoje.

A outra metade da conta é o preço relativo entre portes de modelo, que define o teto do que qualquer roteamento consegue economizar. A Inworld AI afirma, em conteúdo publicado em 23 de julho de 2026 e apoiado em tabela de preços pública, que um modelo de classe GPT-4o custa de 10 a 20 vezes mais por token que um modelo de sete bilhões de parâmetros. O número serve para dimensionar a aposta. O teto real da sua operação sai da sua tabela de custo por classe.

O "até 98%" do paper de 2023 e o "80% ou mais" que Luke Pierce publicou em 17 de agosto de 2026 são a mesma figura de linguagem: o melhor caso apresentado com a cadência de caso típico.

Nenhum dos dois responde à pergunta que interessa dentro da Vinco, porque nenhum dos dois conhece a mistura de chamadas que a Vinco faz. Uma operação dominada por extração de PDF de medição se aproxima do topo da faixa. Uma operação dominada por redação de relatório para cliente se aproxima do piso. O número que vale é o que você medir na sua operação, com o período de medição colado nele, e é para isso que existe o registro por chamada do restante deste capítulo.

O quadrante de desperdício e o quadrante de economia que custa caro são simétricos no diagnóstico e opostos no remédio. No primeiro, a fatura dói e a qualidade está boa, então a correção é mecânica: troque o modelo e prove por amostra que o acerto não caiu. No segundo, a fatura está confortável e alguém do time reescreve tudo à mão, o que é um custo que não aparece em fatura nenhuma. Trabalho refeito por gente é o item mais caro da conta e o único que a instrumentação de token não captura.

Por isso o registro de custo por chamada decide pouco sozinho. Ele precisa vir emparelhado com uma medida de qualidade por classe, ainda que grosseira. Um punhado de casos lidos por quem conhece o assunto vale mais do que qualquer métrica automática de similaridade, e custa uma tarde.

Quatro dos cinco pontos caíram no lado barato, e apenas o quinto ficou na fronteira. Herdar o modelo do primeiro dia é a forma mais comum de gasto de IA na faixa de empresa deste curso.

Quatro erros aparecem com regularidade suficiente para merecerem nome. Nenhum deles se resolve trocando de provedor.

Essa frase do paper é a razão de a política de roteamento morar junto do registro de entidades, fora do código de um agente. O modelo que você escolher nesta semana estará desatualizado antes de o ano virar. A classe de tarefa, o critério de aceitação e o registro por chamada continuam valendo, porque descrevem o seu trabalho e não o catálogo de um provedor. Trocar de modelo passa a ser uma linha alterada num documento com data, seguida de uma amostra cega, em vez de uma discussão que recomeça do zero a cada lançamento.