Escolher entre buscar, treinar ou rotear antes de pagar a conta

Três decisões separam um assistente caro de um assistente barato, e nenhuma delas é a escolha da marca do modelo. A que você acerta primeiro define boa parte da fatura do trimestre.

RAG (geração apoiada em busca) é recuperar o trecho certo do seu material e passar como contexto na hora da pergunta. Serve quando o conhecimento muda, porque publicar a versão nova no índice já muda a resposta seguinte, sem retreino.

Ajuste fino, o fine-tuning, treina o modelo com exemplos seus e muda o comportamento dele. Vale quando falta formato, tom ou taxonomia estável, como classificar chamado sempre nas suas quatorze categorias.

A terceira decisão é a cascata: rotear cada tarefa para o modelo mais barato que ainda resolve. A distância de preço paga esse trabalho. O degrau mais barato da OpenAI, o GPT-6 Luna, custa US$ 0,10 por milhão de tokens de entrada, contra US$ 10 no topo da linha da Anthropic.

Cabe numa frase a regra de escolha. Conhecimento que muda pede RAG, comportamento que se repete pede ajuste fino, e volume de tarefa simples pede cascata.

Separe as perguntas do seu assistente por tipo antes de decidir. As que dependem de documento que muda toda semana pedem recuperação; as que dependem de formato fixo pedem ajuste fino.

Pergunte também qual modelo responde a pergunta mais simples do produto. Se a triagem de chamado usa o mesmo modelo da análise mais difícil, existe corte imediato de custo sem perda de qualidade.

Exija resposta com fonte, não porque pareça mais confiável, mas porque a citação do documento e da versão usada permite auditar erro sem abrir o histórico inteiro. E peça o custo por tarefa, porque é o custo da resposta errada que justifica pagar o modelo caro numa parte pequena do volume.

Quando a proposta trouxer preço fechado por mês, peça a memória de cálculo: qual modelo atende cada tipo de pergunta, quantas perguntas por dia e qual fatia vai para o modelo caro. Proposta que não separa isso costuma vender o modelo de topo para tarefa de triagem, e a diferença fica com o fornecedor.