Quando a resposta certa está no seu documento, e o modelo não a leu

Um assistente interno respondeu que a carência para cirurgia eletiva era de 180 dias. O contrato do cliente dizia 120. A resposta saiu em dois segundos, em português impecável, sem nenhum sinal de dúvida na tela.

O número 180 não estava em documento nenhum. O modelo produziu a continuação mais provável para aquela frase, e 180 dias é o valor mais comum nos textos em português sobre planos de saúde. A resposta foi estatisticamente razoável e contratualmente falsa.

O custo disso aparece três dias depois, quando o cliente liga para reclamar da janela de agendamento que perdeu. Quem responde por atendimento descobre então que não existe como auditar a resposta: ninguém sabe de onde o número veio, porque ele não veio de lugar nenhum.

Essa aula separa dois tipos de pergunta. A que o modelo pode responder sozinho, porque a informação é pública e estável. E a que exige abrir um documento seu, porque a informação é privada, muda com aditivo e precisa ser citada para valer.

O mecanismo por trás do erro é o mesmo que produz os acertos. Um modelo de linguagem estima qual palavra vem a seguir, dado tudo que já foi escrito antes. Ele não guarda um campo dizendo se aquilo é lembrança ou invenção.

Por isso a segurança da resposta não informa nada sobre a veracidade dela. O texto sai igualmente fluente quando o modelo leu a informação milhares de vezes e quando está completando um padrão. Quem lê não tem como distinguir pela forma.

Você já resolveu esse problema fora da tecnologia. O atendente novo que decora o padrão dos contratos acerta a maioria das vezes, porque a maioria segue o padrão. Ele erra justamente nos casos fora da curva, que são os que geram reclamação.

A saída nunca foi contratar alguém mais inteligente. Foi obrigar o atendente a abrir o documento do cliente antes de responder, e a dizer de qual cláusula tirou a informação. Recuperação é essa mesma obrigação, aplicada ao modelo.

A troca que a recuperação faz é vantajosa por um motivo pouco citado. O problema deixa de ser conhecimento do modelo e passa a ser recuperação de informação, que é auditável por qualquer pessoa da operação.

Quando a resposta sai errada com recuperação ligada, dá para perguntar qual trecho o sistema entregou. Na Corretora Ventura essa pergunta levou três minutos para ser respondida: o sistema tinha entregue a cláusula do plano Essencial Individual quando a pergunta era sobre o Essencial PME.

O nome dos dois arquivos diferia em uma palavra. O conserto foi de metadado na ingestão, assunto da trilha 2, e custou meio dia. Nenhum modelo precisou ser trocado, retreinado ou reavaliado para chegar a essa conclusão.

Armadilha comum: tratar citação como prova de correção. Se a busca trouxer o trecho errado, o modelo responde o trecho errado com a mesma fluência, agora com uma referência ao lado que aumenta a credibilidade do erro.

Citação prova procedência. Correção só se prova medindo, e é por isso que a trilha 6 dedica três aulas a conjunto dourado, fidelidade ao trecho e teste de regressão. Ligar recuperação sem medir troca um erro invisível por um erro com aparência de auditado.

O caso da Ventura terminou com um número que vale repetir. Na primeira semana com recuperação ligada, 62 por cento das respostas citaram o documento certo, 21 por cento citaram documento de nome parecido e 17 por cento não encontraram nada.

Os 21 por cento orientaram o projeto inteiro. Antes de melhorar o modelo, a equipe separou os planos por metadado e refez a nomeação dos arquivos. Pegue as vinte últimas perguntas reais do seu suporte e verifique quantas dependem de um documento que existe.