Conferir a fidelidade de cada afirmação contra as fontes

Para conferir a fidelidade de uma peça gerada pelo NotebookLM, compare cada afirmação verificável com o trecho da fonte que a sustenta como está escrita. Essa conferência é uma etapa da preparação para publicar; direitos, divulgação e aprovação humana vêm nos capítulos seguintes. A sensação de que “parece certo” não serve como prova: o áudio soa confiante, o vídeo tem boa diagramação, o relatório cita fontes, e mesmo assim um número arredondado, uma data deslocada ou uma frase atribuída à fonte errada passam despercebidos por quem só ouve ou lê do começo ao fim. A própria Central de Ajuda avisa, nas páginas de Audio Overview, Video Overview, slides e infográfico, que essas peças são geradas por IA e podem conter imprecisões.

Este capítulo abre a trilha de qualidade com o instrumento mais barato e mais útil dela: a conferência afirmação por afirmação. No fim, você terá um scorecard, uma tabela de conferência, com dez afirmações de uma peça sua, cada linha com o estado (suportada, contradita ou sem fonte), o trecho literal da fonte ao lado e a decisão que a linha provoca: manter, corrigir ou cortar. É esse documento que você vai levar ao gate de curadoria no capítulo 16.

Dois termos organizam o capítulo. Groundedness é o grau em que uma peça se apoia nas fontes que a geraram: uma peça com groundedness alta diz o que as fontes dizem, no escopo em que dizem, e não acrescenta fatos. Ela mede fidelidade ao material de partida, sem atestar que esse material está certo sobre o mundo. O scorecard, apresentado na abertura, registra essa medida por afirmação, com o estado de cada uma e a prova ao lado.

A conferência por afirmação existe porque um veredito único por peça esconde o erro. A documentação da esteira GEO-Pesquisador, o caso real deste curso, descreve o problema assim: uma nota geral “aprovada” pode esconder o número inventado no meio de dezenove corretos. Quebrar a peça em frases conferíveis torna esse número visível, e o placar final (quantas afirmações suportadas sobre o total) passa a ser consequência das linhas, nunca um palpite.

A diferença entre as duas colunas é a regra da dúvida. A documentação da esteira resume a postura em uma frase: groundedness que aprova na dúvida não serve como groundedness. Por isso, no scorecard da esteira, uma afirmação indeterminada conta contra a aderência e é enviada para uma segunda verificação, mais cara. No scorecard manual, o equivalente é marcar “sem fonte” e deixar a decisão explícita.

As aspas merecem um passo próprio porque o erro delas é mais grave. A mesma documentação registra que, em fontes complexas (PDFs longos, tabelas, muitos números), o chat pode inventar citações e dados. Uma frase entre aspas que não existe na fonte é atribuição falsa: alguém “disse” algo que nunca disse.

O terceiro princípio vem do caso real: quem redige não valida. A pessoa ou o modelo que escreveu a peça tende a ler o que quis escrever. Na esteira, o redator é um modelo de uma família e o verificador é de outra. Para quem trabalha sozinho na interface, a versão prática é conferir em outro momento, começar pelas afirmações com número e, quando possível, pedir a outra pessoa que confira as linhas marcadas como suportadas.

Na esteira, o placar tem nome e régua. A aderência é a proporção de afirmações apoiadas; a atribuição é a proporção de afirmações com fonte identificável; a completude é a proporção de fontes do catálogo citadas por pelo menos uma afirmação. O veredito PASS exige aderência e atribuição de pelo menos 0,8 e completude de pelo menos 0,5. Um FAIL na camada barata é gatilho de escalação, e o veredito final só sai depois do juiz. Toda afirmação que o juiz não apoia é corrigida ou removida antes do gate, e editar a peça obriga a rodar a conferência de novo.

Os comandos abaixo são scripts da esteira, executados pela equipe do caso; você não precisa deles para fazer o scorecard manual. Eles mostram como a mesma lógica vira rotina quando o volume cresce. O juiz de outra família exige uma chave de API própria e roda em modo de simulação por padrão.

Exemplo resolvido, do caso real. Em 27/09/2026, a esteira produziu o vídeo e o podcast do capítulo 1 de um curso do portal sobre segundo cérebro com agentes pessoais. A fonte foi uma só: o texto do capítulo publicado, extraído da página e limpo de links. Primeira decisão: usar uma fonte única torna a conferência objetiva, porque toda afirmação da peça precisa existir naquele texto.

O podcast saiu em três versões. A primeira, de 570 segundos, foi reprovada por duas linhas do scorecard: a menção a um “histórico de três anos”, que não está no capítulo (sem fonte), e uma reflexão final nova, que acrescentava ideia ausente da fonte. A segunda, de 535 segundos, foi publicada. A terceira, de 400 segundos, saiu fiel, mas foi reprovada por ficar abaixo de oito minutos, critério de duração do brief. Segunda decisão: a reprovação por fidelidade e a reprovação por formato são registradas separadamente, porque pedem correções diferentes.

O vídeo seguiu o mesmo padrão. A primeira versão, de 589 segundos, trazia rótulos em inglês e um calendário com data ausente da fonte (sem fonte); a segunda, de 370 segundos, foi publicada. A conferência usou transcrição local do áudio e leitura frase a frase contra o capítulo. Terceira decisão: algumas imprecisões leves de formulação e acabamento, sem número nem data errados, foram aceitas e escritas no registro do ciclo, como “uma simulação bem fiel” no podcast e rótulos pequenos em inglês nas ilustrações do vídeo. O motivo registrado foi que não restavam regerações, e o registro marca essas peças para escuta humana. A aceitação valeu só para esse tipo de falha: afirmação contradita ou sem fonte levou à reprovação nas duas primeiras versões.

Variação: num estudo de benchmarking publicado em 25/09/2026, a esteira encontrou 31 segundos sem lastro no podcast (de 5:27 a 5:58, uma falsa correção e uma especulação de preço) e preferiu cortar o trecho com emenda conferida, em vez de regenerar. Quando o erro está concentrado num trecho e o resto do scorecard é limpo, cortar custa menos que gerar de novo.

Avalie a resposta do chat como avaliaria a peça. Abra cada citação e confirme que o trecho existe e diz o que a linha afirma; o chat pode classificar bem e citar o trecho errado. Desconfie de linhas SUPORTADA cujo trecho só menciona o tema, e de qualquer linha sem citação clicável. Lembre também do limite desse atalho: o chat também pode errar ao localizar ou interpretar evidências, então use-o como auxiliar de busca e mantenha o veredito com uma pessoa. Para esta atividade, envie as dez afirmações selecionadas; a esteira do caso trabalha com lotes de cerca de vinte afirmações por pergunta. Se a resposta omitir linhas, divida o conjunto em lotes menores e confira se todas receberam resposta. Cada pergunta consome uso de chat.