Desmontar o relatório que engana sem mentir

Fraude em relatório é rara, e por um motivo prosaico: dá trabalho e é fácil de pegar. O que acontece com frequência é mais sutil. A pessoa que monta o documento testa alguns recortes, encontra o que conta a melhor história e apresenta esse. Nada no gráfico está errado. Cada número resiste a conferência. A conclusão que o slide induz é que não se sustenta.

O antídoto não é ceticismo geral, que só torna a reunião mais longa. São quatro perguntas específicas, uma para cada moldura, e todas cabem em menos de um minuto.

Moldura 1, o recorte de período

A data inicial de um gráfico decide o sinal da seta. A mesma série lida a partir de janeiro cai; lida a partir do vale de abril, sobe. As duas leituras usam os mesmos dados e as duas são verdadeiras dentro do recorte que declaram.

O sinal de alerta é visual e você aprende a ver em uma semana: o gráfico começa exatamente em um ponto baixo. Quando isso acontecer, pergunte por que a série começa ali e quem escolheu essa data. Se a resposta for que foi o início do contrato ou do ano fiscal, está tudo bem. Se a resposta demorar, você encontrou a moldura.

Moldura 2, a coincidência vestida de causa

O tráfego subiu no dia 12. No dia 12 a equipe alterou as meta tags de trinta páginas. No dia 12 um cliente conhecido publicou um vídeo mencionando a empresa. No dia 12 o concorrente principal ficou quatro horas fora do ar. O relatório atribui o ganho às meta tags, porque foi a ação que a equipe controlava e é a que ela sabe explicar.

A correção é uma exigência de formato, e não um debate metodológico. Toda afirmação de causa no relatório precisa vir acompanhada da lista do que mais aconteceu no mesmo período: campanhas, imprensa, sazonalidade, mudanças de preço, movimentos de concorrente e atualizações do buscador. Quando essa lista existe, a discussão passa a ser sobre qual explicação é mais provável, o que é uma conversa produtiva. Quando ela não existe, a única explicação disponível é a que o autor escolheu contar.

Moldura 4, o número sem procedência

Quatro perguntas resolvem, e nenhuma delas exige que você entenda de estatística. Quem publicou. Quando. Com que amostra. Como mediu. Se as quatro respostas vierem, o número entra no documento com a fonte ao lado. Se faltar uma, ele entra como estimativa e é assim que fica escrito.

Duas respostas costumam aparecer no lugar das quatro e nenhuma delas serve. A primeira é estudo interno, que descreve onde o número nasceu sem dizer como. A segunda é o link para um site que cita outro site que cita um terceiro, e nesse ponto a origem desapareceu. Peça o documento original. Quando ele não existir, o dado não tem como ser defendido em uma reunião de conselho, e é melhor descobrir isso agora.

Testar antes de escalar é a disciplina que separa recomendação de aposta. A mudança proposta entra em dez a vinte páginas representativas, escolhidas antes por critério declarado, e o resultado é observado por trinta a sessenta dias contra um grupo comparável que não recebeu a mudança. Só depois ela vai para o site inteiro.

O custo dessa disciplina é atraso. O benefício é saber. Sem ela, uma alteração aplicada a mil páginas no mesmo dia em que o Google publica uma atualização produz um resultado que ninguém consegue explicar, e a empresa fica sem saber se deve repetir ou desfazer. É o pior dos dois mundos: gastou o esforço e não comprou informação.

Uma afirmação frequente saiu deste curso por falta de fonte, e vale explicar por quê. Circula em material de SEO a ideia de que o comportamento do usuário depois do clique, medido pelo Google Analytics, seria o sinal de qualidade mais confiável do buscador. O Google nega publicamente usar dados de ferramentas de analytics do site como sinal de ranqueamento, e não localizamos estudo primário que sustente a afirmação contrária.

Medir o que a pessoa faz depois do clique continua valendo muito, e por outro motivo: é assim que se descobre se o tráfego trazido presta. A parte que sai é a promessa de que essa medição move posição no Google. Repetir isso em reunião cria uma expectativa que ninguém consegue entregar, e o custo aparece três meses depois, quando alguém cobra o resultado prometido.

Leve as quatro perguntas deste capítulo impressas para a próxima reunião de resultado e faça pelo menos uma delas antes de aprovar qualquer verba. Confira em um mês quantos slides voltaram corrigidos com período declarado, fonte nomeada e causa separada de correlação.