O teste mensal que separa ganho de oscilação
Medir a marca todo mês com o mesmo teste: perguntas fixas, condições da coleta, quantas vezes repetir cada pergunta e a mesma ficha do fornecedor.
Este capítulo faz parte do curso gratuito Gestão de Projetos GEO.
Para acompanhar a marca, repita um conjunto de perguntas e guarde as condições de cada consulta. Compare a frequência com que ela aparece, os links apresentados e a correção das informações. As respostas podem variar mesmo quando o pedido é igual.
Comece com um teste pequeno para aprender o registro. Depois, escolha com a equipe o volume de coleta adequado às decisões do projeto. A primeira entrega é uma lista de perguntas e uma ficha que outra pessoa consiga usar.

Ver como texto
Verbete Reproducibility da Wikipedia em inglês, com a definição de reprodutibilidade como princípio do método científico e a seção History.
Escolha perguntas de clientes
Peça ao comercial e ao atendimento dúvidas sobre produto, comparação, compra e suporte. Escreva cada pergunta como o cliente a faria e guarde a lista com data. Durante a comparação, mantenha a redação; perguntas novas entram numa versão identificada.
A tabela mostra a lista de 40 perguntas do caso hipotético da Boreal. Para começar o exercício, use só três: “O que a Boreal fabrica?”, “Quais cuidados comparar antes de comprar um forno combinado?” e “Como conferir a assistência técnica de um fabricante?”.
| Grupo | Perguntas | Exemplo |
|---|---|---|
| Marca | 8 | O que a Boreal fabrica e para quem? |
| Categoria | 12 | Quais fabricantes de forno combinado atendem padarias no Brasil? |
| Comparação | 8 | Que características comparar entre dois fornos para uma rede de três padarias? |
| Problema e compra | 8 | Qual forno combinado comprar com orçamento limitado? |
| Reputação e risco | 4 | A Boreal tem reclamações de assistência técnica? |
Total: 8 + 12 + 8 + 8 + 4 = 40 perguntas. Guarde a lista completa e a versão usada em cada coleta.
Para cada resposta, marque três itens separados: a marca foi mencionada, uma página dela apareceu como fonte e a informação estava correta. Guarde o trecho e a fonte usada na conferência.
Exemplo hipotético: a resposta menciona a Boreal, mas informa assistência em um estado não atendido. Marque a menção e registre o erro de cobertura. Mantenha resultados separados por assistente para localizar onde cada situação ocorreu.
Registre as condições
Anote ferramenta, conta de teste, plano, idioma, local da consulta, data e modelo quando estiver visível. Registre também se houve busca na web, arquivos enviados ou histórico de conversa. Use um identificador para a conta, sem guardar sua senha.
Diferencie o aplicativo de uma API, a conexão usada por programas. A API pode ter busca ativada ou não. Para repetir a coleta, você precisa saber qual configuração foi usada, além do nome do modelo.

Ver como texto
Página Descontinuações do Gemini, da Gemini API, explicando a diferença entre modelo descontinuado e encerrado e informando que as datas de desativação são monitoradas na página.
Mantenha o contexto identificado
Uma conversa com arquivos e histórico pode produzir uma resposta diferente de uma conversa nova. Para um teste com informação pública, comece uma conversa nova e registre as configurações de personalização disponíveis.
Se a equipe quiser comparar uma experiência personalizada, faça isso em um grupo separado. Guarde qual contexto foi fornecido, usando apenas dados autorizados. Assim, você consegue explicar o que distingue os dois grupos.
- Conversa nova
- Mesma pergunta e recursos registrados.
- Sem mensagens anteriores nessa conversa.
- Configurações de personalização anotadas.
- Conversa com contexto
- Histórico e arquivos autorizados identificados.
- Pedido e recursos registrados.
- Resultado guardado em grupo separado.
A comparação precisa informar qual contexto estava disponível.
Se mudar a conta, o modelo ou a forma de cálculo, marque a data no relatório. Confira quais comparações continuam válidas e se será necessária uma nova coleta de referência. Preserve os registros anteriores.
Exemplo hipotético: o fornecedor passa a contar fontes dentro do texto e no fim da resposta. Rafael pede que ele identifique essa mudança, em vez de apresentar o aumento como se todas as coletas tivessem usado o mesmo critério.

Ver como texto
Página Deprecations da documentação da OpenAI, com a visão geral sobre a aposentadoria de modelos e os prazos mínimos de aviso, de pelo menos seis meses para modelos de uso geral.
Repita para observar a variação
No exercício, faça as três perguntas duas vezes em cada um de dois assistentes: 3 × 2 × 2 = 12 respostas. Use uma conversa nova por repetição e guarde as condições. Esse teste ensina o procedimento; decisões de investimento pedem uma coleta planejada para as perguntas e a variação do negócio.
Pesquisas como a de Schulte, Bleeker e Kaufmann mostram que marcas e fontes podem mudar entre execuções. Para uma análise maior, peça ao responsável pelos dados que justifique o número de perguntas, as repetições e o período usado na comparação.
- 1Escolha três perguntas
Use as perguntas prontas do exercício.
- 2Repita duas vezes
Abra uma conversa nova por repetição.
- 3Use dois assistentes
Mantenha os registros separados por ferramenta.
- 4Confira doze respostas
3 × 2 × 2 = 12; registre nome, fonte e informação.
O exercício ensina o procedimento; o volume do projeto será planejado com a equipe.
Repetir e diversificar atendem a necessidades diferentes. Repetir a mesma pergunta ajuda a observar quanto a resposta varia. Incluir dúvidas de instalação, preço e suporte amplia os assuntos investigados.
No plano hipotético de coleta mensal da Boreal, 16 perguntas recebem sete repetições por dia e outras 24 recebem uma: 16 × 7 + 24 = 136 respostas diárias por assistente. Em 28 dias, são 3.808. Calcule também o tempo de revisão antes de ampliar o teste.

Ver como texto
Verbete Sample size determination da Wikipedia em inglês, com a definição do tamanho de amostra e a lista dos modos de escolhê-lo, como variância desejada, poder estatístico e nível de confiança.
Separe os grupos ao calcular
Se algumas perguntas têm mais repetições, elas pesam mais num total de respostas. No plano da Boreal, as 16 perguntas repetidas sete vezes geram 112 respostas por dia; as outras geram 24. Apresente os grupos separados ou explique como será calculado o resultado conjunto.
Antes de ampliar a coleta, confira se estão cobertas as dúvidas importantes dos clientes. Acrescentar repetições à mesma pergunta não inclui um assunto que ficou de fora.
Peça quatro informações ao fornecedor
- Quais perguntas e plataformas serão acompanhadas?
- Quantas repetições serão feitas e em quais datas?
- Como cada resposta será classificada e como a taxa será calculada?
- Onde ficarão os registros que permitem conferir o resultado?
Peça uma amostra preenchida. Escolha uma resposta, encontre-a no arquivo e refaça a classificação antes de aceitar o formato do relatório.
| Objetivo | O que observar | Registro necessário | Próxima decisão |
|---|---|---|---|
| Aprender a coletar | Três perguntas, duas repetições e dois assistentes neste exercício. | Doze respostas com condições e classificação. | Conferir se outra pessoa consegue repetir o procedimento. |
| Investigar um problema | Perguntas relacionadas à informação incorreta ou ausente. | Respostas, fontes e página que precisa de revisão. | Definir a correção e sua conferência. |
| Comparar períodos | Mesmas perguntas, critérios e períodos equivalentes. | Método, repetições e variação observada. | Avaliar com o responsável pelos dados se a coleta apoia a decisão. |
Volume de respostas e qualidade da seleção são decisões diferentes. Faça a conta do trabalho de coleta e de revisão.
Distribua as tarefas da coleta
Na Boreal, Rafael e o comercial escolhem as perguntas. A analista registra as condições e guarda as respostas. O responsável pelos dados confere as contagens por assistente. Na revisão, a equipe decide quais achados pedem correção, coleta adicional ou mudança de plano.
Use períodos equivalentes ao comparar e registre as datas de alterações na página ou no método. Um erro confirmado de informação ou acesso pode ser corrigido enquanto a coleta continua.
- Etapa 1 de 5: Escolha as perguntas
Guarde a lista com data e versão; confira se cobre dúvidas dos clientes.
- Etapa 2 de 5: Registre as condições
Anote ferramenta, conta de teste, idioma, local, modelo e recursos usados.
- Etapa 3 de 5: Guarde cada resposta
Salve texto, fontes, data e classificação de menção, citação e informação.
- Etapa 4 de 5: Confira as contagens
Separe assistentes e grupos com quantidades diferentes de repetições.
- Etapa 5 de 5: Decida a próxima ação
Escolha uma correção ou uma nova conferência, com responsável e prazo.
Ver como texto
- Escolha as perguntas: Guarde a lista com data e versão; confira se cobre dúvidas dos clientes.
- Registre as condições: Anote ferramenta, conta de teste, idioma, local, modelo e recursos usados.
- Guarde cada resposta: Salve texto, fontes, data e classificação de menção, citação e informação.
- Confira as contagens: Separe assistentes e grupos com quantidades diferentes de repetições.
- Decida a próxima ação: Escolha uma correção ou uma nova conferência, com responsável e prazo.
Complete o primeiro registro
Use uma das três perguntas do exercício. Anote ferramenta, data, resposta e links. Marque se a Boreal aparece e escolha uma afirmação para conferir numa fonte pública. Se ainda não houver uma resposta coletada, prepare a ficha e deixe os campos do resultado vazios.
Confira se outra pessoa entende qual pergunta repetir e onde encontrará a resposta original. Só então complete as demais consultas.
Seu caderno neste capítulo
Abrir o caderno completoSelecione um trecho do capítulo para destacar ou anotar. Nos vídeos e áudios, use Anotar este momento. No teclado, selecione com Shift e as setas e use Alt+Shift+D para destacar ou Alt+Shift+N para anotar.
Salvo neste navegador. Entre na sua conta para levar o caderno a outros aparelhos.
Entre na sua conta para compartilhar o que aprendeu e convidar alguém para estudar com você.
Veja o que estudar antes e para onde seguir depois, explore os conceitos e compare abordagens em outros cursos. Sugestões marcadas como “sugerido pelo grafo” vêm dos assuntos em comum, não do índice do curso.
- Perguntas do cliente na IAAutomatizar o que já foi bem definidoExaminar conexões de Automatizar o que já foi bem definido
- NotebookLM para criar conteúdoCompare o Gemini Notebook com outros assistentesExaminar conexões de Compare o Gemini Notebook com outros assistentes
- Vendas consultivas de serviços de GEO e IAO diagnóstico que circula sem você na salaExaminar conexões de O diagnóstico que circula sem você na sala
- Vídeo com IA: do roteiro à publicaçãoTeste Claude, ChatGPT, Gemini e Grok com o mesmo roteiroExaminar conexões de Teste Claude, ChatGPT, Gemini e Grok com o mesmo roteiro
Terminou a leitura?
Você está aqui: capítulo 10 de 22
0 de 22 concluídos
- Próximo · Capítulo 11 de 22 · 14 minQuando uma queda merece reuniãoLer o capítulo 11 sem concluir
Marque como concluído para o capítulo contar no seu painel e no certificado.
- Anterior · Capítulo 9 de 22 · 15 minO painel com relatórios gratuitos e nomes comunsVoltar para o capítulo 9
Leve uma ideia para a prática
Escolha uma atividade no painel e volte a este curso quando quiser.
Atividades e evolução ficam reunidas no painel da sua conta.
- 08O que a equipe controla: robôs, página e a primeira semana
- 09O painel com relatórios gratuitos e nomes comuns
- 10O teste mensal que separa ganho de oscilação
- 11Quando uma queda merece reunião
- 12O que o retorno prova e o que não prova