Exigir prova executada no lugar de nota dada

PEDIDO DE PROCEDÊNCIA DE RESULTADO

Fornecedor ............ [FORNECEDOR E PRODUTO]
Número apresentado .... [O NÚMERO APRESENTADO, COM A PALAVRA USADA NO SLIDE]
Apresentado em ........ [DATA E CONTEXTO DA APRESENTAÇÃO]

Antes de este número entrar em qualquer decisão de contrato, preciso de duas
respostas por escrito, com o artefato anexado.

1. QUEM JULGOU ESTE RESULTADO, E COM O QUE?
   Se foi uma pessoa ou outro modelo atribuindo pontuação, quero o critério
   escrito e a amostra avaliada. Se foi execução, quero o registro de execução,
   com data e ambiente.

2. QUEM RODOU A MEDIÇÃO, EM QUE AMBIENTE E CONTRA QUAL TESTE?
   Quero saber se o ambiente tinha acesso a internet e a histórico do projeto,
   e se o conjunto de tarefas já era conhecido pela ferramenta antes da medição.

CONDIÇÃO DE ACEITE
Sem as duas respostas com anexo em cinco dias úteis, o número entra na pauta
com a etiqueta de estimativa do fornecedor e perde o status de resultado
medido. A comparação com qualquer concorrente fica suspensa até que os dois
tenham rodado no mesmo arranjo.

O que você digitar fica salvo neste navegador. Nada é enviado para servidor algum.

Teste A/B de dois prompts de anúncio, do brief ao veredito

Seis passos com uma ferramenta de código aberto, o Promptfoo, que a própria OpenAI indicou como destino de quem usava o Evals.

1. 1

   Passo 1: Monte um arquivo briefs.csv com 40 a 60 linhas

   Colunas produto, público e oferta. Inclua casos difíceis: oferta sem desconto, produto de nome longo, público regulado.

   Deu certo quando: Arquivo aberto sem erro numa planilha e revisado por quem conhece a conta.

   Erro comum: Testar só com os três produtos mais vendidos.

2. 2

   Passo 2: Escreva os dois prompts em arquivos separados e mude uma coisa só

   O prompt A pede benefício; o B pede prova social. Se mudar tom e tamanho ao mesmo tempo, o resultado não diz qual mudança pesou.

   Deu certo quando: Diferença entre os arquivos cabe em uma ou duas frases.

   Erro comum: Comparar o prompt novo com o antigo escrito às pressas.

3. 3

   Passo 3: Declare as métricas no arquivo de configuração

   Uma regra em JavaScript para o limite de caracteres e uma rubrica llm-rubric com nota mínima de 0,7, com o modelo juiz fixado em temperatura zero.

   Deu certo quando: O comando de validação do Promptfoo aprova o arquivo sem aviso.

   Erro comum: Juiz igual ao modelo gerador, que tende a gostar do próprio texto.

4. 4

   Passo 4: Rode cada prompt duas vezes antes de comparar

   A diferença entre duas rodadas do mesmo prompt mostra o ruído da medição.

   Deu certo quando: Você sabe quantos pontos de taxa de aprovação a medição oscila sozinha.

   Erro comum: Declarar vencedor por uma diferença menor que o próprio ruído.

5. 5

   Passo 5: Compare taxa de aprovação, nota média e custo por resposta

   A tela de resultado põe as saídas lado a lado, com passou ou falhou por caso e o custo total de cada prompt.

   Deu certo quando: Planilha com as três colunas por prompt e os casos em que os dois discordam.

   Erro comum: Olhar só a nota média e ignorar o caso que reprovou nos dois.

6. 6

   Passo 6: Leve o vencedor ao experimento real com metade do tráfego

   O teste fora do ar escolhe o candidato; o experimento na plataforma de anúncios decide pela taxa de cliques e pela conversão.

   Deu certo quando: Experimento ativo com data de leitura marcada e métrica de decisão escrita antes de começar.

   Erro comum: Encerrar o experimento no terceiro dia porque um lado saiu na frente.

No fim você tem: Um prompt escolhido por números medidos nos seus briefs, com o ruído conhecido e o veredito final dado pelo tráfego real.