Conceito
Pass Rate
É a nota que o modelo tira no teste. Percentual de casos do eval que atenderam ao critério, comparável só entre rodadas com o dataset congelado. Confira se o seu ficou parado.
O portal ensina Pass Rate em 4 capítulos de 3 cursos gratuitos.
Definição do Glossário DEV Full-Stack (ver o verbete).
Onde estudar
Capítulos que tratam do tema
A aula trata do assunto mesmo sem escrever o nome do termo.
- Agentes de código para executivosRecusar as métricas que o agente aprende a burlar
- Prompt Engineering para ExecutivosAvaliar a IA com uma planilha de 20 a 50 tarefas
- RAG em produçãoO portão que impede a melhoria de piorar o resto
- Prompt Engineering para ExecutivosConduzir a revisão executiva de um sistema em 30 minutos
Como esta página foi montada
As ligações saem do texto das aulas, recalculado a cada publicação do site. Os critérios de cada tipo de ligação:
- O capítulo do glossário em que o termo é definido.
- O termo aparece escrito no capítulo ao menos duas vezes; os 10 de maior TF-IDF por capítulo.
- O capítulo trata do tema sem escrever o termo: cosseno de ao menos 0.58 entre os embeddings (text-embedding-3-small, 512 dimensões), no máximo 3 por capítulo.
- Os dois termos aparecem juntos em ao menos 3 capítulos, com coocorrência normalizada (NPMI) acima de 0,1.