Conceito
Saturação de Benchmark
Estado em que os modelos de ponta acertam quase tudo em um teste e a diferença entre eles cabe dentro da margem de ruído.
O portal ensina Saturação de Benchmark em 4 capítulos de 1 curso gratuitos.
Definição do Glossário DEV Full-Stack (ver o verbete).
Onde estudar
Capítulos que tratam do tema
A aula trata do assunto mesmo sem escrever o nome do termo.
- Agentes de código para executivosRecusar as métricas que o agente aprende a burlar
- Agentes de código para executivosExigir prova executada no lugar de nota dada
- Agentes de código para executivosMedir o reflexo do agente antes de pagar para mudá-lo
- Agentes de código para executivosComprar primeiro a proteção barata que corta fraude
Como esta página foi montada
As ligações saem do texto das aulas, recalculado a cada publicação do site. Os critérios de cada tipo de ligação:
- O capítulo do glossário em que o termo é definido.
- O termo aparece escrito no capítulo ao menos duas vezes; os 10 de maior TF-IDF por capítulo.
- O capítulo trata do tema sem escrever o termo: cosseno de ao menos 0.58 entre os embeddings (text-embedding-3-small, 512 dimensões), no máximo 3 por capítulo.
- Os dois termos aparecem juntos em ao menos 3 capítulos, com coocorrência normalizada (NPMI) acima de 0,1.