Research Dashboard

Estamos no dia 13 de 90 da janela confirmatória v2

Iniciada em 2026-04-23 e programada para fechar em 2026-07-21. O dataset acumula 13.051 observações coletadas até o momento, distribuídas conforme o desenho fatorial pré-registrado (4 verticais × 48 queries balanceadas × 5 LLMs × 2 coletas diárias). A taxonomia, os prompts e os parâmetros de temperatura foram congelados antes da primeira coleta e permanecem imutáveis até o dia 90.

Como o dataset cresce

Duas coletas automatizadas rodam por dia, às 06:00 e 18:00 BRT, via GitHub Actions. Cada execução percorre 4 verticais × 48 queries × 5 LLMs, gerando aproximadamente 960 observações diárias. Ao final de cada run, o pipeline faz commit direto no repositório papers, com manifest SHA-256 para garantir reprodutibilidade bit-a-bit. O dataset é público desde o primeiro registro — sem embargo, sem versão privada, sem curadoria posterior.

Reimplementação algorítmica completa

O Paper 4 (Null-Triad) expôs três modos de falha no pipeline anterior: H1 com underpower estatístico, H2 com design-null (probe fictício desligado) e H3 com instrumentação assimétrica. O v2.0.0-reboot endereça os três simultaneamente com dez pilares metodológicos pré-registrados.

1. 01
   NER v2 (entity extraction)

   Normalização Unicode NFC+NFKD, regex com word-boundary rigoroso, aliases canônicos e stop-contexts. Redução de 45% em falsos positivos sobre dataset histórico.
2. 02
   Cluster-robust inference (CR1)

   Sandwich estimator com cross-group covariance para diff-of-proportions sobre clusters temporais (dias).
3. 03
   Null simulation empírica

   Distribuição Monte Carlo de Jaccard sob H0 de uniformidade, substituindo threshold arbitrário por P5 empírico.
4. 04
   Power analysis pré-registrada

   Rule-of-Three inverse (probe fictício), Cohen's h para diff-proportions, design-effect adjustment por correlação intra-cluster.
5. 05
   GLMM hierárquico

   BinomialBayesMixedGLM com random intercepts aninhados (query, day, entity) para partição correta de variância.
6. 06
   Cohort científica v2

   80 entidades BR reais (4 verticais × 20) + 32 anchors internacionais + 16 decoys fictícios para calibração de FPR via alucinação.
7. 07
   Query battery balanceada

   192 queries com balanceamento 50/50 idioma (PT/EN) e tipo (directive/exploratory), cobertura 4 verticais × 6 categorias × 2 temporal.
8. 08
   Hypothesis engine (BH-FDR)

   Benjamini-Hochberg automático + decision rule pré-registrada (reject iff BH-adjusted p<0,05 AND 95% CI exclui null).
9. 09
   Reprodutibilidade bit-para-bit

   Docker image pinada + PYTHONHASHSEED fixo + SHA-256 manifest de outputs via scripts/reproduce.sh contra git tag.
10. 10
    Test coverage 78/78

    Suite automatizada cobrindo os seis módulos analíticos do v2 (NER, CR1, null-sim, power, GLMM, hypothesis-engine).

Perguntas frequentes

Sobre a metodologia e os dados desta pesquisa.