Observações
8.571
janela v2 · 1.785 citações detectadas
Taxa de citação
20,8%
cited_v2 incluindo probes adversariais
Modelos LLM
5
Sonar, Claude, ChatGPT, Groq, Gemini
Verticais
4
Fintech, Varejo, Tech, Saúde
Custo total
$31,92
5,72M tokens · 8.571 chamadas
Automações
9
8 ativas · 1 pendente
Automações configuradas
Pipeline de automações7 processos
| Automação | Frequência | O que faz | Status |
|---|---|---|---|
| Coleta diaria de citações (Papers) | Todo dia 06:00 BRT | Envia 54 queries x 5 LLMs x 4 verticais = 1.080 observações/dia (janela v2) | Ativo |
| Benchmark semanal | Domingo 08:00 BRT | SERP vs AI Overlap + relatório estatistico completo + FinOps | Pendente |
| Coleta de métricas do site | Todo dia 08:00 UTC | GA4, GSC, DEV.to, GitHub, Lighthouse, Wikidata, PageSpeed (11 fontes) | Ativo |
| Deploy automático (Vercel) | A cada push em master | Compila 187 páginas Next.js + publica em alexandrecaramaschi.com | Ativo |
| Post-deploy (IndexNow) | Após cada deploy | Submete 100 URLs ao Bing, Yandex e api.indexnow.org para indexação rápida | Ativo |
| Dashboard horario (brasilgeo.ai) | A cada hora (cron) | Coleta dados de 7 fontes, atualiza KV cache do Worker | Ativo |
| FinOps Monitor | Após cada coleta | Calcula custos por API, verifica budget, detecta rotacao de chaves (5 providers, 19 alertas emitidos) | Ativo |
| Pixel smoke test (Meta CAPI) | 2x por hora | Dispara evento CAPI de teste e valida /stats. Issue + email Resend se stale > 120min | Ativo |
| Google Ads quota watchdog | 11:00 UTC | Alerta em RATE_EXCEEDED, PERMISSION_DENIED, oauth_refresh_failed (Basic Access aprovado 19/04) | Ativo |
💡Como funciona o ciclo diário:GitHub Actions dispara as 06:00 BRT → envia 54 queries a cada um dos 5 LLMs para cada vertical (incluindo probes adversariais e fictitious targets) → registra cited_v2, first_entity_v2, position_v2, sentimento e attribution → salva no SQLite → FinOps calcula custo por provider → CircuitBreaker isola providers em falha → dados disponiveis nos dashboards em ate 1h.
🎯Janela v2 calibrada concluida: 8.571 observações em 6 dias (23-29/abr) com 40 runs success e 100% de cobertura por modelo/vertical. Janela H2 confirmatoria iniciou em 30/abr e segue ate 22/jul para coleta longitudinal de N=25.920.
Dados coletados
Banco de dados Papers (SQLite)21120 registros
| Tabela | Registros | Descrição |
|---|---|---|
| citations | 8571 | Cada registro = 1 pergunta enviada a 1 LLM com resultado (citou/não citou, posição, sentimento, texto). Coluna v2 inclui probes adversariais e fictitious targets. |
| finops_usage | 8571 | Custo por chamada (platform, model, tokens in/out, cost_usd). Total acumulado: $31,92 em 5,72M tokens |
| citation_context | 3841 | Análise de cada citação: sentimento, atribuição, precisao factual, hedging, posição no texto |
| collection_runs | 40 | Histórico de execuções com timestamp, modulo, vertical, N registros, status (40 runs success na janela v2) |
| finops_daily_rollup | 35 | Snapshot diário de custo agregado por plataforma para alerting determinístico |
| daily_snapshots | 24 | Backfill diário de citation_tracker por vertical com taxa global, by_llm e latência média |
| finops_alerts | 19 | 19 alertas emitidos (a maioria em google daily_exceeded $3,00). Severity emergency/critical/warning |
| finops_budgets | 6 | Limites de gasto por plataforma (OpenAI, Anthropic, Google, Perplexity, Groq + global) |
| model_versions | 5 | Tracking de versão de 5 LLMs: gpt-4o-mini, claude-haiku-4-5, gemini-2.5-pro, sonar, llama-3.3-70b |
| verticals | 4 | Definicao das 4 verticais (Fintech, Varejo, Saúde, Tecnologia) com lista de entidades |
| finops_key_fingerprints | 4 | Hash SHA-256 das API keys para detectar rotacao silenciosa |
| hypotheses | 0 | Pre-registro de hipóteses estatísticas (aguardando preenchimento antes da janela H2) |
| interventions | 0 | Testes A/B de otimizacoes de conteúdo (schema.org, llms.txt, etc.) |
| serp_ai_overlap | 0 | Comparação Google SERP vs respostas LLM (requer BRAVE_API_KEY) |
| dual_responses | 0 | Resposta JSON vs natural do mesmo LLM para medir discrepancia |
📊8.571 observações já coletadas em 6 dias intensivos da janela v2 (23-29/abr). Cada observação contem: modelo LLM, query enviada, se citou (sim/não), texto completo da resposta, latência, tokens, e 44 campos de metadados (incluindo cited_v2, first_entity_v2, position_v2, alias/fold expansion). A análise de contexto (3.841 registros) detalha sentimento, atribuição, precisao factual e hedging para cada citação.
Outros bancos de dados3 fontes
Supabase (Leads + Pixel health)
91 leads capturados via ebook. Tabela ebook_leads (22 colunas + cm_synced_at, RLS ativo). View leads_dashboard. Tabela pixel_health_log para observabilidade Meta CAPI.
Cloudflare KV (brasilgeo.ai)
Dashboard de 7 fontes atualizado a cada hora via cron trigger do Worker. herreira-discover, naia-pages-proxy e workers proprios para apex.
GitHub Actions (métricas + papers)
Coleta diaria: GA4 (property 529269127), GSC, DEV.to, Lighthouse, PageSpeed, Wikidata. Pipeline papers em janela v2 com 5 LLMs.
Distribuição dos dadosjanela v2
Por modelo (N total)
ChatGPT 1.920 | Gemini 1.920 | Groq 1.920 | Claude 1.851 | Sonar 960
Por vertical (N total)
Fintech 2.160 | Varejo 2.160 | Saúde 2.139 | Tecnologia 2.112
Sentimento (citation_context)
Neutro 2.782 | Positivo 1.053 | Negativo 6
Posição (top-3)
Pos 1: 815 | Pos 2: 563 | Pos 3: 407
FinOps (custo / N)
google $27,71 (87%) · anthropic $2,56 · groq $0,93 · openai $0,44 · perplexity $0,29
Coletas executadas
40 runs success · 19 alertas finops · 24 daily snapshots backfilled
Resultados estatisticos
Citação por modelo LLMjanela v2 · 5 LLMs
Perplexity SonarN=960
82.5%
Claude Haiku 4.5N=1.851
26%
GPT-4o-miniN=1.920
17.2%
Groq llama-3.3-70bN=1.920
8.2%
Gemini 2.5 ProN=1.920
1.1%
💡Diferença massiva entre modelos. Perplexity Sonar (com RAG em tempo real) cita 75x mais que Gemini 2.5 Pro (parametrico). Claude Haiku 4.5 ocupa o segundo lugar com 26%. A queda de Gemini para 1,1% é dramática vs janela v1 — sinal de que o modelo prioriza recusar quando não tem certeza, comportamento alinhado a guardrails Google reforçados em 2026.
Citação por verticaljanela v2 · 4 setores
FintechN=2.160
28.6%
VarejoN=2.160
25.5%
TecnologiaN=2.112
15.1%
SaúdeN=2.139
14%
💡Diferença significativa entre verticais em v2: Fintech (28,6%) e Varejo (25,5%) têm taxa quase 2x maior que Tecnologia (15,1%) e Saúde (14,0%). Hipótese: marcas de fintech e varejo de massa têm presença muito maior nos corpora de treinamento dos LLMs (memes, reviews, redes sociais) do que players B2B de tech ou farmacêuticas — o efeito "cauda longa" do treinamento favorece consumer-facing.
Top 10 entidades mais citadasjanela v2 · cited_v2
| # | Entidade | Vertical | Citações | Distribuição |
|---|---|---|---|---|
| 1 | Nubank | Fintech | 594 | |
| 2 | Mercado Livre | Varejo | 317 | |
| 3 | Magazine Luiza | Varejo | 168 | |
| 4 | Totvs | Tecnologia | 116 | |
| 5 | EMS Pharma | Saúde | 95 | |
| 6 | Hypera Pharma | Saúde | 88 | |
| 7 | Accenture | Tecnologia | 59 | |
| 8 | Involves | Tecnologia | 45 | |
| 9 | Americanas | Varejo | 30 | |
| 10 | Pfizer | Saúde | 28 |
💡Lei de Zipf confirmada com N maior: as 3 entidades mais citadas (Nubank + Mercado Livre + Magazine Luiza) concentram 60,7% das 1.785 citações. Nubank sozinho detém 33,3% — o dobro da concentração observada em v1. A distribuição power-law se mantém entre verticais: entidades de consumer-facing com forte presença em mídia, reviews e redes sociais dominam, enquanto B2B e farmacêuticas aparecem com pesos uma ordem de grandeza menores.
Em andamento
Progresso para publicação33,1%
8.571 / 25.920 observações~84 dias restantes (target 22/jul)
Observações coletadas
8.571 / 25.920
Dias de coleta v2
6 / 90+
Custo acumulado
$31,92 / $120
Hipóteses registradas
0 / 3+
A/B experiments
0 / 2
Hardening aplicado (janela v2)9 fixes
✓Probes adversariais e fictitious targets adicionados (18 → 54 queries/vertical)
✓Groq llama-3.3-70b adicionado como 5º LLM canônico
✓cited_v2, first_entity_v2, position_v2 + alias/fold expansion (44 cols)
✓FinOps tracking dos 5 providers (era só OpenAI em v1)
✓19 alertas finops emitidos em janela v2 (google daily_exceeded $3,00)
✓CircuitBreaker + cross-provider top-2 + fallback intra-provider (Gemini Pro→Flash)
✓Daily snapshots backfill: 24 snapshots gerados retroativamente
✓Pixel smoke test 2x/h (Meta CAPI) + pixel_health_log no Supabase
✓Janela H2 calibrada 30/abr-22/jul (90 dias para target N=25.920)
Timeline do projeto
Roadmap de pesquisa e publicação3 papers planejados
24/03/2026
Início
Primeira coleta: 351 observações em 4 verticais, 4 LLMs
26/03/2026
Correções v1
Pipeline corrigido: cited_entity, FinOps 4 APIs, latency, leak scanner, modelo normalizado
16/04/2026
Audit + power boost
Painel de 7 especialistas reviu metodologia. Probes adversariais e fictitious targets adicionados
23/04/2026
Janela v2 reboot
Pipeline v2 rebootado: cited_v2, first_entity_v2, position_v2, alias/fold expansion. Groq adicionado como 5º LLM
23-29/04/2026
Janela v2 calibrada
8.571 observações em 6 dias intensivos. 40 runs success. $31,92 gastos. 5 LLMs × 4 verticais × 18 queries
30/04/2026
Início H2
Janela H2 inicia coleta confirmatoria longitudinal até 22/jul (90 dias úteis para target N=25.920)
Mai-Jul 2026
Coleta H2 longitudinal
1.080 observações/dia x 90 dias. Target N=25.920 para análise estatística com effect size detectável
Junho 2026
A/B Tests
2 experimentos controlados (schema.org, llms.txt) para Paper 3
Julho 2026
Paper 1 (ArXiv)
How LLMs Cite Entities Across Industry Verticals — preprint
Agosto 2026
Paper 3 (Info Sci)
Industry-Specific Patterns in AI Citation — Information Sciences Q1
Set 2026
Paper 2 (SIGIR)
GEO vs SEO: Source Divergence — SIGIR/WWW submission (replanejado para 2027 após perda da janela 2026)
🎯Objetivo final: 3 publicações acadêmicas (ArXiv preprint + SIGIR/WWW tier-1 + Information Sciences Q1) com o maior dataset empírico já coletado sobre como LLMs citam empresas brasileiras. O dataset completo tera ~25.920 observações em 4 setores, 4 modelos e 69 entidades ao longo de 90+ dias.
Metodologia estatística
7 testes implementadosscipy + statsmodels
Kruskal-Wallis
Comparar taxas entre 4+ modelos LLM
Effect size: eta-squared
ANOVA one-way
Comparar grupos quando variancias homogeneas
Effect size: eta-squared
Chi-squared
Associacao entre categoria de query e citação
Effect size: Cramer's V
Mann-Whitney U
Comparar posição de citação (ordinal)
Effect size: rank-biserial r
Regressao logistica
Preditores de citação (schema, links, etc.)
Effect size: pseudo R-sq
Correlação Spearman
Associacao entre variaveis continuas
Effect size: rho
Benjamini-Hochberg
Correção para comparações múltiplas (FDR)
Effect size: p corrigido
Links e crosslinks publicados
Páginas ativas em alexandrecaramaschi.com187 páginas
Pesquisa e dados
/researchResearch Dashboard
/papers-roadmapPapers Roadmap
/roadmapDashboard Estratégico
/geo-orchestratorGEO Orchestrator
/geo-orchestrator/reportReport (esta página)
/metodologiaMetodologia GEO
/linkedinstratlab.htmlPlano Stratlab Thought Leadership
Conteúdo (76 artigos + 26 insights + 51 educação)
/artigos76 artigos editoriais (Naia, Drive ondas, papers)
/insights26 peças sobre GEO, IA e negócios
/educacao51 cursos (Claude Code, Python, GEO, OAuth, vibecoding...)
/artefactoGuias + FAQs interativos
/ferramentas/geo-scoreGEO Score Calculator
/conteudosHub de conteúdo
APIs
/api/research/dataDados por vertical (autenticado)
/api/metricsMétricas ao vivo
/api/ebook-leadsLead capture (91 leads)
/api/indexnowIndexNow ping (Bing+Yandex+api.indexnow.org)
/api/mcp/markdownContent negotiation Accept: text/markdown