Benchmarks
Todos os sistemas medidos na mesma régua honesta — 753 casos de teste do ouro_gold.jsonl, que nunca entrou em treino. Sem enfeite: quem vence cada disputa está escrito abaixo.
No placar geral, o JEV vence: 0,7127 contra 0,6339 do Decisum. É a verdade e não vamos escondê-la.
O Decisum vence onde pesa em produção: ~100 ms por caso, custo marginal de US$ 0 e nenhum dado saindo da sua infraestrutura.
E o Veredicto 9B, o próximo da família, já vence o JEV em urgência: 0,745 contra 0,7238.
Score geral por sistema
Por pergunta: JEV × Decisum × Veredicto
- JEV
- Decisum v10+swa
- Veredicto 9B
A matriz completa
| Sistema | Categoria | Decisão | Urgência | Geral |
|---|---|---|---|---|
| JEV | 0.7251 | 0.6892 | 0.7238 | 0.7127 |
| Decisum v10+swa | 0.5618 | 0.6481 | 0.6919 | 0.6339 |
| Veredicto 9B | 0.2430 | 0.1633 | 0.7450 | 0.3838 |
| Laya (zero-shot) | — | — | — | 0.2005 |
| clef-flash 9B (zero-shot) | 0.5817 | 0.2988 | — | 0.4772 |
| mmBERT (zero-shot) | — | — | — | 0.1980 |
A régua: 1.499 casos — 999 de núcleo adversarial + 500 aleatórios — dividida por caso com seed 42, 753 no teste. Cada um dos 999 chamados do núcleo passou por olhos humanos (os meus). Nenhum modelo foi treinado nela.
A conta de produção
JEV
- segundos por caso
- ~US$ 0,08 a cada 1.000 casos
- os dados saem da sua infraestrutura
Decisum v10+swa
- ~100 ms por caso
- US$ 0 de custo marginal
- on-prem: os dados ficam na sua infra
A linhagem até o campeão
- campeão
- produção
- rejeitado
O ponto mais alto do gráfico (v2, 0,760) foi medido na régua errada — contra rótulos silver gerados por LLM, não o ouro humano — e por isso foi rejeitado.
Fora da curva: o 0,5037 do v11_cons é macro-F1(17), não acurácia geral — por isso o ponto não entra no gráfico.
O v11e (0,6110) foi campeão por 24 horas; o campeão atual, em produção, é o v10+swa (0,6339).