lançado · 9B · Apache-2.0
Veredicto
release Trium
O membro 9B da família: um multi-especialista sobre a base clef-flash que lê um chamado de suporte em PT-BR e responde com probabilidades as mesmas 3 perguntas tipadas do Decisum. Release atual: Trium.
- parâmetros na base clef-flash
- 9B
- Trium · score geral
- 0.7118
- régua ouro, n=753 · empate estatístico com a API de fronteira
- p50 por caso, RTX PRO 6000
- ~400 ms
- composição completa, 3 forwards
O que o Veredicto faz
Veredicto é o membro 9B da família. O release atual — codinome Trium — é uma composição multi-especialista sobre UM backbone: três cabeças especialistas + um adapter LoRA, roteadas por pergunta.
Ele lê um chamado de suporte em PT-BR e responde com probabilidades as mesmas 3 perguntas tipadas do Decisum. A confiança de roteamento é o mínimo entre as 3 respostas — acima do limiar, o caso vai automático; abaixo, escala para humano.
System 1 / System 2: o Decisum é o System 1 (~100 ms por caso); o Veredicto é o System 2, para quem os casos são escalados.
Qual é o assunto?
17categorias
O que fazer?
5decisões possíveis
aprovarrejeitarescalarexecutar_acaopedir_mais_info
Para quando?
0–3escala de urgência
Arquitetura
Três cabeças especialistas + um adapter LoRA sobre o mesmo backbone, compostos em tempo de inferência e roteados por pergunta — 3 forwards por caso.
| Pergunta | Especialista |
|---|---|
| Categoria | cabeça B2 (step-2208) |
| Decisão | cabeça E1 (step-2576) |
| Urgência | adapter LoRA v4 (r=16, α=32, ~29M parâmetros) + cabeça de release |
A composição é em tempo de inferência: o merge não funciona — as cabeças colapsam no backbone adaptado (0,68 → 0,24). Por isso o custo é de 3 forwards por caso.
A base
Cloudflare/clef-flash (9,4B, bf16, linear-attention híbrida, contexto de 128k). A base não é redistribuída: o repo do Veredicto traz cabeças, adapter, scripts e preds; a base você baixa direto da fonte.
Benchmarks na régua ouro privada
1.499 casos humanos, split seed-42, n=753 no teste, T=1. A régua nunca foi usada em treino; empates resolvidos por caso.
| Sistema | Categoria | Decisão | Urgência | Geral |
|---|---|---|---|---|
| API de fronteiraprofessor/referência | 0.7251 | 0.6892 | 0.7238 | 0.7127 |
| Veredicto Trium | 0.7012 | 0.6892 | 0.7450 | 0.7118 |
| Veredicto E1melhor modelo único | 0.6773 | 0.6892 | 0.6839 | 0.6835 |
| Decisum v10+swa (322M×2) | 0.5604 | 0.6534 | 0.6932 | 0.6357 |
| clef-flash 9B (zero-shot) | 0.5817 | 0.2988 | — | 0.4772 |
O Decisum aqui está medido com o protocolo pareado desta avaliação (empates por caso): 0,6357. O número publicado do Decisum v10+swa na régua padrão é 0,6339.
Bootstrap pareado (10k reamostragens por caso, seed 42): contra a API de fronteira, empate estatístico — Δ −0,10 p.p., IC95 [−1,86; +1,68] — com vitória de +2,1 p.p. em urgência e empate exato em decisão. Contra o Decisum: +7,6 p.p.
Paridade de serving: o servidor HTTP reproduziu 2.259/2.259 respostas da avaliação offline.
Todos os números são reproduzíveis a partir dos preds publicados no repo.
Latência medida
Composição completa (3 forwards por caso), bf16, servidor aquecido, 100 casos. Valores aproximados (~).
| Hardware | p50 | p95 |
|---|---|---|
| NVIDIA RTX PRO 6000 (96 GB) | ~400 ms | ~738 ms |
| AMD RX 7900 XTX (24 GB, ROCm) | ~947 ms | ~2.178 ms |
| AMD RX 7900 XT (20 GB, ROCm) | ~1.106 ms | ~2.630 ms |
- Aqueça o servidor antes de medir: o 1º caso pós-boot é um outlier de ~120 s.
- Requisito de memória: ~19,5 GB — planeje 24 GB.
- Macs de 24 GB não são suportados (swap pesado — medido, sem número publicado).
- 16 GB fica de fora sem quantização (quantização está no roadmap).
- O custo é de 3 forwards por caso (a composição tem 3 especialistas).
- Domínio medido: e-commerce em PT-BR. Fora de domínio não foi medido.
- Use com revisão humana para decisões sensíveis.
Baixe o Veredicto
O repo público traz as cabeças especialistas, o adapter LoRA, os scripts, os preds crus da régua, o manifest SHA-256 e o REPRODUCAO.md. A base clef-flash você baixa direto da fonte.