Lançando o Imperium: o professor de 26B que virou motor de triagem e venceu a API de fronteira no ouro
- imperium
- lancamento
- benchmarks
- huggingface
- lora
Imperium é o nome público do nosso modelo de decisão de 26B — o professor e árbitro da família, publicado como base pública. O único nome real neste texto é o do autor; o juiz de API de fronteira segue sendo "juiz-D", como nas partes anteriores da série.
Raphael Pizzo — Especialista em Machine Learning Novembro de 2026
Nota de anonimização: nenhum nome de cliente, empresa ou plataforma de terceiros aparece neste texto. A plataforma atendida é "a plataforma". Modelos públicos são citados pelo nome (vllm-sr/d3, família Syvor).
1. O que acabou de sair
Publicamos no Hugging Face o Imperium fine-tunado para triagem: três especialistas LoRA (urgência, categoria, decisão) sobre a nossa base pública de decisão de 26B — o vllm-sr/d3, o mesmo modelo da família que publicamos como professor e árbitro. Uma passada por pergunta tipada, probabilidade por alternativa, zero geração de texto — exatamente o contrato do Decisum, agora na maior escala que medimos.
🔗 Repositório: syvorai/imperium (Apache-2.0 — adapters + exemplo de inferência; a base você baixa direto da fonte).
A família fecha assim:
| modelo | tamanho | papel |
|---|---|---|
| Decisum | 322M ×2 | System 1: triagem sempre-ligada (~100 ms) |
| Veredicto | 9B | System 2: especialista para onde os casos escalam |
| Imperium | 26B + LoRA | professor da família — agora motor de triagem |
2. O resultado: varremos o juiz-D nas 4 colunas
O protocolo da campanha não mudou desde o making-of: gates pré-declarados por escrito antes de qualquer medição, medição única por candidato, e o ouro (753 casos reais, 2.259 perguntas, curados à mão) só na sessão final report-only de um finalista. Depois de cinco campanhas sem finalista — três delas com ouro intocado, zero sessões gastas — o finalistão fechou 6/6 gates na régua de desenvolvimento e foi à sessão de ouro.
| coluna do ouro | Imperium | juiz-D (a bater) | Δ |
|---|---|---|---|
| categoria | 0,8207 | 0,7251 | +9,6 pp |
| decisão | 0,7092 | 0,6892 | +2,0 pp |
| urgência | 0,7556 | 0,7238 | +3,2 pp |
| geral | 0,7618 | 0,7127 | +4,9 pp |
Quatro colunas, quatro vitórias — o critério de promoção da campanha (maior que o juiz-D em todas) foi alcançado pela primeira vez na história do lab. Na urgência, o Imperium também passou o 0,7450 do Veredicto Trium, o recorde que segurava a régua desde outubro. Contra o nosso ensemble de produção (v11e, recomputado nestas mesmas 753 questões — reproduzindo ao dígito os 62,82% históricos): +13,4 pp no geral e +26,0 pp em categoria.
Na régua de desenvolvimento (gates pré-declarados): geral 0,8731 · urgência 0,8858 · recall alta+crítica 0,8972 (o maior valor absoluto da campanha inteira) · categoria 0,9002 · decisão 0,8332. Nas famílias-espelho — perturbações de formato congeladas que quebram modelo fraco — geral 0,9544 e recall crítico 0,9531.
3. A descoberta que dói: alvo soft colapsa o recall crítico
O caminho até aqui não foi reto, e a parte interessante é o tropeço.
Medimos o d3 zero-shot primeiro. Ele já era excelente em sentir urgência crítica — recall de 0,8583, maior valor que qualquer modelo nosso tinha medido — mas não conhecia a política da casa: decisão 0,4163 contra 0,7795 do campeão interno. Treinamos. O fine-tune usou alvos soft — distribuições de consenso de um painel de 5 juízes — e a acurácia geral subiu com força. E o recall de urgência alta+crítica desabou de 0,858 para 0,597: a massa do consenso em "moderada" ensinou o modelo a nunca arriscar o crítico.
O teste isolado: retreinar só a urgência com alvo one-hot (hard), todo o resto idêntico. Recall devolvido para 0,897 e acurácia de urgência de 0,808 para 0,886. O hard venceu o soft em tudo.
Se existe uma classe crítica no seu produto, não alimente o modelo com rótulos amolecidos por média de consenso.
4. Servindo o Imperium do jeito certo
Os números medidos vêm de um especialista por pergunta: os três adapters
LoRA são aplicados por um router fino no runtime do d3 (set_adapter por
pergunta — o inference_example.py do repo reproduz o caminho). Um modelo
único mesclado mistura os especialistas e não reproduz os números.
A receita completa está no card — inclusive o gate que mais nos salvou:
treino pelo forward exato do serving, com fidelidade numérica verificada
antes da primeira atualização (max |Δp| ≤ 2,5e-02 sem adapters, senão
aborta). Treinar uma reimplementação e servir outra é como o placar mente
sem você perceber.
5. Limitações publicadas (o card diz tudo)
Publicamos as fraquezas junto com as vitórias:
- Recall crítico no ouro real é a fronteira: 0,6525 alta+crítica nos 118 casos relevantes, e na fatia rara de 18 casos críticos o modelo responde "alta" 13× — conservador por um nível, consequência deliberada do alvo hard. É o alvo óbvio da próxima campanha.
- Zero falsos alarmes críticos, pelo mesmo motivo: 0 em 239 casos baixa/moderada marcados como crítica. Quando ele diz crítica, é crítica.
- A coluna de decisão codifica a política da nossa plataforma — não transfere para outra sem retreino (categoria transfere bem mais fácil).
- Acurácia de caso completo (as 3 respostas certas juntas) no ouro: 0,458.
- Serving não é trivial: 26B de base (~49 GB) + 3 adapters — esta não é a linha do "roda na sua GPU de 24 GB"; para isso existem Decisum e Veredicto.
6. O que vem agora
O time de produção continua o ensemble v10+swa — promoção a produção é decisão à parte, com critério próprio. O card, os adapters e a receita estão públicos; benchmark honesto, limitações incluídas, como sempre.
Se você tem uma classe crítica no seu produto e alguém te vendeu um modelo calibrado na média: agora existe um artigo inteiro, com números, sobre o que acontece com ela.
🔗 huggingface.co/syvorai/imperium
Série técnica completa: Making-of do Decisum — o caminho do System 1 de 322M até aqui.