Decisum

O classificador de chamados da Syvorai: um ensemble de 2 encoders de 322M em full fine-tune que lê um chamado em PT-BR e responde categoria, decisão e urgência em ~100 ms, dentro da sua infraestrutura.

Ver a demoHuggingFaceEntrar na lista de espera
ensemble em full fine-tune
2 × 322M
por caso, na sua GPU
~100 ms
campeão v10+swa · score geral
0.6339
régua ouro, n=753

O que o Decisum faz

Para cada chamado, o Decisum responde três perguntas tipadas — nada de texto solto: apenas valores de um vocabulário fechado.

Qual é o assunto?

17categorias

O que fazer?

5decisões possíveis

  • aprovar
  • rejeitar
  • escalar
  • executar_acao
  • pedir_mais_info

Para quando?

0–3escala de urgência

Exemplo real (anonimizado)

Um caso fictício gerado para a demo, com a resposta real do modelo. O Decisum lê chamados em PT-BR — o exemplo aparece no idioma original.

Boleto suspeito recebido por e-mail

Cliente: oi, me ajuda pfv? chegou um boleto em meu email que parece da plataforma e vence hj, mas eu nao fiz nenhum pedido pra isso

Atendente: Oi! Tudo bem? Sinto muito pelo susto. Antes de qualquer coisa: não pague esse boleto. Conseguem me contar onde ele apareceu: no app, no painel ou só por email?

Cliente: foi no email mesmo, com assunto urgente. Eu fiquei com medo pq o valor é [DADO_REMOVIDO] e nao reconheço essa compra

Atendente: Entendi. Você abriu o boleto ou clicou em algum link? Se abrir, não digite login, senha ou código, tá?

Cliente: eu abri o pdf por engano mas nao digitei nada. O beneficiario parece errado, não é o nome da plataforma

Atendente: Ok, isso aumenta a suspeita de golpe. Não precisa mandar o documento por aqui. Me diz só se chegou algo parecido no app/painel ou se pediram dados de acesso.

Cliente: no app não vi nada, mas a loja ainda tá aprendendo e fiquei com medo de ter alguma compra falsa acontecendo

Atendente: Você fez certo em não pagar. Vou escalar pra equipe antifraude pra checagem do e-mail/boleto e monitorar sua conta. Enquanto isso, ignore e-mail, não clique em links e troque a senha no painel se suspeitar.

Categoriafraude_suspeita44% de confiança
Decisãoescalar62% de confiança
Urgência176% de confiança

Arquitetura

System 1 puro: um encoder pequeno, três perguntas tipadas e uma régua de confiança conservadora.

  1. 1

    Chamado em PT-BR

    A conversa do chamado entra inteira, como texto.

  2. 2

    System 1: ensemble 2 × 322M

    Dois encoders mmBERT-base em full fine-tune respondem, cada um, às 3 perguntas tipadas; as respostas são combinadas.

  3. 3

    Confiança de roteamento

    A confiança do caso é o mínimo das 3 respostas — o elo mais fraco manda.

  4. 4

    Limiar 0,8

    Confiança de roteamento de 0,8 ou mais: o caso é automático. Abaixo disso, nenhuma ação sem revisão.

≥ 0.8

Automático

A decisão do modelo vira ação sem intervenção — só quando as 3 respostas estão confiantes.

< 0.8

Escalado

Abaixo do limiar, o caso vai para um modelo maior ou para revisão humana.

Latência medida

Ensemble de produção (2 × 322M, 3 perguntas por caso), medido caso a caso.

HardwareLatência por caso
RTX PRO 600056 ms
RX 7900 XTX~100 ms
RX 7900 XT~110 ms
Intel Arc B60131 ms
M4 Pro (GPU)277 ms
M4 Pro (CPU)273 ms

Um único membro do ensemble roda em cerca de metade do tempo. Valores marcados com ~ são aproximados.

A linhagem até o campeão

Doze versões medidas na mesma régua honesta. O campeão atual — e em produção — é o ensemble v10+swa.

  1. v1bug

    Primeiro full fine-tune do encoder — bug de template: o token <mask> ficava literal no prompt e o modelo respondia sempre a opção 0.

  2. v2rejeitado

    0,760 na régua errada — avaliado contra rótulos silver gerados por LLM, não contra o ouro humano.

    geral: 0.76

  3. v3rejeitado

    Régua honesta (ouro_gold.jsonl: 999 de núcleo adversarial + 500 random): 0,4011 — a linha de base real.

    geral: 0.4011

  4. v5produção

    Juiz LLM gerando rótulos de treino: 0,5835 — primeira versão promovida a produção.

    geral: 0.5835

  5. v6rejeitado

    Juízes híbridos (LLM + regras), com custo de rotulagem de US$0,49: 0,5882.

    geral: 0.5882

  6. v7-KLrejeitado

    Destilação por divergência KL do juiz para o encoder: 0,5969.

    geral: 0.5969

  7. v10produção

    Checkpoint refinado: 0,5989 no núcleo / 0,6233 no geral — promovido a produção.

    núcleo: 0.5989geral: 0.6233

  8. v11_consrejeitado

    Treino com foco em consistência entre as 3 perguntas: macro-F1(17) de 0,5037.

    macro-F1(17): 0.5037

  9. v11ecampeão

    Ensemble de checkpoints v11: 0,6110 — campeão por 24 horas.

    geral: 0.611

  10. v12 stackrejeitado

    Stacking de desafiantes v12: 9 candidatos, 8 rejeitados — nenhum superou o campeão.

  11. swaprodução

    Stochastic Weight Averaging sobre o v10: melhor modelo único, 0,6170 no núcleo — entra em produção como membro do ensemble.

    núcleo: 0.617

  12. v10+swacampeão

    Ensemble v10 + SWA: 0,6170 no núcleo / 0,6339 no geral — campeão atual, em produção.

    núcleo: 0.617geral: 0.6339

O v11e (0,6110) foi campeão por 24 horas, até o v10+swa (0,6339) tomar a coroa. O 0,5037 do v11_cons é macro-F1(17), não acurácia geral.

Veja o Decisum trabalhando

Saídas reais pré-gravadas na demo, o modelo no HuggingFace, ou entre na lista de espera para rodar na sua infraestrutura.

Ver a demoHuggingFaceEntrar na lista de espera