首页 / 模型 / convaiinnovations/laya-typed-decisions

convaiinnovations/laya-typed-decisions

Name: convaiinnovations/laya-typed-decisions
Author: Convai Innovations

Convai Innovations ChoiceNoulScore 开源权重 421M（活跃 370M）手工收录S1MB

Hugging Face 权重 HF · 多语言代码仓库 MLX 运行时 systemonemodels.org S1MB 排行榜

S1MB Task Avg

13.4

第 72 名 · 覆盖 137/137（100%）

Decision Index Full

4.4

第 106 名 · public 6.2

校准 ECE

0.140

越低越好 · Brier 0.721

模型信息

厂商: Convai Innovations
类别: 开源权重
参数规模: 421M（活跃 370M）
基座模型: ModernBERT-large（英文）/ mmBERT-base（多语言）
权重: 可下载（开源）
许可证: 未标注许可不明
输入模态: 文本
决策原语: ChoiceNoulScore
延迟: 32.8–39.5 ms（官方）；MLX 短决策 7–14 ms（M3 Max）
可微调: 可以
微调方法: CLI: laya-train --data tickets.csv --out ./ft；RLCD 循环 + 温度校准，输出 train_report.json（含 acc / ECE / Brier）
微调硬件: Kaggle 2×T4 或 MPS/CPU 笔记本均可

数据来源与链接

Hugging Face 权重 HF · 多语言代码仓库 MLX 运行时 systemonemodels.org S1MB 排行榜

本站聚合自： 手工收录、S1MB。分数与链接均指向原始出处。

Decision Index 领域得分

知识与推理

31.4

语言理解

54.5

检索与分类

27.7

工具与自动化

24.1

艺术与人类品味

37.4

S1MB · 137 个基准

基准	类型	该模型	全场最佳	全场均值	来源
laya / ag news	Choice	94.0	94.0	75.5	来源 ↗
dbpedia	Choice	85.4	98.9	83.7	来源 ↗
open jev / mailroom control v1	Choice	83.3	100.0	83.1	来源 ↗
laya / enron spam	Noul	78.0	100.0	55.0	来源 ↗
ethos	Noul	76.0	76.0	44.0	来源 ↗
open jev / customer control v1	Noul	75.4	100.0	58.4	来源 ↗
sdoh nli	Noul	72.0	92.0	61.0	来源 ↗
s1mb generalization contextual choice	Choice	67.8	100.0	82.8	来源 ↗
paws	Noul	66.0	88.0	45.9	来源 ↗
laya / typed decisions	Score	63.5	67.0	26.9	来源 ↗
go emotions	Noul	61.3	61.3	38.5	来源 ↗
hatecheck	Noul	60.0	98.0	47.8	来源 ↗
impli	Noul	58.0	88.0	47.0	来源 ↗
mtop	Choice	54.3	87.4	58.9	来源 ↗
hwu64	Choice	54.3	92.5	57.1	来源 ↗
massive	Choice	53.4	96.7	64.8	来源 ↗
s1mb generalization diverse choice	Choice	49.8	100.0	69.8	来源 ↗
open jev / browser control v1	Choice	47.8	100.0	67.7	来源 ↗
argument quality	Choice	46.9	95.9	37.8	来源 ↗
clinc	Choice	45.5	99.3	57.7	来源 ↗
miqa	Choice	45.5	95.5	62.3	来源 ↗
synthetic relevance / nanobeir / nanohotpotqa	Noul	44.9	70.8	28.3	来源 ↗
laya / typed decisions	Noul	44.4	47.8	24.6	来源 ↗
open jev / workflow controls v1 / customer service	Noul	43.0	100.0	42.1	来源 ↗
open jev / painting geometry v1	Choice	42.1	100.0	46.7	来源 ↗
scicite	Choice	41.9	71.0	44.1	来源 ↗
banking77	Choice	41.0	93.7	55.0	来源 ↗
arct	Choice	40.4	89.4	39.6	来源 ↗
synthetic relevance / nanobeir / nanomsmarco	Noul	37.6	62.5	37.5	来源 ↗
synthetic relevance / nanobeir / nanodbpedia	Noul	36.3	52.1	29.1	来源 ↗
scitail	Noul	32.0	98.0	53.2	来源 ↗
openbookqa	Choice	30.6	97.2	54.1	来源 ↗
laya / typed decisions	Choice	28.7	34.5	19.1	来源 ↗
crows pairs	Choice	27.1	70.8	30.7	来源 ↗
synthetic relevance / nanobeir / nanonq	Noul	27.1	67.2	39.7	来源 ↗
open jev / workflow controls v1 / agent trace observability	Noul	25.6	100.0	28.3	来源 ↗
s1mb generalization contextual noul	Noul	24.0	98.0	62.3	来源 ↗
open jev / mailroom control v1	Noul	23.9	100.0	62.9	来源 ↗
winowhy	Noul	22.0	62.0	19.0	来源 ↗
civil comments	Noul	21.1	36.7	21.5	来源 ↗
open jev / drone control v1	Choice	21.1	100.0	5.1	来源 ↗
followir robust04	Noul	21.0	90.9	47.2	来源 ↗
synthetic relevance / nanobeir / nanonfcorpus	Noul	20.9	46.2	25.1	来源 ↗
s1mb generalization diverse noul	Noul	20.0	100.0	59.5	来源 ↗
open jev / customer control v1	Score	20.0	99.3	36.9	来源 ↗
open jev / snake v1	Noul	19.5	100.0	9.1	来源 ↗
synthetic relevance / nanobeir / nanotouche2020	Noul	17.8	47.0	26.8	来源 ↗
open jev / customer control v1	Choice	17.4	82.6	64.4	来源 ↗
arc	Choice	16.2	98.5	64.7	来源 ↗
defeasible nli	Choice	15.2	80.4	33.2	来源 ↗
s1mb generalization contextual score	Score	14.8	92.7	42.4	来源 ↗
s1mb generalization diverse score	Score	14.6	95.3	43.1	来源 ↗
open jev / ir control v1	Noul	14.3	100.0	47.6	来源 ↗
babi nli	Noul	14.0	84.0	37.3	来源 ↗
synthetic relevance / nanobeir / nanoscidocs	Noul	13.1	41.7	17.4	来源 ↗
gretel pii	Choice	13.0	94.5	43.5	来源 ↗
cladder	Noul	12.0	94.0	18.3	来源 ↗
lexcomp	Noul	12.0	52.0	22.7	来源 ↗
synthetic relevance / nanobeir / nanofiqa2018	Noul	10.9	54.0	28.7	来源 ↗
sgd	Choice	10.2	96.6	24.4	来源 ↗
hans	Noul	10.0	100.0	43.6	来源 ↗
plane	Noul	10.0	100.0	11.1	来源 ↗
synthetic relevance / nanocoir	Noul	9.8	73.0	33.9	来源 ↗
open jev / reasoning control v1	Noul	9.6	100.0	25.5	来源 ↗
argument quality	Noul	9.5	23.9	5.4	来源 ↗
open jev / painting geometry v1	Score	9.0	100.0	15.9	来源 ↗
boardgameqa	Choice	6.3	62.5	15.8	来源 ↗
open jev / entity alignment control v1	Noul	5.8	100.0	36.5	来源 ↗
ethics	Noul	5.1	68.6	24.1	来源 ↗
aegis2	Noul	5.0	62.3	33.0	来源 ↗
open jev / reasoning control v1	Score	4.1	90.7	28.1	来源 ↗
canttalk	Noul	4.0	86.0	44.1	来源 ↗
open jev / amount extraction control v1	Noul	3.1	100.0	33.7	来源 ↗
qasper	Noul	2.0	88.0	41.9	来源 ↗
ruletaker	Noul	2.0	96.0	28.0	来源 ↗
tracie	Noul	2.0	34.0	8.8	来源 ↗
synthetic relevance / nanobeir / nanoarguana	Noul	1.1	48.2	15.7	来源 ↗
followir core17	Noul	0.8	46.6	21.3	来源 ↗
aqua rat	Choice	0.0	77.5	11.0	来源 ↗
bbq	Choice	0.0	98.3	54.2	来源 ↗
contract nli	Choice	0.0	78.5	32.3	来源 ↗
corr2cause	Choice	0.0	91.7	3.8	来源 ↗
creak	Noul	0.0	88.0	39.0	来源 ↗
esci	Choice	0.0	46.6	13.3	来源 ↗
ethics	Choice	0.0	83.3	21.2	来源 ↗
few nerd	Choice	0.0	86.4	44.2	来源 ↗
fol nli	Choice	0.0	54.1	10.4	来源 ↗
followir news21	Noul	0.0	42.7	14.9	来源 ↗
gsm8k	Choice	0.0	78.6	23.9	来源 ↗
hh rlhf	Choice	0.0	23.1	3.1	来源 ↗
logical entailment	Noul	0.0	72.0	12.3	来源 ↗
lonli	Choice	0.0	86.9	39.6	来源 ↗
nlsat	Noul	0.0	22.0	2.2	来源 ↗
open jev / amount extraction control v1	Choice	0.0	100.0	55.2	来源 ↗
open jev / citation control v1	Choice	0.0	100.0	41.5	来源 ↗
open jev / context retention control v1	Noul	0.0	100.0	19.7	来源 ↗
open jev / drone control v1	Noul	0.0	100.0	50.7	来源 ↗
open jev / drone control v1	Score	0.0	99.2	1.3	来源 ↗
open jev / email selection control v1	Choice	0.0	100.0	24.2	来源 ↗
open jev / email selection control v1	Noul	0.0	100.0	41.3	来源 ↗
open jev / entity alignment control v1	Score	0.0	100.0	8.5	来源 ↗
open jev / ir control v1	Choice	0.0	88.0	45.1	来源 ↗
open jev / ir control v1	Score	0.0	98.6	10.6	来源 ↗
open jev / painting geometry v1	Noul	0.0	100.0	27.8	来源 ↗
open jev / phone extraction control v1	Choice	0.0	100.0	33.0	来源 ↗
open jev / phone extraction control v1	Noul	0.0	100.0	50.9	来源 ↗
open jev / reasoning control v1	Choice	0.0	95.0	28.8	来源 ↗
open jev / silent failure control v1	Noul	0.0	100.0	38.8	来源 ↗
open jev / snake v1	Choice	0.0	83.5	8.4	来源 ↗
open jev / sponsor segment control v1	Choice	0.0	100.0	52.7	来源 ↗
open jev / tic tac toe v1	Choice	0.0	48.5	3.5	来源 ↗
open jev / vizdoom basic v1	Noul	0.0	100.0	39.6	来源 ↗
open jev / vizdoom basic v1	Score	0.0	100.0	30.2	来源 ↗
open jev / workflow controls v1 / invoice processing	Noul	0.0	100.0	34.8	来源 ↗
open jev / workflow controls v1 / security incidents	Noul	0.0	100.0	38.2	来源 ↗
patent similarity	Score	0.0	48.3	17.9	来源 ↗
poem sentiment	Choice	0.0	57.1	3.9	来源 ↗
quartz	Choice	0.0	88.1	49.4	来源 ↗
robust lr	Choice	0.0	66.7	19.1	来源 ↗
scone	Choice	0.0	92.0	34.5	来源 ↗
snli	Choice	0.0	98.4	46.4	来源 ↗
spartqa	Choice	0.0	38.7	4.5	来源 ↗
stepgame	Choice	0.0	82.1	18.0	来源 ↗
synthetic relevance / nanobeir / nanoarguana	Score	0.0	36.0	7.6	来源 ↗
synthetic relevance / nanobeir / nanodbpedia	Score	0.0	44.9	17.8	来源 ↗
synthetic relevance / nanobeir / nanofiqa2018	Score	0.0	46.7	15.4	来源 ↗
synthetic relevance / nanobeir / nanohotpotqa	Score	0.0	63.6	14.1	来源 ↗
synthetic relevance / nanobeir / nanomsmarco	Score	0.0	52.6	18.1	来源 ↗
synthetic relevance / nanobeir / nanonfcorpus	Score	0.0	38.6	10.9	来源 ↗
synthetic relevance / nanobeir / nanonq	Score	0.0	49.4	9.5	来源 ↗
synthetic relevance / nanobeir / nanoscidocs	Score	0.0	36.7	7.3	来源 ↗
synthetic relevance / nanobeir / nanotouche2020	Score	0.0	44.3	20.9	来源 ↗
synthetic relevance / nanocoir	Score	0.0	44.3	4.3	来源 ↗
temporal nli	Choice	0.0	80.7	18.5	来源 ↗
ud ewt	Choice	0.0	56.7	13.4	来源 ↗
winobias	Choice	0.0	91.3	30.5	来源 ↗
wiqa	Choice	0.0	58.7	19.5	来源 ↗

Decision Index · 42 个基准

基准	类型	该模型	全场最佳	全场均值	来源
FinEntity	混合（Choice	61.0	97.1	73.8	来源 ↗
RouterBench	混合（Choice	57.1	80.1	73.2	来源 ↗
HoVer	混合（Choice	55.8	89.4	63.7	来源 ↗
CLadder	混合（Choice	52.9	97.7	62.3	来源 ↗
cfcolor	混合（Choice	52.3	70.2	57.8	来源 ↗
BPoMP	混合（Choice	51.6	97.0	73.5	来源 ↗
WinoGrande	混合（Choice	50.5	97.5	69.7	来源 ↗
PhishNChips	混合（Choice	50.1	99.9	61.7	来源 ↗
RAGTruth	混合（Choice	48.8	86.0	51.7	来源 ↗
ANLI	混合（Choice	48.7	98.6	53.7	来源 ↗
NLI4CT	混合（Choice	47.7	86.2	69.2	来源 ↗
Humicroedit	混合（Choice	47.2	75.1	57.2	来源 ↗
ARC-Easy	混合（Choice	47.0	99.5	87.3	来源 ↗
MuSR	混合（Choice	43.2	86.2	55.8	来源 ↗
SGD	混合（Choice	42.4	73.4	47.8	来源 ↗
VAST	混合（Choice	40.5	82.0	50.2	来源 ↗
CRUXEval	混合（Choice	40.2	87.9	50.3	来源 ↗
BFCL	混合（Choice	38.1	98.8	80.3	来源 ↗
BBH	混合（Choice	34.1	92.9	58.2	来源 ↗
Habermas	混合（Choice	33.4	71.8	42.3	来源 ↗
HellaSwag	混合（Choice	33.1	98.5	72.9	来源 ↗
MMLU	混合（Choice	30.7	91.9	64.1	来源 ↗
ContractNLI	混合（Choice	29.0	86.5	60.3	来源 ↗
ARC-Challenge	混合（Choice	28.6	98.2	79.1	来源 ↗
GPQA Diamond	混合（Choice	27.6	78.3	37.5	来源 ↗
New Yorker	混合（Choice	27.1	82.0	52.8	来源 ↗
Amazon ESCI	混合（Choice	24.4	61.6	40.7	来源 ↗
BRIGHT	混合（Choice	19.9	50.9	35.9	来源 ↗
GSM8K	混合（Choice	16.9	83.5	35.7	来源 ↗
iSarcasmEval	混合（Choice	14.9	71.0	38.2	来源 ↗
BANKING77	混合（Choice	14.3	94.1	69.1	来源 ↗
HLE	混合（Choice	14.0	20.4	12.3	来源 ↗
MMLU-Pro	混合（Choice	13.6	82.7	42.0	来源 ↗
ToolRet	混合（Choice	12.8	69.1	54.9	来源 ↗
When2Call	混合（Choice	11.9	91.7	57.9	来源 ↗
API-Bank	混合（Choice	11.5	93.1	56.2	来源 ↗
ChessBench	混合（Choice	7.7	40.2	14.1	来源 ↗
POP909	混合（Choice	5.1	74.6	12.5	来源 ↗
ACOS	混合（Choice	3.5	57.3	14.6	来源 ↗
CLINC150	混合（Choice	3.2	97.4	68.2	来源 ↗
SATA-Bench	混合（Choice	0.3	37.2	20.2	来源 ↗
Home appliances	混合（Choice	0.0	98.9	23.1	来源 ↗

同族条目（3）

型号	参数	Decision Index	S1MB	Vision	榜单
convaiinnovations/laya-typed-decisions 当前	421M（活跃 370M）	4.4	13.4	—	s1mb, di
convaiinnovations/laya-multilingual	421M（活跃 370M）	—	9.3	—	s1mb
convaiinnovations/laya-multilingual	421M（活跃 370M）	—	9.3	—	s1mb