decision.host
首页 / 模型 / jev-smol（参考实现）

jev-smol（参考实现）

DanielMcSheehy ChoiceNoulScore图像 开源权重 500M（活跃 444M） 手工收录Decision IndexS1MB

唯一打通「文本 + 图像 → 类型化决策」全链路的开源参考工程：数据管线（9 个公开源 + 5 个确定性合成生成器）、LoRA 训练、评测 harness、以及 Jev/CLEF 兼容的 /v1/systemone 服务。实测 noul 从 61% 提到 81%，Brier 降 25%。注意：未发布训练好的权重，只发布了配方的适配器。

代码仓库Hugging Face 权重Decision Index 排行榜S1MB 排行榜
S1MB Task Avg
2.5
第 94 名 · 覆盖 137/137（100%）
Decision Index Full
25.2
第 77 名 · public 21.3
校准 ECE
0.346
越低越好 · Brier 0.726

模型信息

厂商
DanielMcSheehy
类别
开源权重
参数规模
500M（活跃 444M）
基座模型
HuggingFaceTB/SmolVLM2-500M-Video-Instruct
权重
可下载（开源）
许可证
Apache-2.0 可商用
输入模态
文本 图像
决策原语
ChoiceNoulScore
可微调
可以
微调方法
语言塔 LoRA + 冻结视觉塔（启动断言 lora_matches_vision == 0）；TRL prompt-completion SFT，仅 assistant token 计损；max_length=None 保证不截断图像 token；per-option logit 打分 + Brier 校准
微调硬件
LoRA 2.5–4 GB；Apple Silicon MPS 上 2 epoch 约 35 分钟；fp32 全参约 12 GB
训练方式
inference technique

数据来源与链接

代码仓库Hugging Face 权重Decision Index 排行榜S1MB 排行榜
本站聚合自： 手工收录、Decision Index、S1MB。 分数与链接均指向原始出处。

Decision Index 领域得分

知识与推理
53.1
语言理解
64.8
检索与分类
64.4
工具与自动化
78.8
艺术与人类品味
59.5

S1MB · 137 个基准

基准类型该模型全场最佳 全场均值对比来源
dbpedia Choice 55.1 98.9 83.7 来源 ↗
s1mb generalization contextual choice Choice 38.2 100.0 82.8 来源 ↗
laya / ag news Choice 37.3 94.0 75.5 来源 ↗
miqa Choice 31.8 95.5 62.3 来源 ↗
ethos Noul 18.0 76.0 44.0 来源 ↗
mtop Choice 17.8 87.4 58.9 来源 ↗
laya / typed decisions Noul 16.9 47.8 24.6 来源 ↗
banking77 Choice 16.8 93.7 55.0 来源 ↗
sgd Choice 15.3 96.6 24.4 来源 ↗
hwu64 Choice 14.9 92.5 57.1 来源 ↗
clinc Choice 13.8 99.3 57.7 来源 ↗
arct Choice 12.8 89.4 39.6 来源 ↗
civil comments Noul 12.3 36.7 21.5 来源 ↗
massive Choice 12.3 96.7 64.8 来源 ↗
s1mb generalization diverse choice Choice 11.4 100.0 69.8 来源 ↗
s1mb generalization diverse noul Noul 10.0 100.0 59.5 来源 ↗
stepgame Choice 9.5 82.1 18.0 来源 ↗
laya / typed decisions Choice 9.1 34.5 19.1 来源 ↗
open jev / customer control v1 Choice 8.7 82.6 64.4 来源 ↗
go emotions Noul 8.7 61.3 38.5 来源 ↗
open jev / mailroom control v1 Choice 8.3 100.0 83.1 来源 ↗
open jev / reasoning control v1 Noul 6.6 100.0 25.5 来源 ↗
plane Noul 6.0 100.0 11.1 来源 ↗
arc Choice 5.9 98.5 64.7 来源 ↗
open jev / mailroom control v1 Noul 5.0 100.0 62.9 来源 ↗
quartz Choice 4.8 88.1 49.4 来源 ↗
hans Noul 4.0 100.0 43.6 来源 ↗
fol nli Choice 3.3 54.1 10.4 来源 ↗
s1mb generalization diverse score Score 2.5 95.3 43.1 来源 ↗
s1mb generalization contextual noul Noul 2.0 98.0 62.3 来源 ↗
sdoh nli Noul 2.0 92.0 61.0 来源 ↗
aegis2 Noul 1.2 62.3 33.0 来源 ↗
open jev / painting geometry v1 Score 0.8 100.0 15.9 来源 ↗
aqua rat Choice 0.0 77.5 11.0 来源 ↗
argument quality Choice 0.0 95.9 37.8 来源 ↗
argument quality Noul 0.0 23.9 5.4 来源 ↗
babi nli Noul 0.0 84.0 37.3 来源 ↗
bbq Choice 0.0 98.3 54.2 来源 ↗
boardgameqa Choice 0.0 62.5 15.8 来源 ↗
canttalk Noul 0.0 86.0 44.1 来源 ↗
cladder Noul 0.0 94.0 18.3 来源 ↗
contract nli Choice 0.0 78.5 32.3 来源 ↗
corr2cause Choice 0.0 91.7 3.8 来源 ↗
creak Noul 0.0 88.0 39.0 来源 ↗
crows pairs Choice 0.0 70.8 30.7 来源 ↗
defeasible nli Choice 0.0 80.4 33.2 来源 ↗
esci Choice 0.0 46.6 13.3 来源 ↗
ethics Choice 0.0 83.3 21.2 来源 ↗
ethics Noul 0.0 68.6 24.1 来源 ↗
few nerd Choice 0.0 86.4 44.2 来源 ↗
followir core17 Noul 0.0 46.6 21.3 来源 ↗
followir news21 Noul 0.0 42.7 14.9 来源 ↗
followir robust04 Noul 0.0 90.9 47.2 来源 ↗
gretel pii Choice 0.0 94.5 43.5 来源 ↗
gsm8k Choice 0.0 78.6 23.9 来源 ↗
hatecheck Noul 0.0 98.0 47.8 来源 ↗
hh rlhf Choice 0.0 23.1 3.1 来源 ↗
impli Noul 0.0 88.0 47.0 来源 ↗
laya / enron spam Noul 0.0 100.0 55.0 来源 ↗
laya / typed decisions Score 0.0 67.0 26.9 来源 ↗
lexcomp Noul 0.0 52.0 22.7 来源 ↗
logical entailment Noul 0.0 72.0 12.3 来源 ↗
lonli Choice 0.0 86.9 39.6 来源 ↗
nlsat Noul 0.0 22.0 2.2 来源 ↗
open jev / amount extraction control v1 Choice 0.0 100.0 55.2 来源 ↗
open jev / amount extraction control v1 Noul 0.0 100.0 33.7 来源 ↗
open jev / browser control v1 Choice 0.0 100.0 67.7 来源 ↗
open jev / citation control v1 Choice 0.0 100.0 41.5 来源 ↗
open jev / context retention control v1 Noul 0.0 100.0 19.7 来源 ↗
open jev / customer control v1 Noul 0.0 100.0 58.4 来源 ↗
open jev / customer control v1 Score 0.0 99.3 36.9 来源 ↗
open jev / drone control v1 Choice 0.0 100.0 5.1 来源 ↗
open jev / drone control v1 Noul 0.0 100.0 50.7 来源 ↗
open jev / drone control v1 Score 0.0 99.2 1.3 来源 ↗
open jev / email selection control v1 Choice 0.0 100.0 24.2 来源 ↗
open jev / email selection control v1 Noul 0.0 100.0 41.3 来源 ↗
open jev / entity alignment control v1 Noul 0.0 100.0 36.5 来源 ↗
open jev / entity alignment control v1 Score 0.0 100.0 8.5 来源 ↗
open jev / ir control v1 Choice 0.0 88.0 45.1 来源 ↗
open jev / ir control v1 Noul 0.0 100.0 47.6 来源 ↗
open jev / ir control v1 Score 0.0 98.6 10.6 来源 ↗
open jev / painting geometry v1 Choice 0.0 100.0 46.7 来源 ↗
open jev / painting geometry v1 Noul 0.0 100.0 27.8 来源 ↗
open jev / phone extraction control v1 Choice 0.0 100.0 33.0 来源 ↗
open jev / phone extraction control v1 Noul 0.0 100.0 50.9 来源 ↗
open jev / reasoning control v1 Choice 0.0 95.0 28.8 来源 ↗
open jev / reasoning control v1 Score 0.0 90.7 28.1 来源 ↗
open jev / silent failure control v1 Noul 0.0 100.0 38.8 来源 ↗
open jev / snake v1 Choice 0.0 83.5 8.4 来源 ↗
open jev / snake v1 Noul 0.0 100.0 9.1 来源 ↗
open jev / sponsor segment control v1 Choice 0.0 100.0 52.7 来源 ↗
open jev / tic tac toe v1 Choice 0.0 48.5 3.5 来源 ↗
open jev / vizdoom basic v1 Noul 0.0 100.0 39.6 来源 ↗
open jev / vizdoom basic v1 Score 0.0 100.0 30.2 来源 ↗
open jev / workflow controls v1 / agent trace observability Noul 0.0 100.0 28.3 来源 ↗
open jev / workflow controls v1 / customer service Noul 0.0 100.0 42.1 来源 ↗
open jev / workflow controls v1 / invoice processing Noul 0.0 100.0 34.8 来源 ↗
open jev / workflow controls v1 / security incidents Noul 0.0 100.0 38.2 来源 ↗
openbookqa Choice 0.0 97.2 54.1 来源 ↗
patent similarity Score 0.0 48.3 17.9 来源 ↗
paws Noul 0.0 88.0 45.9 来源 ↗
poem sentiment Choice 0.0 57.1 3.9 来源 ↗
qasper Noul 0.0 88.0 41.9 来源 ↗
robust lr Choice 0.0 66.7 19.1 来源 ↗
ruletaker Noul 0.0 96.0 28.0 来源 ↗
s1mb generalization contextual score Score 0.0 92.7 42.4 来源 ↗
scicite Choice 0.0 71.0 44.1 来源 ↗
scitail Noul 0.0 98.0 53.2 来源 ↗
scone Choice 0.0 92.0 34.5 来源 ↗
snli Choice 0.0 98.4 46.4 来源 ↗
spartqa Choice 0.0 38.7 4.5 来源 ↗
synthetic relevance / nanobeir / nanoarguana Noul 0.0 48.2 15.7 来源 ↗
synthetic relevance / nanobeir / nanoarguana Score 0.0 36.0 7.6 来源 ↗
synthetic relevance / nanobeir / nanodbpedia Noul 0.0 52.1 29.1 来源 ↗
synthetic relevance / nanobeir / nanodbpedia Score 0.0 44.9 17.8 来源 ↗
synthetic relevance / nanobeir / nanofiqa2018 Noul 0.0 54.0 28.7 来源 ↗
synthetic relevance / nanobeir / nanofiqa2018 Score 0.0 46.7 15.4 来源 ↗
synthetic relevance / nanobeir / nanohotpotqa Noul 0.0 70.8 28.3 来源 ↗
synthetic relevance / nanobeir / nanohotpotqa Score 0.0 63.6 14.1 来源 ↗
synthetic relevance / nanobeir / nanomsmarco Noul 0.0 62.5 37.5 来源 ↗
synthetic relevance / nanobeir / nanomsmarco Score 0.0 52.6 18.1 来源 ↗
synthetic relevance / nanobeir / nanonfcorpus Noul 0.0 46.2 25.1 来源 ↗
synthetic relevance / nanobeir / nanonfcorpus Score 0.0 38.6 10.9 来源 ↗
synthetic relevance / nanobeir / nanonq Noul 0.0 67.2 39.7 来源 ↗
synthetic relevance / nanobeir / nanonq Score 0.0 49.4 9.5 来源 ↗
synthetic relevance / nanobeir / nanoscidocs Noul 0.0 41.7 17.4 来源 ↗
synthetic relevance / nanobeir / nanoscidocs Score 0.0 36.7 7.3 来源 ↗
synthetic relevance / nanobeir / nanotouche2020 Noul 0.0 47.0 26.8 来源 ↗
synthetic relevance / nanobeir / nanotouche2020 Score 0.0 44.3 20.9 来源 ↗
synthetic relevance / nanocoir Noul 0.0 73.0 33.9 来源 ↗
synthetic relevance / nanocoir Score 0.0 44.3 4.3 来源 ↗
temporal nli Choice 0.0 80.7 18.5 来源 ↗
tracie Noul 0.0 34.0 8.8 来源 ↗
ud ewt Choice 0.0 56.7 13.4 来源 ↗
winobias Choice 0.0 91.3 30.5 来源 ↗
winowhy Noul 0.0 62.0 19.0 来源 ↗
wiqa Choice 0.0 58.7 19.5 来源 ↗

Decision Index · 38 个基准

基准类型该模型全场最佳 全场均值对比来源
ARC-Easy 混合（Choice 95.8 99.5 87.3 来源 ↗
ARC-Challenge 混合（Choice 88.4 98.2 79.1 来源 ↗
BPoMP 混合（Choice 81.0 97.0 73.5 来源 ↗
RouterBench 混合（Choice 79.4 80.1 73.2 来源 ↗
BFCL 混合（Choice 77.4 98.8 80.3 来源 ↗
HellaSwag 混合（Choice 77.2 98.5 72.9 来源 ↗
NLI4CT 混合（Choice 70.8 86.2 69.2 来源 ↗
MMLU 混合（Choice 67.3 91.9 64.1 来源 ↗
FinEntity 混合（Choice 64.0 97.1 73.8 来源 ↗
MuSR 混合（Choice 59.6 86.2 55.8 来源 ↗
WinoGrande 混合（Choice 59.5 97.5 69.7 来源 ↗
SGD 混合（Choice 58.8 73.4 47.8 来源 ↗
Humicroedit 混合（Choice 58.2 75.1 57.2 来源 ↗
HoVer 混合（Choice 57.2 89.4 63.7 来源 ↗
New Yorker 混合（Choice 55.5 82.0 52.8 来源 ↗
ContractNLI 混合（Choice 54.4 86.5 60.3 来源 ↗
CLadder 混合（Choice 54.4 97.7 62.3 来源 ↗
cfcolor 混合（Choice 54.2 70.2 57.8 来源 ↗
ANLI 混合（Choice 51.9 98.6 53.7 来源 ↗
BBH 混合（Choice 51.4 92.9 58.2 来源 ↗
PhishNChips 混合（Choice 51.3 99.9 61.7 来源 ↗
When2Call 混合（Choice 50.3 91.7 57.9 来源 ↗
Habermas 混合（Choice 46.8 71.8 42.3 来源 ↗
ToolRet 混合（Choice 44.9 69.1 54.9 来源 ↗
VAST 混合（Choice 43.1 82.0 50.2 来源 ↗
MMLU-Pro 混合（Choice 41.7 82.7 42.0 来源 ↗
CRUXEval 混合（Choice 38.8 87.9 50.3 来源 ↗
iSarcasmEval 混合（Choice 36.1 71.0 38.2 来源 ↗
BRIGHT 混合（Choice 33.0 50.9 35.9 来源 ↗
GPQA Diamond 混合（Choice 30.6 78.3 37.5 来源 ↗
Amazon ESCI 混合（Choice 29.2 61.6 40.7 来源 ↗
GSM8K 混合（Choice 28.8 83.5 35.7 来源 ↗
SATA-Bench 混合（Choice 20.8 37.2 20.2 来源 ↗
ChessBench 混合（Choice 16.9 40.2 14.1 来源 ↗
HLE 混合（Choice 12.0 20.4 12.3 来源 ↗
ACOS 混合（Choice 9.1 57.3 14.6 来源 ↗
Home appliances 混合（Choice 0.0 98.9 23.1 来源 ↗
RAGTruth 混合（Choice 0.0 86.0 51.7 来源 ↗