decision.host
首页 / 模型 / Winnow 12B

Winnow 12B

EldanRing ChoiceNoulScore图像 开源权重 12B（活跃 12B） 手工收录Decision IndexDecision Index VisionS1MB

12B 级，文本榜第 8（54.6）、Vision 榜第 6（59.8），两个榜都稳。

Hugging Face 权重Decision Index 排行榜Decision Index Vision 子榜S1MB 排行榜
S1MB Task Avg
54.6
第 9 名 · 覆盖 137/137（100%）
Decision Index Full
49.3
第 26 名 · public 50.7
Vision Full
59.8
第 6 名 · public 64.4
校准 ECE
0.168
越低越好 · Brier 0.486

模型信息

厂商
EldanRing
类别
开源权重
参数规模
12B（活跃 12B）
基座模型
google/gemma-4-12B
权重
可下载（开源）
许可证
未标注 许可不明
输入模态
文本 图像
决策原语
ChoiceNoulScore
可微调
可以
微调方法
LoRA
训练方式
LoRA

数据来源与链接

Hugging Face 权重Decision Index 排行榜Decision Index Vision 子榜S1MB 排行榜
本站聚合自： 手工收录、Decision Index、Decision Index Vision、S1MB。 分数与链接均指向原始出处。

Decision Index 领域得分

知识与推理
61.2
语言理解
80.0
检索与分类
60.2
工具与自动化
85.0
艺术与人类品味
50.9

S1MB · 137 个基准

基准类型该模型全场最佳 全场均值对比来源
open jev / browser control v1 Choice 100.0 100.0 67.7 来源 ↗
open jev / customer control v1 Noul 100.0 100.0 58.4 来源 ↗
open jev / drone control v1 Noul 100.0 100.0 50.7 来源 ↗
open jev / email selection control v1 Choice 100.0 100.0 24.2 来源 ↗
open jev / mailroom control v1 Choice 100.0 100.0 83.1 来源 ↗
open jev / phone extraction control v1 Noul 100.0 100.0 50.9 来源 ↗
s1mb generalization contextual choice Choice 98.7 100.0 82.8 来源 ↗
open jev / citation control v1 Choice 98.5 100.0 41.5 来源 ↗
open jev / mailroom control v1 Noul 97.5 100.0 62.9 来源 ↗
open jev / sponsor segment control v1 Choice 97.4 100.0 52.7 来源 ↗
s1mb generalization diverse choice Choice 97.4 100.0 69.8 来源 ↗
s1mb generalization diverse noul Noul 96.0 100.0 59.5 来源 ↗
arc Choice 95.6 98.5 64.7 来源 ↗
dbpedia Choice 95.5 98.9 83.7 来源 ↗
open jev / entity alignment control v1 Noul 94.7 100.0 36.5 来源 ↗
open jev / context retention control v1 Noul 94.0 100.0 19.7 来源 ↗
s1mb generalization contextual noul Noul 94.0 98.0 62.3 来源 ↗
open jev / ir control v1 Noul 92.9 100.0 47.6 来源 ↗
s1mb generalization diverse score Score 91.9 95.3 43.1 来源 ↗
laya / enron spam Noul 90.0 100.0 55.0 来源 ↗
openbookqa Choice 88.9 97.2 54.1 来源 ↗
s1mb generalization contextual score Score 88.4 92.7 42.4 来源 ↗
hatecheck Noul 88.0 98.0 47.8 来源 ↗
impli Noul 88.0 88.0 47.0 来源 ↗
sdoh nli Noul 88.0 92.0 61.0 来源 ↗
bbq Choice 86.7 98.3 54.2 来源 ↗
massive Choice 86.3 96.7 64.8 来源 ↗
clinc Choice 86.2 99.3 57.7 来源 ↗
scone Choice 86.0 92.0 34.5 来源 ↗
open jev / reasoning control v1 Choice 85.0 95.0 28.8 来源 ↗
hwu64 Choice 84.0 92.5 57.1 来源 ↗
quartz Choice 83.3 88.1 49.4 来源 ↗
open jev / customer control v1 Choice 82.6 82.6 64.4 来源 ↗
open jev / phone extraction control v1 Choice 82.6 100.0 33.0 来源 ↗
open jev / vizdoom basic v1 Noul 82.3 100.0 39.6 来源 ↗
creak Noul 82.0 88.0 39.0 来源 ↗
open jev / silent failure control v1 Noul 82.0 100.0 38.8 来源 ↗
open jev / workflow controls v1 / security incidents Noul 81.0 100.0 38.2 来源 ↗
open jev / email selection control v1 Noul 80.8 100.0 41.3 来源 ↗
open jev / ir control v1 Choice 80.0 88.0 45.1 来源 ↗
argument quality Choice 79.6 95.9 37.8 来源 ↗
miqa Choice 79.5 95.5 62.3 来源 ↗
laya / ag news Choice 79.1 94.0 75.5 来源 ↗
mtop Choice 78.9 87.4 58.9 来源 ↗
open jev / workflow controls v1 / agent trace observability Noul 78.8 100.0 28.3 来源 ↗
lonli Choice 78.7 86.9 39.6 来源 ↗
open jev / amount extraction control v1 Choice 76.5 100.0 55.2 来源 ↗
hans Noul 76.0 100.0 43.6 来源 ↗
scitail Noul 76.0 98.0 53.2 来源 ↗
open jev / workflow controls v1 / customer service Noul 75.7 100.0 42.1 来源 ↗
qasper Noul 74.0 88.0 41.9 来源 ↗
gretel pii Choice 72.7 94.5 43.5 来源 ↗
babi nli Noul 72.0 84.0 37.3 来源 ↗
synthetic relevance / nanocoir Noul 71.5 73.0 33.9 来源 ↗
few nerd Choice 71.0 86.4 44.2 来源 ↗
open jev / workflow controls v1 / invoice processing Noul 70.8 100.0 34.8 来源 ↗
winobias Choice 69.6 91.3 30.5 来源 ↗
arct Choice 68.1 89.4 39.6 来源 ↗
ethos Noul 68.0 76.0 44.0 来源 ↗
open jev / customer control v1 Score 66.3 99.3 36.9 来源 ↗
paws Noul 66.0 88.0 45.9 来源 ↗
ethics Noul 66.0 68.6 24.1 来源 ↗
open jev / reasoning control v1 Score 65.6 90.7 28.1 来源 ↗
banking77 Choice 64.2 93.7 55.0 来源 ↗
followir robust04 Noul 63.5 90.9 47.2 来源 ↗
synthetic relevance / nanobeir / nanonq Noul 63.4 67.2 39.7 来源 ↗
robust lr Choice 63.3 66.7 19.1 来源 ↗
open jev / amount extraction control v1 Noul 62.5 100.0 33.7 来源 ↗
synthetic relevance / nanobeir / nanohotpotqa Noul 62.4 70.8 28.3 来源 ↗
scicite Choice 61.3 71.0 44.1 来源 ↗
open jev / ir control v1 Score 61.1 98.6 10.6 来源 ↗
snli Choice 59.7 98.4 46.4 来源 ↗
ruletaker Noul 58.0 96.0 28.0 来源 ↗
contract nli Choice 56.6 78.5 32.3 来源 ↗
defeasible nli Choice 56.5 80.4 33.2 来源 ↗
synthetic relevance / nanobeir / nanohotpotqa Score 55.1 63.6 14.1 来源 ↗
synthetic relevance / nanobeir / nanomsmarco Noul 55.1 62.5 37.5 来源 ↗
winowhy Noul 54.0 62.0 19.0 来源 ↗
open jev / painting geometry v1 Choice 52.6 100.0 46.7 来源 ↗
lexcomp Noul 52.0 52.0 22.7 来源 ↗
aegis2 Noul 51.6 62.3 33.0 来源 ↗
synthetic relevance / nanobeir / nanodbpedia Noul 51.1 52.1 29.1 来源 ↗
open jev / vizdoom basic v1 Score 50.7 100.0 30.2 来源 ↗
canttalk Noul 50.0 86.0 44.1 来源 ↗
open jev / entity alignment control v1 Score 49.8 100.0 8.5 来源 ↗
gsm8k Choice 48.6 78.6 23.9 来源 ↗
go emotions Noul 48.6 61.3 38.5 来源 ↗
open jev / reasoning control v1 Noul 45.6 100.0 25.5 来源 ↗
synthetic relevance / nanobeir / nanofiqa2018 Noul 45.4 54.0 28.7 来源 ↗
synthetic relevance / nanobeir / nanonfcorpus Noul 44.7 46.2 25.1 来源 ↗
stepgame Choice 42.9 82.1 18.0 来源 ↗
sgd Choice 42.4 96.6 24.4 来源 ↗
ud ewt Choice 41.9 56.7 13.4 来源 ↗
synthetic relevance / nanobeir / nanoarguana Noul 41.9 48.2 15.7 来源 ↗
synthetic relevance / nanobeir / nanodbpedia Score 41.1 44.9 17.8 来源 ↗
patent similarity Score 40.5 48.3 17.9 来源 ↗
open jev / painting geometry v1 Noul 40.0 100.0 27.8 来源 ↗
synthetic relevance / nanobeir / nanoscidocs Noul 39.1 41.7 17.4 来源 ↗
laya / typed decisions Noul 37.2 47.8 24.6 来源 ↗
synthetic relevance / nanobeir / nanotouche2020 Noul 37.1 47.0 26.8 来源 ↗
laya / typed decisions Score 36.2 67.0 26.9 来源 ↗
followir core17 Noul 35.5 46.6 21.3 来源 ↗
temporal nli Choice 35.5 80.7 18.5 来源 ↗
aqua rat Choice 33.8 77.5 11.0 来源 ↗
civil comments Noul 33.5 36.7 21.5 来源 ↗
ethics Choice 33.3 83.3 21.2 来源 ↗
synthetic relevance / nanobeir / nanofiqa2018 Score 33.3 46.7 15.4 来源 ↗
cladder Noul 32.0 94.0 18.3 来源 ↗
synthetic relevance / nanobeir / nanomsmarco Score 31.7 52.6 18.1 来源 ↗
synthetic relevance / nanobeir / nanotouche2020 Score 31.6 44.3 20.9 来源 ↗
synthetic relevance / nanobeir / nanonq Score 30.1 49.4 9.5 来源 ↗
synthetic relevance / nanocoir Score 29.0 44.3 4.3 来源 ↗
wiqa Choice 28.6 58.7 19.5 来源 ↗
followir news21 Noul 28.0 42.7 14.9 来源 ↗
synthetic relevance / nanobeir / nanoscidocs Score 27.7 36.7 7.3 来源 ↗
crows pairs Choice 27.1 70.8 30.7 来源 ↗
synthetic relevance / nanobeir / nanonfcorpus Score 26.2 38.6 10.9 来源 ↗
boardgameqa Choice 25.0 62.5 15.8 来源 ↗
spartqa Choice 24.2 38.7 4.5 来源 ↗
laya / typed decisions Choice 23.9 34.5 19.1 来源 ↗
esci Choice 23.3 46.6 13.3 来源 ↗
logical entailment Noul 22.0 72.0 12.3 来源 ↗
fol nli Choice 21.3 54.1 10.4 来源 ↗
open jev / snake v1 Noul 21.0 100.0 9.1 来源 ↗
synthetic relevance / nanobeir / nanoarguana Score 17.6 36.0 7.6 来源 ↗
open jev / snake v1 Choice 12.4 83.5 8.4 来源 ↗
tracie Noul 12.0 34.0 8.8 来源 ↗
argument quality Noul 8.5 23.9 5.4 来源 ↗
hh rlhf Choice 7.7 23.1 3.1 来源 ↗
open jev / tic tac toe v1 Choice 5.3 48.5 3.5 来源 ↗
corr2cause Choice 0.0 91.7 3.8 来源 ↗
nlsat Noul 0.0 22.0 2.2 来源 ↗
open jev / drone control v1 Choice 0.0 100.0 5.1 来源 ↗
open jev / drone control v1 Score 0.0 99.2 1.3 来源 ↗
open jev / painting geometry v1 Score 0.0 100.0 15.9 来源 ↗
plane Noul 0.0 100.0 11.1 来源 ↗
poem sentiment Choice 0.0 57.1 3.9 来源 ↗

Decision Index · 42 个基准

基准类型该模型全场最佳 全场均值对比来源
ARC-Easy 混合（Choice 98.0 99.5 87.3 来源 ↗
ARC-Challenge 混合（Choice 94.8 98.2 79.1 来源 ↗
BFCL 混合（Choice 94.8 98.8 80.3 来源 ↗
FinEntity 混合（Choice 91.7 97.1 73.8 来源 ↗
CLINC150 混合（Choice 87.0 97.4 68.2 来源 ↗
HellaSwag 混合（Choice 85.1 98.5 72.9 来源 ↗
When2Call 混合（Choice 83.2 91.7 57.9 来源 ↗
BPoMP 混合（Choice 83.1 97.0 73.5 来源 ↗
NLI4CT 混合（Choice 82.9 86.2 69.2 来源 ↗
RouterBench 混合（Choice 79.8 80.1 73.2 来源 ↗
MMLU 混合（Choice 77.3 91.9 64.1 来源 ↗
RAGTruth 混合（Choice 77.1 86.0 51.7 来源 ↗
BANKING77 混合（Choice 75.1 94.1 69.1 来源 ↗
WinoGrande 混合（Choice 74.1 97.5 69.7 来源 ↗
ContractNLI 混合（Choice 72.9 86.5 60.3 来源 ↗
HoVer 混合（Choice 72.0 89.4 63.7 来源 ↗
BBH 混合（Choice 71.3 92.9 58.2 来源 ↗
CRUXEval 混合（Choice 69.5 87.9 50.3 来源 ↗
VAST 混合（Choice 68.6 82.0 50.2 来源 ↗
CLadder 混合（Choice 68.6 97.7 62.3 来源 ↗
API-Bank 混合（Choice 67.3 93.1 56.2 来源 ↗
ANLI 混合（Choice 66.7 98.6 53.7 来源 ↗
PhishNChips 混合（Choice 65.9 99.9 61.7 来源 ↗
ToolRet 混合（Choice 65.2 69.1 54.9 来源 ↗
New Yorker 混合（Choice 64.8 82.0 52.8 来源 ↗
Humicroedit 混合（Choice 61.3 75.1 57.2 来源 ↗
MuSR 混合（Choice 61.0 86.2 55.8 来源 ↗
cfcolor 混合（Choice 60.2 70.2 57.8 来源 ↗
iSarcasmEval 混合（Choice 57.7 71.0 38.2 来源 ↗
MMLU-Pro 混合（Choice 54.8 82.7 42.0 来源 ↗
Home appliances 混合（Choice 54.5 98.9 23.1 来源 ↗
Amazon ESCI 混合（Choice 53.0 61.6 40.7 来源 ↗
GSM8K 混合（Choice 48.6 83.5 35.7 来源 ↗
BRIGHT 混合（Choice 45.3 50.9 35.9 来源 ↗
Habermas 混合（Choice 41.8 71.8 42.3 来源 ↗
GPQA Diamond 混合（Choice 38.8 78.3 37.5 来源 ↗
SATA-Bench 混合（Choice 33.6 37.2 20.2 来源 ↗
ChessBench 混合（Choice 17.3 40.2 14.1 来源 ↗
ACOS 混合（Choice 15.5 57.3 14.6 来源 ↗
SGD 混合（Choice 11.9 73.4 47.8 来源 ↗
HLE 混合（Choice 10.4 20.4 12.3 来源 ↗
POP909 混合（Choice 8.1 74.6 12.5 来源 ↗

Decision Index · Vision · 20 个基准

基准类型该模型全场最佳 全场均值对比来源
KIE (CORD+FUNSD) 图像 90.8 92.7 80.0 来源 ↗
InfographicVQA 图像 88.7 98.7 77.3 来源 ↗
InfographicVQA 图像 87.4 98.7 77.3 来源 ↗
KIE (CORD+FUNSD) 图像 82.5 92.7 80.0 来源 ↗
Winoground 图像 82.0 93.0 70.7 来源 ↗
Winoground 图像 80.0 93.0 70.7 来源 ↗
Mind2Web 图像 76.3 79.7 49.7 来源 ↗
CV-Bench 图像 67.8 76.6 49.1 来源 ↗
CharXiv 图像 67.4 79.7 48.5 来源 ↗
CharXiv 图像 60.4 79.7 48.5 来源 ↗
Mind2Web 图像 60.0 79.7 49.7 来源 ↗
RealWorldQA 图像 53.4 75.3 41.1 来源 ↗
BLINK 图像 50.9 63.0 32.0 来源 ↗
Moderation (Hateful Memes) 图像 45.0 54.0 28.6 来源 ↗
Moderation (Hateful Memes) 图像 31.6 54.0 28.6 来源 ↗
CV-Bench 图像 31.0 76.6 49.1 来源 ↗
MMMU-Pro vision 图像 30.6 40.7 22.3 来源 ↗
RealWorldQA 图像 28.0 75.3 41.1 来源 ↗
R-Bench-M 图像 24.9 35.4 19.0 来源 ↗
BLINK 图像 22.0 63.0 32.0 来源 ↗

同族条目（2）

型号参数Decision Index S1MBVision榜单
Winnow 12B 当前 12B（活跃 12B） 49.3 54.6 59.8 s1mb, di, di_vision
Winnow-E4B 8.0B 38.7 — 43.4 di, di_vision