评估库

决策模型相关的全部评估集：S1MB 的 137 个基准、Decision Index 的文本与多模态面板，以及通用多模态与 Agent 决策的常用榜单。点进任意评估集可以看到在它上面跑过的所有模型与得分。

评估集▼	套件▼	决策类型	参评模型▼	样本量▼	最佳分▼	平均分▼	模态	来源
BFCL 工具与自动化	Decision Index	混合	111	1,694	98.8	80.3	文本	来源 ↗
ToolRet 工具与自动化	Decision Index	混合	111	685	69.1	54.9	文本	来源 ↗
ContractNLI 语言理解	Decision Index	混合	111	123	86.5	60.3	文本	来源 ↗
ANLI 语言理解	Decision Index	混合	111	3,200	98.6	53.7	文本	来源 ↗
BPoMP 艺术与人类品味	Decision Index	混合	111	811	97.0	73.5	文本	来源 ↗
Humicroedit 艺术与人类品味	Decision Index	混合	111	2,628	75.1	57.2	文本	来源 ↗
cfcolor 艺术与人类品味	Decision Index	混合	111	5,000	70.2	57.8	文本	来源 ↗
MMLU knowledge	Decision Index	混合	111	14,042	91.9	64.1	文本	来源 ↗
GPQA Diamond 知识与推理	Decision Index	混合	111	198	78.3	37.5	文本	来源 ↗
ARC-Easy knowledge	Decision Index	混合	111	2,376	99.5	87.3	文本	来源 ↗
ARC-Challenge knowledge	Decision Index	混合	111	1,172	98.2	79.1	文本	来源 ↗
WinoGrande 知识与推理	Decision Index	混合	111	1,267	97.5	69.7	文本	来源 ↗
HellaSwag 语言理解	Decision Index	混合	111	10,042	98.5	72.9	文本	来源 ↗
GSM8K 知识与推理	Decision Index	混合	111	2,638	83.5	35.7	文本	来源 ↗
ChessBench 知识与推理	Decision Index	混合	111	5,000	40.2	14.1	文本	来源 ↗
MuSR 知识与推理	Decision Index	混合	111	752	86.2	55.8	文本	来源 ↗
SATA-Bench 知识与推理	Decision Index	混合	111	1,650	37.2	20.2	文本	来源 ↗
BRIGHT 检索与分类	Decision Index	混合	111	220	50.9	35.9	文本	来源 ↗
Amazon ESCI 检索与分类	Decision Index	混合	111	5,000	61.6	40.7	文本	来源 ↗
ACOS 语言理解	Decision Index	混合	111	400	57.3	14.6	文本	来源 ↗
FinEntity 语言理解	Decision Index	混合	111	979	97.1	73.8	文本	来源 ↗
iSarcasmEval 语言理解	Decision Index	混合	111	4,600	71.0	38.2	文本	来源 ↗
VAST 语言理解	Decision Index	混合	111	3,006	82.0	50.2	文本	来源 ↗
NLI4CT 语言理解	Decision Index	混合	111	5,500	86.2	69.2	文本	来源 ↗
CRUXEval 知识与推理	Decision Index	混合	111	570	87.9	50.3	文本	来源 ↗
CLadder 知识与推理	Decision Index	混合	111	5,000	97.7	62.3	文本	来源 ↗
HLE 知识与推理	Decision Index	混合	111	501	20.4	12.3	文本	来源 ↗
Habermas 艺术与人类品味	Decision Index	混合	111	1,676	71.8	42.3	文本	来源 ↗
PhishNChips 检索与分类	Decision Index	混合	111	2,000	99.9	61.7	文本	来源 ↗
MMLU-Pro 知识与推理	Decision Index	混合	111	12,032	82.7	42.0	文本	来源 ↗
BBH 知识与推理	Decision Index	混合	111	5,507	92.9	58.2	文本	来源 ↗
RAGTruth 语言理解	Decision Index	混合	111	2,700	86.0	51.7	文本	来源 ↗
HoVer 检索与分类	Decision Index	混合	111	4,000	89.4	63.7	文本	来源 ↗
When2Call 工具与自动化	Decision Index	混合	111	3,652	91.7	57.9	文本	来源 ↗
New Yorker 艺术与人类品味	Decision Index	混合	111	528	82.0	52.8	文本	来源 ↗
SGD retrieval	Decision Index	混合	110	2,500	73.4	47.8	文本	来源 ↗
RouterBench tools	Decision Index	混合	109	5,001	80.1	73.2	文本	来源 ↗
Home appliances 工具与自动化	Decision Index	混合	108	88	98.9	23.1	文本	来源 ↗
BANKING77 检索与分类	Decision Index	混合	103	3,080	94.1	69.1	文本	来源 ↗
CLINC150 检索与分类	Decision Index	混合	103	5,500	97.4	68.2	文本	来源 ↗
API-Bank 工具与自动化	Decision Index	混合	102	508	93.1	56.2	文本	来源 ↗
POP909 艺术与人类品味	Decision Index	混合	102	2,000	74.6	12.5	文本	来源 ↗
s1mb generalization contextual choice S1MB 泛化（合成）	S1MB	Choice	96	100	100.0	82.8	文本	来源 ↗
s1mb generalization contextual noul S1MB 泛化（合成）	S1MB	Noul	96	100	98.0	62.3	文本	来源 ↗
s1mb generalization contextual score S1MB 泛化（合成）	S1MB	Score	96	100	92.7	42.4	文本	来源 ↗
s1mb generalization diverse choice S1MB 泛化（合成）	S1MB	Choice	96	100	100.0	69.8	文本	来源 ↗
s1mb generalization diverse noul S1MB 泛化（合成）	S1MB	Noul	96	100	100.0	59.5	文本	来源 ↗
s1mb generalization diverse score S1MB 泛化（合成）	S1MB	Score	96	100	95.3	43.1	文本	来源 ↗
aegis2 公开 NLP 数据集	S1MB	Noul	95	100	62.3	33.0	文本	来源 ↗
aqua rat 公开 NLP 数据集	S1MB	Choice	95	100	77.5	11.0	文本	来源 ↗
arc 公开 NLP 数据集	S1MB	Choice	95	100	98.5	64.7	文本	来源 ↗
arct 公开 NLP 数据集	S1MB	Choice	95	100	89.4	39.6	文本	来源 ↗
argument quality 公开 NLP 数据集	S1MB	Choice	95	100	95.9	37.8	文本	来源 ↗
argument quality 公开 NLP 数据集	S1MB	Noul	95	100	23.9	5.4	文本	来源 ↗
babi nli 公开 NLP 数据集	S1MB	Noul	95	100	84.0	37.3	文本	来源 ↗
banking77 公开 NLP 数据集	S1MB	Choice	95	100	93.7	55.0	文本	来源 ↗
bbq 公开 NLP 数据集	S1MB	Choice	95	100	98.3	54.2	文本	来源 ↗
boardgameqa 公开 NLP 数据集	S1MB	Choice	95	100	62.5	15.8	文本	来源 ↗
canttalk 公开 NLP 数据集	S1MB	Noul	95	100	86.0	44.1	文本	来源 ↗
civil comments 公开 NLP 数据集	S1MB	Noul	95	100	36.7	21.5	文本	来源 ↗
cladder 公开 NLP 数据集	S1MB	Noul	95	100	94.0	18.3	文本	来源 ↗
clinc 公开 NLP 数据集	S1MB	Choice	95	151	99.3	57.7	文本	来源 ↗
contract nli 公开 NLP 数据集	S1MB	Choice	95	100	78.5	32.3	文本	来源 ↗
corr2cause 公开 NLP 数据集	S1MB	Choice	95	100	91.7	3.8	文本	来源 ↗
creak 公开 NLP 数据集	S1MB	Noul	95	100	88.0	39.0	文本	来源 ↗
crows pairs 公开 NLP 数据集	S1MB	Choice	95	100	70.8	30.7	文本	来源 ↗
dbpedia 公开 NLP 数据集	S1MB	Choice	95	100	98.9	83.7	文本	来源 ↗
defeasible nli 公开 NLP 数据集	S1MB	Choice	95	100	80.4	33.2	文本	来源 ↗
esci 公开 NLP 数据集	S1MB	Choice	95	100	46.6	13.3	文本	来源 ↗
ethics 公开 NLP 数据集	S1MB	Choice	95	18	83.3	21.2	文本	来源 ↗
ethics 公开 NLP 数据集	S1MB	Noul	95	82	68.6	24.1	文本	来源 ↗
ethos 公开 NLP 数据集	S1MB	Noul	95	100	76.0	44.0	文本	来源 ↗
few nerd 公开 NLP 数据集	S1MB	Choice	95	100	86.4	44.2	文本	来源 ↗
fol nli 公开 NLP 数据集	S1MB	Choice	95	100	54.1	10.4	文本	来源 ↗
followir core17 公开 NLP 数据集	S1MB	Noul	95	100	46.6	21.3	文本	来源 ↗
followir news21 公开 NLP 数据集	S1MB	Noul	95	100	42.7	14.9	文本	来源 ↗
followir robust04 公开 NLP 数据集	S1MB	Noul	95	100	90.9	47.2	文本	来源 ↗
go emotions 公开 NLP 数据集	S1MB	Noul	95	100	61.3	38.5	文本	来源 ↗
gretel pii 公开 NLP 数据集	S1MB	Choice	95	100	94.5	43.5	文本	来源 ↗
gsm8k 公开 NLP 数据集	S1MB	Choice	95	100	78.6	23.9	文本	来源 ↗
hans 公开 NLP 数据集	S1MB	Noul	95	100	100.0	43.6	文本	来源 ↗
hatecheck 公开 NLP 数据集	S1MB	Noul	95	100	98.0	47.8	文本	来源 ↗
hh rlhf 公开 NLP 数据集	S1MB	Choice	95	100	23.1	3.1	文本	来源 ↗
hwu64 公开 NLP 数据集	S1MB	Choice	95	100	92.5	57.1	文本	来源 ↗
impli 公开 NLP 数据集	S1MB	Noul	95	100	88.0	47.0	文本	来源 ↗
laya / ag news Laya 数据集	S1MB	Choice	95	100	94.0	75.5	文本	来源 ↗
laya / enron spam Laya 数据集	S1MB	Noul	95	100	100.0	55.0	文本	来源 ↗
laya / typed decisions Laya 数据集	S1MB	Choice	95	100	34.5	19.1	文本	来源 ↗
laya / typed decisions Laya 数据集	S1MB	Noul	95	100	47.8	24.6	文本	来源 ↗
laya / typed decisions Laya 数据集	S1MB	Score	95	100	67.0	26.9	文本	来源 ↗
lexcomp 公开 NLP 数据集	S1MB	Noul	95	100	52.0	22.7	文本	来源 ↗
logical entailment 公开 NLP 数据集	S1MB	Noul	95	100	72.0	12.3	文本	来源 ↗
lonli 公开 NLP 数据集	S1MB	Choice	95	100	86.9	39.6	文本	来源 ↗
massive 公开 NLP 数据集	S1MB	Choice	95	100	96.7	64.8	文本	来源 ↗
miqa 公开 NLP 数据集	S1MB	Choice	95	100	95.5	62.3	文本	来源 ↗
mtop 公开 NLP 数据集	S1MB	Choice	95	100	87.4	58.9	文本	来源 ↗
nlsat 公开 NLP 数据集	S1MB	Noul	95	100	22.0	2.2	文本	来源 ↗
open jev / amount extraction control v1 Open-Jev 运维与控制	S1MB	Choice	95	36	100.0	55.2	文本	来源 ↗
open jev / amount extraction control v1 Open-Jev 运维与控制	S1MB	Noul	95	64	100.0	33.7	文本	来源 ↗
open jev / browser control v1 Open-Jev 运维与控制	S1MB	Choice	95	100	100.0	67.7	文本	来源 ↗
open jev / citation control v1 Open-Jev 运维与控制	S1MB	Choice	95	100	100.0	41.5	文本	来源 ↗
open jev / context retention control v1 Open-Jev 运维与控制	S1MB	Noul	95	100	100.0	19.7	文本	来源 ↗
open jev / customer control v1 Open-Jev 运维与控制	S1MB	Choice	95	17	82.6	64.4	文本	来源 ↗
open jev / customer control v1 Open-Jev 运维与控制	S1MB	Noul	95	33	100.0	58.4	文本	来源 ↗
open jev / customer control v1 Open-Jev 运维与控制	S1MB	Score	95	50	99.3	36.9	文本	来源 ↗
open jev / drone control v1 Open-Jev 运维与控制	S1MB	Choice	95	32	100.0	5.1	文本	来源 ↗
open jev / drone control v1 Open-Jev 运维与控制	S1MB	Noul	95	34	100.0	50.7	文本	来源 ↗
open jev / drone control v1 Open-Jev 运维与控制	S1MB	Score	95	34	99.2	1.3	文本	来源 ↗
open jev / email selection control v1 Open-Jev 运维与控制	S1MB	Choice	95	48	100.0	24.2	文本	来源 ↗
open jev / email selection control v1 Open-Jev 运维与控制	S1MB	Noul	95	52	100.0	41.3	文本	来源 ↗
open jev / entity alignment control v1 Open-Jev 运维与控制	S1MB	Noul	95	75	100.0	36.5	文本	来源 ↗
open jev / entity alignment control v1 Open-Jev 运维与控制	S1MB	Score	95	25	100.0	8.5	文本	来源 ↗
open jev / ir control v1 Open-Jev 运维与控制	S1MB	Choice	95	17	88.0	45.1	文本	来源 ↗
open jev / ir control v1 Open-Jev 运维与控制	S1MB	Noul	95	28	100.0	47.6	文本	来源 ↗
open jev / ir control v1 Open-Jev 运维与控制	S1MB	Score	95	55	98.6	10.6	文本	来源 ↗
open jev / mailroom control v1 Open-Jev 运维与控制	S1MB	Choice	95	15	100.0	83.1	文本	来源 ↗
open jev / mailroom control v1 Open-Jev 运维与控制	S1MB	Noul	95	85	100.0	62.9	文本	来源 ↗
open jev / painting geometry v1 Open-Jev 运维与控制	S1MB	Choice	95	25	100.0	46.7	文本	来源 ↗
open jev / painting geometry v1 Open-Jev 运维与控制	S1MB	Noul	95	50	100.0	27.8	文本	来源 ↗
open jev / painting geometry v1 Open-Jev 运维与控制	S1MB	Score	95	25	100.0	15.9	文本	来源 ↗
open jev / phone extraction control v1 Open-Jev 运维与控制	S1MB	Choice	95	79	100.0	33.0	文本	来源 ↗
open jev / phone extraction control v1 Open-Jev 运维与控制	S1MB	Noul	95	21	100.0	50.9	文本	来源 ↗
open jev / reasoning control v1 Open-Jev 运维与控制	S1MB	Choice	95	33	95.0	28.8	文本	来源 ↗
open jev / reasoning control v1 Open-Jev 运维与控制	S1MB	Noul	95	33	100.0	25.5	文本	来源 ↗
open jev / reasoning control v1 Open-Jev 运维与控制	S1MB	Score	95	34	90.7	28.1	文本	来源 ↗
open jev / silent failure control v1 Open-Jev 运维与控制	S1MB	Noul	95	100	100.0	38.8	文本	来源 ↗
open jev / snake v1 Open-Jev 运维与控制	S1MB	Choice	95	25	83.5	8.4	文本	来源 ↗
open jev / snake v1 Open-Jev 运维与控制	S1MB	Noul	95	75	100.0	9.1	文本	来源 ↗
open jev / sponsor segment control v1 Open-Jev 运维与控制	S1MB	Choice	95	100	100.0	52.7	文本	来源 ↗
open jev / tic tac toe v1 Open-Jev 运维与控制	S1MB	Choice	95	100	48.5	3.5	文本	来源 ↗
open jev / vizdoom basic v1 Open-Jev 运维与控制	S1MB	Noul	95	33	100.0	39.6	文本	来源 ↗
open jev / vizdoom basic v1 Open-Jev 运维与控制	S1MB	Score	95	33	100.0	30.2	文本	来源 ↗
open jev / workflow controls v1 / agent trace observability Open-Jev 运维与控制	S1MB	Noul	95	100	100.0	28.3	文本	来源 ↗
open jev / workflow controls v1 / customer service Open-Jev 运维与控制	S1MB	Noul	95	100	100.0	42.1	文本	来源 ↗
open jev / workflow controls v1 / invoice processing Open-Jev 运维与控制	S1MB	Noul	95	100	100.0	34.8	文本	来源 ↗
open jev / workflow controls v1 / security incidents Open-Jev 运维与控制	S1MB	Noul	95	100	100.0	38.2	文本	来源 ↗
openbookqa 公开 NLP 数据集	S1MB	Choice	95	100	97.2	54.1	文本	来源 ↗
patent similarity 公开 NLP 数据集	S1MB	Score	95	100	48.3	17.9	文本	来源 ↗
paws 公开 NLP 数据集	S1MB	Noul	95	100	88.0	45.9	文本	来源 ↗
plane 公开 NLP 数据集	S1MB	Noul	95	100	100.0	11.1	文本	来源 ↗
poem sentiment 公开 NLP 数据集	S1MB	Choice	95	100	57.1	3.9	文本	来源 ↗
qasper 公开 NLP 数据集	S1MB	Noul	95	100	88.0	41.9	文本	来源 ↗
quartz 公开 NLP 数据集	S1MB	Choice	95	100	88.1	49.4	文本	来源 ↗
robust lr 公开 NLP 数据集	S1MB	Choice	95	100	66.7	19.1	文本	来源 ↗
ruletaker 公开 NLP 数据集	S1MB	Noul	95	100	96.0	28.0	文本	来源 ↗
scicite 公开 NLP 数据集	S1MB	Choice	95	100	71.0	44.1	文本	来源 ↗
scitail 公开 NLP 数据集	S1MB	Noul	95	100	98.0	53.2	文本	来源 ↗
scone 公开 NLP 数据集	S1MB	Choice	95	100	92.0	34.5	文本	来源 ↗
sdoh nli 公开 NLP 数据集	S1MB	Noul	95	100	92.0	61.0	文本	来源 ↗
sgd 公开 NLP 数据集	S1MB	Choice	95	100	96.6	24.4	文本	来源 ↗
snli 公开 NLP 数据集	S1MB	Choice	95	100	98.4	46.4	文本	来源 ↗
spartqa 公开 NLP 数据集	S1MB	Choice	95	100	38.7	4.5	文本	来源 ↗
stepgame 公开 NLP 数据集	S1MB	Choice	95	100	82.1	18.0	文本	来源 ↗
synthetic relevance / nanobeir / nanoarguana 检索相关性（NanoBEIR / 合成）	S1MB	Noul	95	400	48.2	15.7	文本	来源 ↗
synthetic relevance / nanobeir / nanoarguana 检索相关性（NanoBEIR / 合成）	S1MB	Score	95	400	36.0	7.6	文本	来源 ↗
synthetic relevance / nanobeir / nanodbpedia 检索相关性（NanoBEIR / 合成）	S1MB	Noul	95	400	52.1	29.1	文本	来源 ↗
synthetic relevance / nanobeir / nanodbpedia 检索相关性（NanoBEIR / 合成）	S1MB	Score	95	400	44.9	17.8	文本	来源 ↗
synthetic relevance / nanobeir / nanofiqa2018 检索相关性（NanoBEIR / 合成）	S1MB	Noul	95	400	54.0	28.7	文本	来源 ↗
synthetic relevance / nanobeir / nanofiqa2018 检索相关性（NanoBEIR / 合成）	S1MB	Score	95	400	46.7	15.4	文本	来源 ↗
synthetic relevance / nanobeir / nanohotpotqa 检索相关性（NanoBEIR / 合成）	S1MB	Noul	95	400	70.8	28.3	文本	来源 ↗
synthetic relevance / nanobeir / nanohotpotqa 检索相关性（NanoBEIR / 合成）	S1MB	Score	95	400	63.6	14.1	文本	来源 ↗
synthetic relevance / nanobeir / nanomsmarco 检索相关性（NanoBEIR / 合成）	S1MB	Noul	95	400	62.5	37.5	文本	来源 ↗
synthetic relevance / nanobeir / nanomsmarco 检索相关性（NanoBEIR / 合成）	S1MB	Score	95	400	52.6	18.1	文本	来源 ↗
synthetic relevance / nanobeir / nanonfcorpus 检索相关性（NanoBEIR / 合成）	S1MB	Noul	95	400	46.2	25.1	文本	来源 ↗
synthetic relevance / nanobeir / nanonfcorpus 检索相关性（NanoBEIR / 合成）	S1MB	Score	95	400	38.6	10.9	文本	来源 ↗
synthetic relevance / nanobeir / nanonq 检索相关性（NanoBEIR / 合成）	S1MB	Noul	95	400	67.2	39.7	文本	来源 ↗
synthetic relevance / nanobeir / nanonq 检索相关性（NanoBEIR / 合成）	S1MB	Score	95	400	49.4	9.5	文本	来源 ↗
synthetic relevance / nanobeir / nanoscidocs 检索相关性（NanoBEIR / 合成）	S1MB	Noul	95	400	41.7	17.4	文本	来源 ↗
synthetic relevance / nanobeir / nanoscidocs 检索相关性（NanoBEIR / 合成）	S1MB	Score	95	400	36.7	7.3	文本	来源 ↗
synthetic relevance / nanobeir / nanotouche2020 检索相关性（NanoBEIR / 合成）	S1MB	Noul	95	392	47.0	26.8	文本	来源 ↗
synthetic relevance / nanobeir / nanotouche2020 检索相关性（NanoBEIR / 合成）	S1MB	Score	95	392	44.3	20.9	文本	来源 ↗
synthetic relevance / nanocoir 检索相关性（NanoBEIR / 合成）	S1MB	Noul	95	800	73.0	33.9	文本	来源 ↗
synthetic relevance / nanocoir 检索相关性（NanoBEIR / 合成）	S1MB	Score	95	800	44.3	4.3	文本	来源 ↗
temporal nli 公开 NLP 数据集	S1MB	Choice	95	100	80.7	18.5	文本	来源 ↗
tracie 公开 NLP 数据集	S1MB	Noul	95	100	34.0	8.8	文本	来源 ↗
ud ewt 公开 NLP 数据集	S1MB	Choice	95	100	56.7	13.4	文本	来源 ↗
winobias 公开 NLP 数据集	S1MB	Choice	95	100	91.3	30.5	文本	来源 ↗
winowhy 公开 NLP 数据集	S1MB	Noul	95	100	62.0	19.0	文本	来源 ↗
wiqa 公开 NLP 数据集	S1MB	Choice	95	100	58.7	19.5	文本	来源 ↗
CV-Bench 多模态决策（图像输入）	Decision Index Vision	混合	20	—	76.6	49.1	图像	来源 ↗
BLINK 多模态决策（图像输入）	Decision Index Vision	混合	20	—	63.0	32.0	图像	来源 ↗
RealWorldQA 多模态决策（图像输入）	Decision Index Vision	混合	20	—	75.3	41.1	图像	来源 ↗
CharXiv 多模态决策（图像输入）	Decision Index Vision	混合	20	—	79.7	48.5	图像	来源 ↗
InfographicVQA 多模态决策（图像输入）	Decision Index Vision	混合	20	—	98.7	77.3	图像	来源 ↗
Mind2Web 多模态决策（图像输入）	Decision Index Vision	混合	20	—	79.7	49.7	图像	来源 ↗
Winoground 多模态决策（图像输入）	Decision Index Vision	混合	20	—	93.0	70.7	图像	来源 ↗
KIE (CORD+FUNSD) 多模态决策（图像输入）	Decision Index Vision	混合	20	—	92.7	80.0	图像	来源 ↗
Moderation (Hateful Memes) 多模态决策（图像输入）	Decision Index Vision	混合	20	—	54.0	28.6	图像	来源 ↗
R-Bench-M 多模态决策（图像输入）	Decision Index Vision	混合	20	—	35.4	19.0	图像	来源 ↗
MMMU-Pro vision 多模态决策（图像输入）	Decision Index Vision	混合	20	—	40.7	22.3	图像	来源 ↗
MiniWoB++ tools	Decision Index	混合	1	—	100.0	100.0	文本	来源 ↗
Boxoban games	Decision Index	混合	1	—	0.0	0.0	文本	来源 ↗
RTFM games	Decision Index	混合	1	—	17.0	17.0	文本	来源 ↗
ScienceWorld tools	Decision Index	混合	1	—	6.7	6.7	文本	来源 ↗
Hanabi games	Decision Index	混合	1	—	0.0	0.0	文本	来源 ↗
Codenames games	Decision Index	混合	1	—	0.0	0.0	文本	来源 ↗
OpenBookQA knowledge	Decision Index	混合	1	500	94.0	94.0	文本	来源 ↗
CommonsenseQA knowledge	Decision Index	混合	1	1,221	87.5	87.5	文本	来源 ↗
Support tickets tools	Decision Index	混合	1	300	90.5	90.5	文本	来源 ↗
Phishing gradient retrieval	Decision Index	混合	1	800	94.6	94.6	文本	来源 ↗
Email spam retrieval	Decision Index	混合	1	3,000	97.4	97.4	文本	来源 ↗
japanese llm jp commonsensemoralja 公开 NLP 数据集	S1MB	Noul	0	100	—	—	文本	来源 ↗
japanese llm jp gpqa_diamond_ja 公开 NLP 数据集	S1MB	Choice	0	100	—	—	文本	来源 ↗
japanese llm jp gpqa_extended_ja 公开 NLP 数据集	S1MB	Choice	0	100	—	—	文本	来源 ↗
japanese llm jp gpqa_main_ja 公开 NLP 数据集	S1MB	Choice	0	100	—	—	文本	来源 ↗
japanese llm jp jamc qa 公开 NLP 数据集	S1MB	Choice	0	100	—	—	文本	来源 ↗
japanese llm jp jamp 公开 NLP 数据集	S1MB	Choice	0	100	—	—	文本	来源 ↗
japanese llm jp janli 公开 NLP 数据集	S1MB	Choice	0	100	—	—	文本	来源 ↗
japanese llm jp jblimp 公开 NLP 数据集	S1MB	Choice	0	100	—	—	文本	来源 ↗
japanese llm jp jcola in domain 公开 NLP 数据集	S1MB	Noul	0	100	—	—	文本	来源 ↗
japanese llm jp jcola out of domain 公开 NLP 数据集	S1MB	Noul	0	100	—	—	文本	来源 ↗
japanese llm jp jcommonsenseqa 公开 NLP 数据集	S1MB	Choice	0	100	—	—	文本	来源 ↗
japanese llm jp jculture mcq 公开 NLP 数据集	S1MB	Noul	0	100	—	—	文本	来源 ↗
japanese llm jp jmmlu 公开 NLP 数据集	S1MB	Choice	0	100	—	—	文本	来源 ↗
japanese llm jp jnli 公开 NLP 数据集	S1MB	Choice	0	100	—	—	文本	来源 ↗
japanese llm jp jsem 公开 NLP 数据集	S1MB	Choice	0	100	—	—	文本	来源 ↗
japanese llm jp jsick 公开 NLP 数据集	S1MB	Choice	0	100	—	—	文本	来源 ↗
japanese llm jp kuci 公开 NLP 数据集	S1MB	Choice	0	100	—	—	文本	来源 ↗
japanese llm jp mmlu_prox_ja 公开 NLP 数据集	S1MB	Choice	0	100	—	—	文本	来源 ↗
japanese llm jp mmmlu 公开 NLP 数据集	S1MB	Choice	0	100	—	—	文本	来源 ↗
japanese nanojmteb ja cwir 公开 NLP 数据集	S1MB	Choice	0	81	—	—	文本	来源 ↗
japanese nanojmteb ja cwir 公开 NLP 数据集	S1MB	Noul	0	100	—	—	文本	来源 ↗
japanese nanojmteb ja cwir 公开 NLP 数据集	S1MB	Score	0	100	—	—	文本	来源 ↗
japanese nanojmteb ja gov faqs 公开 NLP 数据集	S1MB	Choice	0	86	—	—	文本	来源 ↗
japanese nanojmteb ja gov faqs 公开 NLP 数据集	S1MB	Noul	0	100	—	—	文本	来源 ↗
japanese nanojmteb ja gov faqs 公开 NLP 数据集	S1MB	Score	0	100	—	—	文本	来源 ↗
japanese nanojmteb jaqket 公开 NLP 数据集	S1MB	Choice	0	91	—	—	文本	来源 ↗
japanese nanojmteb jaqket 公开 NLP 数据集	S1MB	Noul	0	100	—	—	文本	来源 ↗
japanese nanojmteb jaqket 公开 NLP 数据集	S1MB	Score	0	100	—	—	文本	来源 ↗
japanese nanojmteb mintaka ja 公开 NLP 数据集	S1MB	Choice	0	57	—	—	文本	来源 ↗
japanese nanojmteb mintaka ja 公开 NLP 数据集	S1MB	Noul	0	100	—	—	文本	来源 ↗
japanese nanojmteb mintaka ja 公开 NLP 数据集	S1MB	Score	0	100	—	—	文本	来源 ↗
japanese nanojmteb miracl ja 公开 NLP 数据集	S1MB	Choice	0	92	—	—	文本	来源 ↗
japanese nanojmteb miracl ja 公开 NLP 数据集	S1MB	Noul	0	100	—	—	文本	来源 ↗
japanese nanojmteb miracl ja 公开 NLP 数据集	S1MB	Score	0	100	—	—	文本	来源 ↗
japanese nanojmteb mr tidy japanese 公开 NLP 数据集	S1MB	Choice	0	81	—	—	文本	来源 ↗
japanese nanojmteb mr tidy japanese 公开 NLP 数据集	S1MB	Noul	0	100	—	—	文本	来源 ↗
japanese nanojmteb mr tidy japanese 公开 NLP 数据集	S1MB	Score	0	100	—	—	文本	来源 ↗
japanese nanojmteb multi long doc ja 公开 NLP 数据集	S1MB	Choice	0	68	—	—	文本	来源 ↗
japanese nanojmteb multi long doc ja 公开 NLP 数据集	S1MB	Noul	0	100	—	—	文本	来源 ↗
japanese nanojmteb multi long doc ja 公开 NLP 数据集	S1MB	Score	0	100	—	—	文本	来源 ↗
japanese nanojmteb nlpjournal abs article 公开 NLP 数据集	S1MB	Choice	0	99	—	—	文本	来源 ↗
japanese nanojmteb nlpjournal abs article 公开 NLP 数据集	S1MB	Noul	0	100	—	—	文本	来源 ↗
japanese nanojmteb nlpjournal abs article 公开 NLP 数据集	S1MB	Score	0	100	—	—	文本	来源 ↗
japanese nanojmteb nlpjournal abs intro 公开 NLP 数据集	S1MB	Choice	0	100	—	—	文本	来源 ↗
japanese nanojmteb nlpjournal abs intro 公开 NLP 数据集	S1MB	Noul	0	100	—	—	文本	来源 ↗
japanese nanojmteb nlpjournal abs intro 公开 NLP 数据集	S1MB	Score	0	100	—	—	文本	来源 ↗
japanese nanojmteb nlpjournal title abs 公开 NLP 数据集	S1MB	Choice	0	97	—	—	文本	来源 ↗
japanese nanojmteb nlpjournal title abs 公开 NLP 数据集	S1MB	Noul	0	100	—	—	文本	来源 ↗
japanese nanojmteb nlpjournal title abs 公开 NLP 数据集	S1MB	Score	0	100	—	—	文本	来源 ↗
japanese nanojmteb nlpjournal title intro 公开 NLP 数据集	S1MB	Choice	0	99	—	—	文本	来源 ↗
japanese nanojmteb nlpjournal title intro 公开 NLP 数据集	S1MB	Noul	0	100	—	—	文本	来源 ↗
japanese nanojmteb nlpjournal title intro 公开 NLP 数据集	S1MB	Score	0	100	—	—	文本	来源 ↗
s1mb generalization japanese contextual S1MB 泛化（合成）	S1MB	Choice	0	100	—	—	文本	来源 ↗
s1mb generalization japanese contextual S1MB 泛化（合成）	S1MB	Noul	0	100	—	—	文本	来源 ↗
s1mb generalization japanese contextual S1MB 泛化（合成）	S1MB	Score	0	100	—	—	文本	来源 ↗
s1mb generalization japanese diverse S1MB 泛化（合成）	S1MB	Choice	0	100	—	—	文本	来源 ↗
s1mb generalization japanese diverse S1MB 泛化（合成）	S1MB	Noul	0	100	—	—	文本	来源 ↗
s1mb generalization japanese diverse S1MB 泛化（合成）	S1MB	Score	0	100	—	—	文本	来源 ↗
MMMU B 通用多模态	通用多模态	Choice	0	11,500	—	—	图像	来源 ↗
MMMU-Pro B 通用多模态	通用多模态	Choice	0	—	—	—	图像
MMBench / MMBench-V1.1 B 通用多模态	通用多模态	Choice	0	3,000	—	—	图像	来源 ↗
MMStar B 通用多模态	通用多模态	Choice	0	1,500	—	—	图像	来源 ↗
MMVP B 通用多模态	通用多模态	Choice	0	300	—	—	图像
MathVista B 通用多模态	通用多模态	混合	0	6,141	—	—	图像	来源 ↗
MathVerse B 通用多模态	通用多模态	混合	0	2,610	—	—	图像	来源 ↗
DocVQA B 通用多模态	通用多模态	混合	0	5,000	—	—	图像	来源 ↗
InfographicVQA B 通用多模态	通用多模态	混合	0	5,300	—	—	图像	来源 ↗
ChartQA B 通用多模态	通用多模态	混合	0	9,600	—	—	图像	来源 ↗
TextVQA B 通用多模态	通用多模态	混合	0	5,000	—	—	图像	来源 ↗
OCRBench / OCRBench v2 B 通用多模态	通用多模态	混合	0	1,000	—	—	图像	来源 ↗
AI2D B 通用多模态	通用多模态	Choice	0	5,000	—	—	图像
ScienceQA B 通用多模态	通用多模态	Choice	0	21,208	—	—	图像	来源 ↗
RealWorldQA B 通用多模态	通用多模态	Choice	0	765	—	—	图像
BLINK B 通用多模态	通用多模态	Choice	0	3,800	—	—	图像	来源 ↗
CV-Bench B 通用多模态	通用多模态	Choice	0	—	—	—	图像	来源 ↗
HallusionBench B 通用多模态	通用多模态	混合	0	1,129	—	—	图像	来源 ↗
SEED-Bench B 通用多模态	通用多模态	Choice	0	19,000	—	—	图像视频	来源 ↗
Winoground B 通用多模态	通用多模态	Choice	0	400	—	—	图像
Hateful Memes B 通用多模态	通用多模态	Noul	0	10,000	—	—	图像	来源 ↗
Video-MME B 通用多模态	通用多模态	Choice	0	900	—	—	视频	来源 ↗
MVBench B 通用多模态	通用多模态	Choice	0	4,000	—	—	视频	来源 ↗
LongVideoBench B 通用多模态	通用多模态	Choice	0	1,337	—	—	视频	来源 ↗
Mind2Web B 通用多模态	通用多模态	Choice	0	—	—	—	图像	来源 ↗
KIE (CORD + FUNSD) B 通用多模态	通用多模态	混合	0	—	—	—	图像
R-Bench-M B 通用多模态	通用多模态	Choice	0	—	—	—	图像	来源 ↗
CharXiv B 通用多模态	通用多模态	Choice	0	—	—	—	图像	来源 ↗
BFCL（Berkeley Function Calling Leaderboard） C Agent 与工具调用	Agent 决策	Noul	0	—	—	—	文本	来源 ↗
τ-bench / τ²-bench C Agent 与工具调用	Agent 决策	混合	0	—	—	—	文本
GAIA C Agent 与工具调用	Agent 决策	混合	0	466	—	—	文件
OSWorld C Agent 与工具调用	Agent 决策	混合	0	369	—	—	图像	来源 ↗
WebArena / VisualWebArena C Agent 与工具调用	Agent 决策	混合	0	812	—	—	图像	来源 ↗
SWE-bench Verified C Agent 与工具调用	Agent 决策	混合	0	500	—	—	文本	来源 ↗
API-Bank C Agent 与工具调用	Agent 决策	Choice	0	508	—	—	文本
ToolRet C Agent 与工具调用	Agent 决策	Score	0	685	—	—	文本	来源 ↗
When2Call C Agent 与工具调用	Agent 决策	Noul	0	—	—	—	文本	来源 ↗
RouterBench C Agent 与工具调用	Agent 决策	Choice	0	5,001	—	—	文本
Home appliance simulator C Agent 与工具调用	Agent 决策	Choice	0	88	—	—	文本	来源 ↗
MiniWoB++ C Agent 与工具调用	Agent 决策	混合	0	—	—	—	文本	来源 ↗
ScienceWorld C Agent 与工具调用	Agent 决策	混合	0	—	—	—	文本	来源 ↗
MLE-bench C Agent 与工具调用	Agent 决策	混合	0	—	—	—	文本
zero-shot-ie-bench C Agent 与工具调用	Agent 决策	混合	0	—	—	—	文本
Convex Decision Evals C Agent 与工具调用	Agent 决策	Choice	0	108	—	—	文本
JevBench C Agent 与工具调用	Agent 决策	混合	0	—	—	—	文本