decision.host
首页 / 评估 / open jev / workflow controls v1 / security incidents

open jev / workflow controls v1 / security incidents

S1MB Open-Jev 运维与控制 Noul 94 个模型参评

这是 S1MB 英文套件中的一个基准,取自 open-jev--workflow-controls-v1--security-incidents 子集,上游数据为 ZefanCai/Open-Jev(CC0-1.0)。判断作者定义的一个真/假条件是否成立,返回两个类别的概率,主指标是 Brier 分数,越低越好。该基准包含 100 个 case、100 个判断。评测协议:S1MB 把原始任务改写为类型化决策问题,模型必须输出概率分布,分数经过「忽略输入的基线」校正后折算到 0–100(50 分代表补上了一半差距,不是答对一半)。

这是 S1MB 英文套件中的一个基准,取自 open-jev--workflow-controls-v1--security-incidents 子集,上游数据为 ZefanCai/Open-Jev(CC0-1.0)。判断作者定义的一个真/假条件是否成立,返回两个类别的概率,主指标是 Brier 分数,越低越好。该基准包含 100 个 case、100 个判断。评测协议:S1MB 把原始任务改写为类型化决策问题,模型必须输出概率分布,分数经过「忽略输入的基线」校正后折算到 0–100(50 分代表补上了一半差距,不是答对一半)。

评估集信息

所属套件
S1MB
分组
Open-Jev 运维与控制
决策类型
Noul · 是否
样本量
100 个 case
判断数
100
主指标
Brier 分数(越低越好)
优化方向
越低越好
参评模型
94 个
最佳分
100.0
平均分
37.8
上游数据集
ZefanCai/Open-Jev ↗
数据许可证
CC0-1.0 条款 ↗

这个评估集测什么

这是 S1MB 英文套件中的一个基准,取自 open-jev--workflow-controls-v1--security-incidents 子集,上游数据为 ZefanCai/Open-Jev(CC0-1.0)。判断作者定义的一个真/假条件是否成立,返回两个类别的概率,主指标是 Brier 分数,越低越好。该基准包含 100 个 case、100 个判断。评测协议:S1MB 把原始任务改写为类型化决策问题,模型必须输出概率分布,分数经过「忽略输入的基线」校正后折算到 0–100(50 分代表补上了一半差距,不是答对一半)。

在该评估集上的模型成绩(94 个)

#模型得分 对比其他指标模态官方链接
1 GTE ModernBERT base
Alibaba-NLP · S1MB
0.0 准确率 31.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
2 certo-decision-model
altslate · S1MB
0.0 准确率 31.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
3 AndeyTait/JevForge-0.8B
AndeyTait · S1MB
0.0 准确率 69.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
4 TinyJev 0.6B
AnkitAI · S1MB
0.0 准确率 32.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
5 Needle 3
Cactus-Compute · S1MB
0.0 准确率 44.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
6 CLM-8B
Contrastive-LM · S1MB
0.0 准确率 31.0 文本 systemonemodels.org ↗ Hugging Face 权重 ↗
7 convaiinnovations/laya-multilingual
Convai Innovations · S1MB
0.0 准确率 31.0 文本 Hugging Face 权重 ↗ HF · 多语言 ↗
8 convaiinnovations/laya-typed-decisions
Convai Innovations · S1MB
0.0 准确率 37.0 文本 Hugging Face 权重 ↗ HF · 多语言 ↗
9 gliner2-large-v1
Fastino Labs · S1MB
0.0 准确率 31.0 文本 systemonemodels.org ↗ Hugging Face 权重 ↗
10 gliner2.5-base-v1
Fastino Labs · S1MB
0.0 准确率 45.0 文本 systemonemodels.org ↗ Hugging Face 权重 ↗
11 gliner2.5-multi-v1
Fastino Labs · S1MB
0.0 准确率 64.0 文本 systemonemodels.org ↗ Hugging Face 权重 ↗
12 Verdict ModernBERT 151M
heman10x · S1MB
0.0 准确率 49.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
13 kev-0.5b
Jared Palmer · S1MB
0.0 准确率 33.0 文本 代码仓库 ↗ HF · 4B ↗
14 verdict-small
Manav2op · S1MB
0.0 准确率 69.0 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
15 MXBAI Rerank base v2
mixedbread-ai · S1MB
0.0 准确率 69.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
16 OpenDecision v2.0
MoritzLaurer · S1MB
0.0 准确率 30.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
17 Jeff 0.8B Chess
mstrasser · S1MB
0.0 准确率 31.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
18 XERON-0.1
PIXELZX · S1MB
0.0 准确率 31.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
19 jev-smol(参考实现)
DanielMcSheehy · S1MB
0.0 准确率 31.0 图像 代码仓库 ↗ Hugging Face 权重 ↗
20 ZeroRank 2
zeroentropy · S1MB
0.0 准确率 31.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
21 deem-0.8-v1
LibertAIDAI · S1MB
2.7 准确率 39.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
22 Jeff-1
GestaltLabs · S1MB
3.2 准确率 70.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
23 FlyMy Fast Preview
flymy-ai · S1MB
5.8 准确率 46.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
24 bosun-v3.1-0.6b
Hanno-Labs · S1MB
5.8 准确率 46.0 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
25 Kotoba Open-Jev DeBERTa v3 Large
Zefan Cai · S1MB
7.5 准确率 46.0 文本 HF · 9B ↗ HF · 27B ↗
26 smalljev-semantic-v9
isHeSatoshi · S1MB
8.2 准确率 71.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
27 lev-350m
franckverrot · S1MB
8.5 准确率 54.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
28 bekko-system-one-v0-17m
hotchpotch · S1MB
8.6 准确率 70.0 文本 HF · 400M ↗ HF · 17M ↗
29 von 1.3
wfzyx · S1MB
9.3 准确率 57.0 文本 Hugging Face 权重 ↗ 代码仓库 ↗
30 bekko-system-one-v0-400m
hotchpotch · S1MB
11.4 准确率 72.0 文本 HF · 400M ↗ HF · 17M ↗
31 kev-0.6b
Jared Palmer · S1MB
12.1 准确率 43.0 文本 代码仓库 ↗ HF · 4B ↗
32 GLiFormer Jeff large v1
knowledgator · S1MB
15.6 准确率 54.0 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
33 minojev
zeredy879 · S1MB
19.7 准确率 63.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
34 AlexWortega OpenJev — qwen3.5-0.8b-nli-v2s-long
AlexWortega · S1MB
19.8 准确率 52.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
35 Bosun v3.1 1.7B
Hanno-Labs · S1MB
20.6 准确率 55.0 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
36 jaredpalmer/kev-0.8b
Jared Palmer · S1MB
23.6 准确率 62.0 文本 代码仓库 ↗ HF · 4B ↗
37 TinyJev 4B
AnkitAI · S1MB
24.6 准确率 59.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
38 Mapika/decider-0.8b
Mapika · S1MB
24.9 准确率 58.0 图像 Hugging Face 权重 ↗ 代码仓库 ↗
39 malkuth-2b
dhtocks · S1MB
28.0 准确率 54.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
40 Lumma fev 0.6B
FrontiersMind · S1MB
29.0 准确率 78.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
41 Metask 4B
wayfind · S1MB
30.9 准确率 56.0 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
42 AlexWortega OpenJev — qwen3.5-2b-nli-v5
AlexWortega · S1MB
32.0 准确率 58.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
43 plumb-4b
crh225 · S1MB
32.2 准确率 63.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
44 APUS OpenJev v1 4B
apus-ailab · S1MB
33.8 准确率 58.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
45 APUS OpenJev v1 9B
apus-ailab · S1MB
34.1 准确率 57.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
46 kev-8b
Jared Palmer · S1MB
34.1 准确率 57.0 文本 代码仓库 ↗ HF · 4B ↗
47 AlexWortega OpenJev — qwen3.5-4b-nli-v5
AlexWortega · S1MB
35.3 准确率 59.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
48 Jeff Qwen3.5 0.8B
mstrasser · S1MB
36.4 准确率 61.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
49 OpenThai-SystemOne
iapp · S1MB
36.8 准确率 65.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
50 bekko-system-one-v0-68m
hotchpotch · S1MB
37.3 准确率 80.0 文本 HF · 400M ↗ HF · 17M ↗
51 JevK5
社区(alibiserikbay) · S1MB
37.8 准确率 62.0 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
52 Qwen3 Reranker 4B
Qwen · S1MB
39.5 准确率 73.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
53 Reflex 4B
kshetrajna12 · S1MB
39.9 准确率 61.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
54 Decider 2B
Mapika · S1MB
41.0 准确率 63.0 文本 Hugging Face 权重 ↗ 代码仓库 ↗
55 Jeff Gemma4 E2B
mstrasser · S1MB
43.0 准确率 68.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
56 Manchego
oraculumai · S1MB
43.9 准确率 76.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
57 JevLite 0.8B
mghafiri · S1MB
45.7 准确率 76.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
58 System One Qwen3.5 4B Scorer
pngwn · S1MB
46.5 准确率 68.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
59 StandardOne-8B
StandardThinking · S1MB
46.8 准确率 67.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
60 FlyMy 2B Preview
flymy-ai · S1MB
47.0 准确率 72.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
61 togethercomputer/Tev1-0.8B-experimental
togethercomputer · S1MB
47.3 准确率 71.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
62 Jeff Qwen3.5 2B
mstrasser · S1MB
50.2 准确率 73.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
63 Eikos 4B
caiovicentino1 · S1MB
52.3 准确率 72.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
64 Jebadiah 4B v2
Frontier Infra · S1MB
52.8 准确率 76.0 文本 HF · 9B ↗ Hugging Face 权重 ↗
65 spark-s1-4b-v6
abhishek085 · S1MB
60.0 准确率 81.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
66 NeoHorse Jev 4B
TokenRhythm · S1MB
60.4 准确率 80.0 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
67 malkuth-4b
dhtocks · S1MB
61.0 准确率 78.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
68 hopper
HopitAI · S1MB
61.0 准确率 78.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
69 Jebadiah 9B v0
Frontier Infra · S1MB
61.8 准确率 81.0 文本 HF · 9B ↗ Hugging Face 权重 ↗
70 FlyMy 4B v1.1
flymy-ai · S1MB
63.1 准确率 77.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
71 decider-35b-a3b
Mapika · S1MB
63.6 准确率 81.0 文本 Hugging Face 权重 ↗ 代码仓库 ↗
72 Bespoke Nimble 9B
Bespoke Labs · S1MB
64.0 准确率 85.0 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
73 Decider 4B
Mapika · S1MB
68.3 准确率 83.0 文本 Hugging Face 权重 ↗ 代码仓库 ↗
74 jaredpalmer/kev-9b
Jared Palmer · S1MB
68.9 准确率 81.0 文本 代码仓库 ↗ HF · 4B ↗
75 Surogate Rune 26B-A4B v3
Surogate · S1MB
71.0 准确率 91.0 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
76 FlyMy 4B v1.2
flymy-ai · S1MB
71.5 准确率 84.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
77 Nimble 9B v2
jsaurabh · S1MB
72.3 准确率 87.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
78 Jev-Omni (12B)
社区 · S1MB
72.9 准确率 85.0 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
79 togethercomputer/Tev1-4B-experimental
Together AI · S1MB
74.0 准确率 87.0 文本 Hugging Face 权重 ↗ 代码仓库 ↗
80 jaredpalmer/kev-4b
Jared Palmer · S1MB
75.5 准确率 88.0 文本 代码仓库 ↗ HF · 4B ↗
81 Imajev 4B
mohit67890 · S1MB
75.8 准确率 87.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
82 Jev 1.13
TypeSafe AI · S1MB
79.8 准确率 91.0 文本 官网 ↗ 官方文档 ↗
83 Clef
Cloudflare · S1MB
81.0 准确率 93.0 图像 Hugging Face 权重 ↗ 官方博客 ↗
84 Winnow 12B
EldanRing · S1MB
81.0 准确率 93.0 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
85 EvalEngine 4B
evalengine · S1MB
81.3 准确率 92.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
86 Eikos 27B
社区 · S1MB
82.0 准确率 90.0 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
87 jev-one
Juspay Technologies · S1MB
83.7 准确率 90.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
88 Clef-flash
Cloudflare · S1MB
84.2 准确率 94.0 图像 Hugging Face 权重 ↗ 官方文档 ↗
89 Meta Encoder
facebook · S1MB
90.3 准确率 97.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
90 OpenJev-27B
openjev(社区) · S1MB
90.7 准确率 96.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
91 AutoJev-27B
denis-pplx · S1MB
93.9 准确率 97.0 文本 Hugging Face 权重 ↗ S1MB 排行榜 ↗
92 ZefanCai/Open-Jev-27B-v1.1
Zefan Cai · S1MB
96.8 准确率 99.0 文本 HF · 9B ↗ HF · 27B ↗
93 ZefanCai/Open-Jev-2B
Zefan Cai · S1MB
100.0 准确率 100.0 文本 HF · 9B ↗ HF · 27B ↗
94 ZefanCai/Open-Jev-9B
Zefan Cai · S1MB
100.0 准确率 100.0 文本 HF · 9B ↗ HF · 27B ↗