decision.host
首页 / 评估 / CLINC150

CLINC150

Decision Index 检索与分类 100 个模型参评

Reads a short assistant request and picks its intent from 150, or "out of scope" when none fits.

基准定义排行榜参考

评估集信息

所属套件
Decision Index
分组
检索与分类
决策类型
混合（Choice / Noul / Score）
样本量
5,500 个 case
主指标
macro-F1
优化方向
越高越好
参评模型
100 个
最佳分
97.4
平均分
67.8
所属领域
检索与分类（权重 0.2002）
上游数据集
CLINC150+OOS
数据许可证
见上游原始数据集

这个评估集测什么

Reads a short assistant request and picks its intent from 150, or "out of scope" when none fits.

在该评估集上的模型成绩（100 个）

#模型得分 对比其他指标模态官方链接
1 Clef
Cloudflare · Decision Index
 97.4 图像 Hugging Face 权重 ↗ 官方博客 ↗
2 decider-35b-a3b
Mapika · Decision Index
 94.7 文本 Hugging Face 权重 ↗ 代码仓库 ↗
3 Xor 1.2 / Xor 26B-A4B
Juspay Technologies · Decision Index
 93.7 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
4 vLLM-SR Decision 2.0 Vega 27B
vLLM Semantic Router · Decision Index
 93.6 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
5 Torchcast Decision 27B
Torchcast AI · Decision Index
 93.5 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
6 GEV-26B-Decide
AutoTrust AI Lab · Decision Index
 93.0 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
7 DM-JEPA 1.1
Danger Labs · Decision Index
 92.9 文本 Decision Index 排行榜 ↗
8 ezjev 4B s2
· Decision Index
 92.8 文本 Decision Index 排行榜 ↗
9 Lev1 3.7B
· Decision Index
 92.3 文本 Decision Index 排行榜 ↗
10 Jev-Style 2B v3
· Decision Index
 92.3 文本 Decision Index 排行榜 ↗
11 Kodiak v0.2 1B (accuracy)
Cortex Agent LLC · Decision Index
 91.6 文本 Decision Index 排行榜 ↗
12 Perplexity Decider v1.1 (27B)
Perplexity · Decision Index
 91.5 图像 Hugging Face 权重 ↗ 官方文档 ↗
13 Quyet-1.0-Large
社区 · Decision Index
 91.2 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
14 Decider chat · Gemma-4-31B
· Decision Index
 91.2 文本 Decision Index 排行榜 ↗
15 Jet v6.2 Qwen3.5-4B LoRA
· Decision Index
 91.1 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
16 Bosun v3.1 1.7B
Hanno-Labs · Decision Index
 90.9 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
17 Interfaze lev Qwen3.5-4B LoRA
Interfaze · Decision Index
 90.4 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
18 EXAONE-4.0-1.2B-JEV v0.3
· Decision Index
 90.0 文本 Decision Index 排行榜 ↗
19 deck31b (Gemma 4 31B)
· Decision Index
 89.9 文本 Decision Index 排行榜 ↗
20 vLLM-SR Decision 2.0 Lux 9B
vLLM Semantic Router · Decision Index
 89.9 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
21 Jev 1.13
TypeSafe AI · Decision Index
 89.3 文本 官网 ↗ 官方文档 ↗
22 reflex Qwen3.8-27B-FP8 (wide choice)
· Decision Index
 89.3 文本 Decision Index 排行榜 ↗
23 Dinah-0
· Decision Index
 88.8 文本 Decision Index 排行榜 ↗
24 Blink v0.3 26B-A4B (NVFP4)
Pixilab.ai · Decision Index
 88.6 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
25 Bespoke Nimble 9B
Bespoke Labs · Decision Index
 88.3 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
26 frontier-infra Jebadiah 27B
Frontier Infra · Decision Index
 88.3 文本 HF · 9B ↗ Hugging Face 权重 ↗
27 jiwo 4B
· Decision Index
 88.2 文本 Decision Index 排行榜 ↗
28 simple-jev · Qwen3.8-27B (featherless)
· Decision Index
 88.1 文本 Decision Index 排行榜 ↗
29 Eikos 27B
社区 · Decision Index
 87.7 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
30 vLLM-SR Decision 2.0 Nox 4B
vLLM Semantic Router · Decision Index
 87.7 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
31 JADE
· Decision Index
 87.6 文本 Decision Index 排行榜 ↗
32 Surogate Rune 26B-A4B v3
Surogate · Decision Index
 87.4 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
33 Fastino GLiDE no-thinking (28B)
Fastino · Decision Index
 87.4 文本 Decision Index 排行榜 ↗
34 Winnow 12B
EldanRing · Decision Index
 87.0 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
35 AJev lora5 (Gemma 4 12B)
· Decision Index
 86.7 文本 Decision Index 排行榜 ↗
36 Kev 27B
Jared Palmer · Decision Index
 86.6 文本 代码仓库 ↗ HF · 4B ↗
37 Decider 4B
Mapika · Decision Index
 86.5 文本 Hugging Face 权重 ↗ 代码仓库 ↗
38 Hopper 12B (trained)
HopitAI · Decision Index
 86.1 文本 Decision Index 排行榜 ↗
39 bekko-system-one-v0-400m
hotchpotch · Decision Index
 85.9 文本 HF · 400M ↗ HF · 17M ↗
40 Decider chat · Qwen3.6-27B
· Decision Index
 85.1 文本 Decision Index 排行榜 ↗
41 JPT-35B-A3B
社区 · Decision Index
 85.0 文本 HF · 9B ↗ Hugging Face 权重 ↗
42 JEV-27B
AutoTrust AI Lab · Decision Index
 84.6 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
43 JoshuaSP diffgemma
· Decision Index
 83.5 文本 Decision Index 排行榜 ↗
44 Winnow-E4B
EldanRing · Decision Index
 82.6 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
45 decisio 0.4.0 (Qwen3.6-35B-A3B)
· Decision Index
 82.2 文本 Decision Index 排行榜 ↗
46 Intelif Qwen3-4B
· Decision Index
 81.6 文本 Decision Index 排行榜 ↗
47 JevK5
社区（alibiserikbay） · Decision Index
 81.5 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
48 Jevfire Qwen3.8-27B
· Decision Index
 81.3 文本 Decision Index 排行榜 ↗
49 Ryotide Qwen v0.3.1
· Decision Index
 81.0 文本 Decision Index 排行榜 ↗
50 Hopper (G) 1.2 Qwen3.5-4B LoRA
HopitAI · Decision Index
 79.6 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
51 JEV-9B
AutoTrust AI Lab · Decision Index
 79.0 文本 Decision Index 排行榜 ↗
52 vLLM-SR Decision 2.0 Sol 2B
vLLM Semantic Router · Decision Index
 78.6 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
53 NeoHorse Jev 4B
TokenRhythm · Decision Index
 78.1 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
54 jaredpalmer/kev-9b
Jared Palmer · Decision Index
 77.1 文本 代码仓库 ↗ HF · 4B ↗
55 bekko-system-one-v0-68m
hotchpotch · Decision Index
 76.4 文本 HF · 400M ↗ HF · 17M ↗
56 Sieve 9B
Sthānika AI · Decision Index
 76.0 文本 Decision Index 排行榜 ↗
57 RSI-Jev v5.0 VL 3B
社区 · Decision Index
 76.0 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
58 jiwo 0.8B
· Decision Index
 75.9 文本 Decision Index 排行榜 ↗
59 Kev 4B r10
Jared Palmer · Decision Index
 75.0 文本 代码仓库 ↗ HF · 4B ↗
60 Jevstral 8B
· Decision Index
 74.2 文本 Decision Index 排行榜 ↗
61 Decider 2B
Mapika · Decision Index
 73.7 文本 Hugging Face 权重 ↗ 代码仓库 ↗
62 Kas 4B
· Decision Index
 73.3 文本 Decision Index 排行榜 ↗
63 Sifr 0.8B v3.1
· Decision Index
 72.8 文本 Decision Index 排行榜 ↗
64 InternLM Intern-Decision Qwen3.5-4B
Intern Large Model · Decision Index
 72.7 图像 Hugging Face 权重 ↗ 代码仓库 ↗
65 Gevva E4B
· Decision Index
 71.7 文本 Decision Index 排行榜 ↗
66 JevK5 Lite
· Decision Index
 71.1 文本 Decision Index 排行榜 ↗
67 OneJev 0.8B
OmniJev · Decision Index
 69.7 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
68 Gevva E2B
· Decision Index
 68.4 文本 Decision Index 排行榜 ↗
69 Clef-flash
Cloudflare · Decision Index
 66.9 图像 Hugging Face 权重 ↗ 官方文档 ↗
70 FLock this-that 1.2
FLock.io · Decision Index
 66.1 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
71 vLLM-SR Decision 2.0 Kai 0.6B
vLLM Semantic Router · Decision Index
 65.2 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
72 bosun-v3.1-0.6b
Hanno-Labs · Decision Index
 64.8 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
73 JPT-4B Qwen3.5-4B LoRA
社区 · Decision Index
 64.5 文本 HF · 9B ↗ Hugging Face 权重 ↗
74 vLLM-SR Decision 2.0 Eos 0.8B
vLLM Semantic Router · Decision Index
 63.1 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
75 GLiNER2.5-Decide
Fastino Labs · Decision Index
 60.4 文本 systemonemodels.org ↗ Hugging Face 权重 ↗
76 von 1.3
wfzyx · Decision Index
 59.9 文本 Hugging Face 权重 ↗ 代码仓库 ↗
77 open-jev (pngwn)
Zefan Cai · Decision Index
 57.6 文本 HF · 9B ↗ HF · 27B ↗
78 Jobe Qwen3.5-4B
· Decision Index
 54.4 文本 Decision Index 排行榜 ↗
79 Sieve 2B
Sthānika AI · Decision Index
 51.3 文本 Decision Index 排行榜 ↗
80 Jev-Style 0.8B v3
· Decision Index
 50.1 文本 Decision Index 排行榜 ↗
81 bekko-system-one-v0-17m
hotchpotch · Decision Index
 46.1 文本 HF · 400M ↗ HF · 17M ↗
82 GLiFormer Jeff large v1
knowledgator · Decision Index
 44.3 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
83 openvons Qwen3-4B
· Decision Index
 41.7 文本 Decision Index 排行榜 ↗
84 JPT-9B Qwen3.5-9B LoRA
社区 · Decision Index
 36.2 图像 HF · 9B ↗ Hugging Face 权重 ↗
85 system-one-gemma
· Decision Index
 24.9 文本 Decision Index 排行榜 ↗
86 Jev-Omni (12B)
社区 · Decision Index
 16.9 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
87 Kev 0.8B r15
Jared Palmer · Decision Index
 15.0 文本 代码仓库 ↗ HF · 4B ↗
88 djev diffgemma
· Decision Index
 13.5 文本 Decision Index 排行榜 ↗
89 Supersonic Labs Julia 1
Supersonic Labs · Decision Index
 12.3 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
90 JPT-0.8B Qwen3.5-0.8B LoRA
社区 · Decision Index
 10.5 文本 HF · 9B ↗ Hugging Face 权重 ↗
91 MoganAI Lavoir ModernBERT-large
Mogan AI · Decision Index
 9.4 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
92 CLM-8B
Contrastive-LM · Decision Index
 8.9 文本 systemonemodels.org ↗ Hugging Face 权重 ↗
93 LFM2.5-2.6B-RLCD
· Decision Index
 7.3 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
94 InternLM Intern-Decision Qwen3.5-0.8B
Intern Large Model · Decision Index
 4.9 文本 Hugging Face 权重 ↗ 代码仓库 ↗
95 InternLM Intern-Decision Qwen3.5-2B
Intern Large Model · Decision Index
 4.3 文本 Hugging Face 权重 ↗ 代码仓库 ↗
96 convaiinnovations/laya-typed-decisions
Convai Innovations · Decision Index
 3.2 文本 Hugging Face 权重 ↗ HF · 多语言 ↗
97 razorback16 diffgemma
· Decision Index
 2.0 图像 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
98 Qwen-2.5-1B-RLCD
· Decision Index
 1.2 文本 Decision Index 排行榜 ↗
99 LFM2.5-350M-RLCD
· Decision Index
 0.3 文本 Hugging Face 权重 ↗ Decision Index 排行榜 ↗
100 Zev
· Decision Index
 0.0 文本 Decision Index 排行榜 ↗