synthetic relevance / nanocoir

这是 S1MB 英文套件中的一个基准，取自 synthetic-relevance--nanocoir 子集，上游数据为 NanoApps（Non-commercial research only<br>Apache-2.0<br>Non-commercial research only; source-code licenses vary<br>CC BY-SA 3.0）。判断作者定义的一个真/假条件是否成立，返回两个类别的概率，主指标是 Brier 分数，越低越好。该基准包含 800 个 case、800 个判断。评测协议：S1MB 把原始任务改写为类型化决策问题，模型必须输出概率分布，分数经过「忽略输入的基线」校正后折算到 0–100（50 分代表补上了一半差距，不是答对一半）。

这是 S1MB 英文套件中的一个基准，取自 synthetic-relevance--nanocoir 子集，上游数据为 NanoApps（Non-commercial research only<br>Apache-2.0<br>Non-commercial research only; source-code licenses vary<br>CC BY-SA 3.0）。判断作者定义的一个真/假条件是否成立，返回两个类别的概率，主指标是 Brier 分数，越低越好。该基准包含 800 个 case、800 个判断。评测协议：S1MB 把原始任务改写为类型化决策问题，模型必须输出概率分布，分数经过「忽略输入的基线」校正后折算到 0–100（50 分代表补上了一半差距，不是答对一半）。