DataLearner 标志

M2.1 评测详情

M2.1 当前已收录的代表性评测结果包括 MMLU-Pro(8 / 175,得分 88)、SWE-bench Verified(40 / 116,得分 74.80)、Terminal Bench Hard(116 / 244,得分 28.80)。

评测结果

M2.1

评测结果

思考模式
工具使用

综合知识考试

共 2 项评测
评测名称 / 模式
得分
排名/总数
MMLU-Pro
思考模式
88
8 / 175
HLE
思考模式
22
145 / 235

科学知识与推理

共 2 项评测
评测名称 / 模式
得分
排名/总数
GPQA Diamond
思考模式
81
122 / 253
CritPt
思考模式
0.30
186 / 204

仓库修复与多文件工程

共 2 项评测
评测名称 / 模式
得分
排名/总数
SWE-bench Verified
思考模式
74.80
40 / 116
SWE-Bench Pro - Public
思考模式工具
32.60
60 / 62

数学

共 1 项评测
评测名称 / 模式
得分
排名/总数
AIME2025
思考模式
81
65 / 110

常识推理

共 1 项评测
评测名称 / 模式
得分
排名/总数
SimpleBench
常规模式
34.70
75 / 96

客服与业务流程

共 1 项评测
评测名称 / 模式
得分
排名/总数
τ²-Bench - Telecom
思考模式工具
87
19 / 30

指令与格式遵循

共 1 项评测
评测名称 / 模式
得分
排名/总数
IF Bench
思考模式工具
70
15 / 31

事实查找与深度检索

共 1 项评测
评测名称 / 模式
得分
排名/总数
BrowseComp
思考模式工具
47.40
47 / 58

自主开发与终端任务

共 2 项评测
评测名称 / 模式
得分
排名/总数
Terminal Bench 2.0
思考模式工具
47.90
37 / 48
Terminal Bench Hard
思考模式工具
28.80
116 / 244

跨应用与工具编排

共 1 项评测
评测名称 / 模式
得分
排名/总数
Pinch Bench
思考模式工具
84.30
19 / 38