DataLearner 标志

OpenAI o1 评测详情

OpenAI o1 当前已收录的代表性评测结果包括 MMLU Pro(1 / 132,得分 91.04)、MATH(2 / 42,得分 96.40)、MMLU(4 / 66,得分 91.80)。并附有 1 个数据来源链接供参考。

评测结果

OpenAI o1

评测结果

思考模式

综合评估

共 4 项评测
评测名称 / 模式
得分
排名/总数
91.80
4 / 66
91.04
1 / 132
77.30
92 / 187
9.10
150 / 172

数学推理

共 4 项评测
评测名称 / 模式
得分
排名/总数
96.40
2 / 42
96.40
17 / 44
79.20
31 / 62
9.30
30 / 60

常识问答

共 1 项评测
评测名称 / 模式
得分
排名/总数
42.60
19 / 47

编程与软件工程

共 3 项评测
评测名称 / 模式
得分
排名/总数
71
48 / 123
48.90
98 / 112
SWE-bench Verified
思考水平·高
41
101 / 112

常识推理

共 2 项评测
评测名称 / 模式
得分
排名/总数
Simple Bench
思考水平·中
36.70
43 / 63
Simple Bench
思考水平·高
40.10
39 / 63

Agent能力评测

共 1 项评测
评测名称 / 模式
得分
排名/总数
Aider-Polyglot
思考水平·高
61.70
19 / 59

数据来源