OpenAI o1 评测详情

OpenAI o1 当前已收录的代表性评测结果包括 MMLU-Pro（1 / 175，得分 91.04）、MMLU（4 / 124，得分 91.80）、MATH（2 / 42，得分 96.40）。并附有 1 个数据来源链接供参考。

评测结果

OpenAI o1

评测结果

综合知识考试

共 4 项评测

评测名称 / 模式

得分

排名/总数

常规模式

91.80

4 / 124

常规模式

91.04

1 / 175

常规模式

9.10

199 / 235

unknown

7.96

209 / 235

数学

共 4 项评测

评测名称 / 模式

得分

排名/总数

常规模式

96.40

2 / 42

常规模式

96.40

18 / 46

常规模式

79.20

31 / 61

思考水平·高

9.30

30 / 60

科学知识与推理

共 2 项评测

评测名称 / 模式

得分

排名/总数

常规模式

77.30

146 / 253

开启思考

0.30

186 / 204

事实可靠性与幻觉

共 1 项评测

评测名称 / 模式

得分

排名/总数

常规模式

42.60

19 / 46

仓库修复与多文件工程

共 2 项评测

评测名称 / 模式

得分

排名/总数

SWE-bench Verified

常规模式

48.90

100 / 116

SWE-bench Verified

思考水平·高

41

105 / 116

算法与竞赛编程

共 1 项评测

评测名称 / 模式

得分

排名/总数

常规模式

71

51 / 125

图像感知与视觉推理

共 3 项评测

评测名称 / 模式

得分

排名/总数

思考水平·中

80

8 / 20

unknown

78.20

21 / 74

思考水平·中

37

21 / 24

常识推理

共 2 项评测

评测名称 / 模式

得分

排名/总数

思考水平·中

36.70

73 / 96

思考水平·高

40.10

69 / 96

自主开发与终端任务

共 2 项评测

评测名称 / 模式

得分

排名/总数

思考水平·高

61.70

19 / 59

Terminal Bench Hard

开启思考工具

12.90

177 / 244

机器学习工程

共 1 项评测

评测名称 / 模式

得分

排名/总数

思考水平·高工具

43.82

43 / 52

跨长文理解与整合

共 1 项评测

评测名称 / 模式

得分

排名/总数

Fiction.liveBench

思考水平·中

83.30

8 / 16

能力边界度量

共 1 项评测

评测名称 / 模式

得分

排名/总数

METR Time Horizons v1.1

思考水平·中工具

39.21

18 / 22

与其他模型对比

数据来源

openai.comopenai.com