Claude 3.5 Sonnet New 评测详情

Claude 3.5 Sonnet New 当前已收录的代表性评测结果包括 HumanEval（3 / 101，得分 93.70）、BBH（2 / 19，得分 92.60）、MMLU（19 / 124，得分 88.30）。

评测结果

Claude 3.5 Sonnet New

评测结果

综合知识考试

共 2 项评测

评测名称 / 模式

得分

排名/总数

常规模式

88.30

19 / 124

常规模式

78

74 / 175

程序生成与编辑

共 1 项评测

评测名称 / 模式

得分

排名/总数

常规模式

93.70

3 / 101

数学

共 5 项评测

评测名称 / 模式

得分

排名/总数

常规模式

78.30

12 / 42

常规模式

78

44 / 46

常规模式

16

59 / 61

常规模式

2.10

47 / 60

FrontierMath - Tier 4

常规模式

0

72 / 80

综合推理

共 1 项评测

评测名称 / 模式

得分

排名/总数

常规模式

92.60

2 / 19

科学知识与推理

共 1 项评测

评测名称 / 模式

得分

排名/总数

常规模式

65

200 / 253

事实可靠性与幻觉

共 1 项评测

评测名称 / 模式

得分

排名/总数

常规模式

28.40

26 / 46

仓库修复与多文件工程

共 1 项评测

评测名称 / 模式

得分

排名/总数

SWE-bench Verified

常规模式

49

99 / 116

算法与竞赛编程

共 1 项评测

评测名称 / 模式

得分

排名/总数

常规模式

38.70

107 / 125

写作与创意表达

共 1 项评测

评测名称 / 模式

得分

排名/总数

Creative Writing

常规模式

1450.80

60 / 110

常识推理

共 1 项评测

评测名称 / 模式

得分

排名/总数

常规模式

41.40

66 / 96

自主开发与终端任务

共 1 项评测

评测名称 / 模式

得分

排名/总数

常规模式

51.60

32 / 59

维护、优化与工程管理

共 1 项评测

评测名称 / 模式

得分

排名/总数

常规模式工具

4.60

17 / 21

机器学习工程

共 1 项评测

评测名称 / 模式

得分

排名/总数

常规模式工具

39.97

47 / 52

图像感知与视觉推理

共 2 项评测

评测名称 / 模式

得分

排名/总数

常规模式

62

18 / 20

常规模式

33

24 / 24

逻辑与规划

共 1 项评测

评测名称 / 模式

得分

排名/总数

常规模式工具

32.60

10 / 12

能力边界度量

共 1 项评测

评测名称 / 模式

得分

排名/总数

METR Time Horizons v1.1

常规模式工具

29.58

20 / 22

与其他模型对比