DataLearner 标志

GPT-4o(2024-11-20) 评测详情

GPT-4o(2024-11-20) 当前已收录的代表性评测结果包括 HumanEval(7 / 101,得分 90.20)、MMLU(39 / 124,得分 85.70)、MMLU-Pro(77 / 175,得分 77.90)。本页还提供与 3 个竞品模型及 2 个前代或同系列模型的对比,在有数据时会展示性能和价格视图。并附有 1 个数据来源链接供参考。

评测结果

GPT-4o(2024-11-20)

评测结果

思考模式
工具使用

综合知识考试

共 2 项评测
评测名称 / 模式
得分
排名/总数
MMLU
常规模式
85.70
39 / 124
MMLU-Pro
常规模式
77.90
77 / 175

程序生成与编辑

共 1 项评测
评测名称 / 模式
得分
排名/总数
HumanEval
常规模式
90.20
7 / 101

数学

共 2 项评测
评测名称 / 模式
得分
排名/总数
MATH
常规模式
68.50
24 / 42
FrontierMath
常规模式
0.30
57 / 60

事实可靠性与幻觉

共 1 项评测
评测名称 / 模式
得分
排名/总数
SimpleQA
常规模式
38.80
21 / 46

仓库修复与多文件工程

共 1 项评测
评测名称 / 模式
得分
排名/总数
SWE-bench Verified
常规模式
31
111 / 116

自主开发与终端任务

共 1 项评测
评测名称 / 模式
得分
排名/总数
Aider-Polyglot
常规模式
18.20
50 / 59

维护、优化与工程管理

共 1 项评测
评测名称 / 模式
得分
排名/总数
GSO
常规模式工具
0
21 / 21

机器学习工程

共 1 项评测
评测名称 / 模式
得分
排名/总数
WeirdML v2
常规模式工具
25.12
50 / 52

图像感知与视觉推理

共 2 项评测
评测名称 / 模式
得分
排名/总数
GeoBench ACW
常规模式
71
13 / 20
VPCT
常规模式
40
15 / 24

能力边界度量

共 1 项评测
评测名称 / 模式
得分
排名/总数
METR Time Horizons v1.1
常规模式工具
9.17
22 / 22

竞品对比

GPT-4o(2024-11-20) 与同类主流模型的评测得分对比

评测类别:
柱状图按当前筛选范围内每个模型在各评测中的最高分展示;百分制评测使用原始高度,超出 0-100 的评测按该评测内相对比例缩放,标签仍保留原始分数。

7 项可对比评测得分汇总。每个模型展示最佳得分,模式在分数下方标注。

评测项GPT-4o(2024-11-20)当前Claude3-OpusGemini 2.0 Pro ExperimentalDeepSeek-V3
MMLU
Accuracy
综合知识考试
85.70常规模式
86.80常规模式
86.50常规模式
88.50常规模式
MMLU-Pro
Accuracy
综合知识考试
77.90常规模式
68.45思考水平·高
79.10常规模式
75.90常规模式
HumanEval
Accuracy
程序生成与编辑
90.20常规模式
84.90常规模式
--
89.00常规模式
FrontierMath
Accuracy
数学
0.30常规模式
--
--
1.70常规模式
MATH
Accuracy
数学
68.50常规模式
60.10常规模式
91.80常规模式
87.80常规模式
SimpleQA
Accuracy
事实可靠性与幻觉
38.80常规模式
--
44.30常规模式
24.90常规模式
Aider-Polyglot
Accuracy
自主开发与终端任务
18.20常规模式
--
35.60常规模式
48.40常规模式

GPT-4o(2024-11-20) 与同类模型的标准 API 价格对比

按模型并排展示标准文本输入价与输出价;若存在超长上下文加价,仅保留阈值内标准价,并在下方说明适用范围。

数据来源:DataLearnerAI,展示默认供应商的标准文本价格。 · USD / 1M tokens

模型供应商标准输入标准输出标准价适用于
GPT-4o(2024-11-20)
OpenAI$2.5 / 1M tokens$10 / 1M tokens—
Claude3-Opus
Anthropic$15 / 1M tokens$75 / 1M tokens—
DeepSeek-V3
DeepSeek-AI$0.27 / 1M tokens$1.1 / 1M tokens—

历代版本对比

GPT-4o(2024-11-20) 系列各版本的评测成绩纵向对比

GPT-4o(2024-11-20)GPT-4oGPT-4
评测类别:
柱状图按当前筛选范围内每个模型在各评测中的最高分展示;百分制评测使用原始高度,超出 0-100 的评测按该评测内相对比例缩放,标签仍保留原始分数。

8 项可对比评测得分汇总。每个模型展示最佳得分,模式在分数下方标注。· 点击任意行可切换下方趋势图。

评测项GPT-4o(2024-11-20)当前GPT-4oGPT-4
MMLU
Accuracy
综合知识考试
85.70常规模式
88.70常规模式
86.40常规模式
MMLU-Pro
Accuracy
综合知识考试
77.90常规模式
77.90常规模式
--
HumanEval
Accuracy
程序生成与编辑
90.20常规模式
90.00常规模式
82.00常规模式
FrontierMath
Accuracy
数学
0.30常规模式
0.30常规模式
--
MATH
Accuracy
数学
68.50常规模式
75.90常规模式
--
SimpleQA
Accuracy
事实可靠性与幻觉
38.80常规模式
38.20常规模式
--
SWE-bench Verified
Accuracy
仓库修复与多文件工程
31.00常规模式
31.00常规模式
--
Aider-Polyglot
Accuracy
自主开发与终端任务
18.20常规模式
23.10常规模式
--

单评测历史趋势图

当前查看:MMLU · 综合知识考试

选择评测
常规常规 + 工具推理推理 + 工具深度推理深度推理 + 工具

横轴为模型与发布时间,纵轴为分数;同一模式会用实线串起版本变化,同代不同模式继续用虚线辅助对齐。

GPT-4o(2024-11-20) 所在系列的标准 API 价格对比

按模型并排展示标准文本输入价与输出价;若存在超长上下文加价,仅保留阈值内标准价,并在下方说明适用范围。

数据来源:DataLearnerAI,展示默认供应商的标准文本价格。 · USD / 1M tokens

模型供应商标准输入标准输出标准价适用于
GPT-4o(2024-11-20)
OpenAI$2.5 / 1M tokens$10 / 1M tokens—
GPT-4o
Microsoft Azure$2.5 / 1M tokens$10 / 1M tokens—

数据来源