DataLearner 标志

GPT-4o(2024-11-20)vsClaude3-Opus

在 4 个共同 benchmark 中,GPT-4o(2024-11-20) 整体领先:GPT-4o(2024-11-20) 领先 3 项,Claude3-Opus 领先 1 项,持平 0 项,平均分差 +5.51。

OpenAI
GPT-4o(2024-11-20)

OpenAI · 2024-11-20 · 聊天大模型

Anthropic
Claude3-Opus

Anthropic · 2024-03-04 · 多模态大模型

GPT-4o(2024-11-20)3 项(75%)(25%)1 项Claude3-Opus

评测分数

按能力类目分组,每组内按分差大小排列;共 4 项。

综合知识考试

胶着 2/2
评测项GPT-4o(2024-11-20)Claude3-Opus分差
MMLU-Pro77.9077 / 175Normal (No Tools)68.45106 / 175Normal (No Tools)+9.45
MMLU85.7039 / 124Normal (No Tools)86.8028 / 124Normal (No Tools)-1.10

数学

GPT-4o(2024-11-20) 领先 1/1
评测项GPT-4o(2024-11-20)Claude3-Opus分差
MATH68.5024 / 42Normal (No Tools)60.1031 / 42Normal (No Tools)+8.40

程序生成与编辑

GPT-4o(2024-11-20) 领先 1/1
评测项GPT-4o(2024-11-20)Claude3-Opus分差
HumanEval90.207 / 101Normal (No Tools)84.9021 / 101Normal (No Tools)+5.30

规格对比

字段GPT-4o(2024-11-20)Claude3-Opus
发布机构OpenAIAnthropic
发布时间2024-11-202024-03-04
模型类型聊天大模型多模态大模型
架构稠密模型稠密模型
参数规模暂无数据暂无数据
上下文长度128K200K
最大输出暂无数据暂无数据

API 调用价格

价格优先使用 DataLearner 配置的 API 记录;缺失项不做推测。

价格项GPT-4o(2024-11-20)Claude3-Opus
文本输入$2.5 / 1M tokens$15 / 1M tokens
文本输出$10 / 1M tokens$75 / 1M tokens
缓存读取$1.25 / 1M tokens$1.5 / 1M tokens
缓存写入暂无公开价格$18.75 / 1M tokens

小结

  • GPT-4o(2024-11-20)在以下类目领先:数学 (1/1)、程序生成与编辑 (1/1)
  • 胶着类目:综合知识考试

4 个共同 benchmark 上,GPT-4o(2024-11-20) 平均高出 5.51 分。

单项差距最大的 benchmark:MMLU-Pro — GPT-4o(2024-11-20) 77.90,Claude3-Opus 68.45(分差 +9.45)。

本页正文由结构化模型、价格与 benchmark 数据生成,不使用实时 LLM 撰写。