探索 OSWorld Verified：大模型AI Agent在真实计算机任务中的评估框架

OSWorld 是一个用于测试 AI 代理在真实计算机环境中的基准。这些代理是能处理文字、图片等信息的 AI 系统。基准包括开放式任务，比如操作文件或使用软件。OSWorld Verified 是它的改进版，通过修复问题和提升运行方式，提供更准确的测试结果。它支持不同操作系统，如 Ubuntu、Windows 和 macOS，并允许 AI 通过互动学习来完成任务。

现有基准的常见问题

许多现有的 AI 测试基准使用模拟环境，而不是真实的计算机。这导致测试结果无法反映实际使用情况。主要问题包括：

• 模拟环境不能处理任意软件或操作系统文件。
• 测试依赖人工检查，难以重复和自动化。
• 任务只限于特定类型，忽略了涉及多个软件的复杂工作流程。

这些问题使评估 AI 在日常计算机任务中的表现变得不准确。

基准的起源与目的

OSWorld 由香港大学、销售力量研究、卡内基梅隆大学和滑铁卢大学共同开发。初版于 2024 年发布，相关论文发表于 NeurIPS 2024 会议。OSWorld Verified 于 2025 年 7 月 28 日推出，添加了 AWS 云服务支持，以加快测试速度，并修复了社区报告的 300 多项问题。

这个基准的目的是解决现有测试的不足，帮助评估 AI 代理在真实计算机中的能力。具体包括：

• 创建一个可扩展的环境，支持多种操作系统。
• 使用自动脚本检查任务完成情况，减少人工参与。
• 设计开放式任务，考察 AI 的界面识别、操作技能和规划能力。

测试方法与运行步骤

OSWorld Verified 使用虚拟机来模拟计算机环境。AI 代理通过查看屏幕截图和界面结构树来理解情况，然后执行动作，如鼠标点击或键盘输入。测试结果由脚本自动检查，例如验证文件内容或软件状态。

基准共有 369 个任务（如果排除 8 个需要网络的 Google Drive 任务，则为 361 个）。任务分类如下：

运行步骤包括：

1. 使用虚拟机快照和脚本设置任务起始状态。
2. AI 代理执行动作，最多 100 步。
3. 脚本自动计算成功率。
4. 支持本地运行或云端并行测试，通常在 1 小时内完成。

基准提供 134 个检查脚本，确保测试结果一致，并有工具供手动验证。

主流 AI 模型的表现与观察

根据 2026 年 2 月数据，部分模型在 OSWorld Verified 上的表现如下（成功率基于单次运行，最多 100 步）：

人类在相同任务上的成功率为 72.36%。AI 模型的表现已从早期版本的 12.24% 显著提高。

观察显示：

• AI 在识别屏幕元素和操作软件时仍有困难，导致部分失败。
• 使用更高分辨率的截图能提高成功率 5-10%。
• 记录动作的文字历史比只用截图更有帮助。
• AI 对界面布局变化敏感，但在不同操作系统间表现一致。

其他模型如 Seed-1.8 (ByteDance) 达到 61.9%，显示通用模型在多任务处理上的优势。

基准的价值与未来

OSWorld Verified 通过真实环境和自动检查，推动 AI 代理的进步。它揭示了 AI 在任务规划和执行中的弱点，并提供数据用于改进。未来可扩展到更多操作系统和任务，支持学习方法和安全研究。