OSWorld：操作系统级代理评测

原文链接： OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments [95]

论文信息

• 年份：2024 [95]
• 作者：Tianbao Xie, Danyang Zhang, Jixuan Chen, Xiaochuan Li, Siheng Zhao, Ruisheng Cao, Toh Jing Hua, Zhoujun Cheng, Dongchan Shin, Fangyu Lei, Yitao Liu, Yiheng Xu [95]
• 作者背景（研究领域）：多模态代理评测/操作系统交互 [95]
• 前后血缘关系（同主题）：前序：无（操作系统级评测代表）；后续：无（跨应用任务基准方向代表）

主旨

OSWorld 的主旨是以真实操作系统任务评估多模态代理能力，覆盖跨应用切换、文件管理与多步操作等开放式任务，揭示代理在真实环境中的综合能力短板。[95]

背景与问题定义

论文指出网页或单应用基准无法覆盖真实电脑使用场景，代理在跨应用任务中面临更多状态切换与权限边界挑战。OSWorld 旨在构建更接近真实办公与操作系统使用的评测环境。[95]

方法与机制

OSWorld 提供真实操作系统环境与任务脚本，代理需在多应用之间切换并完成目标。评测记录完整操作轨迹与成功率，强调对 UI 操作、记忆保持与任务规划的综合考验。[95]

实验与结果

实验显示，当前多模态代理在 OSWorld 上表现仍显著落后于人类，主要瓶颈包括跨应用上下文切换、长程任务规划与操作误差恢复。[95]

关键数据结果

• OSWorld 基准揭示了现有代理在真实 OS 任务上的显著差距，为后续改进提供量化标尺。[95]

工程启示（优化点）

• 强化跨应用状态管理与记忆策略。
• 记录 UI 轨迹并支持回放，便于诊断错误。
• 处理权限与系统弹窗提示，避免阻塞。
• 将任务拆成可恢复的小步骤，降低失败成本。

局限与延伸

OSWorld 仍受限于操作系统与应用生态的多样性，难以覆盖所有真实用户场景。未来方向包括：扩展到更多平台与应用类型、引入更细粒度的安全与权限测试，以及与长期任务评测结合。[95]