开发“电脑使用”模型

• 原文链接：https://www.anthropic.com/news/developing-computer-use [46]
• 发布时间：2024-10-22
• 作者：未署名

Claude 现在可以像人一样操作电脑，这是 AI 能力的重要突破，但需要谨慎的安全治理。[46]

更新（2025-08-28）： Consumer Terms and Privacy Policy。[46]

Claude 现在可以使用电脑。最新版本的 Claude 3.5 Sonnet 在适当软件环境下，可按照用户指令移动鼠标、点击界面并通过虚拟键盘输入信息，模拟人类使用电脑的方式。[46]

我们认为这是 AI 进展的重要突破，目前处于公测阶段。本文分享我们在开发电脑使用模型以及提升安全性方面的研究经验。[46]

为什么需要电脑使用能力？

大量现代工作发生在电脑上。让 AI 直接像人一样操作软件，可以解锁当前助手无法完成的大量应用场景。[46]

过去几年，AI 在复杂推理与图像理解上取得重要里程碑。下一前沿就是电脑使用：不再依赖定制工具，而是让模型能按指令操作几乎所有软件。[46]

研究过程

我们之前的工具使用与多模态研究奠定了基础。使用电脑需要看懂屏幕（截图）并推理下一步操作。我们训练 Claude 解释屏幕内容并调用软件工具完成任务。[46]

当开发者授权 Claude 使用某软件时，它会阅读屏幕截图，然后计算光标需要在水平/垂直方向移动多少像素来点击正确位置。精准数像素的能力至关重要，否则模型难以给出有效鼠标指令——类似模型会在“banana 里有几个 a”这样的简单问题上出错。[46]

我们惊讶于 Claude 在只训练了少量简单软件（如计算器、文本编辑器）后就能快速泛化（出于安全原因，训练中不允许访问互联网）。结合 Claude 其他技能，这让它能把用户文本指令转化为逻辑步骤并执行。遇到障碍时，模型还会自我纠错并重试。[46]

尽管突破后进展很快，但实现该能力经历了大量试错。研究人员认为这是理想化 AI 研究的过程：不断迭代、回到起点再推进。[46]

最终取得结果：目前 Claude 是“像人一样操作电脑”模型中的 SOTA。在 OSWorld 评测中，Claude 得分 14.9%，虽然远低于人类水平（70–75%），但显著高于第二名 7.7%。[46]

让电脑使用更安全

AI 进展总伴随安全挑战。电脑使用主要是降低现有认知能力的应用门槛，并非根本提升能力，因此我们主要关注现实风险而非未来灾难风险。[46]

我们评估了电脑使用是否会提升“前沿威胁”风险（见 Responsible Scaling Policy），结果表明包含电脑使用的 Claude 3.5 Sonnet 仍处于 AI Safety Level 2，不需要比现有更高的安全措施。[46]

未来若模型进入 ASL-3/4 级别，电脑使用可能放大风险。我们认为应该在目前风险相对可控时就引入电脑使用，先处理安全问题，而不是把能力首次放到高风险模型上。[46]

Trust & Safety 团队对新模型进行广泛分析，识别潜在漏洞。一个重要风险是 prompt injection：恶意内容可能诱导模型偏离用户意图。由于 Claude 会读取连接互联网的屏幕截图，可能接触到包含注入攻击的内容。[46]

因此，公测用户需采取防护措施。我们提供了开发者参考实现 computer-use demo。[46]

电脑使用也可能被用户故意滥用。我们开发了分类器与防护机制进行检测。考虑到美国大选临近，我们对可能影响公众信任的滥用保持高度警惕。虽然电脑使用尚不足以大规模操作，但我们已部署监控机制：当 Claude 被要求执行选举相关活动时会被识别，并会被引导避免发布社媒内容、注册域名或与政府网站交互等行为。[46]

电脑使用的未来

电脑使用是一种全新的 AI 开发路径：过去是“让工具适配模型”，现在是“让模型适配工具”——Claude 能直接使用我们每天用的软件。[46]

仍有大量工作要做。尽管当前已是 SOTA，Claude 仍慢且易错。很多人类常见操作（拖拽、缩放等）它还不能做。它的“翻页式”屏幕观察方式（截图拼接）使其容易错过短暂动作或通知。[46]

在发布演示时，我们也遇到有趣错误：Claude 误点停止长时间录屏导致素材丢失；在编码演示中突然跑去浏览黄石公园照片。[46]

我们预计电脑使用将快速改进，变得更快、更可靠、更实用，也更易被非开发者实现。研究团队会与安全团队紧密合作，确保能力提升伴随适当防护。[46]

欢迎参与公测的开发者通过 表单 提供反馈，帮助我们改进功能与安全性。[46]