计算机使用 Computer Use 是什么？让 AI 像人一样操作电脑

计算机使用（Computer Use）指 AI 智能体像人一样操作电脑：看屏幕截图，判断按钮和输入框在哪，移动鼠标点击，敲键盘输入，在不同软件之间切换，完成一项任务。它不依赖软件提供的专门接口，人怎么用电脑，AI 就怎么用。

为什么需要它

很多软件没有 API，或者 API 能做的事情很有限：老旧的企业系统、只有图形界面的桌面软件、需要登录操作的网页后台。过去要自动化这些操作，只能写 RPA 脚本，界面一改脚本就失效。计算机使用要解决的就是这“最后一公里”：只要人能在屏幕上操作的，AI 理论上都能代劳，而且能看懂界面变化、随机应变。

怎么发展起来的

2024 年 10 月，Anthropic 公开发布了 Claude 的计算机使用能力，模型通过截图理解屏幕内容，再输出鼠标坐标和键盘操作来直接操控桌面，这被普遍看作这类能力进入公开产品的起点。随后 OpenAI、谷歌等厂商也推出了类似的能力，各种“电脑操作智能体”“浏览器智能体”陆续出现。

怎么评测

代表性的基准是 2024 年 Xie 等人提出的 OSWorld。它在 Ubuntu、Windows、macOS 的真实系统里搭建环境，设计了 369 个来自真实使用场景的任务，覆盖网页和桌面应用、文件读写、多个应用串联操作等。它采用执行式评估：不是看模型说了什么，而是在任务结束后检查系统的实际状态，比如文件有没有真的被改对、邮件有没有真的发出去。人类在这类任务上的成功率很高，而早期模型的成功率很低，近两年差距正在快速缩小。

风险和注意事项

让 AI 直接操作电脑，意味着它可能误删文件、误发消息，也可能被网页里藏的恶意指令诱导（提示注入）。实际使用时，通常要把它放在隔离的环境里运行，对付款、删除、发送这类敏感操作设置人工确认，并限制它能访问的账号和数据。