不抢鼠标的数字员工，终于来了。

原文链接：https://mp.weixin.qq.com/s/h8mHojj5nVrZeXwFJ0rWsQ

短短几个月，GitHub 有 17000 多人 Star。

作者并不是来自硅谷的大公司，而是曾在 Xbox 和 Microsoft AI 工作过的开发者，之后去 YC 创业。

该项目在开发者社区中引起了很大的关注。

它叫 Cua。

一句话来总结就是：让 AI Agent 安全地控制整个桌面系统，就像在操作一台虚拟的电脑一样。截图、点击、打字、跑命令都可以。而且这台虚拟电脑是完全隔离的，AI干什么都不会影响到你真实的电脑。

人工智能真的在用电脑

最简单的使用姿势就是使用 Cuabot：

1	`npx cuabot`

它会弹出一个可视化的窗口，让你亲眼目睹Agent在沙盒中是如何操作桌面的。

你能看到：

AI 在独立窗口操作虚拟桌面
截图、点击、输入文字
执行命令行操作
和主机共享剪贴板

整个过程就是看着一个数字员工在工作。

而且，在后台工作的时候，你的电脑不会受到影响。你可以继续写代码、看视频、回信息，互不影响。

Cua 最主要的功能就是使 AI 在隔离环境中安全地进行桌面操作，不会影响到你的实际机器。

主要的思想就是三层结构。

上面是AI Agent，中间是统一的 Computer SDK，下面就是沙盒层。

Cua 三层架构：Agent、SDK、Sandbox。

Cua 三层架构：Agent、SDK、Sandbox
不管底层使用什么虚拟化技术，对于 AI 来说都是相同的接口。写一次代码就可以在不同的系统中运行。

该设计的优点是：

统一接口：不需要关心底层是 macOS、Windows、Linux 还是 Android
安全隔离：所有的AI操作都放在沙盒中，不会影响到主机
灵活部署：可以使用云沙盒，也可以本地虚拟化

值得一提的是，Cua 不仅支持桌面系统，还支持移动端。

Android 可以通过云沙盒或本地虚拟化运行，iOS 也通过 agent-device 内置支持。

这意味着 AI Agent 可以像操作电脑一样操作手机，执行手势、点击、滑动等操作。

下面继续看看 Cua 的四大核心能力

01 Cua Driver：后台控制，不抢夺光标。

后台桌面控制程序。

可以在后台控制原生桌面应用程序，不会占用你的光标、焦点。AI在工作的时候，你还可以继续使用电脑做其它的事情。

macOS、Windows 系统都可以正常使用，但是 Linux 还处于预发布状态。

Cua Driver：后台桌面操控引擎
02 Cua Sandbox：隔离沙盒，热启动不到 1 秒。

沙盒环境可以使用云沙盒也可以用本地虚拟化的方式。

macOS 上有一个叫做 Lume 的组件，它是用 Apple Virtualization.Framework 开发的，可以达到原生 CPU 97% 的速度。Apple Silicon 的用户会很开心。

支持快照、Fork。保持一个干净的状态，从这个快照中克隆出多个并行的实例，让几百个Agent同时运行不同的任务。

03 Cuabot：给编码Agent提供无缝沙盒。

多 Agent 协作工具。

可以使用 Claude Code、OpenClaw 或者其他的图形化工作流。

单独创建一个窗口来原生显示在桌面上，使用 H.265 编码，还可以和主机共享剪贴板以及支持音频。

Cuabot：多 Agent 协作工具界面
04 Cua-Bench：用 OSWorld 基准来对 Agent 进行测试。

评测基准模块。

支持 OSWorld、ScreenSpot、WindowsArena 等主流基准，并可以导出 Agent 执行轨迹来训练。

想要大规模的测试，可以使用 CLI 工具并行启动几百个 Agent，把数据喂给强化学习。

看完这些功能，估计不少朋友已经想上手试试了。

macOS或者Linux，一条命令就可以安装好CuaDriver：

1	`/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/trycua/cua/main/libs/cua-driver/scripts/install.sh)"`

Windows 使用 PowerShell：

1	`irm https://raw.githubusercontent.com/trycua/cua/main/libs/cua-driver/scripts/install.ps1 \| iex`

使用 pip命令安装Python SDK：

1	`pip install cua`

Cuabot快速体验：

1	`npx cuabot`

给一个可视化的窗口，看到 Agent 在沙盒中是如何操作桌面的。

Cua Computer SDK：截图、点击、键盘、Shell 统一接口

但是缺点也要提一下

Linux 的支持目前还处于预发布状态。

macOS 上 Rust 版本和 Swift 版本还没有对齐，生产环境建议使用 Swift 版本。

使用 MCP Server 需要有效的模型 API Key。

如果你主要是用 Mac 或者 Windows，想要让 AI Agent 来帮你跑 GUI 任务，并且又不希望把主机暴露出来的话，那么 Cua 就可以帮到你。

写在最后

以前我们认为 AI 可以写代码、画图、聊天，但是缺少一个环节，那就是 AI 能不能用电脑？

不是调用API、不是运行脚本，而是像人一样看屏幕、移动鼠标、点击按钮、输入文字。

Cua 给了一个轻量级的开源方案。

它为 AI Agent 提供了一个安全的操作环境，使AI可以像数字员工一样真正地“使用”电脑，而不是“访问”电脑。

这一切都在沙盒中进行，并不会影响到你的电脑。

评论区大家发表一下自己的看法。

该项目使用的是MIT许可协议，有兴趣的朋友可以到GitHub上查看源代码以及相关文档。

开源地址为：https://github.com/trycua/cua

既然看到这了，欢迎随手点赞、在看、转发，也可以给我个星标⭐，接收最新的文章，我们下期见！

💬 本文评论区已开启，但暂无读者留言。

本文转载自微信公众号，如有侵权请联系删除。