rdp-cli
Computer Use 独占电脑怎么办?解决方法
最后更新:2026 年 11 月 6 日
审核:rdp-cli 团队
当 Computer Use Agent 操作本机桌面时,它需要控制鼠标、键盘和当前窗口,因此可能出现鼠标自动移动、输入进入错误应用或窗口不断切换的问题。
最可靠的办法不是让人和 AI 同时操作同一个前台桌面,而是准备一台专用 Windows 电脑、虚拟机或云工作站,再通过 RDP 连接和控制它。
使用 rdp-cli,Agent 可以操作 RDP、VNC、X11 或 Android 会话,人可以查看、暂停或接管同一个会话。
快速答案:如何解决 Computer Use 独占电脑?
为 AI Agent 准备独立的远程 Windows 环境,让本机鼠标和键盘继续用于日常工作。需要人工干预时,以只读模式打开远程会话,暂停 Agent,接管控制权,完成修正后释放控制权,并让 Agent 获取新的截图。
如果会话仍处于暂停状态,需要显式恢复:
rdp-cli resume --session SESSION
配置方法请参考 rdp-cli 快速上手。
为什么 Computer Use 会占用电脑?
Computer Use 通常会执行以下循环:
- 截取当前屏幕;
- 识别按钮、窗口或输入框;
- 移动鼠标;
- 点击或输入;
- 再次截图并继续判断。
如果 Agent 连接的是你的日常电脑,鼠标位置、键盘焦点和前台窗口都会发生冲突。多个 Agent 同时发送输入时,也可能执行相互矛盾的操作。
1. 为 AI 准备专用远程环境
准备一台专用 Windows 电脑、虚拟机或云工作站。rdp-cli 负责连接和控制这个环境,但不会替你创建虚拟机或购买云电脑。
本机:正常工作
│
└── RDP / VNC
│
专用 Windows 环境
│
AI Agent
这样可以分离鼠标键盘输入、应用窗口、测试数据、导出文件和 AI 任务。它适合 ERP、财务软件、Excel、旧版 Windows 应用和测试环境。
2. 只查看会话,不立即接管
只想观察进度时,可以打开已有会话的查看器:
rdp-cli watch --session SESSION --viewer window
通过局域网或 VPN 使用授权浏览器查看器:
rdp-cli watch --session SESSION --viewer web
查看器默认是只读的,Agent 可以继续工作。多个查看器可以同时观察,但同一时间只有一个查看器可以持有人类控制权。
3. 暂停 Agent 并人工接管
遇到错误、审批弹窗或高风险操作时,先暂停输入:
rdp-cli pause --session SESSION
然后让已连接的查看器获得人工控制权:
rdp-cli control take \
--session SESSION \
--viewer-id VIEWER_ID
人工控制期间,Agent 输入会被拒绝。完成修正后释放控制权:
rdp-cli control release \
--session SESSION \
--viewer-id VIEWER_ID
如果会话仍暂停,再执行:
rdp-cli resume --session SESSION
参数请查看 rdp-cli 命令文档。
接管后为什么必须重新截图?
人工操作可能改变前台窗口、输入焦点、弹窗、鼠标位置、窗口布局和文件内容。接管前的截图可能已经失效。
正确流程是:
暂停 Agent → 人工修正 → 释放控制权 → 必要时恢复会话 → 获取新截图 → 继续执行。
Agent 不应继续使用旧 observation,也不应重复已经完成的动作。
多个 Agent 如何避免冲突?
多个 Agent 不应同时发送输入。应按顺序交接:
Agent A 执行任务
↓
Agent A 释放控制权
↓
Agent B 接管并获取新截图
↓
Agent B 继续执行
rdp-cli 支持 Agent 身份和控制权交接。新 Agent 接管后,应从当前屏幕重新观察。
限制
rdp-cli 可以连接远程会话并管理控制权,但不会让两个用户安全地同时操作同一个本机前台窗口。RDP 服务端并发限制、本地硬件依赖和单用户应用仍需要单独处理。
建议使用专用账号、专用远程环境和可重置的测试数据。
FAQ
Computer Use 能在我使用电脑时后台运行吗?
如果 Agent 操作本机桌面,就可能与鼠标、键盘和前台窗口冲突。使用专用远程电脑、虚拟机或云工作站更安全。
人工接管后 Agent 会自动继续吗?
释放控制权后,Agent 应获取新的截图和 observation。如果会话仍暂停,请使用 rdp-cli resume。
多个人可以同时查看远程会话吗?
可以。多个查看器可以只读观察,但同一时间只有一个查看器能持有人类控制权。
rdp-cli 是否包含 Computer Use 模型?
不包含。rdp-cli 提供远程连接、截图、键盘鼠标输入、文件传输和控制权交接,外部 AI Agent 负责推理和规划。
总结
Computer Use 独占电脑,是因为 AI 和人共享了同一个桌面、鼠标和键盘。
实用流程是:
专用远程环境 → RDP 连接 → 只读观察 → 暂停 → 人工接管 → 释放或恢复 → 获取新截图 → 交还 Agent。