rdp-cli
你的 AI Agent 会写代码,但能操作真实桌面吗?Computer Use Agent 指南
代码 Agent 可以编辑文件、运行测试和创建 Pull Request,但很多真实业务仍然发生在图形界面中。
这些任务可能涉及 Excel、ERP、财务软件、PDF 工具、旧版 Windows 程序或 Android 应用。
那么,AI Agent 能否操作真实桌面,而不只是停留在聊天窗口或终端中?
可以。computer use agent 能读取屏幕、点击控件、输入文字、处理弹窗并验证结果。通过 rdp-cli,Agent 可以连接授权的 RDP、VNC、X11 或 Android 会话,而不会接管你的本地电脑。
什么是 Computer Use Agent?
Computer use agent 通过图形界面操作软件,而不是只依赖 API 或命令行。它可以读取截图、点击按钮、填写表单、滚动窗口、使用快捷键、打开文件对话框并验证可见结果。
这也是 AI 桌面自动化和 AI GUI 自动化的基础。
可靠的流程是:观察当前屏幕,执行一个动作,重新截图,然后验证结果。AI 模型负责推理,rdp-cli 负责远程会话和桌面控制。
为什么 AI Agent 需要真实桌面?
当应用提供稳定的结构化接口时,API 和 MCP 工具非常适合。但很多桌面流程依赖 API 无法提供的界面元素。
例如,Agent 可能需要打开 Windows 应用,通过原生弹窗登录,选择下拉菜单,确认警告,导出报告,并检查输出文件是否生成。
这些步骤依赖窗口、按钮、焦点、弹窗和文件对话框。Computer use agent 可以像人一样操作它们。
rdp-cli 的位置:缺失的会话层
Computer-use 工作流包含不同层次:
| 层 | 主要职责 | 不负责解决的问题 |
|---|---|---|
| 模型原生 Computer Use | 理解截图并选择动作 | 远程连接、会话所有权和人工交接 |
| RPA | 执行预定义选择器或流程 | 灵活视觉推理和远程会话生命周期 |
| MCP 客户端 | 将桌面动作暴露为工具 | 完整的远程会话生命周期 |
| rdp-cli | 连接、维持并共享远程会话 | AI 推理和任务规划 |
模型原生 Computer Use 负责推理,但不一定负责连接现有 RDP、恢复会话、传输文件或让人接管同一个会话。
RPA 适合稳定、重复和高频的任务,但当界面变化、应用没有 API 或需要人工介入时,就不够灵活。
MCP 提供 Agent 与工具之间的调用接口,但 MCP 本身并不规定远程会话如何创建、维持、共享或交还给人工。
rdp-cli 承担的是会话层。它把 Agent 连接到现有的授权环境,让 Agent 和人工操作员使用同一个会话。
它支持:
- RDP、VNC、X11 和 Android 连接
- 用 session ID 定位正确的远程桌面
- 不打开本地 Viewer 的无头运行
- 截图和基于 observation 的输入
- 支持协议下的文件传输
- 状态等待和结果验证
- GUI 或 Web Viewer 查看同一会话
- 暂停、人工接管和交还 Agent
rdp-cli 在 RDP、VNC、X11 和 Android ADB 之间使用一致的会话式 CLI 模型。每个连接仍然拥有独立的 session ID;优势在于控制方式一致,而不是多个设备共用一个会话。
如何使用 rdp-cli 进行 AI GUI 自动化?
Agent 发送输入前,应先获取最新截图。使用 rdp-cli screenshot 截取当前画面,找到目标控件后,用最新 observation 执行 click,再次截图验证结果。
输入命令成功只说明动作已经发送,并不代表应用完成了任务。点击 Save 后,Agent 应检查确认消息、新记录编号、状态变化、表格变化或生成的文件。
请查看 rdp-cli 命令文档。
Agent 可以控制哪些环境?
rdp-cli 可以通过 RDP 自动化旧版 ERP、财务软件、仓储系统、Excel、PDF 工具、内部应用和桌面测试流程。
通过 X11,它可以控制支持的 Linux 图形应用;通过 VNC,它可以控制现有 VNC 桌面;通过 ADB,它可以通过 USB 或 Wi-Fi 控制已授权 Android 设备。
请查看 rdp-cli 快速上手。
能否不接管本地电脑?
可以。Agent 可以在独立的远程会话中工作,你继续使用本地电脑。需要查看或干预时,再通过 GUI 或授权 Web Viewer 打开同一个会话。
出现不确定状态时,应暂停 Agent,人工接管并修正,然后交还控制权,最后要求 Agent 重新截图。请参阅观看、暂停并接管同一个远程会话。
rdp-cli 不负责什么?
rdp-cli 不提供 AI 模型,不决定下一步动作,也不会自动创建远程电脑。你需要已有的授权设备、正确凭据,以及能够读取截图并运行命令的 AI Agent。
具体能力取决于协议和服务器配置。例如,RDP 的文件传输和多显示器能力需要远程服务器允许。
常见问题
什么是 computer use agent?
Computer use agent 是通过截图、鼠标、键盘和视觉验证操作图形界面的 AI 系统。
AI Agent 可以控制 Windows 桌面应用吗?
可以。只要 RDP 会话已授权并可交互,Agent 就可以控制包括无 API 旧版软件在内的 Windows 应用。
rdp-cli 包含 AI Agent 吗?
不包含。rdp-cli 提供远程会话、截图、输入、文件传输和控制交接,AI Agent 负责推理。
rdp-cli 必须使用 MCP 吗?
不必须。你可以直接使用 rdp-cli CLI,也可以让支持 MCP 的 Agent 使用内置 MCP 接口。
总结
rdp-cli 的核心不是 AI 推理,也不是预定义 RPA 流程,而是连接 Agent 与真实远程环境的会话层。
它让 Agent 可以无头运行、验证截图、传输文件,并在需要时把同一个会话交给人工操作员。
下载 rdp-cli,让 AI Agent 操作代码和终端之外的真实桌面工作流。