rdp-cli
如何让 AI Agent 在后台运行而不占用你的电脑
如何让 AI Agent 在后台运行而不占用你的电脑
让 AI Agent 直接操作本地电脑,很容易影响你的工作。Agent 可能切换当前窗口、移动鼠标、把文字输入到错误的程序,甚至在你操作时抢走屏幕控制权。
更实用的做法,是给 Agent 分配一个独立的远程会话。
通过 rdp-cli,AI Agent 可以控制经过授权的 RDP、VNC、X11 或 Android 会话,不需要在本地打开远程桌面窗口。你可以继续使用自己的电脑,只在需要查看、暂停或接管时加入远程会话。
本文重点解决的是“Agent 工作时本地电脑仍然可用”的问题。一般的 Windows RDP 自动化流程可参考 让 AI Agent 操作远程 Windows 桌面。
快速回答:如何让 AI Agent 在后台运行?
将 Agent 连接到独立的远程桌面会话,而不是连接本地屏幕。Agent 可以通过 rdp-cli 截图、发送鼠标和键盘输入、传输文件并验证结果。需要人工检查或接管时,再打开 GUI 或 Web Viewer。
这里的“后台运行”指 Agent 在独立远程会话中工作,不代表 rdp-cli 会创建系统服务、计划任务或云电脑。
为什么要让 AI Agent 在后台运行?
本地桌面自动化会让用户和 Agent 争用同一个桌面。
例如,你正在写代码,而 Agent 需要打开 Excel、测试 Windows 安装程序或操作内部 ERP。使用同一个桌面时,Agent 可能切换你的窗口、移动鼠标、输入到错误的程序或打断快捷键。
使用独立远程会话后,Agent 在另一台电脑上工作,本地应用可以保持焦点。
这种方式适合:
- 没有 API 的旧版 Windows 软件
- Windows 桌面应用测试
- Excel 和报表处理
- 远程文件转换
- 长时间运行的 GUI 流程
- 通过 ADB 测试 Android
- 通过 X11 操作 Linux GUI 应用
本地桌面与远程会话的区别
| 对比项 | Agent 操作本地桌面 | Agent 通过 rdp-cli 操作远程会话 |
|---|---|---|
| 鼠标和键盘冲突 | 与本地工作共用桌面 | 不影响本地输入 |
| 是否需要本地窗口 | 取决于自动化工具 | 普通命令不需要 Viewer |
| 人工接管 | 接管当前本地屏幕 | 加入同一个远程会话 |
| 对本地工作的影响 | 可能打断正在运行的程序 | 本地应用保持焦点 |
| 适用任务 | 短时间、有人监督的任务 | 远程和长时间 GUI 流程 |
开始前需要准备什么?
准备一台经过授权的远程设备、RDP 或 VNC 服务、X11 环境或 Android 设备,并在运行 Agent 的电脑上安装对应版本的 rdp-cli。还需要一个能够运行命令和读取截图的 AI Agent,以及安全提供远程凭据的方式。
RDP 需要目标 Windows 允许远程桌面连接;VNC 需要已有 VNC Server;Android 自动化需要授权 USB 或 Wi-Fi 调试。
rdp-cli 不会创建或托管远程电脑,你需要一台已经存在且有权操作的远程设备。
请参考 rdp-cli 快速上手。
使用 rdp-cli 让 AI Agent 在后台运行
第一步:安装 rdp-cli
下载与运行 Agent 的电脑和 CPU 架构匹配的版本。rdp-cli 支持 Windows x64、x86、ARM64,macOS Intel、Apple silicon,以及 Linux x86_64、ARM64。
.\rdp-cli.exe --help
macOS 或 Linux:
rdp-cli --help
不要把远程密码直接写在命令行中,应使用环境支持的密码输入方式。
第二步:连接远程会话
连接已有 Windows RDP Server:
.\rdp-cli.exe connect `
--host REMOTE_HOST `
--user REMOTE_USER `
--password-stdin
保存返回的 session ID,后续截图、输入、文件传输和会话控制都要使用它。
这一步不需要打开本地 RDP Viewer。Agent 可以在远程会话中工作,你继续使用自己的电脑。
第三步:截取远程屏幕
发送操作前,先获取当前屏幕:
.\rdp-cli.exe screenshot `
--session SESSION `
--out .\before.png
Agent 应该读取最新截图,而不是假设应用已经处于正确状态。
第四步:执行一个操作
根据最新 observation 执行一次点击:
.\rdp-cli.exe click `
--session SESSION `
--desktop `
--x X `
--y Y `
--observation OBSERVATION
输入文字:
.\rdp-cli.exe type `
--session SESSION `
--text "Remote task completed." `
--observation NEW_OBSERVATION
截图、重连、显示布局变化或人工接管后,都必须使用新的 observation。
第五步:验证实际结果
命令成功只表示输入已发送,不代表远程应用已经完成任务。
可靠流程是:
截取屏幕
→ 执行一个操作
→ 重新截图
→ 验证可见结果
点击 Save 后,检查确认提示、新记录编号、状态变化、表格行或导出文件。如果预期结果没有出现,应停止并检查当前屏幕。
详细命令见 rdp-cli 命令文档。
不打开本地桌面也能传输文件
远程 Agent 经常需要处理本地文件。常见流程是上传项目文件夹,在远程桌面应用中打开,生成报告,再下载结果。
在支持的 RDP 会话中,rdp-cli 可以通过会话交换文件,但远程服务器必须允许相应的文件或驱动器重定向。传输完成后,应核对文件再报告成功。
什么时候需要打开 GUI 或 Web Viewer?
普通 Agent 命令不需要 Viewer。以下情况可以打开同一个会话:
- 查看任务进度
- 调查异常界面
- 批准安全提示
- 手动修正表单
- 接管远程鼠标和键盘
Web Viewer 应通过 LAN 或 VPN 授权访问。它连接的是正在运行的会话,不是公开的 rdp-cli 官网。
人工接管如何工作?
安全的交接流程是:
Agent 工作
→ 人工暂停 Agent 输入
→ 人工接管
→ 修正远程桌面
→ 人工释放控制权
→ Agent 获取新截图
→ Agent 继续工作
人工控制后不能继续使用旧截图或旧 observation。完整流程见 观看、暂停和接管 AI Agent 的远程桌面。
rdp-cli 不负责什么?
rdp-cli 是远程控制层,不包含 AI 模型,也不决定 Agent 下一步该做什么。它不会自动创建云电脑,也不能替代 API 测试、单元测试或后端测试。
如果应用拥有稳定 API,后台逻辑应优先使用 API;只有当任务存在于桌面界面中时,才适合使用 GUI 自动化。
常见问题
AI Agent 可以不打开窗口就控制远程桌面吗?
可以。rdp-cli 可以连接已授权的 RDP、VNC、X11 或 Android 会话,普通命令不需要打开本地 Viewer。
rdp-cli 会占用我的本地鼠标和键盘吗?
不会。Agent 操作的是远程会话,本地鼠标、键盘和当前应用仍可供你使用。
这等同于把 AI Agent 作为后台服务运行吗?
不等同。后台服务通常没有可见桌面会话;rdp-cli 为 Agent 提供一个可以截图和控制的独立远程桌面。
rdp-cli 自带 AI 模型吗?
不带。rdp-cli 提供远程连接、截图、输入、文件传输和会话控制,推理由你选择的 AI Agent 完成。
人可以在 Agent 工作时接管吗?
可以。你可以通过 GUI 或 Web Viewer 加入同一会话,暂停 Agent 输入,人工操作后再交还控制权。
rdp-cli 会创建远程 Windows 电脑吗?
不会。你需要一台已经启用 RDP 且经过授权的 Windows 电脑。
总结
当 AI Agent 拥有独立远程工作区时,让它在后台运行就不会影响你的本地工作。
rdp-cli 可以连接 RDP、VNC、X11 或 Android,读取截图,执行 GUI 操作,传输文件并验证结果;需要时,你还可以接管同一个会话。
核心流程是:
连接远程设备
→ 截取当前屏幕
→ 执行一个操作
→ 再次截图
→ 验证结果
→ 需要时人工接管
下载 rdp-cli,为 AI Agent 提供独立的远程桌面。