rdp-cli

没有 API,如何自动化操作老旧 Windows 软件?

为什么普通 API 自动化行不通

没有 API 也可以自动化操作老旧 Windows 软件,但普通接口自动化解决不了这类问题。很多财务软件、ERP、仓储系统和内部工具没有 API、SDK 或脚本接口,关键流程只能通过按钮、表单、菜单和弹窗完成。

更实际的方案是 GUI Computer Use:AI Agent 通过 RDP 或 VNC 连接真实桌面,读取当前屏幕,执行一次受控操作,再检查操作结果。

AI Agent + RDP/VNC 的实际工作流

使用 rdp-cli,Agent 可以连接已经安装目标软件的 RDP 或 VNC 桌面。先按照快速上手指南建立连接,并保存返回的会话 ID。

可靠的执行循环是:

  1. 截取当前屏幕。
  2. 找到下一个输入框、按钮或弹窗。
  3. 执行一个小动作。
  4. 再次截取屏幕。
  5. 确认真实结果后再继续。

例如,Agent 可以这样检查远程 Windows 应用:

rdp-cli screenshot --session SESSION --out before.png

rdp-cli click --session SESSION --desktop \
  --x X --y Y --observation OBSERVATION

rdp-cli screenshot --session SESSION --out focused.png

rdp-cli type --session SESSION \
  --text "Remote task completed." \
  --observation NEW_OBSERVATION

rdp-cli screenshot --session SESSION --out after.png

坐标和 observation 必须来自最新截图。点击命令执行成功,只代表输入已经发送,并不代表软件真的接受了这个操作。

文件处理与人工复核

一个典型流程是:把表格上传到远程工作区,用老旧报表软件打开,选择日期范围,导出 PDF,再下载处理后的文件。只要服务器允许驱动器重定向,RDP 会话就可以传输文件和文件夹。VNC 适合控制已有桌面,但文件传输等能力取决于协议和服务器配置。

遇到未知弹窗或需要审批时,人员可以查看同一个会话,暂停 Agent 输入,在原生窗口或授权浏览器中接管操作,完成复核后再把会话交还给 Agent。

减少 GUI 自动化失败的规则

  • 使用小而可验证的动作,不要连续盲点。
  • 关键动作后重新截图。
  • 等待加载界面和弹窗出现。
  • 遇到未知登录页、警告或错误时停止。
  • 不要把密码和 API 密钥放进提示词或文章内容。
  • 使用可信网络或 VPN,只授予任务必需的权限。

如果存在稳定 API,应优先使用 API。GUI 自动化最适合图形化、老旧或无法集成的软件。它不要求先重写软件,就能让 AI Agent 操作企业已经依赖的 Windows 应用。

更多配置说明请参阅 rdp-cli 的 RDP 与 VNC 功能。