rdp-cli
没有 API,如何自动化操作老旧 Windows 软件?
为什么普通 API 自动化行不通
没有 API 也可以自动化操作老旧 Windows 软件,但普通接口自动化解决不了这类问题。很多财务软件、ERP、仓储系统和内部工具没有 API、SDK 或脚本接口,关键流程只能通过按钮、表单、菜单和弹窗完成。
更实际的方案是 GUI Computer Use:AI Agent 通过 RDP 或 VNC 连接真实桌面,读取当前屏幕,执行一次受控操作,再检查操作结果。
AI Agent + RDP/VNC 的实际工作流
使用 rdp-cli,Agent 可以连接已经安装目标软件的 RDP 或 VNC 桌面。先按照快速上手指南建立连接,并保存返回的会话 ID。
可靠的执行循环是:
- 截取当前屏幕。
- 找到下一个输入框、按钮或弹窗。
- 执行一个小动作。
- 再次截取屏幕。
- 确认真实结果后再继续。
例如,Agent 可以这样检查远程 Windows 应用:
rdp-cli screenshot --session SESSION --out before.png
rdp-cli click --session SESSION --desktop \
--x X --y Y --observation OBSERVATION
rdp-cli screenshot --session SESSION --out focused.png
rdp-cli type --session SESSION \
--text "Remote task completed." \
--observation NEW_OBSERVATION
rdp-cli screenshot --session SESSION --out after.png
坐标和 observation 必须来自最新截图。点击命令执行成功,只代表输入已经发送,并不代表软件真的接受了这个操作。
文件处理与人工复核
一个典型流程是:把表格上传到远程工作区,用老旧报表软件打开,选择日期范围,导出 PDF,再下载处理后的文件。只要服务器允许驱动器重定向,RDP 会话就可以传输文件和文件夹。VNC 适合控制已有桌面,但文件传输等能力取决于协议和服务器配置。
遇到未知弹窗或需要审批时,人员可以查看同一个会话,暂停 Agent 输入,在原生窗口或授权浏览器中接管操作,完成复核后再把会话交还给 Agent。
减少 GUI 自动化失败的规则
- 使用小而可验证的动作,不要连续盲点。
- 关键动作后重新截图。
- 等待加载界面和弹窗出现。
- 遇到未知登录页、警告或错误时停止。
- 不要把密码和 API 密钥放进提示词或文章内容。
- 使用可信网络或 VPN,只授予任务必需的权限。
如果存在稳定 API,应优先使用 API。GUI 自动化最适合图形化、老旧或无法集成的软件。它不要求先重写软件,就能让 AI Agent 操作企业已经依赖的 Windows 应用。
更多配置说明请参阅 rdp-cli 的 RDP 与 VNC 功能。