使用 AI Agent 通过 RDP 测试 Windows 桌面应用

当 Windows 桌面软件没有 API、SDK 或稳定的脚本接口时，自动化测试会很困难。许多老旧 ERP、财务、仓储和内部业务软件，只能通过窗口、按钮、表单、菜单和弹窗操作。

那么，没有 API 时，如何自动测试 Windows 桌面应用？一种实用方法是将 AI Agent 与真实的远程 Windows 桌面结合。使用 rdp-cli，Agent 可以连接已有的 RDP 或 VNC 会话，查看屏幕，执行 GUI 操作，并通过新的截图验证结果。

AI Agent 能测试 Windows 桌面应用吗？

可以，前提是目标应用能够在远程桌面中显示并接受操作。Agent 会观察屏幕、找到目标控件、点击或输入、重新截图，然后检查预期结果。

为什么只做 API 测试还不够？

API 测试适合验证后端逻辑，但无法覆盖完整的桌面流程。测试 Windows 库存软件可能需要打开应用、在原生窗口中登录、选择仓库、输入 SKU、确认警告弹窗并导出报告。API 测试可能发现不了按钮失效、输入焦点错误、意外弹窗或导出失败。

使用 rdp-cli 的测试流程

准备专用 Windows 测试电脑、受限测试账号、稳定样例数据、可访问的 RDP 地址、固定分辨率和清理流程。连接后始终先截图：

.\rdp-cli.exe screenshot --session SESSION --out .\before.png
.\rdp-cli.exe click --session SESSION --desktop --x X --y Y --observation OBSERVATION
.\rdp-cli.exe screenshot --session SESSION --out .\after.png

输入文本时：

.\rdp-cli.exe type --session SESSION --text "Remote task completed." --observation NEW_OBSERVATION

每次操作都应依据最新屏幕状态，而不是旧截图或固定假设。点击“保存”后，检查确认消息、新记录编号或状态标签。

老旧 Windows 应用测试示例

打开应用、使用测试账号登录、创建样例客户、保存记录、再次搜索、导出为 PDF 或电子表格，并确认文件存在。在关键步骤前后截图。如果预期窗口没有出现，应停止并报告当前屏幕，而不是继续盲目点击。

如果 RDP 服务器开启了驱动器重定向，可以传输测试文件和导出报告；远程剪贴板也可以传递受控文本。

什么时候需要人工审核？

遇到删除或不可逆操作、安全提示、未知错误、一次性审批，或接近生产环境的测试时，应暂停并由人工接管。rdp-cli 支持暂停 Agent 输入，让人工操作桌面，再把会话交还给 Agent。

这种方法不能替代什么？

RDP GUI 测试不能替代单元测试、集成测试或后端 API 测试。它不能可靠地发现隐藏计算错误、数据库不一致、界面背后的性能问题、需要插桩才能发现的竞态条件，或所有布局状态。最佳做法是与传统自动化测试结合。

总结

如果你需要测试没有 API 的 Windows 桌面应用，通过 RDP 连接 AI Agent 是一条实用的自动化路径：

观察屏幕 → 执行一个操作 → 重新截图 → 验证结果。

常见问题

没有 API，AI Agent 还能测试 Windows 应用吗？

可以。Agent 可以通过 RDP 操作 GUI，并用新的截图验证可见结果。

RDP GUI 测试能替代 API 测试吗？

不能。它用于补充 API、集成和单元测试，检查真实的桌面操作流程。

如何自动化没有 API 的 Windows 应用
如何让 Claude Code 控制远程 Windows 桌面

如何使用 AI Agent 通过 RDP 测试 Windows 桌面应用