rdp-cli
如何在 AI Agent 的 RDP 工作流中使用多个显示器
AI Agent 什么时候需要多个显示器?
让 AI Agent 操作单个远程屏幕并不复杂,但当 Windows 应用使用两个或更多显示器时,就需要明确识别每个屏幕。 窗口可能打开在第二个显示器,确认弹窗可能出现在第一个显示器,报表还可能需要在两个屏幕之间移动。旧截图和固定坐标会让 Agent 点击错误的控件。 使用 rdp-cli,AI Agent 可以连接多显示器 RDP 会话,分别查看屏幕,执行 GUI 操作,并通过新截图验证结果。
- 在一个显示器运行 ERP,在另一个显示器查看文档
- 在独立显示器上处理审批弹窗
- 操作旧版 Windows 软件时同时查看日志
- 并排比较两份报表 远程 Windows 环境和 RDP 服务器必须允许请求的显示器布局。
rdp-cli 如何处理多显示器 RDP
推荐流程是:读取布局 → 截取目标屏幕 → 执行一个操作 → 再次截图 → 验证结果。 连接时指定显示器布局:
rdp-cli connect \
--host WINDOWS_HOST \
--user WINDOWS_USER \
--password-stdin \
--layout @layout.json
读取协商后的显示器拓扑:
rdp-cli monitors --session SESSION
截取整个桌面或单个显示器
查看完整远程工作区:
rdp-cli screenshot \
--session SESSION \
--monitor all \
--out overview.png
只查看一个显示器:
rdp-cli screenshot \
--session SESSION \
--monitor MONITOR_ID \
--out monitor-1.png
单显示器截图可以减少视觉干扰,让 Agent 更容易定位目标窗口。
在指定显示器上执行操作
读取最新截图后,在指定显示器上点击控件:
rdp-cli click \
--session SESSION \
--monitor MONITOR_ID \
--x X \
--y Y \
--observation OBSERVATION
默认坐标相对于选中的显示器。需要针对完整远程布局操作时,可以使用桌面坐标。重新连接、修改布局或人工接管后,必须先重新截图。
在显示器之间拖动窗口
rdp-cli 支持指定起点和终点显示器:
rdp-cli drag \
--session SESSION \
--from-monitor MONITOR_1 \
--from-x X1 \
--from-y Y1 \
--to-monitor MONITOR_2 \
--to-x X2 \
--to-y Y2 \
--observation OBSERVATION
这可以把报表窗口移动到审核屏幕,或把弹窗放到 Agent 容易识别的位置。
人工审核与接管
出现安全提示、危险操作、异常弹窗或一次性审批时,操作人员可以通过原生窗口或授权浏览器查看同一会话,暂停 Agent 并接管桌面。修正完成后,再把控制权交还给 Agent。
多显示器场景下的 RDP 与 VNC
VNC 可以显示和控制远程桌面,但不能像 RDP 一样处理请求的多显示器布局。需要单屏截图、协商布局或跨屏拖动时,应使用 RDP。
总结
多显示器 Windows 自动化的关键是让 Agent 理解真实的远程显示器布局。可靠流程是:读取显示器拓扑 → 截取目标屏幕 → 执行一个操作 → 新截图 → 验证结果。 参考 快速上手 和 命令参考。
常见问题
AI Agent 能只截取一个显示器吗?
可以,使用 --monitor MONITOR_ID。
切换显示器时坐标如何处理? 默认坐标相对于选中的显示器;需要操作完整桌面时使用桌面坐标。
rdp-cli 能把窗口拖到另一个显示器吗? 可以,drag 命令支持分别指定起始和目标显示器。
VNC 支持这种多显示器工作流吗? VNC 可以控制桌面,但不支持与 RDP 相同的请求式多显示器布局变更。