rdp-cli

如何在 AI Agent 的 RDP 工作流中使用多个显示器

AI Agent 什么时候需要多个显示器?

让 AI Agent 操作单个远程屏幕并不复杂,但当 Windows 应用使用两个或更多显示器时,就需要明确识别每个屏幕。 窗口可能打开在第二个显示器,确认弹窗可能出现在第一个显示器,报表还可能需要在两个屏幕之间移动。旧截图和固定坐标会让 Agent 点击错误的控件。 使用 rdp-cli,AI Agent 可以连接多显示器 RDP 会话,分别查看屏幕,执行 GUI 操作,并通过新截图验证结果。

  • 在一个显示器运行 ERP,在另一个显示器查看文档
  • 在独立显示器上处理审批弹窗
  • 操作旧版 Windows 软件时同时查看日志
  • 并排比较两份报表 远程 Windows 环境和 RDP 服务器必须允许请求的显示器布局。

rdp-cli 如何处理多显示器 RDP

推荐流程是:读取布局 → 截取目标屏幕 → 执行一个操作 → 再次截图 → 验证结果。 连接时指定显示器布局:

rdp-cli connect \
  --host WINDOWS_HOST \
  --user WINDOWS_USER \
  --password-stdin \
  --layout @layout.json

读取协商后的显示器拓扑:

rdp-cli monitors --session SESSION

截取整个桌面或单个显示器

查看完整远程工作区:

rdp-cli screenshot \
  --session SESSION \
  --monitor all \
  --out overview.png

只查看一个显示器:

rdp-cli screenshot \
  --session SESSION \
  --monitor MONITOR_ID \
  --out monitor-1.png

单显示器截图可以减少视觉干扰,让 Agent 更容易定位目标窗口。

在指定显示器上执行操作

读取最新截图后,在指定显示器上点击控件:

rdp-cli click \
  --session SESSION \
  --monitor MONITOR_ID \
  --x X \
  --y Y \
  --observation OBSERVATION

默认坐标相对于选中的显示器。需要针对完整远程布局操作时,可以使用桌面坐标。重新连接、修改布局或人工接管后,必须先重新截图。

在显示器之间拖动窗口

rdp-cli 支持指定起点和终点显示器:

rdp-cli drag \
  --session SESSION \
  --from-monitor MONITOR_1 \
  --from-x X1 \
  --from-y Y1 \
  --to-monitor MONITOR_2 \
  --to-x X2 \
  --to-y Y2 \
  --observation OBSERVATION

这可以把报表窗口移动到审核屏幕,或把弹窗放到 Agent 容易识别的位置。

人工审核与接管

出现安全提示、危险操作、异常弹窗或一次性审批时,操作人员可以通过原生窗口或授权浏览器查看同一会话,暂停 Agent 并接管桌面。修正完成后,再把控制权交还给 Agent。

多显示器场景下的 RDP 与 VNC

VNC 可以显示和控制远程桌面,但不能像 RDP 一样处理请求的多显示器布局。需要单屏截图、协商布局或跨屏拖动时,应使用 RDP。

总结

多显示器 Windows 自动化的关键是让 Agent 理解真实的远程显示器布局。可靠流程是:读取显示器拓扑 → 截取目标屏幕 → 执行一个操作 → 新截图 → 验证结果。 参考 快速上手 和 命令参考。

常见问题

AI Agent 能只截取一个显示器吗? 可以,使用 --monitor MONITOR_ID。

切换显示器时坐标如何处理? 默认坐标相对于选中的显示器;需要操作完整桌面时使用桌面坐标。

rdp-cli 能把窗口拖到另一个显示器吗? 可以,drag 命令支持分别指定起始和目标显示器。

VNC 支持这种多显示器工作流吗? VNC 可以控制桌面,但不支持与 RDP 相同的请求式多显示器布局变更。

相关文章