rdp-cli

如何在 AI Agent 的 RDP 工作流程中使用多個顯示器

AI Agent 何時需要多個顯示器?

讓 AI Agent 操作單一遠端螢幕並不複雜,但當 Windows 應用程式使用兩個或更多顯示器時,就需要明確辨識每個螢幕。 視窗可能開在第二個顯示器,確認對話框可能出現在第一個顯示器,報表也可能需要在兩個螢幕之間移動。舊畫面和固定座標可能讓 Agent 點錯控制項。 使用 rdp-cli,AI Agent 可以連線到多顯示器 RDP 工作階段,分別查看螢幕、執行 GUI 操作,並透過新畫面驗證結果。

  • 在一個顯示器執行 ERP,在另一個顯示器查看文件
  • 在獨立顯示器處理核准對話框
  • 操作舊版 Windows 軟體時同時查看記錄
  • 並排比較兩份報表 遠端 Windows 環境與 RDP 伺服器必須允許要求的顯示器配置。

rdp-cli 如何處理多顯示器 RDP

建議流程是:讀取配置 → 擷取目標螢幕 → 執行一個操作 → 再次擷取 → 驗證結果。 連線時指定顯示器配置:

rdp-cli connect \
  --host WINDOWS_HOST \
  --user WINDOWS_USER \
  --password-stdin \
  --layout @layout.json

讀取協商後的顯示器拓撲:

rdp-cli monitors --session SESSION

擷取完整桌面或單一顯示器

查看完整遠端工作區:

rdp-cli screenshot \
  --session SESSION \
  --monitor all \
  --out overview.png

只查看一個顯示器:

rdp-cli screenshot \
  --session SESSION \
  --monitor MONITOR_ID \
  --out monitor-1.png

單顯示器畫面能減少視覺干擾,讓 Agent 更容易找到目標視窗。

在指定顯示器上執行操作

讀取最新畫面後,在指定顯示器點擊控制項:

rdp-cli click \
  --session SESSION \
  --monitor MONITOR_ID \
  --x X \
  --y Y \
  --observation OBSERVATION

預設座標相對於選中的顯示器。需要操作完整遠端配置時,可以使用桌面座標。重新連線、變更配置或人工接管後,必須先重新擷取畫面。

在顯示器之間拖曳視窗

rdp-cli 支援指定起點和終點顯示器:

rdp-cli drag \
  --session SESSION \
  --from-monitor MONITOR_1 \
  --from-x X1 \
  --from-y Y1 \
  --to-monitor MONITOR_2 \
  --to-x X2 \
  --to-y Y2 \
  --observation OBSERVATION

這可以把報表視窗移到審核螢幕,或把對話框放到 Agent 容易辨識的位置。

人工審核與接管

出現安全提示、危險操作、未知對話框或一次性核准時,操作人員可以透過原生視窗或授權瀏覽器查看同一工作階段,暫停 Agent 並接管桌面。修正後,再把控制權交還給 Agent。

多顯示器場景下的 RDP 與 VNC

VNC 可以顯示和控制遠端桌面,但不能像 RDP 一樣處理要求的多顯示器配置。需要單螢幕擷取、協商配置或跨螢幕拖曳時,應使用 RDP。

總結

多顯示器 Windows 自動化的關鍵,是讓 Agent 理解真實的遠端顯示器配置。可靠流程是:讀取顯示器拓撲 → 擷取目標螢幕 → 執行一個操作 → 新畫面 → 驗證結果。 參考 快速入門 和 命令參考。

常見問題

AI Agent 能只擷取一個顯示器嗎? 可以,使用 --monitor MONITOR_ID。

切換顯示器時座標如何處理? 預設座標相對於選中的顯示器;需要操作完整桌面時使用桌面座標。

rdp-cli 能把視窗拖到另一個顯示器嗎? 可以,drag 命令支援分別指定起始與目標顯示器。

VNC 支援這種多顯示器工作流程嗎? VNC 可以控制桌面,但不支援與 RDP 相同的要求式多顯示器配置變更。

相關指南