RDP / VNC 遠端桌面自動化

RDP / VNC

用命令完成遠端任務

取得桌面截圖，點擊、拖曳、捲動、輸入文字和快速鍵。Agent 讀取 JSON 回傳值，並查看下一張截圖判斷實際結果。命令發送成功，不等於應用內任務已經完成。

• JSON 結果、錯誤代碼、操作查詢與事件訂閱，協助 Agent 判斷繼續、等待或復原。應用程式是否完成目標，仍須擷取新畫面核對。

先截圖，使用這張截圖的觀察權杖操作，再截圖驗證。

● ● ●01 / 命令驅動遠端

rdp-cli clipboard set \
  --session SESSION \
  --text "中文输入验证：远端命令完成。" \
  --observation OBSERVATION

rdp-cli key --session SESSION \
  --keys CTRL+V \
  --observation OBSERVATION

rdp-cli screenshot \
  --session SESSION --out result.png

RDP / 遠端應用中的實際結果

每次操作後，再看一眼實際結果。讓 Agent 依據遠端畫面決定下一步。

RDP / VNC

同時連接 RDP 與 VNC

在 Windows、macOS 或 Linux 上連接已有的 RDP、VNC 服務，使用一致的截圖、輸入和觀看流程。遠端必須已開啟相應服務且網路可達；本工具不會為你建立雲端桌面。

• 兩種協定共用工作階段操作命令。RDP 可使用本機或網域帳號；VNC 使用伺服器支援的驗證方式。

Windows 遠端桌面可使用 RDP，已有 VNC 服務則選擇 VNC。

在 Linux 以單一程式連線 Windows RDP →

以命令連線 VNC 並驗證遠端輸入 →

RDP / VNC

多臺電腦，持續連接

同時保持多個工作階段，透過工作階段 ID 指定操作目標。關閉唯讀視窗不會斷開連接。重連會使舊觀察權杖失效，並保持暫停；先檢查目前畫面，再明確恢復輸入。

• 命令結束後，遠端連線仍可保留。後續操作透過工作階段 ID 找到對應桌面；重新連線後暫停輸入，重新觀察再繼續。

列出目前工作階段，查看其中一個的狀態，只斷開不再需要的連接。

排查 RDP 連線、黑畫面與輸入遭拒問題 →

RDP / VNC

觀看、暫停和接管

用原生視窗或已授權瀏覽器觀看已有工作階段。可以有多個觀看者，但同一時刻只有一個觀看端擁有人類控制權。接管會停止 Agent 輸入，交還後恢復協作；控制端意外退出會暫停輸入。

• 新增觀看端沿用原有連線。多人可同時觀看，同一時間由一個控制者操作；交還控制後，Agent 重新觀察更新的畫面。

觀看任務，接管並修改一個細節，再把同一工作階段交回 Agent。

查看原始螢幕截圖 ↗

查看真實接管過程 +

在 Windows 11 的同一個 RDP 工作階段中錄製：Agent 編寫清單，使用者隨時暫停並審核。

1. 01 觀察 Agent 工作

   rdp-cli 向遠端應用程式輸入文字時，檢視器顯示輸入動作提示。

   查看原始螢幕截圖 ↗

2. 02 暫停工作

   使用者在檢視器中暫停輸入，畫面保留尚未寫完的句子。

   查看原始螢幕截圖 ↗

3. 03 接管並審核

   使用者接管同一份文件，加入「Human review: approved.」（人工審核通過）。

   查看原始螢幕截圖 ↗

4. 04 交還並驗證

   交還後，Agent 重新擷取遠端畫面，確認審核意見，再儲存結果。

   查看原始螢幕截圖 ↗

最終檔案已透過交換磁碟取回，並核對 SHA-256 摘要。 下載實際結果檔案 (504 B)

2026 年 9 月 21 日英文環境原始實錄。螢幕截圖像素保持原樣，不隨網站語言或主題改寫。

選單列入口：另一組真實交接

2026 年 9 月 23 日補錄。下方的選單面板和最終擷取畫面來自同一個 Windows 11 RDP 工作階段。

查看原始螢幕截圖 ↗

查看原始螢幕截圖 ↗

原始畫面：Mac 面板為中文，遠端桌面為英文。

RDP / VNC

工作階段管理，隨手可用

Mac 選單列圖示打開可搜尋的目前工作階段清單，Windows 提供通知區選單。查看目標、連接狀態、控制者和最近操作，再打開檢視器、暫停或斷開相應工作階段。 Linux 提供可搜尋的工作階段面板；桌面支援時也會顯示狀態圖示。沒有系統匣時，可用 presence show --panel 開啟面板。

• Mac 可依名稱或位址搜尋工作階段，Windows 則從系統匣選取。需要休息或檢查時，可從狀態選單一次暫停全部工作階段。 Linux 提供可搜尋的工作階段面板；桌面支援時也會顯示狀態圖示。沒有系統匣時，可用 presence show --panel 開啟面板。

按名稱或地址找到正在執行的桌面。這是目前工作階段清單，不是儲存連接設定的地址簿。

RDP / VNC

看清每一步操作

點擊圈、拖曳軌跡、捲動方向、快速鍵和文字輸入進度，幫助你理解實際發送的動作。每個觀看端都可關閉提示。輸入提示不重複顯示正文，與遠端畫面分開呈現。

• 指標移動、點擊圓圈、拖曳軌跡、捲動方向與快速鍵提示，說明實際傳送的動作。輸入進度不重複顯示文字內容；遠端畫面本身仍正常可見。

看見 Agent 點了哪裡；遠端畫面本身不會因此自動遮蔽。

RDP / VNC

沿用現有帳號與權限

使用本機或網域帳號連接，按需儲存並引用系統認證資料儲存中的認證資料，單獨授予瀏覽器資源權限。RDP 證書設定與 VNC 安全模式各有邊界，應按實際環境設定。

• 認證資料可儲存於系統認證資料存放區，日後直接引用。依需求授權瀏覽器存取畫面、控制與檔案等資源，任務結束後可撤銷存取權。

分別管理工作階段觀看、鍵鼠控制、檔案和麥克風等權限。

RDP

依螢幕查看與操作

在已協商多螢幕的 RDP 工作階段中，截取整個桌面或指定螢幕，依螢幕操作並跨螢幕拖曳。原生檢視器可為每個螢幕打開視窗，瀏覽器可切換螢幕。縮放查看視窗只改變本地顯示，不改變遠端設定。

• 依螢幕截圖與操作，支援跨螢幕拖曳。
• 原生視窗可逐螢幕展開；瀏覽器可切換螢幕或查看總覽。
• 你只有一塊本機螢幕，也能查看遠端雙螢幕工作區。

專注查看一塊螢幕，同時保留整個遠端桌面的總覽。

RDP

交換檔案和資料夾

把檔案上傳到工作階段交換盤，在遠端處理後再下載。命令、原生視窗和瀏覽器共享傳輸進度及取消操作，覆蓋已有檔案需明確選擇。需要 RDP 伺服器端允許磁碟機重新導向。

• 檔案與資料夾上傳、下載，保留目錄結構。
• 查看每項傳輸的進度與結果，按需取消。
• 遇到同名檔案由你選擇是否覆蓋，傳輸後驗證檔案內容。

上傳報告資料夾，在遠端修改文件，再取回結果；這不等於任意瀏覽遠端磁碟。

1. 上傳資料

   檔案和資料夾 → 會話交換盤

2. 遠端處理

   打開、修改，並儲存處理結果

3. 下載結果

   查看傳輸進度，核對完成的檔案

查看原始螢幕截圖 ↗

查看試算表與影片任務實錄 →

以 RDP 命令列上傳與下載檔案 →

RDP / VNC

按需讀寫遠端文字剪貼簿

顯式讀取或設定遠端剪貼簿文字，再透過快速鍵貼上。它不會自動同步本機剪貼簿。RDP 剪貼簿能力取決於伺服器端策略，VNC 文字編碼取決於協商結果。

• 透過遠端剪貼簿傳遞位址、段落或表格文字。支援的文字也可用 type 命令直接輸入，無須取代剪貼簿。

設定遠端剪貼簿，發送 CTRL+V，再檢查應用內結果。

RDP

聽見遠端聲音

播放 RDP 遠端聲音，各觀看端獨立調整播放。人類接管後可主動開啟麥克風，仍需系統授權和伺服器端支援。交還控制權或斷開連接會停止採集，不會自動重新錄音。

• 多個有權限的觀看端可同時收聽。
• 需要語音輸入時，接管工作階段後主動開啟麥克風。
• 交還控制或斷線時停止回傳；再次使用需明確開啟。

聽取遠端播放結果；需要語音輸入時再打開麥克風。