讓 Agent 完成工作
連接目標裝置,先看畫面,再送出一個動作。確認實際結果後繼續下一步。
RDP / VNC / Android / X11 / Wayland
了解遠端截圖、鍵鼠控制、檔案傳輸、剪貼簿、音訊和多螢幕功能。查看各協定支援的能力,以及如何在同一個工作階段中切換 Agent 操作與人工接管。
不開本機視窗,也能操作 RDP 桌面、VNC 桌面、X11 應用程式和 Android。需要查看或接手時,開啟 rdp-cli 的 GUI 或 Web,進入同一個工作階段。
依作業系統和 CPU 架構下載一個執行檔。使用下列命令前,先確認下載檔案實際包含的能力。
擷取局部或縮小畫面,與上次觀察比較;沒有變化時不重複傳回圖片。座標仍與遠端畫面對應。
等待指定區域變化或穩定,或等待連線、操作、檔案傳輸到達指定狀態。繼續前仍需核對實際成果。
組合傳送 Agent 已確定的動作,加入新觀察並停在檢查點。出錯或控制權變更就停止後續步驟;已送出的動作不會復原。
儲存任務進度、檢查點和選定畫面,匯出本機報告。中斷後先核對已完成的工作,再提交新步驟,不重送結果未知的動作。
註冊後的 Agent 明確交接唯一控制權。人透過 GUI 或 Web 接手後,可交還給指定 Agent;Agent 重新觀察再操作。
同一個檔案提供內建 MCP 和命令列。以具名連線設定檔保存參數與憑證參照,用 doctor 分層檢查連線能力。
在支援的 Android 裝置上明確建立虛擬螢幕,並在其中啟動應用程式。Agent、GUI、Web 使用同一顯示目標;應用程式行為和系統音訊授權仍依裝置規則執行。
連接目標裝置,先看畫面,再送出一個動作。確認實際結果後繼續下一步。
RDP / VNC / X11 / Android
取得桌面截圖,點擊、拖曳、捲動、輸入文字和快速鍵。Agent 讀取 JSON 回傳值,並查看下一張截圖判斷實際結果。命令發送成功,不等於應用內任務已經完成。
先截圖,使用這張截圖的觀察權杖操作,再截圖驗證。
快速上手rdp-cli screenshot --session SESSION --out before.png
rdp-cli clipboard set --session SESSION \
--text "結果:報表已完成,等待審核。" \
--observation OBSERVATION
rdp-cli key --session SESSION \
--keys CTRL+V --observation OBSERVATION
rdp-cli screenshot --session SESSION --out result.pngRDP / VNC / X11 / Android
rdp-cli 是為 AI Agent 打造的免費遠端存取工具:操控 RDP、VNC 桌面、Android 手機和 Linux X11 應用程式,也能透過既有 RDP 或 VNC 服務連接 Wayland 桌面。你可以開啟桌面視窗或瀏覽器觀看同一工作階段,隨時接管。
透過 ADB 的 USB 或 Wi-Fi 連線查看與操作 Android 12 以上手機,需要手機偵錯授權。已測試 Pixel 3 / Android 12,其他機型的相容性可能不同。
快速上手RDP / VNC / X11 / Android
同時保持多個工作階段,透過工作階段 ID 指定操作目標。關閉唯讀視窗不會斷開連接。重連會使舊觀察權杖失效,並保持暫停;先檢查目前畫面,再明確恢復輸入。
列出目前工作階段,查看其中一個的狀態,只斷開不再需要的連接。
快速上手透過視窗與獲授權的瀏覽器觀看同一工作階段。暫停、親自修改,再交還 Agent 繼續。
RDP / VNC / X11 / Android
Agent 預設以無頭模式工作。想查看進度或親自操作時,開啟同一工作階段的桌面視窗或已授權瀏覽器即可。Windows 和 Mac 使用系統控制項,Linux 的輕量介面包含在執行檔內。介面支援十種語言,檢視器視窗提供明暗主題。人工接管會暫停 Agent 輸入;交還後,Agent 重新查看目前畫面再繼續。
觀看任務,接管並修改一個細節,再把同一工作階段交回 Agent。
快速上手Agent 在遠端 Windows 的 LibreOffice Calc 中準備營運報告。使用者從瀏覽器接管審核,再交還控制權。
Agent 核對報告,留下等待審核的說明。
暫停遠端輸入,報告仍保持可見。
從瀏覽器接管,在同一份活頁簿中寫入審核通過。
交還控制權,Agent 儲存已審核的活頁簿並取回檔案。
儲存的活頁簿同時包含 Agent 的說明和人工審核結果,可下載實際檔案。
軟體實際執行時分別擷取十種語言、兩種主題。報告使用虛構的範例資料。
RDP / VNC / X11 / Android
在桌面視窗或 Web 檢視器中,看清 Agent 指標、左中右鍵、雙擊、拖曳、捲動、快捷鍵與輸入字數。檔案進度獨立顯示,並標明人工或 Agent 來源。提示不會重複輸入內容,也不會寫入截圖;遠端畫面本身不會自動遮蔽。
提示協助你掌握操作過程;工作是否完成,仍以遠端實際結果為準。
快速上手RDP / VNC / X11 / Android
使用本機或網域帳號連接,按需儲存並引用系統認證資料儲存中的認證資料,單獨授予瀏覽器資源權限。RDP 證書設定與 VNC 安全模式各有邊界,應按實際環境設定。
分別管理工作階段觀看、鍵鼠控制、檔案和麥克風等權限。
快速上手搭配多螢幕、傳送專案資料夾、交換文字、聆聽遠端聲音,完成後再取回成果。
RDP
在已協商多螢幕的 RDP 工作階段中,截取整個桌面或指定螢幕,依螢幕操作並跨螢幕拖曳。原生檢視器可為每個螢幕打開視窗,瀏覽器可切換螢幕。縮放查看視窗只改變本地顯示,不改變遠端設定。
專注查看一塊螢幕,同時保留整個遠端桌面的總覽。
快速上手RDP / X11 / Android
檔案與資料夾上傳、下載,保留目錄結構。 查看每項傳輸的進度與結果,按需取消。 遇到同名檔案由你選擇是否覆蓋,傳輸後驗證檔案內容。
上傳報告資料夾,在遠端修改文件,再取回結果;這不等於任意瀏覽遠端磁碟。
快速上手RDP
檔案和資料夾 → 會話交換盤
打開、修改,並儲存處理結果
查看傳輸進度,核對完成的檔案
RDP / VNC / X11 / Android
顯式讀取或設定遠端剪貼簿文字,再透過快速鍵貼上。它不會自動同步本機剪貼簿。RDP 剪貼簿能力取決於伺服器端策略,VNC 文字編碼取決於協商結果。
設定遠端剪貼簿,發送 CTRL+V,再檢查應用內結果。
快速上手RDP
RDP 音效播放和麥克風可分別選擇檢視端、受控電腦或關閉。使用受控電腦的音訊需要配套 Windows rdp-cli 音訊服務。錄音必須明確啟動,並取決於裝置和伺服器原則。
為需要語音的遠端工作預先選好方向,避免把聲音或麥克風資料送到錯誤的電腦。
快速上手Android · USB / Wi-Fi
透過 USB 或 Wi-Fi 連接手機。Agent 用指令觀看畫面、點擊、輸入並取回成果,你可隨時從視窗或瀏覽器查看同一工作階段。
支援 Android 的下載版本: macOS · Apple silicon · macOS · Intel · Windows · x64 · Windows · x86 · Windows · ARM64 · Linux · x86_64 · Linux · ARM64
擷取真實畫面,執行點擊、滑動、拖曳與雙指手勢,再以新截圖核對結果。
明確貼上中文與 emoji,傳輸檔案及資料夾,安裝、啟動或停止單一 APK 應用程式。
指令、原生視窗與授權瀏覽器共用持續連線;需要時隨時暫停或接管。
支援基準為 Android 12 以上。已實測裝置為執行 Android 12 的 Google Pixel 3,不代表所有品牌或後續系統版本皆已驗證。
連接 Android 手機 →Linux · X11 / SSH · Wayland RDP / VNC
連接既有 Linux 桌面或轉送單一 X11 應用程式,以螢幕擷取與輸入命令完成任務、取回檔案,並由人加入同一工作階段接管。
下載: macOS · Apple siliconmacOS · IntelWindows · x64Windows · x86Windows · ARM64Linux · x86_64Linux · ARM64
rdp-cli 讓 AI Agent 透過命令觀察並操作 Linux 應用程式。Agent 先擷取畫面,依照畫面操作,再檢查下一張畫面。你可開啟原生視窗或經授權的 Web 檢視器,觀看、暫停或接管同一工作階段。
範例在 rdp-cli 內建的隔離顯示環境開啟既有 Gedit,預設不開啟本機檢視視窗。儲存回應的 data.session,以下以 SESSION 表示。即使主機平常使用 Wayland 桌面,也可如此轉送支援 X11 的應用程式。
填入實際 display 與既有授權檔案路徑。SSH 帳號必須有權存取該 display;通過 SSH 驗證不代表取得桌面授權。此模式加入既有桌面,不建立另一個登入工作階段。
| 功能 | X11 |
|---|---|
| 截圖與鍵盤、滑鼠操作 | 支援 |
| 文本剪貼簿 | 依服務端策略與能力 |
| 檔案與資料夾 | 依服務端策略與能力 |
| 聲音與麥克風 | 不支援 |
| 請求多顯示器配置 | 不支援 |
原生 X11 不提供音訊播放或麥克風重新導向。存取完整 Wayland 桌面需已有設定完成的相容 RDP 或 VNC 端點,能力以實際協商結果為準。rdp-cli 不安裝或啟用遠端服務。顯示連線中斷或遺失後,應用程式可能結束,請先儲存,不要假設程式會自動重啟或工作區會被保留。
快速上手 →兩組真實任務:Agent 在 Mac 上透過 rdp-cli 命令操作遠端 Windows 11 應用程式,再取回完成的檔案。
LibreOffice Calc · RDP
rdp-cli files upload上傳準備好的活頁簿,其中包含十二個月的範例資料、圖表及彙總。
rdp-cli screenshot → click / type / key在遠端 Calc 開啟,透過 rdp-cli 貼上完成說明並儲存。
rdp-cli files download儲存並取回 XLSX,核對圖表與總計:15,230 次請求、14,933 次已解決、14,140 次達到目標。
Shotcut · RDP
rdp-cli files upload上傳原創動畫及準備好的四秒 Shotcut 專案。
rdp-cli screenshot → click / type / key在遠端 Shotcut 開啟專案,透過介面啟動 MP4 匯出。
rdp-cli files download匯出並取回 MP4,核對每秒 24 格、共 96 格、960 × 540 解析度及傳輸校驗值。
2026 年 10 月 20 日在實際執行的應用程式中重新擷取,涵蓋十種語言及明暗兩種主題。表格使用虛構資料,動畫為原創素材。這些是工作範例,不是效能測試。
RDP 與 VNC 共用命令工作流程。下表比較這兩種遠端桌面協議,擴充能力取決於協議及遠端服務。
| 功能 | RDP | VNC |
|---|---|---|
| 截圖與鍵盤、滑鼠操作 | 支援 | 支援 |
| 文本剪貼簿 | 依服務端策略與能力 | 依協商的文字編碼 |
| 檔案與資料夾 | 依服務端策略與能力 | 不支援 |
| 聲音與麥克風 | 依服務端策略與能力 | 不支援 |
| 請求多顯示器配置 | 依服務端策略與能力 | 不支援 |
VNC 的安全性取決於所選模式。傳統 VNC 不加密,應在可信任網路或 VPN 中使用;VeNCrypt X509Plain 使用 TLS,並要求驗證憑證。
瀏覽器觀看和控制適用於區域網路或 VPN。