RDP / VNC / Android / X11 / Wayland

讓 AI Agent 操作電腦和 Android 手機

了解遠端截圖、鍵鼠控制、檔案傳輸、剪貼簿、音訊和多螢幕功能。查看各協定支援的能力,以及如何在同一個工作階段中切換 Agent 操作與人工接管。

一套遠端桌面,完整的工作流程。

讓 AI Agent 操作遠端裝置,你隨時加入。

不開本機視窗,也能操作 RDP 桌面、VNC 桌面、X11 應用程式和 Android。需要查看或接手時,開啟 rdp-cli 的 GUI 或 Web,進入同一個工作階段。

依作業系統和 CPU 架構下載一個執行檔。使用下列命令前,先確認下載檔案實際包含的能力。

只看需要看的區域

擷取局部或縮小畫面,與上次觀察比較;沒有變化時不重複傳回圖片。座標仍與遠端畫面對應。

等畫面變化,也等檔案傳完

等待指定區域變化或穩定,或等待連線、操作、檔案傳輸到達指定狀態。繼續前仍需核對實際成果。

一小組操作,停下來核對

組合傳送 Agent 已確定的動作,加入新觀察並停在檢查點。出錯或控制權變更就停止後續步驟;已送出的動作不會復原。

保留進度,中斷後查清再繼續

儲存任務進度、檢查點和選定畫面,匯出本機報告。中斷後先核對已完成的工作,再提交新步驟,不重送結果未知的動作。

多個 Agent 分工,人隨時接手

註冊後的 Agent 明確交接唯一控制權。人透過 GUI 或 Web 接手後,可交還給指定 Agent;Agent 重新觀察再操作。

接入 Agent,也查清連線問題

同一個檔案提供內建 MCP 和命令列。以具名連線設定檔保存參數與憑證參照,用 doctor 分層檢查連線能力。

手機主螢幕或虛擬螢幕,由你選擇

在支援的 Android 裝置上明確建立虛擬螢幕,並在其中啟動應用程式。Agent、GUI、Web 使用同一顯示目標;應用程式行為和系統音訊授權仍依裝置規則執行。

快速上手 →
01

讓 Agent 完成工作

連接目標裝置,先看畫面,再送出一個動作。確認實際結果後繼續下一步。

RDP / VNC / X11 / Android

用命令完成遠端任務

取得桌面截圖,點擊、拖曳、捲動、輸入文字和快速鍵。Agent 讀取 JSON 回傳值,並查看下一張截圖判斷實際結果。命令發送成功,不等於應用內任務已經完成。

  • JSON 結果、錯誤代碼、操作查詢與事件訂閱,協助 Agent 判斷繼續、等待或復原。應用程式是否完成目標,仍須擷取新畫面核對。

先截圖,使用這張截圖的觀察權杖操作,再截圖驗證。

快速上手
01 / 命令驅動遠端
rdp-cli screenshot --session SESSION --out before.png

rdp-cli clipboard set --session SESSION \
  --text "結果:報表已完成,等待審核。" \
  --observation OBSERVATION

rdp-cli key --session SESSION \
  --keys CTRL+V --observation OBSERVATION

rdp-cli screenshot --session SESSION --out result.png

RDP / VNC / X11 / Android

RDP / VNC / Android / X11 / Wayland

rdp-cli 是為 AI Agent 打造的免費遠端存取工具:操控 RDP、VNC 桌面、Android 手機和 Linux X11 應用程式,也能透過既有 RDP 或 VNC 服務連接 Wayland 桌面。你可以開啟桌面視窗或瀏覽器觀看同一工作階段,隨時接管。

  • 操作桌面應用程式、交換檔案,並在遠端服務支援時使用音訊和多顯示器。
  • 連接既有的 VNC 服務,查看並操作桌面。文字剪貼簿能力取決於伺服器;VNC 不提供檔案傳輸、音訊或顯示器配置調整。
  • 透過 ADB 的 USB 或 Wi-Fi 連線查看與操作 Android 12 以上手機,需要手機偵錯授權。已測試 Pixel 3 / Android 12,其他機型的相容性可能不同。

透過 ADB 的 USB 或 Wi-Fi 連線查看與操作 Android 12 以上手機,需要手機偵錯授權。已測試 Pixel 3 / Android 12,其他機型的相容性可能不同。

快速上手

在 Linux 以單一程式連線 Windows RDP →

以命令連線 VNC 並驗證遠端輸入 →

RDP / VNC / X11 / Android

多臺電腦,持續連接

同時保持多個工作階段,透過工作階段 ID 指定操作目標。關閉唯讀視窗不會斷開連接。重連會使舊觀察權杖失效,並保持暫停;先檢查目前畫面,再明確恢復輸入。

  • 命令結束後,遠端連線仍可保留。後續操作透過工作階段 ID 找到對應桌面;重新連線後暫停輸入,重新觀察再繼續。

列出目前工作階段,查看其中一個的狀態,只斷開不再需要的連接。

快速上手

排查 RDP 連線、黑畫面與輸入遭拒問題 →

02

隨時觀看與接管

透過視窗與獲授權的瀏覽器觀看同一工作階段。暫停、親自修改,再交還 Agent 繼續。

RDP / VNC / X11 / Android

觀看、暫停和接管

Agent 預設以無頭模式工作。想查看進度或親自操作時,開啟同一工作階段的桌面視窗或已授權瀏覽器即可。Windows 和 Mac 使用系統控制項,Linux 的輕量介面包含在執行檔內。介面支援十種語言,檢視器視窗提供明暗主題。人工接管會暫停 Agent 輸入;交還後,Agent 重新查看目前畫面再繼續。

  • 新增觀看端沿用原有連線。多人可同時觀看,同一時間由一個控制者操作;交還控制後,Agent 重新觀察更新的畫面。

觀看任務,接管並修改一個細節,再把同一工作階段交回 Agent。

快速上手
查看真實接管過程

Agent 在遠端 Windows 的 LibreOffice Calc 中準備營運報告。使用者從瀏覽器接管審核,再交還控制權。

  1. 觀察 Agent 工作

    Agent 核對報告,留下等待審核的說明。

  2. 暫停工作

    暫停遠端輸入,報告仍保持可見。

  3. 接管並審核

    從瀏覽器接管,在同一份活頁簿中寫入審核通過。

  4. 交還並驗證

    交還控制權,Agent 儲存已審核的活頁簿並取回檔案。

儲存的活頁簿同時包含 Agent 的說明和人工審核結果,可下載實際檔案。

下載實際結果檔案 · XLSX (12.2 KB)

下載實際結果檔案 · XLSX (12.2 KB)

軟體實際執行時分別擷取十種語言、兩種主題。報告使用虛構的範例資料。

RDP / VNC / X11 / Android

集中管理進行中的工作階段

透過 Mac 選單列、Windows 系統匣或 Linux 面板管理工作階段,查看目標、連線、控制者、目前或最近操作、檔案進度與異常。桌面支援時,圖示會提示 Agent 活動。可開啟檢視器、暫停或中斷所選連線。

  • Mac 可依名稱或位址搜尋工作階段,Windows 則從系統匣選取。需要休息或檢查時,可從狀態選單一次暫停全部工作階段。 Linux 提供可搜尋的工作階段面板;桌面支援時也會顯示狀態圖示。沒有系統匣時,可用 presence show --panel 開啟面板。

開啟既有工作階段,無須再次登入遠端。Linux 狀態圖示取決於桌面支援,也可用 presence show --panel 直接開啟面板。

快速上手

RDP / VNC / X11 / Android

看懂每一次遠端操作

在桌面視窗或 Web 檢視器中,看清 Agent 指標、左中右鍵、雙擊、拖曳、捲動、快捷鍵與輸入字數。檔案進度獨立顯示,並標明人工或 Agent 來源。提示不會重複輸入內容,也不會寫入截圖;遠端畫面本身不會自動遮蔽。

  • 長按鍵盤或滑鼠時,操作提示與檔案進度分別顯示,關閉檔案面板也能看到進度。傳輸會標明人工或 Agent 來源;敏感輸入不顯示內容及字數。提示跟隨檢視器語言及亮暗主題,可調整或關閉,不影響遠端工作。

提示協助你掌握操作過程;工作是否完成,仍以遠端實際結果為準。

快速上手

RDP / VNC / X11 / Android

沿用現有帳號與權限

使用本機或網域帳號連接,按需儲存並引用系統認證資料儲存中的認證資料,單獨授予瀏覽器資源權限。RDP 證書設定與 VNC 安全模式各有邊界,應按實際環境設定。

  • 認證資料可儲存於系統認證資料存放區,日後直接引用。依需求授權瀏覽器存取畫面、控制與檔案等資源,任務結束後可撤銷存取權。

分別管理工作階段觀看、鍵鼠控制、檔案和麥克風等權限。

快速上手
03

完成整項遠端任務

搭配多螢幕、傳送專案資料夾、交換文字、聆聽遠端聲音,完成後再取回成果。

RDP

依螢幕查看與操作

在已協商多螢幕的 RDP 工作階段中,截取整個桌面或指定螢幕,依螢幕操作並跨螢幕拖曳。原生檢視器可為每個螢幕打開視窗,瀏覽器可切換螢幕。縮放查看視窗只改變本地顯示,不改變遠端設定。

  • 依螢幕截圖與操作,支援跨螢幕拖曳。
  • 原生視窗可逐螢幕展開;瀏覽器可切換螢幕或查看總覽。
  • 你只有一塊本機螢幕,也能查看遠端雙螢幕工作區。

專注查看一塊螢幕,同時保留整個遠端桌面的總覽。

快速上手

RDP / X11 / Android

交換檔案和資料夾

檔案與資料夾上傳、下載,保留目錄結構。 查看每項傳輸的進度與結果,按需取消。 遇到同名檔案由你選擇是否覆蓋,傳輸後驗證檔案內容。

上傳報告資料夾,在遠端修改文件,再取回結果;這不等於任意瀏覽遠端磁碟。

快速上手
  • RDP:透過工作階段重新導向磁碟交換檔案,遠端原則須允許磁碟重新導向。
  • X11 / SSH:使用伺服器既有的 SFTP 服務,在指定目錄內傳輸檔案。 X11 →
  • Android:在手機的工作階段目錄內傳輸檔案。VNC 不提供檔案傳輸通道。 Android →

RDP

  1. 上傳資料

    檔案和資料夾 → 會話交換盤

  2. 遠端處理

    打開、修改,並儲存處理結果

  3. 下載結果

    查看傳輸進度,核對完成的檔案

上傳準備好的活頁簿 → 在遠端 Calc 更新內容 → 儲存 → 下載。已核對下載檔案中的完成說明、公式、彙總及圖表。

查看試算表與影片任務實錄 →

以 RDP 命令列上傳與下載檔案 →

RDP / VNC / X11 / Android

按需讀寫遠端文字剪貼簿

顯式讀取或設定遠端剪貼簿文字,再透過快速鍵貼上。它不會自動同步本機剪貼簿。RDP 剪貼簿能力取決於伺服器端策略,VNC 文字編碼取決於協商結果。

  • 透過遠端剪貼簿傳遞位址、段落或表格文字。支援的文字也可用 type 命令直接輸入,無須取代剪貼簿。

設定遠端剪貼簿,發送 CTRL+V,再檢查應用內結果。

快速上手

RDP

分別選擇 RDP 聲音去向與麥克風來源

RDP 音效播放和麥克風可分別選擇檢視端、受控電腦或關閉。使用受控電腦的音訊需要配套 Windows rdp-cli 音訊服務。錄音必須明確啟動,並取決於裝置和伺服器原則。

  • 多個有權限的觀看端可同時收聽。
  • 需要語音輸入時,接管工作階段後主動開啟麥克風。
  • 交還控制或斷線時停止回傳;再次使用需明確開啟。

為需要語音的遠端工作預先選好方向,避免把聲音或麥克風資料送到錯誤的電腦。

快速上手

選擇 RDP 聲音與麥克風的位置 →

Android · USB / Wi-Fi

讓 AI Agent 操作真正的 Android 手機。

透過 USB 或 Wi-Fi 連接手機。Agent 用指令觀看畫面、點擊、輸入並取回成果,你可隨時從視窗或瀏覽器查看同一工作階段。

Android 手機 · USB / Wi-Fi →

支援 Android 的下載版本: macOS · Apple silicon · macOS · Intel · Windows · x64 · Windows · x86 · Windows · ARM64 · Linux · x86_64 · Linux · ARM64

觀看畫面,再操作

擷取真實畫面,執行點擊、滑動、拖曳與雙指手勢,再以新截圖核對結果。

文字、檔案與應用程式

明確貼上中文與 emoji,傳輸檔案及資料夾,安裝、啟動或停止單一 APK 應用程式。

人與 Agent 共用工作階段

指令、原生視窗與授權瀏覽器共用持續連線;需要時隨時暫停或接管。

支援基準為 Android 12 以上。已實測裝置為執行 Android 12 的 Google Pixel 3,不代表所有品牌或後續系統版本皆已驗證。

連接 Android 手機 →

使用範圍

Linux · X11 / SSH · Wayland RDP / VNC

讓 AI Agent 透過 X11 與 SSH 操作 Linux 應用程式

連接既有 Linux 桌面或轉送單一 X11 應用程式,以螢幕擷取與輸入命令完成任務、取回檔案,並由人加入同一工作階段接管。

下載: macOS · Apple siliconmacOS · IntelWindows · x64Windows · x86Windows · ARM64Linux · x86_64Linux · ARM64

Agent 和你共用同一工作階段

rdp-cli 讓 AI Agent 透過命令觀察並操作 Linux 應用程式。Agent 先擷取畫面,依照畫面操作,再檢查下一張畫面。你可開啟原生視窗或經授權的 Web 檢視器,觀看、暫停或接管同一工作階段。

開啟單一應用程式

範例在 rdp-cli 內建的隔離顯示環境開啟既有 Gedit,預設不開啟本機檢視視窗。儲存回應的 data.session,以下以 SESSION 表示。即使主機平常使用 Wayland 桌面,也可如此轉送支援 X11 的應用程式。

或連接既有 X11 桌面

填入實際 display 與既有授權檔案路徑。SSH 帳號必須有權存取該 display;通過 SSH 驗證不代表取得桌面授權。此模式加入既有桌面,不建立另一個登入工作階段。

集中管理進行中的工作階段
按任務選擇合適的協議。 · X11
功能X11
截圖與鍵盤、滑鼠操作支援
文本剪貼簿依服務端策略與能力
檔案與資料夾依服務端策略與能力
聲音與麥克風不支援
請求多顯示器配置不支援

原生 X11 不提供音訊播放或麥克風重新導向。存取完整 Wayland 桌面需已有設定完成的相容 RDP 或 VNC 端點,能力以實際協商結果為準。rdp-cli 不安裝或啟用遠端服務。顯示連線中斷或遺失後,應用程式可能結束,請先儲存,不要假設程式會自動重啟或工作區會被保留。

快速上手 →

讓 AI Agent 透過 X11 與 SSH 操作 Linux 應用程式 →

從遠端操作,到取得可用的成果

兩組真實任務:Agent 在 Mac 上透過 rdp-cli 命令操作遠端 Windows 11 應用程式,再取回完成的檔案。

LibreOffice Calc · RDP

更新報表,取回活頁簿

  1. rdp-cli files upload

    上傳準備好的活頁簿,其中包含十二個月的範例資料、圖表及彙總。

  2. rdp-cli screenshot → click / type / key

    在遠端 Calc 開啟,透過 rdp-cli 貼上完成說明並儲存。

  3. rdp-cli files download

    儲存並取回 XLSX,核對圖表與總計:15,230 次請求、14,933 次已解決、14,140 次達到目標。

Shotcut · RDP

匯出影片專案,取回 MP4

  1. rdp-cli files upload

    上傳原創動畫及準備好的四秒 Shotcut 專案。

  2. rdp-cli screenshot → click / type / key

    在遠端 Shotcut 開啟專案,透過介面啟動 MP4 匯出。

  3. rdp-cli files download

    匯出並取回 MP4,核對每秒 24 格、共 96 格、960 × 540 解析度及傳輸校驗值。

2026 年 10 月 20 日在實際執行的應用程式中重新擷取,涵蓋十種語言及明暗兩種主題。表格使用虛構資料,動畫為原創素材。這些是工作範例,不是效能測試。

按任務選擇合適的協議。

RDP 與 VNC 共用命令工作流程。下表比較這兩種遠端桌面協議,擴充能力取決於協議及遠端服務。

功能RDPVNC
截圖與鍵盤、滑鼠操作支援支援
文本剪貼簿依服務端策略與能力依協商的文字編碼
檔案與資料夾依服務端策略與能力不支援
聲音與麥克風依服務端策略與能力不支援
請求多顯示器配置依服務端策略與能力不支援

VNC 的安全性取決於所選模式。傳統 VNC 不加密,應在可信任網路或 VPN 中使用;VeNCrypt X509Plain 使用 TLS,並要求驗證憑證。

瀏覽器觀看和控制適用於區域網路或 VPN。