Agent 和你共用同一工作階段

rdp-cli 讓 AI Agent 透過命令觀察並操作 Linux 應用程式。Agent 先擷取畫面,依照畫面操作,再檢查下一張畫面。你可開啟原生視窗或經授權的 Web 檢視器,觀看、暫停或接管同一工作階段。

準備已獲授權的目標

Linux 電腦需已有 SSH 存取入口及已安裝的 X11 相容應用程式。請替換範例位址、帳號、私密金鑰路徑,以及經獨立核實的 known-hosts 檔案。在 Windows PowerShell 中,將 rdp-cli 改成 .\rdp-cli.exe。先確認 --version 的 embedded_ssh、x11_desktop、x11_application 均為 true。

開啟單一應用程式

範例在 rdp-cli 內建的隔離顯示環境開啟既有 Gedit,預設不開啟本機檢視視窗。儲存回應的 data.session,以下以 SESSION 表示。即使主機平常使用 Wayland 桌面,也可如此轉送支援 X11 的應用程式。

rdp-cli connect --protocol x11 --mode application --host 192.0.2.20 --user USER --ssh-key PRIVATE_KEY --ssh-known-hosts KNOWN_HOSTS --linux-file-root FILE_ROOT --application /usr/bin/gedit --app-args '["--standalone","--new-window"]'

或連接既有 X11 桌面

填入實際 display 與既有授權檔案路徑。SSH 帳號必須有權存取該 display;通過 SSH 驗證不代表取得桌面授權。此模式加入既有桌面,不建立另一個登入工作階段。

rdp-cli connect --protocol x11 --mode desktop --host 192.0.2.20 --user USER --ssh-key PRIVATE_KEY --ssh-known-hosts KNOWN_HOSTS --linux-file-root FILE_ROOT --display DISPLAY --xauthority XAUTHORITY_PATH

觀察、操作,再驗證

查看回傳的 PNG,並儲存 data.observation。以畫面上的實際座標取代 X、Y。聚焦輸入欄位後重新擷取畫面,再使用新權杖。明確指定的剪貼簿方法會取代遠端剪貼簿,不改變本機剪貼簿。輸入回應只確認已派送,之後仍須確認畫面結果。

rdp-cli screenshot --session SESSION --out before.png
rdp-cli click --session SESSION --x X --y Y --observation OBSERVATION
rdp-cli screenshot --session SESSION --out focused.png
rdp-cli linux text --session SESSION --method clipboard --text '審核已完成。' --observation OBSERVATION
rdp-cli screenshot --session SESSION --out after.png

取回成果檔案

在 Linux 應用程式開啟上傳結果的 remote_path,編輯、儲存後再下載成果。分別保留各次 transfer_id,等待狀態為 completed 才使用檔案。傳輸前先儲存,預設不覆寫同名檔案;發生錯誤時先查任務狀態,不要盲目重傳。

將 FILE_ROOT 替換為遠端已存在、且此 SSH 帳號可讀寫的目錄。檔案命令只存取該目錄;指定目錄不會建立目錄,也不會增加帳號權限。

rdp-cli files list --session SESSION
rdp-cli files upload --session SESSION --local ./report.txt --path report.txt
rdp-cli files status --session SESSION --transfer-id UPLOAD_TRANSFER
rdp-cli files download --session SESSION --path report.txt --local ./result.txt
rdp-cli files status --session SESSION --transfer-id DOWNLOAD_TRANSFER

讓人加入操作

需要觀看時再開啟此檢視器,它起初為唯讀。接管會停止 Agent 輸入;修正後交還控制,即可繼續同一任務。經授權的 Web 檢視器也加入同一工作階段,同時僅有一個檢視器可持有人工控制權。關閉唯讀檢視器不會中斷背景連線。

rdp-cli watch --session SESSION --viewer window

了解協定範圍

原生 X11 不提供音訊播放或麥克風重新導向。存取完整 Wayland 桌面需已有設定完成的相容 RDP 或 VNC 端點,能力以實際協商結果為準。rdp-cli 不安裝或啟用遠端服務。顯示連線中斷或遺失後,應用程式可能結束,請先儲存,不要假設程式會自動重啟或工作區會被保留。

Wayland 文字輸入取決於既有伺服器。GNOME 46 和 Krfb 23.08 可能無法映射部分 Unicode 按鍵,輸入後須核對結果。僅在該端點實際支援時使用明確的剪貼簿貼上:Plasma Wayland 上的 Krfb 可能公布剪貼簿能力卻未把內容交給應用程式。複雜輸入或快速操作應分步傳送,並檢查下一張截圖。

已實測的桌面端點: Ubuntu 24.04.5 · GNOME 46 / GNOME Remote Desktop 46.3; KDE Plasma 5.27.12 / Krfb 23.08.5.

繼續閱讀快速入門