rdp-cli
如何讓 AI Agent 在背景執行而不佔用你的電腦
如何讓 AI Agent 在背景執行而不佔用你的電腦
讓 AI Agent 直接操作本機電腦,很容易打斷你的工作。Agent 可能切換目前視窗、移動滑鼠、把文字輸入錯誤的程式,甚至在你操作時搶走螢幕控制權。
更實用的方式,是為 Agent 分配一個獨立的遠端工作階段。
透過 rdp-cli,AI Agent 可以控制經授權的 RDP、VNC、X11 或 Android 工作階段,不必在本機開啟遠端桌面視窗。你可以繼續使用自己的電腦,只在需要查看、暫停或接管時加入遠端工作階段。
本文聚焦於 Agent 遠端工作時,如何讓本機電腦保持可用。一般 Windows RDP 自動化流程可參考 讓 AI Agent 操作遠端 Windows 桌面。
快速回答:如何讓 AI Agent 在背景執行?
將 Agent 連接到獨立的遠端桌面工作階段,而不是本機螢幕。Agent 可以透過 rdp-cli 截圖、傳送滑鼠和鍵盤輸入、傳輸檔案並驗證結果。需要人工檢查或接管時,再開啟 GUI 或 Web Viewer。
這裡的「背景執行」是指 Agent 在獨立的遠端工作階段中工作,不代表 rdp-cli 會建立系統服務、排程工作或雲端電腦。
為什麼要讓 AI Agent 在背景執行?
本機桌面自動化會讓使用者與 Agent 共用同一個桌面。
例如,你正在寫程式,而 Agent 需要開啟 Excel、測試 Windows 安裝程式或操作內部 ERP。共用桌面時,Agent 可能切換你的視窗、移動滑鼠、把文字輸入錯誤的程式或中斷快捷鍵。
使用獨立遠端工作階段後,Agent 在另一台電腦上工作,本機應用程式可以保持焦點。
這種方式適合沒有 API 的舊版 Windows 軟體、桌面應用程式測試、Excel 與報表處理、遠端檔案轉換、長時間 GUI 工作流程、Android ADB 測試,以及透過 X11 操作 Linux GUI 應用程式。
本機桌面與遠端工作階段的差異
| 比較項目 | Agent 操作本機桌面 | Agent 透過 rdp-cli 操作遠端工作階段 |
|---|---|---|
| 滑鼠與鍵盤衝突 | 與本機工作共用桌面 | 不影響本機輸入 |
| 是否需要本機視窗 | 取決於自動化工具 | 一般命令不需要 Viewer |
| 人工接管 | 接管目前本機螢幕 | 加入同一個遠端工作階段 |
| 對本機工作的影響 | 可能打斷正在執行的程式 | 本機應用程式保持焦點 |
| 適合的任務 | 短時間、有人監督的任務 | 遠端及長時間 GUI 工作流程 |
開始前需要準備什麼?
準備一台經授權的遠端裝置、RDP 或 VNC 服務、X11 環境或 Android 裝置,並在執行 Agent 的電腦上安裝相符版本的 rdp-cli。你還需要能執行命令和讀取截圖的 AI Agent,以及安全提供遠端憑據的方式。
RDP 需要目標 Windows 允許遠端桌面連線;VNC 需要已有 VNC Server;Android 自動化需要授權 USB 或 Wi-Fi 偵錯。
rdp-cli 不會建立或託管遠端電腦。你需要一台已存在且有權操作的遠端裝置。
請參考 rdp-cli 快速入門。
使用 rdp-cli 讓 AI Agent 在背景執行
第一步:安裝 rdp-cli
下載與執行 Agent 的電腦和 CPU 架構相符的版本。rdp-cli 支援 Windows x64、x86、ARM64,macOS Intel、Apple silicon,以及 Linux x86_64、ARM64。
.\rdp-cli.exe --help
macOS 或 Linux:
rdp-cli --help
不要把遠端密碼直接寫在命令列中,請使用環境支援的密碼輸入方式。
第二步:連接遠端工作階段
連接現有的 Windows RDP Server:
.\rdp-cli.exe connect `
--host REMOTE_HOST `
--user REMOTE_USER `
--password-stdin
保存回傳的 session ID,後續截圖、輸入、檔案傳輸與工作階段控制都要使用它。這一步不需要開啟本機 RDP Viewer。
第三步:截取遠端螢幕
在執行操作前,先取得目前螢幕:
.\rdp-cli.exe screenshot `
--session SESSION `
--out .\before.png
Agent 應該讀取最新截圖,而不是假設應用程式已經準備好。
第四步:執行一個操作
根據最新 observation 執行一次點擊:
.\rdp-cli.exe click `
--session SESSION `
--desktop `
--x X `
--y Y `
--observation OBSERVATION
輸入文字:
.\rdp-cli.exe type `
--session SESSION `
--text "Remote task completed." `
--observation NEW_OBSERVATION
截圖、重新連線、顯示配置變更或人工接管後,都必須使用新的 observation。
第五步:驗證實際結果
命令成功只代表輸入已傳送,不代表遠端應用程式已完成任務。
可靠流程是:截取螢幕 → 執行一個操作 → 重新截圖 → 驗證可見結果。
按下 Save 後,檢查確認訊息、新記錄編號、狀態變化、表格資料列或匯出檔案。預期結果沒有出現時,應停止並檢查目前螢幕。
詳細命令見 rdp-cli 命令文件。
不開啟本機桌面也能傳輸檔案
遠端 Agent 經常需要處理本機檔案。常見流程是上傳專案資料夾,在遠端桌面應用程式中開啟,產生報表,再下載結果。
在支援的 RDP 工作階段中,rdp-cli 可以透過工作階段交換檔案,但遠端伺服器必須允許相應的檔案或磁碟機重新導向。傳輸完成後應核對檔案。
什麼時候需要開啟 GUI 或 Web Viewer?
一般 Agent 命令不需要 Viewer。需要查看任務、調查異常畫面、批准安全提示、手動修正表單或接管遠端滑鼠鍵盤時,可以開啟同一個工作階段。
Web Viewer 應透過 LAN 或 VPN 授權存取。它連接的是正在執行的工作階段,不是公開的 rdp-cli 官網。
人工接管如何運作?
安全的交接流程是:Agent 工作 → 人工暫停 Agent 輸入 → 人工接管 → 修正遠端桌面 → 釋放控制權 → Agent 取得新截圖 → Agent 繼續工作。
人工控制後不能繼續使用舊截圖或舊 observation。完整流程見 觀看、暫停及接管 AI Agent 的遠端桌面。
rdp-cli 不負責什麼?
rdp-cli 是遠端控制層,不包含 AI 模型,也不決定 Agent 下一步要做什麼。它不會自動建立雲端電腦,也不能取代 API 測試、單元測試或後端測試。
如果應用程式有穩定 API,後端邏輯應優先使用 API;只有當任務存在於桌面介面中時,才適合使用 GUI 自動化。
常見問題
AI Agent 可以不開啟視窗就控制遠端桌面嗎?
可以。rdp-cli 可以連接已授權的 RDP、VNC、X11 或 Android 工作階段,一般命令不需要開啟本機 Viewer。
rdp-cli 會佔用我的本機滑鼠和鍵盤嗎?
不會。Agent 操作的是遠端工作階段,本機滑鼠、鍵盤和目前應用程式仍可供你使用。
這等同於把 AI Agent 作為背景服務執行嗎?
不等同。背景服務通常沒有可見桌面工作階段;rdp-cli 為 Agent 提供一個可以截圖和控制的獨立遠端桌面。
rdp-cli 內建 AI 模型嗎?
沒有。rdp-cli 提供遠端連線、截圖、輸入、檔案傳輸和工作階段控制,推理由你選擇的 AI Agent 完成。
人可以在 Agent 工作時接管嗎?
可以。你可以透過 GUI 或 Web Viewer 加入同一個工作階段,暫停 Agent 輸入,人工操作後再交還控制權。
rdp-cli 會建立遠端 Windows 電腦嗎?
不會。你需要一台已啟用 RDP 且經授權的 Windows 電腦。
總結
當 AI Agent 擁有獨立遠端工作區時,讓它在背景執行就不會影響你的本機工作。
rdp-cli 可以連接 RDP、VNC、X11 或 Android,讀取截圖、執行 GUI 操作、傳輸檔案並驗證結果;需要時,你還可以接管同一個工作階段。
下載 rdp-cli,為 AI Agent 提供獨立的遠端桌面。