rdp-cli
你的 AI Agent 會寫程式,但能操作真實桌面嗎?Computer Use Agent 指南
程式 Agent 可以編輯檔案、執行測試和建立 Pull Request,但許多真實業務仍然發生在圖形介面中。
這些任務可能涉及 Excel、ERP、財務軟體、PDF 工具、舊版 Windows 程式或 Android 應用程式。
那麼,AI Agent 能否操作真實桌面,而不只是停留在聊天視窗或終端機中?
可以。computer use agent 能讀取螢幕、點擊控制項、輸入文字、處理彈出視窗並驗證結果。透過 rdp-cli,Agent 可以連接已授權的 RDP、VNC、X11 或 Android 工作階段,而不會接管你的本機電腦。
什麼是 Computer Use Agent?
Computer use agent 透過圖形介面操作軟體,而不是只依賴 API 或命令列工具。
它可以讀取螢幕截圖、點擊按鈕、填寫表單、捲動視窗、使用鍵盤快速鍵、開啟檔案對話框並驗證可見結果。
可靠的流程是:觀察目前螢幕、執行一個動作、重新擷取螢幕,然後驗證結果。AI 模型負責推理,rdp-cli 負責遠端工作階段與桌面控制。
為什麼 AI Agent 需要真實桌面?
當應用程式提供穩定的結構化操作時,API 和 MCP 工具非常適合。但許多桌面流程依賴 API 無法提供的介面元素。
例如,Agent 可能需要開啟 Windows 應用程式,透過原生對話框登入,從下拉選單選擇項目,確認警告,匯出報告,並檢查輸出檔案是否產生。
這些步驟依賴視窗、按鈕、焦點、彈出視窗和檔案對話框。Computer use agent 可以像人一樣操作它們。
rdp-cli 的位置:缺少的工作階段層
Computer-use 工作流程包含不同層次:
| 層 | 主要職責 | 不負責解決的問題 |
|---|---|---|
| 模型原生 Computer Use | 理解螢幕截圖並選擇動作 | 遠端連線、工作階段所有權和人工交接 |
| RPA | 執行預先定義的選取器或流程 | 靈活的視覺推理和遠端工作階段生命週期 |
| MCP 用戶端 | 將桌面動作公開為工具 | 完整的遠端工作階段生命週期 |
| rdp-cli | 連線、維持並共享遠端工作階段 | AI 推理和任務規劃 |
模型原生 Computer Use 是推理層。RPA 適合穩定、重複和高頻的工作。MCP 提供 Agent 與工具之間的呼叫介面,但 MCP 本身不會定義遠端工作階段如何建立、維持、共享或交還給人員。
rdp-cli 承擔的是工作階段層。它把 Agent 連接到既有的授權環境,讓 Agent 和人工操作員使用同一個工作階段。
rdp-cli 支援:
- RDP、VNC、X11 和 Android 連線
- 使用 session ID 定位正確的遠端桌面
- 不開啟本機 Viewer 的無頭執行
- 螢幕截圖和基於 observation 的輸入
- 支援協定中的檔案傳輸
- 狀態等待和結果驗證
- 透過 GUI 或 Web Viewer 開啟同一工作階段
- 暫停、人工接管和將控制權交還給 Agent
rdp-cli 在 RDP、VNC、X11 和 Android ADB 之間使用一致的工作階段式 CLI 模型。每個連線仍然擁有獨立的 session ID;優勢在於不同目標類型可以使用一致的控制方式,而不是多個裝置共用同一個工作階段。
如何使用 rdp-cli 進行 AI GUI 自動化?
Agent 傳送輸入前,應先取得最新的螢幕截圖。找到目標控制項後,使用最新 observation 執行一次動作,再次擷取螢幕以驗證結果。
輸入命令成功只代表動作已送出,並不表示應用程式已完成操作。點擊 Save 後,Agent 應檢查確認訊息、新記錄編號、狀態變化、表格變化或產生的檔案。
請查看 rdp-cli 命令文件。
Agent 可以控制哪些環境?
透過 RDP,rdp-cli 可以自動化舊版 ERP、財務軟體、倉儲系統、Excel、PDF 工具、內部應用程式、桌面測試和安裝程式。
透過 X11,它可以控制支援的 Linux 圖形應用程式;透過 VNC,它可以控制現有的 VNC 桌面;透過 ADB,它可以經由 USB 或 Wi-Fi 控制已授權的 Android 裝置。
請查看 rdp-cli 快速入門。
能否不佔用本機電腦?
可以。Agent 可以在獨立的遠端工作階段中執行,你可以繼續使用本機電腦。需要檢查或介入時,再透過 GUI 或已授權的 Web Viewer 開啟同一個工作階段。
如果出現不確定狀態,應先暫停 Agent,人工接管並修正,交還控制權後,再要求 Agent 重新擷取螢幕。請參閱在同一個工作階段中觀看、暫停和接管 Agent。
rdp-cli 不負責什麼?
rdp-cli 不提供 AI 模型,不決定下一步動作,也不會自動建立遠端電腦。你需要既有的授權裝置、正確憑據,以及能讀取螢幕截圖並執行命令的 AI Agent。
具體能力取決於協定和伺服器設定。例如,RDP 的檔案傳輸和多顯示器能力需要遠端伺服器允許。rdp-cli 也不取代單元測試、API 測試或後端驗證。
常見問題
什麼是 computer use agent?
Computer use agent 是透過螢幕截圖、滑鼠、鍵盤和視覺驗證操作圖形介面的 AI 系統。
AI Agent 可以控制 Windows 桌面應用程式嗎?
可以。只要 RDP 工作階段已授權並可互動,Agent 就能控制包括沒有 API 或 SDK 的舊版應用程式。
rdp-cli 包含 AI Agent 嗎?
不包含。rdp-cli 提供遠端工作階段、螢幕截圖、輸入、檔案傳輸和控制交接,AI Agent 負責推理。
rdp-cli 必須使用 MCP 嗎?
不必須。你可以直接使用 rdp-cli CLI,也可以讓支援 MCP 的 Agent 使用可用的 MCP 介面。
為什麼使用 rdp-cli,而不是模型原生的 Computer Use?
當目標桌面已經存在於遠端、必須與本機電腦分離,或需要讓 AI Agent 和人工操作員共用同一工作階段時,rdp-cli 更合適。
總結
rdp-cli 的核心不是 AI 推理,也不是預先定義的 RPA 流程,而是連接 Agent 與真實遠端環境的工作階段層。
它讓 Agent 可以無頭執行、驗證螢幕截圖、傳輸檔案,並在需要時把同一個工作階段交給人工操作員。
下載 rdp-cli,讓 AI Agent 操作程式碼和終端機之外的真實桌面工作流程。