rdp-cli

你的 AI Agent 會寫程式,但能操作真實桌面嗎?Computer Use Agent 指南

程式 Agent 可以編輯檔案、執行測試和建立 Pull Request,但許多真實業務仍然發生在圖形介面中。

這些任務可能涉及 Excel、ERP、財務軟體、PDF 工具、舊版 Windows 程式或 Android 應用程式。

那麼,AI Agent 能否操作真實桌面,而不只是停留在聊天視窗或終端機中?

可以。computer use agent 能讀取螢幕、點擊控制項、輸入文字、處理彈出視窗並驗證結果。透過 rdp-cli,Agent 可以連接已授權的 RDP、VNC、X11 或 Android 工作階段,而不會接管你的本機電腦。

什麼是 Computer Use Agent?

Computer use agent 透過圖形介面操作軟體,而不是只依賴 API 或命令列工具。

它可以讀取螢幕截圖、點擊按鈕、填寫表單、捲動視窗、使用鍵盤快速鍵、開啟檔案對話框並驗證可見結果。

可靠的流程是:觀察目前螢幕、執行一個動作、重新擷取螢幕,然後驗證結果。AI 模型負責推理,rdp-cli 負責遠端工作階段與桌面控制。

為什麼 AI Agent 需要真實桌面?

當應用程式提供穩定的結構化操作時,API 和 MCP 工具非常適合。但許多桌面流程依賴 API 無法提供的介面元素。

例如,Agent 可能需要開啟 Windows 應用程式,透過原生對話框登入,從下拉選單選擇項目,確認警告,匯出報告,並檢查輸出檔案是否產生。

這些步驟依賴視窗、按鈕、焦點、彈出視窗和檔案對話框。Computer use agent 可以像人一樣操作它們。

rdp-cli 的位置:缺少的工作階段層

Computer-use 工作流程包含不同層次:

層 主要職責 不負責解決的問題
模型原生 Computer Use 理解螢幕截圖並選擇動作 遠端連線、工作階段所有權和人工交接
RPA 執行預先定義的選取器或流程 靈活的視覺推理和遠端工作階段生命週期
MCP 用戶端 將桌面動作公開為工具 完整的遠端工作階段生命週期
rdp-cli 連線、維持並共享遠端工作階段 AI 推理和任務規劃

模型原生 Computer Use 是推理層。RPA 適合穩定、重複和高頻的工作。MCP 提供 Agent 與工具之間的呼叫介面,但 MCP 本身不會定義遠端工作階段如何建立、維持、共享或交還給人員。

rdp-cli 承擔的是工作階段層。它把 Agent 連接到既有的授權環境,讓 Agent 和人工操作員使用同一個工作階段。

rdp-cli 支援:

  • RDP、VNC、X11 和 Android 連線
  • 使用 session ID 定位正確的遠端桌面
  • 不開啟本機 Viewer 的無頭執行
  • 螢幕截圖和基於 observation 的輸入
  • 支援協定中的檔案傳輸
  • 狀態等待和結果驗證
  • 透過 GUI 或 Web Viewer 開啟同一工作階段
  • 暫停、人工接管和將控制權交還給 Agent

rdp-cli 在 RDP、VNC、X11 和 Android ADB 之間使用一致的工作階段式 CLI 模型。每個連線仍然擁有獨立的 session ID;優勢在於不同目標類型可以使用一致的控制方式,而不是多個裝置共用同一個工作階段。

如何使用 rdp-cli 進行 AI GUI 自動化?

Agent 傳送輸入前,應先取得最新的螢幕截圖。找到目標控制項後,使用最新 observation 執行一次動作,再次擷取螢幕以驗證結果。

輸入命令成功只代表動作已送出,並不表示應用程式已完成操作。點擊 Save 後,Agent 應檢查確認訊息、新記錄編號、狀態變化、表格變化或產生的檔案。

請查看 rdp-cli 命令文件。

Agent 可以控制哪些環境?

透過 RDP,rdp-cli 可以自動化舊版 ERP、財務軟體、倉儲系統、Excel、PDF 工具、內部應用程式、桌面測試和安裝程式。

透過 X11,它可以控制支援的 Linux 圖形應用程式;透過 VNC,它可以控制現有的 VNC 桌面;透過 ADB,它可以經由 USB 或 Wi-Fi 控制已授權的 Android 裝置。

請查看 rdp-cli 快速入門。

能否不佔用本機電腦?

可以。Agent 可以在獨立的遠端工作階段中執行,你可以繼續使用本機電腦。需要檢查或介入時,再透過 GUI 或已授權的 Web Viewer 開啟同一個工作階段。

如果出現不確定狀態,應先暫停 Agent,人工接管並修正,交還控制權後,再要求 Agent 重新擷取螢幕。請參閱在同一個工作階段中觀看、暫停和接管 Agent。

rdp-cli 不負責什麼?

rdp-cli 不提供 AI 模型,不決定下一步動作,也不會自動建立遠端電腦。你需要既有的授權裝置、正確憑據,以及能讀取螢幕截圖並執行命令的 AI Agent。

具體能力取決於協定和伺服器設定。例如,RDP 的檔案傳輸和多顯示器能力需要遠端伺服器允許。rdp-cli 也不取代單元測試、API 測試或後端驗證。

常見問題

什麼是 computer use agent?

Computer use agent 是透過螢幕截圖、滑鼠、鍵盤和視覺驗證操作圖形介面的 AI 系統。

AI Agent 可以控制 Windows 桌面應用程式嗎?

可以。只要 RDP 工作階段已授權並可互動,Agent 就能控制包括沒有 API 或 SDK 的舊版應用程式。

rdp-cli 包含 AI Agent 嗎?

不包含。rdp-cli 提供遠端工作階段、螢幕截圖、輸入、檔案傳輸和控制交接,AI Agent 負責推理。

rdp-cli 必須使用 MCP 嗎?

不必須。你可以直接使用 rdp-cli CLI,也可以讓支援 MCP 的 Agent 使用可用的 MCP 介面。

為什麼使用 rdp-cli,而不是模型原生的 Computer Use?

當目標桌面已經存在於遠端、必須與本機電腦分離,或需要讓 AI Agent 和人工操作員共用同一工作階段時,rdp-cli 更合適。

總結

rdp-cli 的核心不是 AI 推理,也不是預先定義的 RPA 流程,而是連接 Agent 與真實遠端環境的工作階段層。

它讓 Agent 可以無頭執行、驗證螢幕截圖、傳輸檔案,並在需要時把同一個工作階段交給人工操作員。

下載 rdp-cli,讓 AI Agent 操作程式碼和終端機之外的真實桌面工作流程。