rdp-cli
下載

rdp-cli

MCP 與 Computer Use 有什麼不同？什麼時候需要桌面自動化

rdp-cli · 2026年10月26日

MCP 和 Computer Use 經常一起出現，但它們解決的是兩類不同的問題。

MCP 將 AI Agent 連接到工具和結構化資料。Computer Use 則讓 Agent 直接操作圖形介面，例如點擊按鈕、輸入文字、讀取螢幕內容。

該選哪一種，取決於目標工作提供了什麼介面。

MCP：適合結構化工具和資料

如果應用程式提供穩定的 API、CLI、資料庫操作或檔案操作，MCP 通常更適合。

MCP Server 可以讓 Agent：

  • 查詢資料庫
  • 建立支援工單
  • 讀取共用資料夾中的檔案
  • 呼叫雲端服務
  • 執行預先定義的部署命令
  • 檢查伺服器狀態

這些操作會回傳結構化結果，Agent 不需要尋找介面控制項，也不需要判斷螢幕座標。

典型流程是：

Agent -> MCP 工具 -> 應用程式或服務 -> 結構化結果

只要 API 或命令列可用，通常應優先使用 MCP。它更容易測試，也較不容易受到介面版面變化影響。

Computer Use：適合圖形介面

當工作只能在圖形化桌面中完成時，就需要 Computer Use。

常見情境包括：

  • 操作 Windows 專用應用程式
  • 使用沒有 API 的舊軟體
  • 透過遠端桌面執行工作
  • 處理檔案選擇器、匯出對話框和彈出視窗
  • 需要根據畫面進行確認的流程
  • 操作沒有可用 API 的網頁系統

流程也不同：

Agent -> 擷取螢幕 -> 傳送滑鼠或鍵盤操作 -> 再次擷取螢幕 -> 驗證結果

Agent 必須先觀察螢幕再操作。不能假設按鈕永遠在固定位置，也不能假設上一步點擊已經成功。

使用 rdp-cli 操作遠端 Windows 時，可以這樣做：

.\rdp-cli.exe screenshot --session SESSION --out before.png
.\rdp-cli.exe click --session SESSION --desktop --x 420 --y 260 --observation OBSERVATION
.\rdp-cli.exe screenshot --session SESSION --out after.png

關鍵不是點擊本身，而是點擊後確認結果。

必要時結合兩者

MCP 和 Computer Use 不是競爭關係，它們可以負責同一流程中的不同步驟。

例如，Agent 先用 MCP 取得工作和輸入檔案，並存取遠端 Windows 工作階段；接著用 Computer Use 開啟 Windows 應用程式、匯入檔案、完成介面操作並匯出結果；最後再用 MCP 上傳輸出檔案並更新工作狀態。

這種混合方式把結構化操作交給 MCP，只在真正需要時使用桌面自動化。

什麼時候選擇 Computer Use？

遇到以下情況時，可以使用桌面自動化：

  • 沒有可用的 API 或 CLI
  • 應用程式是 Windows 專用軟體
  • 工作依賴介面目前的狀態
  • 人通常需要透過對話框點擊完成工作
  • 軟體修改的資料無法透過其他管道存取
  • 需要操作既有的遠端桌面工作階段

不要因為 Computer Use 可用就預設使用它。如果 API 能可靠完成同一工作，通常 API 更合適。

一個實用判斷規則

先問一個問題：

這項工作能否透過文件化的 API、命令或結構化工具完成？

如果可以，優先從 MCP 開始。如果不行，而且工作需要圖形介面，就使用 Computer Use。遠端 Windows 情境應搭配支援螢幕擷取、滑鼠鍵盤輸入和工作階段驗證的 RDP 工具。

原則很簡單：

結構化操作使用 MCP，介面操作使用 Computer Use，重要的桌面動作必須驗證結果。

這樣可以讓 AI 自動化更穩定、更容易除錯，也更安全。