rdp-cli
下載

rdp-cli

MCP 工具 vs GUI 電腦操作：Agent 何時需要真實桌面

rdp-cli · 2026年10月29日

MCP 工具和 GUI 電腦操作解決的是兩類不同的問題。

當應用程式提供可靠 API 時，MCP 工具更適合：查詢資料庫、建立工單、更新 CRM 記錄或產生結構化報告。Agent 傳送明確參數，並取得結構化結果。

但許多真實任務沒有可用 API。Agent 可能需要開啟舊版 Windows 軟體、完成視覺化流程、檢查圖表、操作影片編輯器，或進入正在被人使用的桌面工作階段。這時就需要 GUI 電腦操作。

何時優先使用 MCP 工具

  • 系統有穩定的 API。
  • 任務主要處理結構化資料。
  • 你需要可預測的輸出和清楚的記錄。
  • 應用程式在沒有圖形介面的伺服器上執行。
  • 你不想依賴容易變動的螢幕座標。

更新 500 筆客戶資料通常應呼叫 API 或 MCP。讓 Agent 開啟瀏覽器逐筆點擊會更慢，也更難驗證。

何時 Agent 需要真實桌面

當桌面本身就是介面時，GUI 很有用，例如選單、對話框、時間軸、拖放、本機檔案或目前的使用者工作階段。rdp-cli 支援 Agent 使用 RDP 和 VNC 桌面、擷取螢幕、傳輸檔案、操作多個顯示器，並允許人接手同一個工作階段。

一個實用的混合工作流程

  1. 用 MCP 取得資料或準備任務。
  2. 將檔案上傳到遠端桌面。
  3. 讓 Agent 操作桌面應用程式。
  4. 在重要操作後重新擷取螢幕。
  5. 下載完成的檔案。
  6. 如果螢幕狀態不明確，讓人接手。
rdp-cli files upload --session SESSION --local .\sales.xlsx --path sales.xlsx
rdp-cli screenshot --session SESSION --monitor M1 --out before.png

完成後：

rdp-cli screenshot --session SESSION --monitor M1 --out after.png
rdp-cli files download --session SESSION --path report.pdf --local .\report.pdf

系統能直接提供資料時，用 MCP；任務依賴人眼看到並點擊的內容時，用真實桌面。