rdp-cli

Computer Use 獨佔電腦怎麼辦?解決方法

最後更新:2026 年 11 月 6 日
審核:rdp-cli 團隊

當 Computer Use Agent 操作本機桌面時,它需要控制滑鼠、鍵盤和目前視窗,因此可能出現滑鼠自動移動、輸入進入錯誤應用程式或視窗不斷切換的問題。

最可靠的方法不是讓人和 AI 同時操作同一個前景桌面,而是準備專用 Windows 電腦、虛擬機或雲端工作站,再透過 RDP 連線和控制。

使用 rdp-cli,Agent 可以操作 RDP、VNC、X11 或 Android 工作階段,人可以查看、暫停或接管同一個工作階段。

快速答案:如何解決 Computer Use 獨佔電腦?

為 AI Agent 準備獨立的遠端 Windows 環境,讓本機滑鼠和鍵盤繼續用於日常工作。需要人工介入時,以唯讀模式開啟遠端工作階段,暫停 Agent、接管控制權、完成修正後釋放控制權,並讓 Agent 取得新的截圖。

如果工作階段仍處於暫停狀態,需要明確恢復:

rdp-cli resume --session SESSION

設定方法請參考 rdp-cli 快速上手。

為什麼 Computer Use 會佔用電腦?

Computer Use 通常會執行以下循環:

  1. 截取目前畫面;
  2. 識別按鈕、視窗或輸入框;
  3. 移動滑鼠;
  4. 點擊或輸入;
  5. 再次截圖並繼續判斷。

如果 Agent 連接的是你的日常電腦,滑鼠位置、鍵盤焦點和前景視窗都會發生衝突。多個 Agent 同時傳送輸入時,也可能執行互相矛盾的操作。

1. 為 AI 準備專用遠端環境

準備專用 Windows 電腦、虛擬機或雲端工作站。rdp-cli 負責連線和控制這個環境,但不會替你建立虛擬機或購買雲端電腦。

本機:正常工作
        │
        └── RDP / VNC
              │
        專用 Windows 環境
              │
          AI Agent

這樣可以分離滑鼠鍵盤輸入、應用程式視窗、測試資料、匯出檔案和 AI 任務。它適合 ERP、財務軟體、Excel、舊版 Windows 應用程式和測試環境。

2. 只查看工作階段,不立即接管

只想觀察進度時,可以開啟現有工作階段的查看器:

rdp-cli watch --session SESSION --viewer window

透過區域網路或 VPN 使用授權瀏覽器查看器:

rdp-cli watch --session SESSION --viewer web

查看器預設為唯讀,Agent 可以繼續工作。多個查看器可以同時觀察,但同一時間只有一個查看器可以持有人類控制權。

3. 暫停 Agent 並人工接管

遇到錯誤、審批對話框或高風險操作時,先暫停輸入:

rdp-cli pause --session SESSION

然後讓已連線的查看器取得人工控制權:

rdp-cli control take \
  --session SESSION \
  --viewer-id VIEWER_ID

人工控制期間,Agent 輸入會被拒絕。完成修正後釋放控制權:

rdp-cli control release \
  --session SESSION \
  --viewer-id VIEWER_ID

如果工作階段仍暫停,再執行:

rdp-cli resume --session SESSION

參數請查看 rdp-cli 命令文件。

接管後為什麼必須重新截圖?

人工操作可能改變前景視窗、輸入焦點、對話框、滑鼠位置、視窗版面和檔案內容。接管前的截圖可能已經失效。

正確流程是:

暫停 Agent → 人工修正 → 釋放控制權 → 必要時恢復工作階段 → 取得新截圖 → 繼續執行。

Agent 不應繼續使用舊 observation,也不應重複已完成的動作。

多個 Agent 如何避免衝突?

多個 Agent 不應同時傳送輸入,應按順序交接:

Agent A 執行任務
        ↓
Agent A 釋放控制權
        ↓
Agent B 接管並取得新截圖
        ↓
Agent B 繼續執行

rdp-cli 支援 Agent 身份和控制權交接。新的 Agent 接管後,應從目前畫面重新觀察。

限制

rdp-cli 可以連線遠端工作階段並管理控制權,但不會讓兩個使用者安全地同時操作同一個本機前景視窗。RDP 伺服器並發限制、本機硬體依賴和單使用者應用程式仍需要個別處理。

建議使用專用帳戶、專用遠端環境和可重設的測試資料。

FAQ

Computer Use 可以在我使用電腦時背景執行嗎?

如果 Agent 操作本機桌面,就可能與滑鼠、鍵盤和前景視窗衝突。使用專用遠端電腦、虛擬機或雲端工作站更安全。

人工接管後 Agent 會自動繼續嗎?

釋放控制權後,Agent 應取得新的截圖和 observation。如果工作階段仍暫停,請使用 rdp-cli resume。

多個人可以同時查看遠端工作階段嗎?

可以。多個查看器可以唯讀觀察,但同一時間只有一個查看器可以持有人類控制權。

rdp-cli 是否包含 Computer Use 模型?

不包含。rdp-cli 提供遠端連線、截圖、鍵盤滑鼠輸入、檔案傳輸和控制權交接,外部 AI Agent 負責推理和規劃。

總結

Computer Use 獨佔電腦,是因為 AI 和人共享同一個桌面、滑鼠和鍵盤。

實用流程是:

專用遠端環境 → RDP 連線 → 唯讀觀察 → 暫停 → 人工接管 → 釋放或恢復 → 取得新截圖 → 交還 Agent。