rdp-cli
Computer Use 獨佔電腦怎麼辦?解決方法
最後更新:2026 年 11 月 6 日
審核:rdp-cli 團隊
當 Computer Use Agent 操作本機桌面時,它需要控制滑鼠、鍵盤和目前視窗,因此可能出現滑鼠自動移動、輸入進入錯誤應用程式或視窗不斷切換的問題。
最可靠的方法不是讓人和 AI 同時操作同一個前景桌面,而是準備專用 Windows 電腦、虛擬機或雲端工作站,再透過 RDP 連線和控制。
使用 rdp-cli,Agent 可以操作 RDP、VNC、X11 或 Android 工作階段,人可以查看、暫停或接管同一個工作階段。
快速答案:如何解決 Computer Use 獨佔電腦?
為 AI Agent 準備獨立的遠端 Windows 環境,讓本機滑鼠和鍵盤繼續用於日常工作。需要人工介入時,以唯讀模式開啟遠端工作階段,暫停 Agent、接管控制權、完成修正後釋放控制權,並讓 Agent 取得新的截圖。
如果工作階段仍處於暫停狀態,需要明確恢復:
rdp-cli resume --session SESSION
設定方法請參考 rdp-cli 快速上手。
為什麼 Computer Use 會佔用電腦?
Computer Use 通常會執行以下循環:
- 截取目前畫面;
- 識別按鈕、視窗或輸入框;
- 移動滑鼠;
- 點擊或輸入;
- 再次截圖並繼續判斷。
如果 Agent 連接的是你的日常電腦,滑鼠位置、鍵盤焦點和前景視窗都會發生衝突。多個 Agent 同時傳送輸入時,也可能執行互相矛盾的操作。
1. 為 AI 準備專用遠端環境
準備專用 Windows 電腦、虛擬機或雲端工作站。rdp-cli 負責連線和控制這個環境,但不會替你建立虛擬機或購買雲端電腦。
本機:正常工作
│
└── RDP / VNC
│
專用 Windows 環境
│
AI Agent
這樣可以分離滑鼠鍵盤輸入、應用程式視窗、測試資料、匯出檔案和 AI 任務。它適合 ERP、財務軟體、Excel、舊版 Windows 應用程式和測試環境。
2. 只查看工作階段,不立即接管
只想觀察進度時,可以開啟現有工作階段的查看器:
rdp-cli watch --session SESSION --viewer window
透過區域網路或 VPN 使用授權瀏覽器查看器:
rdp-cli watch --session SESSION --viewer web
查看器預設為唯讀,Agent 可以繼續工作。多個查看器可以同時觀察,但同一時間只有一個查看器可以持有人類控制權。
3. 暫停 Agent 並人工接管
遇到錯誤、審批對話框或高風險操作時,先暫停輸入:
rdp-cli pause --session SESSION
然後讓已連線的查看器取得人工控制權:
rdp-cli control take \
--session SESSION \
--viewer-id VIEWER_ID
人工控制期間,Agent 輸入會被拒絕。完成修正後釋放控制權:
rdp-cli control release \
--session SESSION \
--viewer-id VIEWER_ID
如果工作階段仍暫停,再執行:
rdp-cli resume --session SESSION
參數請查看 rdp-cli 命令文件。
接管後為什麼必須重新截圖?
人工操作可能改變前景視窗、輸入焦點、對話框、滑鼠位置、視窗版面和檔案內容。接管前的截圖可能已經失效。
正確流程是:
暫停 Agent → 人工修正 → 釋放控制權 → 必要時恢復工作階段 → 取得新截圖 → 繼續執行。
Agent 不應繼續使用舊 observation,也不應重複已完成的動作。
多個 Agent 如何避免衝突?
多個 Agent 不應同時傳送輸入,應按順序交接:
Agent A 執行任務
↓
Agent A 釋放控制權
↓
Agent B 接管並取得新截圖
↓
Agent B 繼續執行
rdp-cli 支援 Agent 身份和控制權交接。新的 Agent 接管後,應從目前畫面重新觀察。
限制
rdp-cli 可以連線遠端工作階段並管理控制權,但不會讓兩個使用者安全地同時操作同一個本機前景視窗。RDP 伺服器並發限制、本機硬體依賴和單使用者應用程式仍需要個別處理。
建議使用專用帳戶、專用遠端環境和可重設的測試資料。
FAQ
Computer Use 可以在我使用電腦時背景執行嗎?
如果 Agent 操作本機桌面,就可能與滑鼠、鍵盤和前景視窗衝突。使用專用遠端電腦、虛擬機或雲端工作站更安全。
人工接管後 Agent 會自動繼續嗎?
釋放控制權後,Agent 應取得新的截圖和 observation。如果工作階段仍暫停,請使用 rdp-cli resume。
多個人可以同時查看遠端工作階段嗎?
可以。多個查看器可以唯讀觀察,但同一時間只有一個查看器可以持有人類控制權。
rdp-cli 是否包含 Computer Use 模型?
不包含。rdp-cli 提供遠端連線、截圖、鍵盤滑鼠輸入、檔案傳輸和控制權交接,外部 AI Agent 負責推理和規劃。
總結
Computer Use 獨佔電腦,是因為 AI 和人共享同一個桌面、滑鼠和鍵盤。
實用流程是:
專用遠端環境 → RDP 連線 → 唯讀觀察 → 暫停 → 人工接管 → 釋放或恢復 → 取得新截圖 → 交還 Agent。