什麼是 AI Agent 的電腦使用？桌面自動化實用指南

rdp-cli

2026年10月23日

什麼是電腦使用

電腦使用，是指 AI Agent 透過可見介面操作電腦：讀取畫面、點擊控制項、輸入文字、開啟應用程式，並檢查操作結果。

當任務依賴沒有可用 API 的桌面軟體時，這種方式很有價值。Agent 可以使用影片編輯器、檢查試算表、操作舊版軟體、管理檔案，或使用 Android 應用程式，而不必為每個應用程式單獨開發整合。

像 rdp-cli 這樣的工具，可以把 Agent 連接到 RDP、VNC 桌面和 Android 12 以上裝置。同一個工作階段可以由人查看、暫停，或在需要核准時接管。

可靠流程：觀察、操作、驗證

電腦使用不應該是一串未經確認的盲目點擊，而應該是一個短回饋循環：

擷取目前畫面。
找到下一個目標。
執行一個小操作。
再次擷取畫面。
確認實際結果後再繼續。

例如，Agent 可以這樣檢查遠端桌面：

rdp-cli screenshot --session SESSION --out before.png

找到輸入框或按鈕後，再點擊並輸入：

rdp-cli click --session SESSION --desktop \
  --x X --y Y --observation OBSERVATION

rdp-cli type --session SESSION \
  --text "Remote task completed." \
  --observation NEW_OBSERVATION

操作後的截圖很重要。它能告訴 Agent 視窗是否變化、是否出現錯誤，以及輸入是否被接受。如果畫面與預期不符，Agent 應停止並重新檢查，而不是繼續點擊。

適合哪些任務

桌面應用程式。 在影片編輯器中匯入素材、剪輯、匯出 MP4，並檢查輸出檔案是否存在。

試算表處理。 開啟活頁簿、比較實際值與目標值並製作報告，同時保留簡單 CSV 流程可能遺失的圖表、公式或增益集。

檔案流程。 將來源檔案傳送到遠端工作區，在那裡處理，再取回報告、影片或文件。

Android 操作。 透過 USB 或 Wi-Fi 連接支援的手機，在沒有合適 API 的應用程式中點擊、輸入並處理檔案。

保持人工控制

發佈內容、刪除檔案、傳送訊息或確認購買等操作通常應該需要人工核准。實際工作中，可以讓 Agent 處理重複步驟，由人查看同一個工作階段，必要時暫停輸入、接管操作，再把工作階段交還給 Agent。

避免失敗的四項規則

使用小而容易驗證的操作。
在重要步驟前後都截圖。
不要把密碼和 API 金鑰放進提示詞或文章內容。
遇到異常對話框、登入頁面或錯誤時立即停止。

如果存在穩定的 API，優先使用 API。電腦使用最適合圖形化、舊版，或需要串聯多個現有應用程式的流程。它的目的不是取代所有自動化方式，而是讓 AI Agent 受控地使用人們已經在用的軟體。