rdp-cli
AI Agent 手機控制:讓你的 Agent 擁有一部真實 Android 手機
聊天框可以回答問題、編寫程式,也能說明如何使用 Android 應用程式。但它不能點擊按鈕、確認權限提示,也不能驗證真實手機上究竟發生了什麼。
真正有用的 AI Agent 不只需要對話能力,還需要受控地存取任務實際執行的裝置。
透過 rdp-cli,AI Agent 可以透過 ADB,使用 USB 或 Wi-Fi 控制已授權的 Android 手機。它可以查看即時畫面、傳送觸控和文字輸入、傳輸檔案,並在需要時讓人接管同一個工作階段。
什麼是 AI Agent 手機控制?
AI Agent 手機控制,是指讓 AI Agent 取得受控介面,從而操作真實 Android 裝置。
Agent 不只會產生操作說明,還可以:
- 查看目前 Android 畫面
- 找到下一個控制項
- 點擊、滑動或輸入文字
- 等待應用程式回應
- 取得新的螢幕截圖
- 驗證畫面結果
- 需要時暫停並等待人工審核
基本流程如下:
觀察手機
→ 執行一個動作
→ 取得最新截圖
→ 驗證結果
當目標流程存在於行動應用程式中,而不是 API 中時,這種方式特別有用。
為什麼聊天框還不夠?
許多 Android 任務依賴真實的視覺狀態。
測試行動應用程式時,Agent 可能需要確認:
- 正確的登入頁面是否出現
- 權限提示是否開啟
- 按鈕是否可用
- 表單是否接受輸入
- 警告對話框是否出現
- 檔案是否產生
- 流程是否到達最後畫面
文字回應無法證明這些結果。後端請求可能回傳成功,但應用程式仍可能顯示錯誤、失去焦點或停留在載入畫面。
真實手機也會呈現螢幕尺寸、Android 版本、權限和製造商差異造成的問題。
rdp-cli 的定位
rdp-cli 是 AI Agent 手機控制的工作階段層。它連接現有且已授權的 Android 裝置,並提供截圖、輸入、檔案和工作階段管理能力。
各部分職責清楚:
- AI 模型判斷下一步要做什麼。
- rdp-cli 負責連接並控制裝置。
- Android 手機執行目標應用程式。
- 截圖提供可檢查的視覺證據。
rdp-cli 不包含 AI 模型,也不要求額外安裝獨立 MCP Server。你可以依照 Agent 的工作方式使用 CLI 或 rdp-cli 內建的 MCP 介面。
具體連線命令請參閱 透過 USB 或 Wi-Fi 操作 Android 手機。
AI Agent 可以在 Android 手機上做什麼?
測試真實 Android 應用程式
Agent 可以開啟應用程式、輸入測試資料、執行流程,並指出預期畫面沒有出現的位置。
這適用於登入流程、結帳測試、內部業務應用程式、表單驗證、權限處理和錯誤訊息驗證。
操作只提供行動版的業務工具
如果內部系統只有 Android 應用程式,Agent 就需要操作員工實際使用的介面。它可以輸入受控資料、檢查狀態欄位,並保留流程完成後的證據。
傳輸測試檔案和結果
行動工作流程可能需要輸入檔案、匯出檔案或產生結果。rdp-cli 支援在支援的 Android 工作階段中上傳與下載檔案。
檔案存取遵循工作階段支援的路徑,並不代表可以任意存取所有應用程式私有目錄。
使用 Android 虛擬顯示
在支援的裝置上,rdp-cli 可以建立工作階段專屬的虛擬顯示並啟動應用程式。詳細流程請參閱 Android AI Agent 虛擬顯示自動化。
為什麼必須使用最新截圖?
傳送輸入命令不代表任務已經成功。
Agent 應在操作前取得截圖,使用最新 observation 執行一個動作,再取得新的截圖。重新連線、控制權變更或人工接管後,也必須重新觀察。
這可以避免輸入到錯誤欄位、遇到提示後仍繼續操作,或使用舊座標控制已經變化的畫面。
rdp-cli 命令參考提供截圖、輸入、檔案和工作階段管理命令。
人工接管仍然重要
Android GUI 自動化可能遇到需要人工判斷的情況:
- 出現安全提示
- 需要一次性登入確認
- 即將執行不可逆操作
- 應用程式進入未知狀態
- 需要確認裝置授權
- Agent 無法辨識正確控制項
使用 rdp-cli 時,人可以透過 GUI 或授權的 Web Viewer 開啟同一個工作階段,暫停 Agent 輸入,修正手機狀態,再把控制權交還給 Agent。
控制權變更後,Agent 必須取得新的截圖,不能繼續使用舊 observation。
要求與限制
使用前準備:
- Android 12 或更高版本的裝置
- 已啟用 USB 偵錯或無線偵錯
- 已在手機上確認 ADB 授權
- 已安裝目標應用程式
- 在 Windows、macOS 或 Linux 上安裝 rdp-cli
- 穩定的 USB 或 Wi-Fi 連線
Android 12+ 是目前支援基線。已驗證裝置為執行 Android 12 的 Google Pixel 3,不代表所有製造商或更高版本都已測試。
安全應用程式畫面可能限制截圖,應用程式行為可能因裝置而異,Wi-Fi 可能不如 USB 穩定,GUI 控制也不能取代應用程式測試或後端驗證。
常見問題
AI Agent 可以在沒有 API 的情況下控制 Android 嗎?
可以。Agent 可以透過截圖、觸控輸入和文字輸入操作 Android GUI。
rdp-cli 需要 MCP 嗎?
不需要。你可以透過 CLI 或內建 MCP 介面使用 rdp-cli,不需要額外的 MCP Server。
rdp-cli 內建 Android AI Agent 嗎?
不包含。rdp-cli 提供裝置連線和控制層,外部 AI Agent 負責推理和任務規劃。
人可以中途接管 Android 工作階段嗎?
可以。人可以暫停 Agent、修正狀態,再把同一個工作階段交還給 Agent。
總結
當真正的任務發生在手機上時,AI Agent 不需要另一個聊天框,而需要一部真實 Android 手機。
rdp-cli 為已授權 Android 裝置提供 USB 或 Wi-Fi 控制,讓 Agent 可以查看畫面、執行動作、驗證結果,並在需要時由人接管。
開始使用 Android 連線指南,查看 rdp-cli 功能 或 下載 rdp-cli。