rdp-cli

AI Agent 手機控制:讓你的 Agent 擁有一部真實 Android 手機

聊天框可以回答問題、編寫程式,也能說明如何使用 Android 應用程式。但它不能點擊按鈕、確認權限提示,也不能驗證真實手機上究竟發生了什麼。

真正有用的 AI Agent 不只需要對話能力,還需要受控地存取任務實際執行的裝置。

透過 rdp-cli,AI Agent 可以透過 ADB,使用 USB 或 Wi-Fi 控制已授權的 Android 手機。它可以查看即時畫面、傳送觸控和文字輸入、傳輸檔案,並在需要時讓人接管同一個工作階段。

什麼是 AI Agent 手機控制?

AI Agent 手機控制,是指讓 AI Agent 取得受控介面,從而操作真實 Android 裝置。

Agent 不只會產生操作說明,還可以:

  • 查看目前 Android 畫面
  • 找到下一個控制項
  • 點擊、滑動或輸入文字
  • 等待應用程式回應
  • 取得新的螢幕截圖
  • 驗證畫面結果
  • 需要時暫停並等待人工審核

基本流程如下:

觀察手機
→ 執行一個動作
→ 取得最新截圖
→ 驗證結果

當目標流程存在於行動應用程式中,而不是 API 中時,這種方式特別有用。

為什麼聊天框還不夠?

許多 Android 任務依賴真實的視覺狀態。

測試行動應用程式時,Agent 可能需要確認:

  • 正確的登入頁面是否出現
  • 權限提示是否開啟
  • 按鈕是否可用
  • 表單是否接受輸入
  • 警告對話框是否出現
  • 檔案是否產生
  • 流程是否到達最後畫面

文字回應無法證明這些結果。後端請求可能回傳成功,但應用程式仍可能顯示錯誤、失去焦點或停留在載入畫面。

真實手機也會呈現螢幕尺寸、Android 版本、權限和製造商差異造成的問題。

rdp-cli 的定位

rdp-cli 是 AI Agent 手機控制的工作階段層。它連接現有且已授權的 Android 裝置,並提供截圖、輸入、檔案和工作階段管理能力。

各部分職責清楚:

  • AI 模型判斷下一步要做什麼。
  • rdp-cli 負責連接並控制裝置。
  • Android 手機執行目標應用程式。
  • 截圖提供可檢查的視覺證據。

rdp-cli 不包含 AI 模型,也不要求額外安裝獨立 MCP Server。你可以依照 Agent 的工作方式使用 CLI 或 rdp-cli 內建的 MCP 介面。

具體連線命令請參閱 透過 USB 或 Wi-Fi 操作 Android 手機。

AI Agent 可以在 Android 手機上做什麼?

測試真實 Android 應用程式

Agent 可以開啟應用程式、輸入測試資料、執行流程,並指出預期畫面沒有出現的位置。

這適用於登入流程、結帳測試、內部業務應用程式、表單驗證、權限處理和錯誤訊息驗證。

操作只提供行動版的業務工具

如果內部系統只有 Android 應用程式,Agent 就需要操作員工實際使用的介面。它可以輸入受控資料、檢查狀態欄位,並保留流程完成後的證據。

傳輸測試檔案和結果

行動工作流程可能需要輸入檔案、匯出檔案或產生結果。rdp-cli 支援在支援的 Android 工作階段中上傳與下載檔案。

檔案存取遵循工作階段支援的路徑,並不代表可以任意存取所有應用程式私有目錄。

使用 Android 虛擬顯示

在支援的裝置上,rdp-cli 可以建立工作階段專屬的虛擬顯示並啟動應用程式。詳細流程請參閱 Android AI Agent 虛擬顯示自動化。

為什麼必須使用最新截圖?

傳送輸入命令不代表任務已經成功。

Agent 應在操作前取得截圖,使用最新 observation 執行一個動作,再取得新的截圖。重新連線、控制權變更或人工接管後,也必須重新觀察。

這可以避免輸入到錯誤欄位、遇到提示後仍繼續操作,或使用舊座標控制已經變化的畫面。

rdp-cli 命令參考提供截圖、輸入、檔案和工作階段管理命令。

人工接管仍然重要

Android GUI 自動化可能遇到需要人工判斷的情況:

  • 出現安全提示
  • 需要一次性登入確認
  • 即將執行不可逆操作
  • 應用程式進入未知狀態
  • 需要確認裝置授權
  • Agent 無法辨識正確控制項

使用 rdp-cli 時,人可以透過 GUI 或授權的 Web Viewer 開啟同一個工作階段,暫停 Agent 輸入,修正手機狀態,再把控制權交還給 Agent。

控制權變更後,Agent 必須取得新的截圖,不能繼續使用舊 observation。

要求與限制

使用前準備:

  • Android 12 或更高版本的裝置
  • 已啟用 USB 偵錯或無線偵錯
  • 已在手機上確認 ADB 授權
  • 已安裝目標應用程式
  • 在 Windows、macOS 或 Linux 上安裝 rdp-cli
  • 穩定的 USB 或 Wi-Fi 連線

Android 12+ 是目前支援基線。已驗證裝置為執行 Android 12 的 Google Pixel 3,不代表所有製造商或更高版本都已測試。

安全應用程式畫面可能限制截圖,應用程式行為可能因裝置而異,Wi-Fi 可能不如 USB 穩定,GUI 控制也不能取代應用程式測試或後端驗證。

常見問題

AI Agent 可以在沒有 API 的情況下控制 Android 嗎?

可以。Agent 可以透過截圖、觸控輸入和文字輸入操作 Android GUI。

rdp-cli 需要 MCP 嗎?

不需要。你可以透過 CLI 或內建 MCP 介面使用 rdp-cli,不需要額外的 MCP Server。

rdp-cli 內建 Android AI Agent 嗎?

不包含。rdp-cli 提供裝置連線和控制層,外部 AI Agent 負責推理和任務規劃。

人可以中途接管 Android 工作階段嗎?

可以。人可以暫停 Agent、修正狀態,再把同一個工作階段交還給 Agent。

總結

當真正的任務發生在手機上時,AI Agent 不需要另一個聊天框,而需要一部真實 Android 手機。

rdp-cli 為已授權 Android 裝置提供 USB 或 Wi-Fi 控制,讓 Agent 可以查看畫面、執行動作、驗證結果,並在需要時由人接管。

開始使用 Android 連線指南,查看 rdp-cli 功能 或 下載 rdp-cli。