rdp-cli

AIエージェントのスマホ操作:エージェントに本物のAndroidスマートフォンを与える

チャットボックスは質問に答えたり、コードを書いたり、Androidアプリの使い方を説明したりできます。しかし、ボタンをタップしたり、権限ダイアログを確認したり、実際のスマートフォンで何が起きたかを検証したりはできません。

実用的なAIエージェントには会話だけでなく、タスクが実行される実機への制御されたアクセスが必要です。

rdp-cliを使うと、AIエージェントはADB経由で、USBまたはWi-Fi接続された認証済みAndroidスマートフォンを操作できます。画面の取得、タッチ入力、テキスト入力、ファイル転送を行い、必要なときは同じセッションを人に引き継げます。

AIエージェントのスマホ操作とは?

AIエージェントのスマホ操作とは、AIエージェントに実際のAndroid端末を操作するための制御されたインターフェースを与えることです。

エージェントは手順を生成するだけでなく、次のことができます。

  • 現在のAndroid画面を確認する
  • 次に操作するコントロールを特定する
  • タップ、スワイプ、文字入力を行う
  • アプリの応答を待つ
  • 新しいスクリーンショットを取得する
  • 画面上の結果を検証する
  • 必要に応じて停止して人の確認を待つ

基本ループは次のとおりです。

スマートフォンを観察
→ 1つの操作を実行
→ 新しいスクリーンショットを取得
→ 結果を検証

対象の処理がAPIではなくモバイルアプリ内に存在する場合、この方法が役立ちます。

チャットボックスだけでは足りない理由

Androidの多くの作業は、画面の状態に依存します。

モバイルアプリをテストする場合、エージェントは次の状態を確認する必要があります。

  • 正しいログイン画面が表示されたか
  • 権限ダイアログが開いたか
  • ボタンが有効になっているか
  • フォームが入力を受け付けたか
  • 警告ダイアログが表示されたか
  • ファイルが作成されたか
  • ワークフローが最終画面に到達したか

テキストだけでは、これらを証明できません。バックエンドのリクエストが成功しても、アプリがエラー表示のまま、フォーカスを失ったまま、または読み込み中のままになることがあります。

実機では、画面サイズ、Androidバージョン、権限、メーカー差による問題も確認できます。

rdp-cliの役割

rdp-cliはAIエージェントのスマホ操作を支えるセッションレイヤーです。既存の認証済みAndroid端末に接続し、画面取得、入力、ファイル転送、セッション管理を提供します。

役割は分かれています。

  • AIモデルが次の行動を判断する
  • rdp-cliが端末に接続して操作する
  • Android端末が対象アプリを実行する
  • スクリーンショットが結果の証拠になる

rdp-cliにはAIモデルは含まれません。別のMCPサーバーも必須ではありません。エージェントに合わせてCLIまたは内蔵MCPインターフェースを利用できます。

具体的な接続手順は USBまたはWi-FiでAndroidスマートフォンを操作する を参照してください。

AIエージェントでAndroidにできること

実際のAndroidアプリをテストする

アプリを起動し、テストデータを入力し、フローを実行して、期待した画面にならなかった場所を報告できます。

ログイン、決済テスト、社内アプリ、フォーム検証、権限処理、エラー表示の確認に使えます。

モバイル専用の業務ツールを操作する

社内システムがAndroidアプリだけで提供されている場合、エージェントは実際の利用者と同じ画面を操作できます。管理されたデータを入力し、状態を確認し、完了画面を証拠として残せます。

テストファイルと結果を転送する

入力ファイルや出力ファイルが必要な作業では、対応するAndroidセッションを通じてファイルをアップロード、ダウンロードできます。アクセスできるのはセッションが提供するパスであり、すべてのアプリ専用ディレクトリではありません。

Android仮想ディスプレイを使う

対応端末では、セッション専用の仮想ディスプレイを作成してアプリを起動できます。詳しくは AIエージェント向けAndroid仮想ディスプレイ自動化 を参照してください。

最新のスクリーンショットが必要な理由

入力コマンドが成功しただけでは、タスクが完了したとは言えません。

操作前に画面を取得し、最新の観測結果を使って1つの操作を送り、操作後にもう一度画面を取得します。再接続、制御権の変更、人による引き継ぎの後も、必ず新しい画面を確認してください。

これにより、間違ったフィールドへの入力、予期しないダイアログ後の誤操作、古い座標の再利用を防げます。

スクリーンショット、入力、ファイル、セッション操作はrdp-cliコマンドリファレンスで確認できます。

人による引き継ぎ

セキュリティ確認、ワンタイム承認、破壊的な操作、予期しない画面、端末認証、認識できないコントロールが発生したら、人が判断する必要があります。

rdp-cliではGUIまたは認証済みWeb Viewerから同じセッションを開き、エージェントの入力を一時停止して端末を操作し、その後エージェントに制御を戻せます。制御が変わった後は、エージェントが新しいスクリーンショットを取得してから再開します。

要件と制限

必要なものは、Android 12以降の端末、USBデバッグまたはワイヤレスデバッグ、ADB認証、対象アプリ、Windows・macOS・Linux向けrdp-cli、安定したUSBまたはWi-Fi接続です。

Android 12以降が現在のサポート基準です。検証済み端末はAndroid 12のGoogle Pixel 3で、すべてのメーカーや新しいバージョンを保証するものではありません。

セキュアな画面はキャプチャを制限することがあります。端末やアプリによって挙動が異なり、GUI操作はアプリテストやバックエンド検証の代わりにはなりません。

よくある質問

AIエージェントはAPIなしでAndroidを操作できますか?

はい。スクリーンショット、タッチ入力、テキスト入力を使ってAndroid GUIを操作できます。

rdp-cliにMCPは必要ですか?

必須ではありません。CLIまたは内蔵MCPインターフェースを利用でき、別のMCPサーバーは必要ありません。

rdp-cliにAndroid AIエージェントは含まれますか?

含まれません。rdp-cliは接続と制御を提供し、外部のAIエージェントが推論と計画を担当します。

Androidの自動化セッションを人が引き継げますか?

はい。同じセッションを開き、エージェントを一時停止して修正し、制御を戻せます。

まとめ

実際の作業がスマートフォン上で行われるなら、AIエージェントに必要なのは別のチャットボックスではなく、実際のAndroidスマートフォンです。

rdp-cliは、USBまたはWi-Fiで認証済みAndroid端末を操作するための制御レイヤーを提供します。

Android接続ガイド、rdp-cliの機能、またはrdp-cliをダウンロードから始めてください。