rdp-cli

AIエージェント向けAndroid仮想ディスプレイ自動化

Androidの仮想ディスプレイ自動化では、AIエージェントにアプリ操作とテスト用の独立した表示先を与えられます。

物理的なメイン画面だけを操作する代わりに、セッション専用の仮想ディスプレイを作成し、サイズとDPIを指定してアプリを起動し、新しいスクリーンショットで各操作を確認できます。

rdp-cliを使うと、AIエージェントはADBを介してUSBまたはWi-FiでAndroid端末に接続し、仮想ディスプレイを選んで画面ベースの自動化を実行できます。

要点:Android仮想ディスプレイ自動化では、AIエージェントが独立した表示先でGUIタスクを実行できます。基本の流れは、ディスプレイを作成し、画面を取得し、1つの操作を実行し、もう一度取得して結果を確認することです。

Android仮想ディスプレイとメイン画面の違い

rdp-cliには2つのAndroid表示先があります。

  • main:端末の現在の物理メイン画面を操作します。
  • virtual:自動化セッション専用の仮想ディスプレイを作成します。

仮想ディスプレイは、固定した画面サイズとDPIでテストしたい場合に便利です。Agent、GUI Viewer、Web Viewerは、セッションで選択した表示先を使用します。アプリの動作やシステム権限は端末やアプリによって異なる場合があります。

仮想ディスプレイはクラウドAndroidエミュレーターではありません。アプリは認証済みの実Android端末で動作し、互換性はAndroidのバージョン、メーカー、対象アプリに依存します。

仮想ディスプレイを使う場面

Android仮想ディスプレイ自動化は、次の用途に適しています。

  • Android GUIテストの繰り返し実行
  • 利用できるAPIがないアプリのテスト
  • フォーム、ログイン、承認フローの実行
  • 固定サイズでのビジュアルテスト
  • 操作ごとのスクリーンショット保存
  • 独立した表示先でのアプリ実行

端末の接続がまだの場合は、AIエージェントでUSBまたはWi-Fi経由のAndroidを操作する方法を先に確認してください。

必要なもの

  • Android 12以降の端末
  • USBデバッグまたはワイヤレスデバッグ
  • 端末上で確認済みのADB認証
  • インストール済みの対象アプリ
  • Android対応版のrdp-cli
  • テスト用の仮想画面サイズとDPI

rdp-cliのサポート基準はAndroid 12以降です。Google Pixel 3のAndroid 12が検証対象ですが、他の端末との互換性は保証されません。

仮想ディスプレイを作成する

端末を検出して認証した後、仮想ディスプレイのセッションを作成します。

rdp-cli connect \
  --protocol adb \
  --device usb:DEVICE_ID \
  --transport usb \
  --android-display virtual \
  --android-virtual-size 1080x1920 \
  --android-virtual-dpi 420 \
  --android-start-app com.example.app

DEVICE_ID、画面サイズ、DPI、アプリのパッケージ名を実際の値に置き換えてください。

コマンドはセッションIDを返します。後続の操作のために保存してください。詳細はrdp-cliコマンドリファレンスを参照してください。

観察、操作、検証の流れ

古いスクリーンショットを使って操作を送信しないでください。

まず現在の仮想ディスプレイを取得します。

rdp-cli screenshot \
  --session SESSION \
  --out before.png

画像を確認して対象のコントロールを見つけ、最新のobservationで1つの操作を送ります。

rdp-cli android touch \
  --session SESSION \
  --kind tap \
  --x X \
  --y Y \
  --observation OBSERVATION

その後、もう一度取得します。

rdp-cli screenshot \
  --session SESSION \
  --out after.png

2枚目のスクリーンショットが実際の検証結果です。入力コマンドの成功は送信を示すだけで、アプリが期待どおりの状態になったことを意味しません。

テストファイルと人による確認

Unicodeや複数行の文字列にはAndroidのクリップボード方式を使えます。

rdp-cli android text \
  --session SESSION \
  --method clipboard \
  --text "Test order completed." \
  --observation OBSERVATION

セッションのファイルルートへテストファイルをアップロードできます。

rdp-cli files upload \
  --session SESSION \
  --local ./test-data.json \
  --path test-data.json

処理結果を取得したら、転送完了を確認してファイルを検証します。

人による確認が必要な場合は、同じセッションをブラウザで開きます。

rdp-cli watch --session SESSION --viewer web

人がAgentを一時停止し、権限ダイアログや予期しない画面を処理してから制御を戻せます。制御が変わった後は、Agentが新しいスクリーンショットを取得してから続行してください。

制限

  • ADBの認証が必要です。
  • 端末とAndroidバージョンの互換性は異なる場合があります。
  • アプリによっては仮想ディスプレイで動作が変わります。
  • システム権限と音声の動作は引き続き適用されます。
  • セキュアなアプリ画面はキャプチャを制限することがあります。
  • rdp-cliは端末制御を提供しますが、AIモデルは含みません。
  • タスクの計画と判断は外部AIエージェントが行います。

よくある質問

Android仮想ディスプレイ自動化にrootは必要ですか?

rdp-cliのドキュメント化された手順ではrootは不要です。USBまたはWi-Fi経由でADB認証を行う必要があります。

すべてのAndroidアプリを仮想ディスプレイで自動化できますか?

保証はありません。物理画面、端末サービス、システム権限に依存するアプリもあります。本番利用前に対象端末で確認してください。

操作が成功したことをどう確認しますか?

操作前にスクリーンショットを取得し、1つの入力を送り、新しいスクリーンショットで表示結果を確認します。コマンド送信成功だけではタスク完了とは言えません。

rdp-cliにはAIエージェントが含まれますか?

含まれません。rdp-cliは接続、スクリーンショット、入力、セッション制御、構造化結果を提供し、具体的な操作は外部AIエージェントが決めます。

まとめ

Android仮想ディスプレイ自動化は、AIエージェントが固定した表示先でAndroid GUIテストや繰り返し作業を行う場合に役立ちます。

信頼できる流れは次のとおりです。

仮想ディスプレイを作成 → 画面を取得 → 1つの操作を実行 → もう一度取得 → 結果を確認

rdp-cliを使えば、Agentは仮想ディスプレイでAndroidアプリを起動し、表示されたコントロールを操作し、テストファイルを転送し、必要に応じて人による確認に切り替えられます。

rdp-cliクイックスタートガイドを参照してください。