AIエージェントでWindowsアプリをRDPテストする方法

WindowsデスクトップアプリにAPI、SDK、安定したスクリプトインターフェースがない場合、自動テストは難しくなります。古いERP、会計、倉庫管理、社内業務アプリの多くは、ウィンドウ、ボタン、フォーム、メニュー、ポップアップだけで操作します。

APIのないWindowsアプリを自動テストする実用的な方法は、AIエージェントを実際のリモートWindowsデスクトップに接続することです。rdp-cliを使うと、RDPまたはVNCセッションに接続し、画面を確認し、GUI操作を行い、新しいスクリーンショットで結果を検証できます。

AIエージェントはWindowsアプリをテストできる？

対象アプリが表示され、操作できるなら可能です。エージェントは画面を確認し、対象コントロールを見つけ、クリックや入力を行い、新しい画面を取得して結果を確認します。

APIテストだけでは不十分な理由

APIテストはバックエンドの確認には有効ですが、実際のデスクトップ操作全体を再現できません。在庫管理アプリでは、起動、ネイティブ画面でのログイン、倉庫の選択、SKU入力、警告の確認、レポート出力が必要になることがあります。APIテストだけでは、壊れたボタン、誤ったフォーカス、予期しないダイアログ、出力失敗を検出できない場合があります。

rdp-cliを使ったテスト手順

専用のWindowsテストマシン、制限付きアカウント、安定したテストデータ、アクセス可能なRDP、固定した解像度、リセット手順を準備します。接続後は必ず最初に画面を取得します。

.\rdp-cli.exe screenshot --session SESSION --out .\before.png
.\rdp-cli.exe click --session SESSION --desktop --x X --y Y --observation OBSERVATION
.\rdp-cli.exe screenshot --session SESSION --out .\after.png

テキスト入力：

.\rdp-cli.exe type --session SESSION --text "Remote task completed." --observation NEW_OBSERVATION

各操作は最新の画面状態に基づいて実行します。「保存」を押した後は、確認メッセージ、レコードID、ステータスを確認します。

レガシーWindowsアプリの例

アプリを開き、テストアカウントでログインし、顧客レコードを作成して保存し、再検索し、PDFまたは表計算ファイルへ出力し、ファイルの存在を確認します。重要な手順の前後でスクリーンショットを取得し、期待した画面が出なければランダムなクリックを続けず停止します。

RDPのドライブリダイレクトが有効なら、テストファイルやレポートを転送できます。リモートクリップボードで管理されたテキストを渡すこともできます。

人による確認が必要な場面

削除などの不可逆操作、安全確認、未知のエラー、一度だけの承認、本番に近い環境でのテストでは、人が確認または操作を引き継ぐべきです。rdp-cliでは入力を一時停止し、人が操作した後にセッションを返せます。

この方法で置き換えられないテスト

RDP GUIテストは単体、統合、バックエンドAPIテストの代わりではありません。隠れた計算ミス、データベース不整合、UIの背後の性能問題、計装が必要な競合状態、すべてのレイアウト状態を確実に検出するものでもありません。従来の自動テストと組み合わせるのが最適です。

まとめ

APIのないWindowsアプリをテストするなら、RDPでAIエージェントを接続する方法は現実的です。

画面を確認 → 1つ操作 → 新しいスクリーンショットを取得 → 結果を確認。

FAQ

APIがなくてもAIエージェントでWindowsアプリをテストできますか？

はい。RDP経由でGUIを操作し、新しいスクリーンショットで結果を確認できます。

RDP GUIテストはAPIテストの代わりになりますか？

いいえ。実際のデスクトップ操作を確認するために補完的に使います。

AIエージェントでRDP経由のWindowsデスクトップアプリをテストする方法