rdp-cli

AI Agent が RDP の画面取得と入力でリモート作業を自動化する方法

対象バージョン・環境: 0.1.2 · Windows / macOS · RDP

接続済みセッションから始める

Mac 接続ガイドの手順で接続し、JSON の data.session を使用します。Agent はコマンドで作業するため、ローカルのビューアーを開く必要はありません。人が進行状況を見たいときにだけ開けます。

判断する前に画面を観測する

スクリーンショットを取得して data.observation を読み、OBSERVATION に指定します。下記の座標は構文の例です。実際のクリック位置は自分の画像から判断してください。再接続、操作権や画面構成の変更後は、必ず新しい観測を取得します。

Windows PowerShell では実行ファイルのフォルダーに移動し、以下のコマンドの rdp-cli を .\rdp-cli.exe に置き換えてください。

以下の Calc 例には、接続先 Windows の LibreOffice Calc と RDP ドライブリダイレクトが必要です。サンプルブックをローカルに service-activity.xlsx として保存します。アップロードの data.transfer_id を TRANSFER_ID に使い、状態が completed になるまで待ちます。リモート Calc でリダイレクトドライブから開き、A20 を選択してください。Calc の詳しい手順にブックと期待結果をまとめています。

rdp-cli files upload --session SESSION --local ./service-activity.xlsx --path service-activity.xlsx
rdp-cli files status --session SESSION --transfer-id TRANSFER_ID
rdp-cli screenshot --session SESSION --out before.png
rdp-cli click --session SESSION --desktop --x 420 --y 315 --observation OBSERVATION

文字を送り、結果を画面で確認する

以下の例では、リモート Calc で準備済みブックを開き、セル A20 を選択します。新しいスクリーンショットを確認して観測トークンを使い、完了メモを貼り付けます。アプリの保存ボタンで保存し、表示結果を確認してください。

before.png の応答の data.observation を OBSERVATION に使います。クリック後は clipboard-ready.png を確認し、その応答の新しい data.observation を NEW_OBSERVATION に使います。最後に result.png で文字を確認します。コマンドの成功だけでは、アプリが入力を受け付けた証明になりません。

この貼り付け専用の重複しない PASTE_REQUEST を決め、応答と一緒に保存します。タイムアウト時は同じ ID を照会します。画面確認前に別の ID で貼り付けを繰り返さないでください。

PNG data.observation
note-focused.png FOCUSED_OBSERVATION
clipboard-ready.png NEW_OBSERVATION
rdp-cli screenshot --session SESSION --out note-focused.png
rdp-cli clipboard set --session SESSION --text "結果:レポートが完成しました。確認をお願いします。" --observation FOCUSED_OBSERVATION
rdp-cli screenshot --session SESSION --out clipboard-ready.png
rdp-cli key --session SESSION --keys CTRL+V --observation NEW_OBSERVATION --request-id PASTE_REQUEST
rdp-cli screenshot --session SESSION --out result.png

rdp-cli で完了メモを貼り付け、保存したリモート Calc レポート。

Calc のサンプルは架空のサービスデータです。下の完成ブックは、対応する言語とテーマの画面に合わせています。

画面に対応する完成ファイル: ライトテーマ · ダークテーマ

rdp-cli で完了メモを貼り付け、保存したリモート Calc レポート。

元のスクリーンショットを見る — ライト ↗ · 元のスクリーンショットを見る — ダーク ↗

結果が不明なときは確認してから再実行する

タイムアウトしても入力が送信済みの場合があります。返された REQUEST_ID で処理状況を確認し、画面を再観測してください。保存や送信を行うクリックは、必要だと確認してから再実行します。観測値が古い場合は撮り直し、ローカルのマウス操作へ自動的に切り替えないようにします。

rdp-cli operations status --session SESSION --request-id PASTE_REQUEST

後から確認できる作業にする

必要な処理状況と結果画像を保存し、機密情報が含まれる可能性を考慮してください。人は同じセッションを開いて一時停止や引き継ぎができます。返却後、Agent は現在の画面を確認してから再開します。RDP のファイル処理には、アップロード、進捗、ダウンロードの専用コマンドもあります。

関連記事

自分のリモートデスクトップで始める

rdp-cli をダウンロード · 利用する環境のクイックスタートへ

関連ガイド

rdp-cli の拡張コマンド

まず rdp-cli --version を実行してください。以下のコマンドには agent_execution.contract_version が 1 のビルドが必要です。旧版では、前述の単一操作の手順を引き続き使用できます。

大文字のプレースホルダーは実際の返り値に置き換えます。Windows PowerShell では実行ファイルのフォルダーで .\rdp-cli.exe を使い、macOS・Linux ではインストール済みコマンドか実際の実行ファイルのパスを使います。

必要な場所を確認

画面の一部や縮小画像を取得し、前の観察と比較。変化がなければ画像を省略でき、座標はリモート画面との対応を保ちます。

画面の変化や転送完了を待つ

指定範囲の変化・安定、接続・操作・ファイル転送の指定状態を待ちます。続ける前に実際の成果も確認します。

短い操作列を送り、確認点で止まる

エージェントが決めた操作をまとめ、新しい観察とチェックポイントを追加。エラーや操作権の変更で後続を停止し、送信済みの操作は取り消しません。

進捗を残し、中断後に確認して続行

タスクの進捗、チェックポイント、選択した画像を保存し、ローカルのレポートに出力。中断後は完了内容を確認し、結果不明の操作を繰り返さず新しい手順へ進みます。

次の JSON を標準入力で batch に渡します。この例は画面を観察してチェックポイントで停止するだけです。現在の画面を確認してから入力操作を追加してください。 tasks create が返すタスク ID を TASK_ID に指定すると、このバッチが同じタスクに記録されます。

rdp-cli screenshot --session SESSION --max-width 640
rdp-cli screenshot --session SESSION --region X,Y,WIDTH,HEIGHT --max-width 640
rdp-cli wait --session SESSION --condition changed --region X,Y,WIDTH,HEIGHT --timeout-ms 10000
rdp-cli tasks create --session SESSION --title "Review result"
rdp-cli batch --session SESSION --task TASK_ID --steps-stdin --request-id UNIQUE_REQUEST_ID
{"version":1,"steps":[{"id":"look","command":"observe","arguments":{"max-width":640}},{"id":"review","command":"checkpoint"}]}