rdp-cli
AI Agent が RDP の画面取得と入力でリモート作業を自動化する方法
対象バージョン・環境: 0.1.2 · Windows / macOS · RDP
接続済みセッションから始める
Mac 接続ガイドの手順で接続し、JSON の data.session を使用します。Agent はコマンドで作業するため、ローカルのビューアーを開く必要はありません。人が進行状況を見たいときにだけ開けます。
判断する前に画面を観測する
スクリーンショットを取得して data.observation を読み、OBSERVATION に指定します。下記の座標は構文の例です。実際のクリック位置は自分の画像から判断してください。再接続、操作権や画面構成の変更後は、必ず新しい観測を取得します。
Windows PowerShell では実行ファイルのフォルダーに移動し、以下のコマンドの rdp-cli を .\rdp-cli.exe に置き換えてください。
以下の Calc 例には、接続先 Windows の LibreOffice Calc と RDP ドライブリダイレクトが必要です。サンプルブックをローカルに service-activity.xlsx として保存します。アップロードの data.transfer_id を TRANSFER_ID に使い、状態が completed になるまで待ちます。リモート Calc でリダイレクトドライブから開き、A20 を選択してください。Calc の詳しい手順にブックと期待結果をまとめています。
rdp-cli files upload --session SESSION --local ./service-activity.xlsx --path service-activity.xlsx
rdp-cli files status --session SESSION --transfer-id TRANSFER_ID
rdp-cli screenshot --session SESSION --out before.png
rdp-cli click --session SESSION --desktop --x 420 --y 315 --observation OBSERVATION
文字を送り、結果を画面で確認する
以下の例では、リモート Calc で準備済みブックを開き、セル A20 を選択します。新しいスクリーンショットを確認して観測トークンを使い、完了メモを貼り付けます。アプリの保存ボタンで保存し、表示結果を確認してください。
before.png の応答の data.observation を OBSERVATION に使います。クリック後は clipboard-ready.png を確認し、その応答の新しい data.observation を NEW_OBSERVATION に使います。最後に result.png で文字を確認します。コマンドの成功だけでは、アプリが入力を受け付けた証明になりません。
この貼り付け専用の重複しない PASTE_REQUEST を決め、応答と一緒に保存します。タイムアウト時は同じ ID を照会します。画面確認前に別の ID で貼り付けを繰り返さないでください。
| PNG | data.observation |
|---|---|
| note-focused.png | FOCUSED_OBSERVATION |
| clipboard-ready.png | NEW_OBSERVATION |
rdp-cli screenshot --session SESSION --out note-focused.png
rdp-cli clipboard set --session SESSION --text "結果:レポートが完成しました。確認をお願いします。" --observation FOCUSED_OBSERVATION
rdp-cli screenshot --session SESSION --out clipboard-ready.png
rdp-cli key --session SESSION --keys CTRL+V --observation NEW_OBSERVATION --request-id PASTE_REQUEST
rdp-cli screenshot --session SESSION --out result.png
rdp-cli で完了メモを貼り付け、保存したリモート Calc レポート。
Calc のサンプルは架空のサービスデータです。下の完成ブックは、対応する言語とテーマの画面に合わせています。
画面に対応する完成ファイル: ライトテーマ · ダークテーマ

元のスクリーンショットを見る — ライト ↗ · 元のスクリーンショットを見る — ダーク ↗
結果が不明なときは確認してから再実行する
タイムアウトしても入力が送信済みの場合があります。返された REQUEST_ID で処理状況を確認し、画面を再観測してください。保存や送信を行うクリックは、必要だと確認してから再実行します。観測値が古い場合は撮り直し、ローカルのマウス操作へ自動的に切り替えないようにします。
rdp-cli operations status --session SESSION --request-id PASTE_REQUEST
後から確認できる作業にする
必要な処理状況と結果画像を保存し、機密情報が含まれる可能性を考慮してください。人は同じセッションを開いて一時停止や引き継ぎができます。返却後、Agent は現在の画面を確認してから再開します。RDP のファイル処理には、アップロード、進捗、ダウンロードの専用コマンドもあります。
関連記事
自分のリモートデスクトップで始める
rdp-cli をダウンロード · 利用する環境のクイックスタートへ
関連ガイド
rdp-cli の拡張コマンド
まず rdp-cli --version を実行してください。以下のコマンドには agent_execution.contract_version が 1 のビルドが必要です。旧版では、前述の単一操作の手順を引き続き使用できます。
大文字のプレースホルダーは実際の返り値に置き換えます。Windows PowerShell では実行ファイルのフォルダーで .\rdp-cli.exe を使い、macOS・Linux ではインストール済みコマンドか実際の実行ファイルのパスを使います。
必要な場所を確認
画面の一部や縮小画像を取得し、前の観察と比較。変化がなければ画像を省略でき、座標はリモート画面との対応を保ちます。
画面の変化や転送完了を待つ
指定範囲の変化・安定、接続・操作・ファイル転送の指定状態を待ちます。続ける前に実際の成果も確認します。
短い操作列を送り、確認点で止まる
エージェントが決めた操作をまとめ、新しい観察とチェックポイントを追加。エラーや操作権の変更で後続を停止し、送信済みの操作は取り消しません。
進捗を残し、中断後に確認して続行
タスクの進捗、チェックポイント、選択した画像を保存し、ローカルのレポートに出力。中断後は完了内容を確認し、結果不明の操作を繰り返さず新しい手順へ進みます。
次の JSON を標準入力で batch に渡します。この例は画面を観察してチェックポイントで停止するだけです。現在の画面を確認してから入力操作を追加してください。 tasks create が返すタスク ID を TASK_ID に指定すると、このバッチが同じタスクに記録されます。
rdp-cli screenshot --session SESSION --max-width 640
rdp-cli screenshot --session SESSION --region X,Y,WIDTH,HEIGHT --max-width 640
rdp-cli wait --session SESSION --condition changed --region X,Y,WIDTH,HEIGHT --timeout-ms 10000
rdp-cli tasks create --session SESSION --title "Review result"
rdp-cli batch --session SESSION --task TASK_ID --steps-stdin --request-id UNIQUE_REQUEST_ID
{"version":1,"steps":[{"id":"look","command":"observe","arguments":{"max-width":640}},{"id":"review","command":"checkpoint"}]}