rdp-cli
AI AgentのスクリーンショットToken消費を減らす方法
最終更新:2026年11月6日
レビュー:rdp-cli Team
AI Agentがリモートデスクトップを操作する場合、スクリーンショットは次の操作を決めるための視覚情報になります。クリックのたびに高解像度の画面全体を送ると、Token消費、遅延、実行コストが増えます。
単にPNGを圧縮するだけでは不十分です。不要な画面情報と、変化していない画像の再送を減らす必要があります。
基本は、必要な領域だけを取得し、必要に応じて縮小し、画面の変化を待ち、必要な部分だけを検証することです。
rdp-cliでは、AI AgentがRDP、VNC、X11、Androidのセッションに接続し、画面領域を取得して以前の観測結果と比較できます。
クイック回答:スクリーンショットTokenを減らすには?
Agentが必要とする領域だけをキャプチャし、詳細が不要なら画像を縮小します。変化検知で同じ画像の再送を避け、画面の状態が変わるまで待ちます。
画面全体のキャプチャは、最初のコンテキスト取得、レイアウト変更、未知の状態からの復旧に限定します。現在のオプションはコマンドリファレンスで確認できます。
高解像度の画像でTokenが増える理由
高解像度のスクリーンショットには、Agentが必要としない情報も含まれます。
- 毎回1920×1080の画面全体を送る
- クリック前後に同じ画面を送る
- ダイアログだけ確認すればよいのに画面全体を送る
- アプリの読み込み中に何度もキャプチャする
- 古い画像をコンテキストに残し続ける
PNGのファイルサイズは主に転送速度に影響します。実際のToken使用量は画像の寸法、画像数、視覚モデルの処理ルールによって変わります。
1. 領域スクリーンショットを使う
ボタン、ダイアログ、表、ステータスだけを確認したい場合は、対象領域を取得します。
rdp-cli screenshot \
--session SESSION \
--region 800,120,720,560 \
--out focused.png
SESSIONを実際のセッションIDに置き換えてください。--regionはリモート画面上の領域を指定します。
保存完了メッセージ、注文状態、確認ダイアログ、ボタン状態、進捗表示の確認に適しています。詳細はコマンドリファレンスを参照してください。
2. 詳細が不要なら画像を縮小する
標準的なボタンやウィンドウ状態だけを識別する場合は、最大幅を指定できます。
rdp-cli screenshot \
--session SESSION \
--region 800,120,720,560 \
--max-width 900 \
--out focused-small.png
小さい文字、密な表、複雑なフォームでは大きな画像が必要になる場合があります。rdp-cliの機能一覧にあるように、画像を縮小しても入力座標はリモート画面の座標として扱われます。
3. 変化検知で重複画像を避ける
アプリの読み込み中に同じ画像を何度も送る代わりに、前回の観測結果と比較します。
rdp-cli screenshot \
--session SESSION \
--since PREVIOUS_REFERENCE \
--region 800,120,720,560 \
--out current.png
PREVIOUS_REFERENCEはワークフローが返す比較参照に置き換えます。対象領域が変わっていなければ、同じ画像を再処理せずに待機できます。
4. スクリーンショットのポーリングを状態待機に置き換える
領域の変化だけを確認したい場合は、画面全体を繰り返し取得せずwaitを使います。
rdp-cli wait \
--session SESSION \
--condition changed \
--region 800,120,720,560
領域が安定するまで待つこともできます。
rdp-cli wait \
--session SESSION \
--condition stable \
--region 800,120,720,560
これにより不要な画像処理を減らし、画面が変化中のまま次の操作を実行することを防げます。
5. 観測 → 操作 → 検証を維持する
安定したGUI自動化では、次の流れを守ります。
- 現在の画面または対象領域を取得する。
- 最新の観測結果に基づいて1つの操作を行う。
- 画面が変化または安定するまで待つ。
- 必要な結果領域だけを取得する。
- 期待した結果を確認する。
各操作には最新のobservationを使います。詳細はクイックスタートを参照してください。
リモートデスクトップの最適化手順
Windowsアプリでは、最初に画面全体を取得し、対象ウィンドウを見つけたら領域キャプチャへ切り替えます。重要な操作の後は状態変化を待ち、結果部分だけを検証します。レイアウト変更やコンテキスト喪失時だけ全画面を再取得し、必要な画像だけを証拠として保存します。
制限事項
複数ウィンドウの比較、モニター間の移動、デスクトップ全体のレイアウト確認、前面ウィンドウが不明な場合、未知のエラーの調査では全画面画像が必要になることがあります。
rdp-cliは接続、スクリーンショット、入力、ファイル、セッションを制御しますが、AIモデルは含みません。判断は外部のAI Agentが行います。
FAQ
画像を縮小すれば必ずTokenは減りますか?
必ずではありません。モデルによって処理方法が異なります。領域を絞り、重複画像を送らないことが重要です。
毎回画面全体を送る必要がありますか?
いいえ。通常の操作では領域キャプチャで十分です。
rdp-cliは画面の一部だけを取得できますか?
はい。screenshotの--regionを使用できます。
待機中の画像送信を減らすには?
rdp-cli waitで領域の変化または安定を待ちます。
rdp-cliにAIモデルは含まれますか?
いいえ。rdp-cliはリモート操作を提供し、AI Agentが推論と判断を担当します。
まとめ
AI AgentのスクリーンショットTokenを減らすには、検証を削除するのではなく、観測を絞り込みます。
対象領域を取得 → 1つの操作 → 変化を待つ → 必要な部分だけ取得 → 結果を検証する。
この方法なら、視覚的な安全確認を保ちながら、高解像度のリモートデスクトップ自動化を効率化できます。