rdp-cli

AI AgentのスクリーンショットToken消費を減らす方法

最終更新:2026年11月6日
レビュー:rdp-cli Team

AI Agentがリモートデスクトップを操作する場合、スクリーンショットは次の操作を決めるための視覚情報になります。クリックのたびに高解像度の画面全体を送ると、Token消費、遅延、実行コストが増えます。

単にPNGを圧縮するだけでは不十分です。不要な画面情報と、変化していない画像の再送を減らす必要があります。

基本は、必要な領域だけを取得し、必要に応じて縮小し、画面の変化を待ち、必要な部分だけを検証することです。

rdp-cliでは、AI AgentがRDP、VNC、X11、Androidのセッションに接続し、画面領域を取得して以前の観測結果と比較できます。

クイック回答:スクリーンショットTokenを減らすには?

Agentが必要とする領域だけをキャプチャし、詳細が不要なら画像を縮小します。変化検知で同じ画像の再送を避け、画面の状態が変わるまで待ちます。

画面全体のキャプチャは、最初のコンテキスト取得、レイアウト変更、未知の状態からの復旧に限定します。現在のオプションはコマンドリファレンスで確認できます。

高解像度の画像でTokenが増える理由

高解像度のスクリーンショットには、Agentが必要としない情報も含まれます。

  • 毎回1920×1080の画面全体を送る
  • クリック前後に同じ画面を送る
  • ダイアログだけ確認すればよいのに画面全体を送る
  • アプリの読み込み中に何度もキャプチャする
  • 古い画像をコンテキストに残し続ける

PNGのファイルサイズは主に転送速度に影響します。実際のToken使用量は画像の寸法、画像数、視覚モデルの処理ルールによって変わります。

1. 領域スクリーンショットを使う

ボタン、ダイアログ、表、ステータスだけを確認したい場合は、対象領域を取得します。

rdp-cli screenshot \
  --session SESSION \
  --region 800,120,720,560 \
  --out focused.png

SESSIONを実際のセッションIDに置き換えてください。--regionはリモート画面上の領域を指定します。

保存完了メッセージ、注文状態、確認ダイアログ、ボタン状態、進捗表示の確認に適しています。詳細はコマンドリファレンスを参照してください。

2. 詳細が不要なら画像を縮小する

標準的なボタンやウィンドウ状態だけを識別する場合は、最大幅を指定できます。

rdp-cli screenshot \
  --session SESSION \
  --region 800,120,720,560 \
  --max-width 900 \
  --out focused-small.png

小さい文字、密な表、複雑なフォームでは大きな画像が必要になる場合があります。rdp-cliの機能一覧にあるように、画像を縮小しても入力座標はリモート画面の座標として扱われます。

3. 変化検知で重複画像を避ける

アプリの読み込み中に同じ画像を何度も送る代わりに、前回の観測結果と比較します。

rdp-cli screenshot \
  --session SESSION \
  --since PREVIOUS_REFERENCE \
  --region 800,120,720,560 \
  --out current.png

PREVIOUS_REFERENCEはワークフローが返す比較参照に置き換えます。対象領域が変わっていなければ、同じ画像を再処理せずに待機できます。

4. スクリーンショットのポーリングを状態待機に置き換える

領域の変化だけを確認したい場合は、画面全体を繰り返し取得せずwaitを使います。

rdp-cli wait \
  --session SESSION \
  --condition changed \
  --region 800,120,720,560

領域が安定するまで待つこともできます。

rdp-cli wait \
  --session SESSION \
  --condition stable \
  --region 800,120,720,560

これにより不要な画像処理を減らし、画面が変化中のまま次の操作を実行することを防げます。

5. 観測 → 操作 → 検証を維持する

安定したGUI自動化では、次の流れを守ります。

  1. 現在の画面または対象領域を取得する。
  2. 最新の観測結果に基づいて1つの操作を行う。
  3. 画面が変化または安定するまで待つ。
  4. 必要な結果領域だけを取得する。
  5. 期待した結果を確認する。

各操作には最新のobservationを使います。詳細はクイックスタートを参照してください。

リモートデスクトップの最適化手順

Windowsアプリでは、最初に画面全体を取得し、対象ウィンドウを見つけたら領域キャプチャへ切り替えます。重要な操作の後は状態変化を待ち、結果部分だけを検証します。レイアウト変更やコンテキスト喪失時だけ全画面を再取得し、必要な画像だけを証拠として保存します。

制限事項

複数ウィンドウの比較、モニター間の移動、デスクトップ全体のレイアウト確認、前面ウィンドウが不明な場合、未知のエラーの調査では全画面画像が必要になることがあります。

rdp-cliは接続、スクリーンショット、入力、ファイル、セッションを制御しますが、AIモデルは含みません。判断は外部のAI Agentが行います。

FAQ

画像を縮小すれば必ずTokenは減りますか?

必ずではありません。モデルによって処理方法が異なります。領域を絞り、重複画像を送らないことが重要です。

毎回画面全体を送る必要がありますか?

いいえ。通常の操作では領域キャプチャで十分です。

rdp-cliは画面の一部だけを取得できますか?

はい。screenshotの--regionを使用できます。

待機中の画像送信を減らすには?

rdp-cli waitで領域の変化または安定を待ちます。

rdp-cliにAIモデルは含まれますか?

いいえ。rdp-cliはリモート操作を提供し、AI Agentが推論と判断を担当します。

まとめ

AI AgentのスクリーンショットTokenを減らすには、検証を削除するのではなく、観測を絞り込みます。

対象領域を取得 → 1つの操作 → 変化を待つ → 必要な部分だけ取得 → 結果を検証する。

この方法なら、視覚的な安全確認を保ちながら、高解像度のリモートデスクトップ自動化を効率化できます。