AIエージェントのComputer Useとは？実践的なデスクトップ自動化ガイド

rdp-cli

2026年10月23日

Computer Useとは

Computer Useとは、AIエージェントが画面を読み取り、ボタンをクリックし、文字を入力し、アプリを開き、操作結果を確認することです。

APIが使えないデスクトップアプリケーションに依存する作業で役立ちます。動画編集、表計算の確認、古い業務ソフトの操作、ファイル管理、Androidアプリの利用などを、アプリごとに専用連携を作らずに実行できます。

rdp-cli のようなツールを使えば、AIエージェントをRDP・VNCデスクトップやAndroid 12以降の端末に接続できます。同じセッションを人が確認し、必要なら一時停止して操作を引き継げます。

信頼できる流れ：観察、操作、検証

Computer Useは、確認なしにクリックを連続させる仕組みではありません。次の短いフィードバックループで実行します。

現在の画面を取得する。
次の対象を見つける。
小さな操作を1つ実行する。
画面をもう一度取得する。
実際の結果を確認してから続ける。

たとえば、リモートデスクトップは次のように確認できます。

rdp-cli screenshot --session SESSION --out before.png

入力欄やボタンを見つけたら、クリックして入力します。

rdp-cli click --session SESSION --desktop \
  --x X --y Y --observation OBSERVATION

rdp-cli type --session SESSION \
  --text "Remote task completed." \
  --observation NEW_OBSERVATION

操作後のスクリーンショットが重要です。画面が変わったか、エラーが出たか、入力が受け付けられたかを確認できます。期待と違う場合は、追加のクリックをせずに停止して調べます。

実用的なユースケース

デスクトップアプリ。 動画編集ソフトに素材を読み込み、トリミングし、MP4を書き出し、出力ファイルを確認する。

表計算。 ブックを開き、実績と目標を比較し、グラフ・数式・アドインを保ったままレポートを作成する。

ファイル処理。 入力ファイルをリモート作業領域に送り、処理後のレポート、動画、文書を持ち帰る。

Android操作。 USBまたはWi-Fiで対応端末に接続し、APIのないアプリでタップ、入力、ファイル操作を行う。

人が主導権を持つ

公開、ファイル削除、メッセージ送信、購入確認などは、人の承認を必要にすべきです。エージェントに反復作業を任せ、人が同じセッションを確認し、必要に応じて停止・操作・返却を行う運用が現実的です。

失敗を防ぐ4つのルール

小さく、検証できる操作に分ける。
重要な操作の前後でスクリーンショットを取得する。
パスワードやAPIキーをプロンプトや記事に入れない。
予期しないダイアログ、ログイン画面、エラーで停止する。

安定したAPIがあるなら、まずAPIを使います。Computer Useは、画面操作が必要な作業、古いソフト、複数の既存アプリをつなぐ作業で特に有効です。