rdp-cli

パソコンを占有させずにAIエージェントをバックグラウンドで動かす方法

パソコンを占有させずにAIエージェントをバックグラウンドで動かす方法

AIエージェントをローカルPCで動かすと、作業中のウィンドウを切り替えたり、マウスを動かしたり、別のアプリに文字を入力したりすることがあります。

解決策は、エージェント専用のリモートセッションを用意することです。

rdp-cliを使うと、AIエージェントは認証済みのRDP、VNC、X11、Androidセッションを、ローカルのデスクトップビューアーを開かずに操作できます。自分のPCで作業を続け、必要なときだけ同じセッションを確認、一時停止、引き継ぎできます。

この記事の焦点は、エージェントがリモートで作業している間もローカルPCを使い続けることです。

クイックアンサー:AIエージェントをバックグラウンドで動かすには?

AIエージェントをローカル画面ではなく、独立したリモートデスクトップセッションに接続します。エージェントはrdp-cliでスクリーンショットを取得し、マウスとキーボード入力を送り、ファイルを転送し、結果を確認できます。人が確認するときだけGUIまたはWeb Viewerを開きます。

ここでいう「バックグラウンド」は、エージェントが別のリモートセッションで動くという意味です。rdp-cliがシステムサービスやクラウドPCを作るという意味ではありません。

なぜAIエージェントをバックグラウンドで動かすのか

ローカルデスクトップを共有すると、ユーザーとエージェントが同じ入力を奪い合います。コードを書いている間に、エージェントがExcelを開いたり、Windowsインストーラーをテストしたり、社内ERPを操作したりするケースを考えてください。

独立したリモートセッションなら、エージェントは別のPCで作業し、ローカルアプリのフォーカスは保たれます。APIのない古いWindowsアプリ、GUIテスト、レポート処理、長時間の自動化、AndroidのADB操作、LinuxのX11アプリに向いています。

ローカルデスクトップとリモートセッション

項目 ローカルデスクトップ rdp-cliのリモートセッション
入力の競合 作業中の画面を共有 ローカル入力に影響しない
ビューアー ツールにより異なる 通常のコマンドには不要
人の操作 現在の画面を操作 同じリモートセッションに参加
向いている用途 短時間の監視作業 リモートの長時間GUI処理

開始前に必要なもの

認証済みのリモート端末、RDPまたはVNCサーバー、X11環境またはAndroid端末、実行環境に合うrdp-cli、コマンドと画像を扱えるAIエージェントを用意します。

RDPではWindows側でリモートデスクトップを許可し、VNCでは既存のVNC Serverを起動しておきます。AndroidではUSBまたはWi-Fiデバッグの承認が必要です。

rdp-cliはリモートPCを作成・ホストしません。既存の、操作権限を持つ端末が必要です。

詳しくはrdp-cliクイックスタートを参照してください。

rdp-cliでAIエージェントをバックグラウンド実行する

1. rdp-cliをインストールする

実行するPCのOSとCPUに合うファイルをダウンロードします。

.\rdp-cli.exe --help

macOSまたはLinuxでは次を実行します。

rdp-cli --help

リモートパスワードをコマンドラインに直接書かないでください。

2. リモートセッションに接続する

Windows RDPの例:

.\rdp-cli.exe connect `
  --host REMOTE_HOST `
  --user REMOTE_USER `
  --password-stdin

返されたsession IDを保存します。スクリーンショット、入力、ファイル転送、セッション操作で使います。この接続にローカルRDPビューアーは必要ありません。

3. 画面を取得する

操作前に現在の画面を取得します。

.\rdp-cli.exe screenshot `
  --session SESSION `
  --out .\before.png

エージェントは古い状態を仮定せず、最新の画像を確認します。

4. 1回の操作を送る

最新のobservationを使ってクリックします。

.\rdp-cli.exe click `
  --session SESSION `
  --desktop `
  --x X `
  --y Y `
  --observation OBSERVATION

再接続、画面レイアウトの変更、人の操作の後は、新しいスクリーンショットとobservationを取得してください。

5. 結果を確認する

入力コマンドの成功は、入力が送信されたことしか意味しません。

画面を取得 → 1つ操作 → もう一度取得 → 結果を確認

Saveを押した後は、確認メッセージ、レコード番号、ステータス変更、表の行、出力ファイルを確認します。期待した結果がなければ、追加のクリックを続けず現在の画面を調べます。

詳しいコマンドはrdp-cliコマンドリファレンスにあります。

ローカル画面を開かずにファイルを転送する

エージェントはプロジェクトフォルダーやExcel、PDF、テストファイルをリモートアプリで処理することがあります。対応するRDPセッションではファイルを交換できますが、リモートサーバー側で必要なリダイレクトを許可する必要があります。転送完了後にファイルを確認してください。

GUIやWeb Viewerを開くタイミング

通常のエージェントコマンドにビューアーは必要ありません。進行状況の確認、予期しない画面の調査、セキュリティ確認、フォームの修正、人による操作が必要なときに同じセッションを開きます。

Web ViewerはLANまたはVPN経由の認証済みアクセス用です。公開サイトそのものがセッションビューアーではありません。

人による引き継ぎ

Agentが動作 → 人が入力を一時停止 → 人が操作 → 修正を終えて解放 → Agentが新しい画面を取得 → 続行、という順序です。

人が操作した後は古い画像やobservationを再利用しないでください。詳しくはAIエージェントのリモートデスクトップを確認・一時停止・引き継ぐ方法を参照してください。

rdp-cliが行わないこと

rdp-cliはリモート操作層であり、AIモデルやタスクの推論を含みません。クラウドPCを自動作成せず、APIテストや単体テストの代わりにもなりません。

FAQ

AIエージェントはウィンドウを開かずにリモートデスクトップを操作できますか?

はい。rdp-cliは認証済みのRDP、VNC、X11、Androidセッションをビューアーなしで操作できます。

rdp-cliはローカルのマウスとキーボードを占有しますか?

いいえ。エージェントが操作するのはリモートセッションです。

rdp-cliにはAIモデルが含まれますか?

いいえ。接続、スクリーンショット、入力、ファイル転送、セッション制御を提供し、推論は選択したAIエージェントが行います。

人は作業中のエージェントを引き継げますか?

はい。同じセッションをGUIまたはWeb Viewerで開き、一時停止して操作した後、エージェントに返せます。

rdp-cliはWindows PCを作成しますか?

いいえ。既存の認証済みWindows PCと有効なRDPが必要です。

まとめ

AIエージェントに専用のリモートワークスペースを与えると、自分のPCを占有させずに作業させられます。

rdp-cliをダウンロードして、エージェントに独立したデスクトップを用意してください。