rdp-cli
パソコンを占有させずにAIエージェントをバックグラウンドで動かす方法
パソコンを占有させずにAIエージェントをバックグラウンドで動かす方法
AIエージェントをローカルPCで動かすと、作業中のウィンドウを切り替えたり、マウスを動かしたり、別のアプリに文字を入力したりすることがあります。
解決策は、エージェント専用のリモートセッションを用意することです。
rdp-cliを使うと、AIエージェントは認証済みのRDP、VNC、X11、Androidセッションを、ローカルのデスクトップビューアーを開かずに操作できます。自分のPCで作業を続け、必要なときだけ同じセッションを確認、一時停止、引き継ぎできます。
この記事の焦点は、エージェントがリモートで作業している間もローカルPCを使い続けることです。
クイックアンサー:AIエージェントをバックグラウンドで動かすには?
AIエージェントをローカル画面ではなく、独立したリモートデスクトップセッションに接続します。エージェントはrdp-cliでスクリーンショットを取得し、マウスとキーボード入力を送り、ファイルを転送し、結果を確認できます。人が確認するときだけGUIまたはWeb Viewerを開きます。
ここでいう「バックグラウンド」は、エージェントが別のリモートセッションで動くという意味です。rdp-cliがシステムサービスやクラウドPCを作るという意味ではありません。
なぜAIエージェントをバックグラウンドで動かすのか
ローカルデスクトップを共有すると、ユーザーとエージェントが同じ入力を奪い合います。コードを書いている間に、エージェントがExcelを開いたり、Windowsインストーラーをテストしたり、社内ERPを操作したりするケースを考えてください。
独立したリモートセッションなら、エージェントは別のPCで作業し、ローカルアプリのフォーカスは保たれます。APIのない古いWindowsアプリ、GUIテスト、レポート処理、長時間の自動化、AndroidのADB操作、LinuxのX11アプリに向いています。
ローカルデスクトップとリモートセッション
| 項目 | ローカルデスクトップ | rdp-cliのリモートセッション |
|---|---|---|
| 入力の競合 | 作業中の画面を共有 | ローカル入力に影響しない |
| ビューアー | ツールにより異なる | 通常のコマンドには不要 |
| 人の操作 | 現在の画面を操作 | 同じリモートセッションに参加 |
| 向いている用途 | 短時間の監視作業 | リモートの長時間GUI処理 |
開始前に必要なもの
認証済みのリモート端末、RDPまたはVNCサーバー、X11環境またはAndroid端末、実行環境に合うrdp-cli、コマンドと画像を扱えるAIエージェントを用意します。
RDPではWindows側でリモートデスクトップを許可し、VNCでは既存のVNC Serverを起動しておきます。AndroidではUSBまたはWi-Fiデバッグの承認が必要です。
rdp-cliはリモートPCを作成・ホストしません。既存の、操作権限を持つ端末が必要です。
詳しくはrdp-cliクイックスタートを参照してください。
rdp-cliでAIエージェントをバックグラウンド実行する
1. rdp-cliをインストールする
実行するPCのOSとCPUに合うファイルをダウンロードします。
.\rdp-cli.exe --help
macOSまたはLinuxでは次を実行します。
rdp-cli --help
リモートパスワードをコマンドラインに直接書かないでください。
2. リモートセッションに接続する
Windows RDPの例:
.\rdp-cli.exe connect `
--host REMOTE_HOST `
--user REMOTE_USER `
--password-stdin
返されたsession IDを保存します。スクリーンショット、入力、ファイル転送、セッション操作で使います。この接続にローカルRDPビューアーは必要ありません。
3. 画面を取得する
操作前に現在の画面を取得します。
.\rdp-cli.exe screenshot `
--session SESSION `
--out .\before.png
エージェントは古い状態を仮定せず、最新の画像を確認します。
4. 1回の操作を送る
最新のobservationを使ってクリックします。
.\rdp-cli.exe click `
--session SESSION `
--desktop `
--x X `
--y Y `
--observation OBSERVATION
再接続、画面レイアウトの変更、人の操作の後は、新しいスクリーンショットとobservationを取得してください。
5. 結果を確認する
入力コマンドの成功は、入力が送信されたことしか意味しません。
画面を取得 → 1つ操作 → もう一度取得 → 結果を確認
Saveを押した後は、確認メッセージ、レコード番号、ステータス変更、表の行、出力ファイルを確認します。期待した結果がなければ、追加のクリックを続けず現在の画面を調べます。
詳しいコマンドはrdp-cliコマンドリファレンスにあります。
ローカル画面を開かずにファイルを転送する
エージェントはプロジェクトフォルダーやExcel、PDF、テストファイルをリモートアプリで処理することがあります。対応するRDPセッションではファイルを交換できますが、リモートサーバー側で必要なリダイレクトを許可する必要があります。転送完了後にファイルを確認してください。
GUIやWeb Viewerを開くタイミング
通常のエージェントコマンドにビューアーは必要ありません。進行状況の確認、予期しない画面の調査、セキュリティ確認、フォームの修正、人による操作が必要なときに同じセッションを開きます。
Web ViewerはLANまたはVPN経由の認証済みアクセス用です。公開サイトそのものがセッションビューアーではありません。
人による引き継ぎ
Agentが動作 → 人が入力を一時停止 → 人が操作 → 修正を終えて解放 → Agentが新しい画面を取得 → 続行、という順序です。
人が操作した後は古い画像やobservationを再利用しないでください。詳しくはAIエージェントのリモートデスクトップを確認・一時停止・引き継ぐ方法を参照してください。
rdp-cliが行わないこと
rdp-cliはリモート操作層であり、AIモデルやタスクの推論を含みません。クラウドPCを自動作成せず、APIテストや単体テストの代わりにもなりません。
FAQ
AIエージェントはウィンドウを開かずにリモートデスクトップを操作できますか?
はい。rdp-cliは認証済みのRDP、VNC、X11、Androidセッションをビューアーなしで操作できます。
rdp-cliはローカルのマウスとキーボードを占有しますか?
いいえ。エージェントが操作するのはリモートセッションです。
rdp-cliにはAIモデルが含まれますか?
いいえ。接続、スクリーンショット、入力、ファイル転送、セッション制御を提供し、推論は選択したAIエージェントが行います。
人は作業中のエージェントを引き継げますか?
はい。同じセッションをGUIまたはWeb Viewerで開き、一時停止して操作した後、エージェントに返せます。
rdp-cliはWindows PCを作成しますか?
いいえ。既存の認証済みWindows PCと有効なRDPが必要です。
まとめ
AIエージェントに専用のリモートワークスペースを与えると、自分のPCを占有させずに作業させられます。
rdp-cliをダウンロードして、エージェントに独立したデスクトップを用意してください。