rdp-cli
AIエージェントはコードを書ける。では、本物のデスクトップを操作できるのか?Computer Use Agentガイド
コーディングエージェントはファイルを編集し、テストを実行し、Pull Requestを作成できます。しかし、実際の業務の多くはグラフィカルなアプリケーション内で行われます。
Excel、ERP、会計ソフト、PDFツール、レガシーWindowsアプリ、Androidアプリなどがその例です。
では、AIエージェントはチャット画面やターミナルだけでなく、実際のデスクトップを操作できるのでしょうか。
できます。computer use agentは画面を読み取り、ボタンをクリックし、文字を入力し、ダイアログを処理し、結果を確認できます。rdp-cliを使えば、認証済みのRDP、VNC、X11、AndroidセッションをローカルPCを占有せずに操作できます。
Computer Use Agentとは?
Computer use agentは、APIやコマンドラインだけに頼らず、グラフィカルインターフェースを操作します。
スクリーンショットの読み取り、ボタンのクリック、フォーム入力、スクロール、キーボードショートカット、ファイルダイアログの操作、結果の確認が可能です。
基本ループは、画面を観察し、一つの操作を実行し、新しいスクリーンショットを取得し、結果を確認することです。AIモデルが推論を担当し、rdp-cliがリモートセッションとデスクトップ制御を担当します。
なぜ実デスクトップが必要なのか?
APIやMCPツールは、アプリケーションが構造化された操作を提供する場合に適しています。しかし、多くのデスクトップ処理はAPIから取得できない画面要素に依存します。
エージェントは、Windowsアプリを開き、ネイティブダイアログでログインし、ドロップダウンを選び、警告を確認し、レポートを出力し、ファイルの生成を確認する必要があります。
これはウィンドウ、ボタン、フォーカス、ポップアップ、ファイルダイアログに依存します。Computer use agentなら人間と同じ画面を操作できます。
rdp-cliの役割:不足しているセッション層
Computer-useワークフローには複数の層があります。
| 層 | 主な役割 | 解決しないこと |
|---|---|---|
| モデルネイティブComputer Use | スクリーンショットを理解し、操作を選ぶ | リモート接続、セッション所有権、人間への引き継ぎ |
| RPA | 定義済みのセレクターや手順を実行 | 柔軟な視覚推論、リモートセッションのライフサイクル |
| MCPクライアント | デスクトップ操作をツールとして公開 | リモートセッション全体のライフサイクル |
| rdp-cli | リモートセッションを接続、維持、共有 | AIの推論とタスク計画 |
モデルネイティブのComputer Useは推論層です。スクリーンショットからクリックやキー入力を提案できますが、既存RDPへの接続、再接続、ファイル転送、同じセッションの人間操作まで提供するとは限りません。
RPAは安定した大量処理に適しています。一方、画面が変わる、APIがない、途中で人間の判断が必要な場合には柔軟性が不足します。
MCPはエージェントとツールをつなぐインターフェースです。しかし、MCP自体はリモートセッションの作成、維持、共有、人間への返却方法を定義しません。
rdp-cliはセッション層です。既存の認証済み環境にエージェントを接続し、エージェントと人間が同じセッションを使えるようにします。
rdp-cliはRDP、VNC、X11、Android接続、セッションID、ヘッドレス操作、スクリーンショット、観測値に基づく入力、対応プロトコルのファイル転送、状態確認、GUI/Web Viewer、停止と引き継ぎを提供します。
RDP、VNC、X11、Android ADBで同じセッション指向のCLIモデルを使用します。接続ごとに固有のセッションIDを持ち、利点は異なる対象に対して一貫した制御方法を使えることです。
rdp-cliでAI GUI自動化を行う
入力の前に、必ず新しいスクリーンショットを取得します。rdp-cli screenshotで画面を取得し、対象を見つけたら最新の観測値でclickを実行し、もう一度スクリーンショットを取得して結果を確認します。
入力が成功しただけでは、アプリケーションの処理完了を意味しません。Saveの後は、確認メッセージ、レコード番号、状態、表の変更、生成ファイルなどを確認してください。rdp-cliコマンドドキュメントを参照してください。
どの環境を操作できるか?
RDPでは、レガシーERP、会計ソフト、倉庫システム、Excel、PDFツール、社内アプリ、デスクトップテスト、インストーラーを自動化できます。
X11では対応するLinux GUIアプリ、VNCでは既存のVNCデスクトップ、ADBではUSBまたはWi-Fi接続された認証済みAndroidを操作できます。クイックスタートを確認してください。
ローカルPCを占有せずに操作できるか?
できます。エージェントは別のリモートセッションで動作し、必要なときだけGUIまたは認証済みWeb Viewerで同じセッションを開けます。
不明な状態になったら、入力を一時停止し、人間が操作し、制御を戻した後、エージェントに新しいスクリーンショットを取得させます。同じリモートセッションを見守り、操作を引き継ぐを参照してください。
rdp-cliがしないこと
rdp-cliはAIモデルを提供せず、次の操作を決定せず、リモートPCを自動作成しません。既存の認証済みデバイス、資格情報、スクリーンショットを読んでコマンドを実行できるAIエージェントが必要です。
機能はプロトコルとサーバー設定に依存します。rdp-cliはユニットテスト、APIテスト、バックエンド検証の代替ではありません。
FAQ
Computer use agentとは?
スクリーンショット、マウス、キーボード、視覚的な検証でGUIを操作するAIシステムです。
AIエージェントはWindowsデスクトップアプリを操作できるか?
はい。認証済みのRDPセッションがあれば、APIやSDKのないレガシーアプリも操作できます。
rdp-cliにAIエージェントは含まれるか?
いいえ。rdp-cliはリモートセッション、スクリーンショット、入力、ファイル転送、制御の引き継ぎを提供します。推論は選択したAIエージェントが行います。
rdp-cliにMCPは必須か?
いいえ。CLIだけでセッションを操作できます。MCP対応エージェントは利用可能なMCPインターフェースも使えます。
まとめ
rdp-cliの独自の役割はAI推論や定型RPAではなく、エージェントと実際のリモート環境をつなぐセッション層です。
ヘッドレス操作、スクリーンショット検証、ファイル転送、人間への同一セッションの引き継ぎを実現します。
rdp-cliをダウンロードして、コードやターミナルでは届かないデスクトップワークフローをAIエージェントに任せましょう。