rdp-cli

AIエージェントはコードを書ける。では、本物のデスクトップを操作できるのか?Computer Use Agentガイド

コーディングエージェントはファイルを編集し、テストを実行し、Pull Requestを作成できます。しかし、実際の業務の多くはグラフィカルなアプリケーション内で行われます。

Excel、ERP、会計ソフト、PDFツール、レガシーWindowsアプリ、Androidアプリなどがその例です。

では、AIエージェントはチャット画面やターミナルだけでなく、実際のデスクトップを操作できるのでしょうか。

できます。computer use agentは画面を読み取り、ボタンをクリックし、文字を入力し、ダイアログを処理し、結果を確認できます。rdp-cliを使えば、認証済みのRDP、VNC、X11、AndroidセッションをローカルPCを占有せずに操作できます。

Computer Use Agentとは?

Computer use agentは、APIやコマンドラインだけに頼らず、グラフィカルインターフェースを操作します。

スクリーンショットの読み取り、ボタンのクリック、フォーム入力、スクロール、キーボードショートカット、ファイルダイアログの操作、結果の確認が可能です。

基本ループは、画面を観察し、一つの操作を実行し、新しいスクリーンショットを取得し、結果を確認することです。AIモデルが推論を担当し、rdp-cliがリモートセッションとデスクトップ制御を担当します。

なぜ実デスクトップが必要なのか?

APIやMCPツールは、アプリケーションが構造化された操作を提供する場合に適しています。しかし、多くのデスクトップ処理はAPIから取得できない画面要素に依存します。

エージェントは、Windowsアプリを開き、ネイティブダイアログでログインし、ドロップダウンを選び、警告を確認し、レポートを出力し、ファイルの生成を確認する必要があります。

これはウィンドウ、ボタン、フォーカス、ポップアップ、ファイルダイアログに依存します。Computer use agentなら人間と同じ画面を操作できます。

rdp-cliの役割:不足しているセッション層

Computer-useワークフローには複数の層があります。

層 主な役割 解決しないこと
モデルネイティブComputer Use スクリーンショットを理解し、操作を選ぶ リモート接続、セッション所有権、人間への引き継ぎ
RPA 定義済みのセレクターや手順を実行 柔軟な視覚推論、リモートセッションのライフサイクル
MCPクライアント デスクトップ操作をツールとして公開 リモートセッション全体のライフサイクル
rdp-cli リモートセッションを接続、維持、共有 AIの推論とタスク計画

モデルネイティブのComputer Useは推論層です。スクリーンショットからクリックやキー入力を提案できますが、既存RDPへの接続、再接続、ファイル転送、同じセッションの人間操作まで提供するとは限りません。

RPAは安定した大量処理に適しています。一方、画面が変わる、APIがない、途中で人間の判断が必要な場合には柔軟性が不足します。

MCPはエージェントとツールをつなぐインターフェースです。しかし、MCP自体はリモートセッションの作成、維持、共有、人間への返却方法を定義しません。

rdp-cliはセッション層です。既存の認証済み環境にエージェントを接続し、エージェントと人間が同じセッションを使えるようにします。

rdp-cliはRDP、VNC、X11、Android接続、セッションID、ヘッドレス操作、スクリーンショット、観測値に基づく入力、対応プロトコルのファイル転送、状態確認、GUI/Web Viewer、停止と引き継ぎを提供します。

RDP、VNC、X11、Android ADBで同じセッション指向のCLIモデルを使用します。接続ごとに固有のセッションIDを持ち、利点は異なる対象に対して一貫した制御方法を使えることです。

rdp-cliでAI GUI自動化を行う

入力の前に、必ず新しいスクリーンショットを取得します。rdp-cli screenshotで画面を取得し、対象を見つけたら最新の観測値でclickを実行し、もう一度スクリーンショットを取得して結果を確認します。

入力が成功しただけでは、アプリケーションの処理完了を意味しません。Saveの後は、確認メッセージ、レコード番号、状態、表の変更、生成ファイルなどを確認してください。rdp-cliコマンドドキュメントを参照してください。

どの環境を操作できるか?

RDPでは、レガシーERP、会計ソフト、倉庫システム、Excel、PDFツール、社内アプリ、デスクトップテスト、インストーラーを自動化できます。

X11では対応するLinux GUIアプリ、VNCでは既存のVNCデスクトップ、ADBではUSBまたはWi-Fi接続された認証済みAndroidを操作できます。クイックスタートを確認してください。

ローカルPCを占有せずに操作できるか?

できます。エージェントは別のリモートセッションで動作し、必要なときだけGUIまたは認証済みWeb Viewerで同じセッションを開けます。

不明な状態になったら、入力を一時停止し、人間が操作し、制御を戻した後、エージェントに新しいスクリーンショットを取得させます。同じリモートセッションを見守り、操作を引き継ぐを参照してください。

rdp-cliがしないこと

rdp-cliはAIモデルを提供せず、次の操作を決定せず、リモートPCを自動作成しません。既存の認証済みデバイス、資格情報、スクリーンショットを読んでコマンドを実行できるAIエージェントが必要です。

機能はプロトコルとサーバー設定に依存します。rdp-cliはユニットテスト、APIテスト、バックエンド検証の代替ではありません。

FAQ

Computer use agentとは?

スクリーンショット、マウス、キーボード、視覚的な検証でGUIを操作するAIシステムです。

AIエージェントはWindowsデスクトップアプリを操作できるか?

はい。認証済みのRDPセッションがあれば、APIやSDKのないレガシーアプリも操作できます。

rdp-cliにAIエージェントは含まれるか?

いいえ。rdp-cliはリモートセッション、スクリーンショット、入力、ファイル転送、制御の引き継ぎを提供します。推論は選択したAIエージェントが行います。

rdp-cliにMCPは必須か?

いいえ。CLIだけでセッションを操作できます。MCP対応エージェントは利用可能なMCPインターフェースも使えます。

まとめ

rdp-cliの独自の役割はAI推論や定型RPAではなく、エージェントと実際のリモート環境をつなぐセッション層です。

ヘッドレス操作、スクリーンショット検証、ファイル転送、人間への同一セッションの引き継ぎを実現します。

rdp-cliをダウンロードして、コードやターミナルでは届かないデスクトップワークフローをAIエージェントに任せましょう。