Agent に作業を任せる
目的のデバイスに接続し、画面を見て一つずつ操作。結果を確認してから次に進みます。
RDP / VNC / Android / X11 / Wayland
画面の撮影、キーボードとマウスの操作、ファイル転送、クリップボード、音声、複数モニターを紹介。各プロトコルの対応範囲と、同じセッションを手動で引き継ぐ方法を確認できます。
目的のデバイスに接続し、画面を見て一つずつ操作。結果を確認してから次に進みます。
ウィンドウや許可されたブラウザーで同じセッションを確認。一時停止して自分で修正し、Agent に操作を戻せます。
複数画面、フォルダー転送、テキストの受け渡し、リモート音声を活用。完成したファイルを手元に戻せます。
ローカルの表示ウィンドウを開かずに、RDP・VNC デスクトップ、X11 アプリ、Android を操作。確認や操作の引き継ぎには、rdp-cli の GUI または Web ビューアで同じセッションを開けます。
OS と CPU に合う実行ファイルを一つダウンロード。以下のコマンドを使う前に、そのファイルの対応機能を確認してください。
画面の一部や縮小画像を取得し、前の観察と比較。変化がなければ画像を省略でき、座標はリモート画面との対応を保ちます。
指定範囲の変化・安定、接続・操作・ファイル転送の指定状態を待ちます。続ける前に実際の成果も確認します。
エージェントが決めた操作をまとめ、新しい観察とチェックポイントを追加。エラーや操作権の変更で後続を停止し、送信済みの操作は取り消しません。
タスクの進捗、チェックポイント、選択した画像を保存し、ローカルのレポートに出力。中断後は完了内容を確認し、結果不明の操作を繰り返さず新しい手順へ進みます。
登録済みエージェント間で操作権を明示的に移します。人は GUI や Web から引き継ぎ、指定したエージェントに返せます。返された側は画面を確認して再開します。
実行ファイル内蔵の MCP または CLI を利用。認証情報への参照を持つ接続プロファイルを保存し、doctor で接続の各層を確認できます。
対応 Android 端末で仮想ディスプレイを明示的に作成し、アプリを起動。エージェント、GUI、Web は同じ表示先を使います。アプリの動作とシステムの音声許可は引き続き適用されます。
目的のデバイスに接続し、画面を見て一つずつ操作。結果を確認してから次に進みます。
RDP / VNC / X11 / Android
画面の取得、クリック、ドラッグ、スクロール、文字やショートカットの入力に対応。Agent は JSON の応答と次の画面を確認します。入力送信の成功だけではアプリ内の完了を判断できません。
画面を確認し、その観察トークンで操作してから、もう一度結果を見ます。
はじめ方rdp-cli screenshot --session SESSION --out before.png
rdp-cli clipboard set --session SESSION \
--text "結果:レポートが完成しました。確認をお願いします。" \
--observation OBSERVATION
rdp-cli key --session SESSION \
--keys CTRL+V --observation OBSERVATION
rdp-cli screenshot --session SESSION --out result.pngRDP / VNC / X11 / Android
rdp-cli は AI エージェントのための無料のリモートアクセスツールです。RDP・VNC デスクトップ、Android スマートフォン、Linux X11 アプリを操作できます。Wayland には既存の RDP または VNC サーバー経由で接続します。同じセッションをデスクトップウィンドウやブラウザーで見ながら、いつでも手動操作に切り替えられます。
ADB の USB または Wi-Fi 接続で Android 12 以降の画面を確認・操作します。端末のデバッグ許可が必要です。Pixel 3 / Android 12 でテスト済みで、他の端末では互換性が異なる場合があります。
はじめ方RDP / VNC / X11 / Android
複数セッションを接続したまま、ID で操作先を指定できます。閲覧専用ウィンドウを閉じても接続は維持。再接続後は古い観察が無効となり入力が一時停止するため、画面を確認して明示的に再開します。
セッションを一覧し、不要になった接続だけを切断します。
はじめ方ウィンドウや許可されたブラウザーで同じセッションを確認。一時停止して自分で修正し、Agent に操作を戻せます。
RDP / VNC / X11 / Android
エージェントは標準でヘッドレス動作します。進行状況を確認したり自分で操作したりする場合は、同じセッションをデスクトップウィンドウまたは許可済みのブラウザーで開きます。Windows と Mac はシステム標準のコントロールを使用し、Linux の軽量な画面は実行ファイルに含まれます。インターフェースは10言語に対応し、ビューアーウィンドウはライト・ダーク表示を選べます。操作を引き継ぐとエージェントの入力が一時停止し、返却後は最新の画面を確認して続行します。
細部を直して、同じセッションを Agent に返します。
はじめ方Agent がリモート Windows の LibreOffice Calc でレポートを準備します。人がブラウザーから確認し、操作を Agent に返します。
Agent がレポートを確認し、レビュー待ちのメモを残します。
リモート入力を一時停止しても、レポートは表示されたままです。
ブラウザーで操作を引き継ぎ、同じブックに承認を書き込みます。
操作を返すと、Agent が確認済みのブックを保存して取得します。
保存したブックには Agent のメモと人による承認が含まれます。実際のファイルをダウンロードできます。
実際の結果ファイルをダウンロード · XLSX (12.3 KB)
実際の結果ファイルをダウンロード · XLSX (12.3 KB)
実際に動作するソフトウェアを、10 言語と 2 つのテーマで個別に撮影しました。レポートのデータは架空のサンプルです。
RDP / VNC / X11 / Android
デスクトップや Web の閲覧画面で、Agent のポインター、左右・中央クリック、ダブルクリック、ドラッグ、スクロール、ショートカット、入力文字数を確認できます。ファイル転送は別に表示され、人と Agent の操作を区別します。ヒントは入力本文を繰り返し表示せず、スクリーンショットにも入りません。遠隔画面そのものはマスクされません。
表示されるのは操作の状況です。完了の判断には遠隔側の実際の結果を確認してください。
はじめ方RDP / VNC / X11 / Android
ローカル・ドメインアカウントで接続し、対応する認証情報ストアへの保存・参照や、ブラウザー資源の明示的な許可が可能です。RDP 証明書設定と VNC の安全性には異なる制約があります。
見る権限と、入力・ファイル・マイクを使う権限を分けて管理します。
はじめ方複数画面、フォルダー転送、テキストの受け渡し、リモート音声を活用。完成したファイルを手元に戻せます。
RDP
複数モニター構成を確立した RDP セッションで、全体や一画面を撮影し、画面をまたいでドラッグできます。ネイティブでは画面別ウィンドウ、ブラウザーでは画面切り替えを利用。ウィンドウの大きさは遠隔側の配置を変えません。
全体像を保ちながら、一つの画面に集中できます。
はじめ方RDP / X11 / Android
フォルダー構成を保ってファイルをアップロード・ダウンロード。 転送ごとの進捗と結果を確認し、必要に応じてキャンセル。 同名ファイルの上書きを明示的に選択し、転送内容を検証。
報告書フォルダーを処理して持ち帰れます。任意のリモートディスクを閲覧する機能ではありません。
はじめ方RDP
ファイル・フォルダー → 交換ドライブ
開く、編集する、結果を保存する
転送状況と完了したファイルを確認
RDP / VNC / X11 / Android
明示的に文字を読み書きし、ショートカットで貼り付けます。ローカルのクリップボードとは自動同期しません。RDP はサーバー設定、VNC は交渉した文字コードに依存します。
文字を設定して CTRL+V を送り、アプリ上の結果を確認します。
はじめ方RDP
RDP の音声再生とマイクは、閲覧側・接続先・オフを個別に選択できます。接続先の音声には対応する Windows rdp-cli 音声サービスが必要です。録音は明示的に開始し、デバイスとサーバーポリシーに依存します。
音声対応のリモート作業で、音声やマイクデータを誤ったコンピューターへ送らないよう事前に経路を決めます。
はじめ方Android · USB / Wi-Fi
USB または Wi-Fi でスマートフォンに接続。エージェントがコマンドで画面を確認し、タップ、入力、成果の取得を行う間、同じセッションをウィンドウやブラウザーで確認できます。
Android スマートフォン · USB / Wi-Fi →
Android 対応のダウンロード: macOS · Apple silicon · macOS · Intel · Windows · x64 · Windows · x86 · Windows · ARM64 · Linux · x86_64 · Linux · ARM64
実際の画面を撮影し、タップ、スワイプ、ドラッグ、2 本指のジェスチャーを実行。新しいスクリーンショットで結果を確認します。
Unicode テキストを明示的に貼り付け、ファイルやフォルダーを転送し、単一 APK アプリをインストール、起動、停止できます。
コマンド、ネイティブウィンドウ、承認済みブラウザーが同じ持続セッションを共有。必要に応じて一時停止や操作の引き継ぎができます。
対応基準は Android 12 以降です。実機確認済みなのは Android 12 の Google Pixel 3 です。すべてのメーカーや後続バージョンでの検証を意味しません。
Android スマートフォンを接続 →Linux · X11 / SSH · Wayland RDP / VNC
既存の Linux デスクトップまたは単独の X11 アプリに接続し、画面取得と入力コマンドで作業し、ファイルを回収して同じセッションを人に引き継ぎます。
ダウンロード: macOS · Apple siliconmacOS · IntelWindows · x64Windows · x86Windows · ARM64Linux · x86_64Linux · ARM64
rdp-cli を使うと、AI エージェントがコマンドで Linux アプリの画面を見て操作できます。画面を取得し、その画面をもとに操作して、次の画面で結果を確認します。人はネイティブウィンドウや許可された Web ビューアーを開き、同じセッションの監視、一時停止、操作の引き継ぎができます。
この例では、rdp-cli 内蔵の独立した表示環境で既存の Gedit を開きます。ローカルのビューアーは自動で開きません。応答の data.session を保存し、以下の SESSION に使います。通常のデスクトップが Wayland のホストでも、X11 対応アプリはこの方法で転送できます。
実際の display と既存の認証ファイルのパスを指定します。SSH ユーザーにはその display へのアクセス権が必要です。SSH 認証の成功だけでは、デスクトップへのアクセスは許可されません。このモードは既存のデスクトップに接続し、別のログインセッションは作りません。
| 機能 | X11 |
|---|---|
| 画面取得・キーボード・マウス | 対応 |
| テキストクリップボード | サーバーの設定と機能による |
| ファイルとフォルダー | サーバーの設定と機能による |
| 音声とマイク | 非対応 |
| 要求したマルチモニター配置 | 非対応 |
ネイティブ X11 は音声再生やマイクのリダイレクトを提供しません。Wayland デスクトップ全体への接続には、設定済みの互換 RDP または VNC エンドポイントが必要で、実際にネゴシエートされた機能を使います。rdp-cli はリモートサービスをインストール、有効化しません。表示接続の切断や喪失でアプリが終了する場合があるため、先に保存してください。自動再起動やワークスペースの保持は想定しないでください。
はじめ方 →実際に完了した2つの作業です。Agent が Mac 上の rdp-cli コマンドで Windows 11 のアプリを RDP 経由で操作し、完成したファイルを取得しました。
LibreOffice Calc · RDP
rdp-cli files upload12か月のサンプルデータ、グラフ、合計を含む準備済みブックをアップロードします。
rdp-cli screenshot → click / type / keyリモート Calc で開き、rdp-cli で完了メモを貼り付けて保存します。
rdp-cli files downloadXLSX を保存して取得。グラフと合計を確認:リクエスト15,230件、解決14,933件、目標内14,140件。
Shotcut · RDP
rdp-cli files uploadオリジナルのアニメーションと準備済みの4秒の Shotcut プロジェクトをアップロードします。
rdp-cli screenshot → click / type / keyリモート Shotcut でプロジェクトを開き、画面から MP4 の書き出しを開始します。
rdp-cli files downloadMP4 を書き出して取得。24 fps、96フレーム、960 × 540、および転送チェックサムの一致を確認。
2026年10月20日に実行中のアプリで撮影。10言語とライト・ダーク両テーマを収録しています。データは架空、アニメーションはオリジナルです。性能ベンチマークではなく、操作例です。
RDP と VNC は共通のコマンド操作を使います。以下の表はこの 2 種類のリモートデスクトップ方式を比較します。追加機能はプロトコルとサーバーに依存します。
| 機能 | RDP | VNC |
|---|---|---|
| 画面取得・キーボード・マウス | 対応 | 対応 |
| テキストクリップボード | サーバーの設定と機能による | ネゴシエーションした文字コードによる |
| ファイルとフォルダー | サーバーの設定と機能による | 非対応 |
| 音声とマイク | サーバーの設定と機能による | 非対応 |
| 要求したマルチモニター配置 | サーバーの設定と機能による | 非対応 |
VNC の安全性は選択した方式によります。従来の VNC は暗号化されないため、信頼できるネットワークか VPN を使用してください。VeNCrypt X509Plain は TLS と証明書検証を使用します。
ブラウザーでの閲覧・操作は LAN または VPN 内で利用できます。