RDP / VNC / Android / X11 / Wayland

AI エージェントで PC と Android を操作

画面の撮影、キーボードとマウスの操作、ファイル転送、クリップボード、音声、複数モニターを紹介。各プロトコルの対応範囲と、同じセッションを手動で引き継ぐ方法を確認できます。

ひとつのリモートデスクトップで、作業の始めから終わりまで。

AI エージェントがリモート端末を操作。人はいつでも参加できます。

ローカルの表示ウィンドウを開かずに、RDP・VNC デスクトップ、X11 アプリ、Android を操作。確認や操作の引き継ぎには、rdp-cli の GUI または Web ビューアで同じセッションを開けます。

OS と CPU に合う実行ファイルを一つダウンロード。以下のコマンドを使う前に、そのファイルの対応機能を確認してください。

必要な場所を確認

画面の一部や縮小画像を取得し、前の観察と比較。変化がなければ画像を省略でき、座標はリモート画面との対応を保ちます。

画面の変化や転送完了を待つ

指定範囲の変化・安定、接続・操作・ファイル転送の指定状態を待ちます。続ける前に実際の成果も確認します。

短い操作列を送り、確認点で止まる

エージェントが決めた操作をまとめ、新しい観察とチェックポイントを追加。エラーや操作権の変更で後続を停止し、送信済みの操作は取り消しません。

進捗を残し、中断後に確認して続行

タスクの進捗、チェックポイント、選択した画像を保存し、ローカルのレポートに出力。中断後は完了内容を確認し、結果不明の操作を繰り返さず新しい手順へ進みます。

複数のエージェントと人で引き継ぐ

登録済みエージェント間で操作権を明示的に移します。人は GUI や Web から引き継ぎ、指定したエージェントに返せます。返された側は画面を確認して再開します。

エージェント接続と接続診断

実行ファイル内蔵の MCP または CLI を利用。認証情報への参照を持つ接続プロファイルを保存し、doctor で接続の各層を確認できます。

メイン画面か仮想ディスプレイを選択

対応 Android 端末で仮想ディスプレイを明示的に作成し、アプリを起動。エージェント、GUI、Web は同じ表示先を使います。アプリの動作とシステムの音声許可は引き続き適用されます。

はじめ方 →
01

Agent に作業を任せる

目的のデバイスに接続し、画面を見て一つずつ操作。結果を確認してから次に進みます。

RDP / VNC / X11 / Android

コマンドでリモート作業

画面の取得、クリック、ドラッグ、スクロール、文字やショートカットの入力に対応。Agent は JSON の応答と次の画面を確認します。入力送信の成功だけではアプリ内の完了を判断できません。

  • JSON の結果、エラーコード、操作状況の照会、イベント購読により、Agent は続行・待機・復旧を判断できます。アプリ上の結果は新しい画面で確認します。

画面を確認し、その観察トークンで操作してから、もう一度結果を見ます。

はじめ方
01 / コマンドで作業を進める
rdp-cli screenshot --session SESSION --out before.png

rdp-cli clipboard set --session SESSION \
  --text "結果:レポートが完成しました。確認をお願いします。" \
  --observation OBSERVATION

rdp-cli key --session SESSION \
  --keys CTRL+V --observation OBSERVATION

rdp-cli screenshot --session SESSION --out result.png

RDP / VNC / X11 / Android

RDP / VNC / Android / X11 / Wayland

rdp-cli は AI エージェントのための無料のリモートアクセスツールです。RDP・VNC デスクトップ、Android スマートフォン、Linux X11 アプリを操作できます。Wayland には既存の RDP または VNC サーバー経由で接続します。同じセッションをデスクトップウィンドウやブラウザーで見ながら、いつでも手動操作に切り替えられます。

  • デスクトップアプリの操作やファイル交換に対応。サーバーが対応していれば、音声や複数画面も利用できます。
  • 既存の VNC サーバーに接続して画面を確認・操作します。テキストのクリップボードはサーバー次第です。VNC でのファイル転送、音声、画面配置の変更には対応していません。
  • ADB の USB または Wi-Fi 接続で Android 12 以降の画面を確認・操作します。端末のデバッグ許可が必要です。Pixel 3 / Android 12 でテスト済みで、他の端末では互換性が異なる場合があります。

ADB の USB または Wi-Fi 接続で Android 12 以降の画面を確認・操作します。端末のデバッグ許可が必要です。Pixel 3 / Android 12 でテスト済みで、他の端末では互換性が異なる場合があります。

はじめ方

Linux から Windows RDP に接続する →

VNC をコマンドで操作して入力結果を確認する →

RDP / VNC / X11 / Android

複数の接続を持続

複数セッションを接続したまま、ID で操作先を指定できます。閲覧専用ウィンドウを閉じても接続は維持。再接続後は古い観察が無効となり入力が一時停止するため、画面を確認して明示的に再開します。

  • コマンドが終了しても接続は維持できます。セッション ID で対象のデスクトップを指定し、再接続後は入力を一時停止して画面を確認します。

セッションを一覧し、不要になった接続だけを切断します。

はじめ方

RDP 接続・黒い画面・入力拒否の原因を調べる →

02

見守り、必要なときに引き継ぐ

ウィンドウや許可されたブラウザーで同じセッションを確認。一時停止して自分で修正し、Agent に操作を戻せます。

RDP / VNC / X11 / Android

閲覧・一時停止・引き継ぎ

エージェントは標準でヘッドレス動作します。進行状況を確認したり自分で操作したりする場合は、同じセッションをデスクトップウィンドウまたは許可済みのブラウザーで開きます。Windows と Mac はシステム標準のコントロールを使用し、Linux の軽量な画面は実行ファイルに含まれます。インターフェースは10言語に対応し、ビューアーウィンドウはライト・ダーク表示を選べます。操作を引き継ぐとエージェントの入力が一時停止し、返却後は最新の画面を確認して続行します。

  • 閲覧者が増えても既存の接続を共有します。複数人が閲覧でき、操作するのは一度に一人です。人が操作を戻した後、Agent は画面を再確認します。

細部を直して、同じセッションを Agent に返します。

はじめ方
実際の操作引き継ぎを見る

Agent がリモート Windows の LibreOffice Calc でレポートを準備します。人がブラウザーから確認し、操作を Agent に返します。

  1. エージェントの作業を見る

    Agent がレポートを確認し、レビュー待ちのメモを残します。

  2. 作業を一時停止

    リモート入力を一時停止しても、レポートは表示されたままです。

  3. 操作を引き継いで確認

    ブラウザーで操作を引き継ぎ、同じブックに承認を書き込みます。

  4. 操作を返して検証

    操作を返すと、Agent が確認済みのブックを保存して取得します。

保存したブックには Agent のメモと人による承認が含まれます。実際のファイルをダウンロードできます。

実際の結果ファイルをダウンロード · XLSX (12.3 KB)

実際の結果ファイルをダウンロード · XLSX (12.3 KB)

実際に動作するソフトウェアを、10 言語と 2 つのテーマで個別に撮影しました。レポートのデータは架空のサンプルです。

RDP / VNC / X11 / Android

実行中のセッションをまとめて管理

Mac のメニューバー、Windows のトレイ、Linux のパネルからセッションを管理できます。接続先、接続状態、操作担当、現在・直近の動作、転送進捗、エラーを確認できます。対応するデスクトップではアイコンが Agent の活動を示します。閲覧画面を開く、一時停止する、切断するといった操作も可能です。

  • Mac では名前やアドレスで検索し、Windows ではトレイから選択できます。状態メニューから全セッションをまとめて一時停止できます。 Linux では検索可能なセッションパネルを利用でき、対応するデスクトップには状態アイコンも表示されます。トレイがない場合は presence show --panel でパネルを開けます。

接続先に再ログインせず、既存のセッションを開きます。Linux の状態アイコンはデスクトップ環境に依存します。presence show --panel でパネルを直接開けます。

はじめ方

RDP / VNC / X11 / Android

操作の動きがわかる

デスクトップや Web の閲覧画面で、Agent のポインター、左右・中央クリック、ダブルクリック、ドラッグ、スクロール、ショートカット、入力文字数を確認できます。ファイル転送は別に表示され、人と Agent の操作を区別します。ヒントは入力本文を繰り返し表示せず、スクリーンショットにも入りません。遠隔画面そのものはマスクされません。

  • キーやマウスボタンを押し続けている間も、操作とファイル転送の進捗を別々に表示します。ファイルパネルを閉じても進捗は見え、転送元が人か Agent かを区別できます。機密入力では本文と文字数を表示しません。ヒントはビューアーの言語と明暗テーマに対応し、遠隔作業に影響せず調整・非表示にできます。

表示されるのは操作の状況です。完了の判断には遠隔側の実際の結果を確認してください。

はじめ方

RDP / VNC / X11 / Android

既存のアカウントと権限

ローカル・ドメインアカウントで接続し、対応する認証情報ストアへの保存・参照や、ブラウザー資源の明示的な許可が可能です。RDP 証明書設定と VNC の安全性には異なる制約があります。

  • 資格情報をシステムの資格情報ストアに保存し、後で参照できます。ブラウザーには必要な閲覧・操作・ファイル権限を与え、作業後に取り消せます。

見る権限と、入力・ファイル・マイクを使う権限を分けて管理します。

はじめ方
03

作業全体を進める

複数画面、フォルダー転送、テキストの受け渡し、リモート音声を活用。完成したファイルを手元に戻せます。

RDP

画面ごとに見る・操作する

複数モニター構成を確立した RDP セッションで、全体や一画面を撮影し、画面をまたいでドラッグできます。ネイティブでは画面別ウィンドウ、ブラウザーでは画面切り替えを利用。ウィンドウの大きさは遠隔側の配置を変えません。

  • 画面ごとに撮影・操作でき、画面間のドラッグにも対応。
  • ネイティブでは画面別のウィンドウ、ブラウザーでは切り替えと全体表示。
  • 手元が 1 画面でも、遠隔の 2 画面を確認できます。

全体像を保ちながら、一つの画面に集中できます。

はじめ方

RDP / X11 / Android

ファイルとフォルダーの交換

フォルダー構成を保ってファイルをアップロード・ダウンロード。 転送ごとの進捗と結果を確認し、必要に応じてキャンセル。 同名ファイルの上書きを明示的に選択し、転送内容を検証。

報告書フォルダーを処理して持ち帰れます。任意のリモートディスクを閲覧する機能ではありません。

はじめ方
  • RDP:セッションのリダイレクトドライブでファイルを交換します。接続先のポリシーによる許可が必要です。
  • X11 / SSH:サーバーの既存 SFTP サービスを使い、指定したディレクトリ内で転送します。 X11 →
  • Android:端末のセッションフォルダー内で転送します。VNC にファイル転送機能はありません。 Android →

RDP

  1. アップロード

    ファイル・フォルダー → 交換ドライブ

  2. リモートで処理

    開く、編集する、結果を保存する

  3. ダウンロード

    転送状況と完了したファイルを確認

準備済みブックをアップロード → リモート Calc で更新 → 保存 → ダウンロード。取得したブックのメモ、数式、合計、グラフを確認しました。

表計算と動画編集の実例を見る →

RDP コマンドラインでファイルを送受信する →

RDP / VNC / X11 / Android

リモートのテキストクリップボード

明示的に文字を読み書きし、ショートカットで貼り付けます。ローカルのクリップボードとは自動同期しません。RDP はサーバー設定、VNC は交渉した文字コードに依存します。

  • アドレス、文章、表形式のテキストをリモートのクリップボードで受け渡せます。対応する文字は type で直接入力でき、クリップボードを書き換えません。

文字を設定して CTRL+V を送り、アプリ上の結果を確認します。

はじめ方

RDP

RDP の音声出力先とマイク入力元を個別に選択

RDP の音声再生とマイクは、閲覧側・接続先・オフを個別に選択できます。接続先の音声には対応する Windows rdp-cli 音声サービスが必要です。録音は明示的に開始し、デバイスとサーバーポリシーに依存します。

  • 許可された複数のビューアーで同時に音声を再生。
  • 音声入力が必要なら、操作権を取得してマイクを有効化。
  • 操作権の返却や切断で送信を停止。再利用時は明示的に有効化。

音声対応のリモート作業で、音声やマイクデータを誤ったコンピューターへ送らないよう事前に経路を決めます。

はじめ方

RDP の音声とマイクの接続先を選ぶ →

Android · USB / Wi-Fi

AI エージェントに、実際の Android 画面を。

USB または Wi-Fi でスマートフォンに接続。エージェントがコマンドで画面を確認し、タップ、入力、成果の取得を行う間、同じセッションをウィンドウやブラウザーで確認できます。

Android スマートフォン · USB / Wi-Fi →

Android 対応のダウンロード: macOS · Apple silicon · macOS · Intel · Windows · x64 · Windows · x86 · Windows · ARM64 · Linux · x86_64 · Linux · ARM64

画面を見て操作

実際の画面を撮影し、タップ、スワイプ、ドラッグ、2 本指のジェスチャーを実行。新しいスクリーンショットで結果を確認します。

テキスト、ファイル、アプリ

Unicode テキストを明示的に貼り付け、ファイルやフォルダーを転送し、単一 APK アプリをインストール、起動、停止できます。

人とエージェントが共有

コマンド、ネイティブウィンドウ、承認済みブラウザーが同じ持続セッションを共有。必要に応じて一時停止や操作の引き継ぎができます。

対応基準は Android 12 以降です。実機確認済みなのは Android 12 の Google Pixel 3 です。すべてのメーカーや後続バージョンでの検証を意味しません。

Android スマートフォンを接続 →

動作範囲

Linux · X11 / SSH · Wayland RDP / VNC

X11 と SSH で AI エージェントから Linux アプリを操作する

既存の Linux デスクトップまたは単独の X11 アプリに接続し、画面取得と入力コマンドで作業し、ファイルを回収して同じセッションを人に引き継ぎます。

ダウンロード: macOS · Apple siliconmacOS · IntelWindows · x64Windows · x86Windows · ARM64Linux · x86_64Linux · ARM64

エージェントと人が同じセッションを使う

rdp-cli を使うと、AI エージェントがコマンドで Linux アプリの画面を見て操作できます。画面を取得し、その画面をもとに操作して、次の画面で結果を確認します。人はネイティブウィンドウや許可された Web ビューアーを開き、同じセッションの監視、一時停止、操作の引き継ぎができます。

アプリを単独で開く

この例では、rdp-cli 内蔵の独立した表示環境で既存の Gedit を開きます。ローカルのビューアーは自動で開きません。応答の data.session を保存し、以下の SESSION に使います。通常のデスクトップが Wayland のホストでも、X11 対応アプリはこの方法で転送できます。

既存の X11 デスクトップに接続する場合

実際の display と既存の認証ファイルのパスを指定します。SSH ユーザーにはその display へのアクセス権が必要です。SSH 認証の成功だけでは、デスクトップへのアクセスは許可されません。このモードは既存のデスクトップに接続し、別のログインセッションは作りません。

実行中のセッションをまとめて管理
作業に合ったプロトコルを選ぶ。 · X11
機能X11
画面取得・キーボード・マウス対応
テキストクリップボードサーバーの設定と機能による
ファイルとフォルダーサーバーの設定と機能による
音声とマイク非対応
要求したマルチモニター配置非対応

ネイティブ X11 は音声再生やマイクのリダイレクトを提供しません。Wayland デスクトップ全体への接続には、設定済みの互換 RDP または VNC エンドポイントが必要で、実際にネゴシエートされた機能を使います。rdp-cli はリモートサービスをインストール、有効化しません。表示接続の切断や喪失でアプリが終了する場合があるため、先に保存してください。自動再起動やワークスペースの保持は想定しないでください。

はじめ方 →

X11 と SSH で AI エージェントから Linux アプリを操作する →

リモート操作から、使える成果物へ

実際に完了した2つの作業です。Agent が Mac 上の rdp-cli コマンドで Windows 11 のアプリを RDP 経由で操作し、完成したファイルを取得しました。

LibreOffice Calc · RDP

レポートを更新してブックを取得

  1. rdp-cli files upload

    12か月のサンプルデータ、グラフ、合計を含む準備済みブックをアップロードします。

  2. rdp-cli screenshot → click / type / key

    リモート Calc で開き、rdp-cli で完了メモを貼り付けて保存します。

  3. rdp-cli files download

    XLSX を保存して取得。グラフと合計を確認:リクエスト15,230件、解決14,933件、目標内14,140件。

Shotcut · RDP

動画プロジェクトを書き出して MP4 を取得

  1. rdp-cli files upload

    オリジナルのアニメーションと準備済みの4秒の Shotcut プロジェクトをアップロードします。

  2. rdp-cli screenshot → click / type / key

    リモート Shotcut でプロジェクトを開き、画面から MP4 の書き出しを開始します。

  3. rdp-cli files download

    MP4 を書き出して取得。24 fps、96フレーム、960 × 540、および転送チェックサムの一致を確認。

2026年10月20日に実行中のアプリで撮影。10言語とライト・ダーク両テーマを収録しています。データは架空、アニメーションはオリジナルです。性能ベンチマークではなく、操作例です。

作業に合ったプロトコルを選ぶ。

RDP と VNC は共通のコマンド操作を使います。以下の表はこの 2 種類のリモートデスクトップ方式を比較します。追加機能はプロトコルとサーバーに依存します。

機能RDPVNC
画面取得・キーボード・マウス対応対応
テキストクリップボードサーバーの設定と機能によるネゴシエーションした文字コードによる
ファイルとフォルダーサーバーの設定と機能による非対応
音声とマイクサーバーの設定と機能による非対応
要求したマルチモニター配置サーバーの設定と機能による非対応

VNC の安全性は選択した方式によります。従来の VNC は暗号化されないため、信頼できるネットワークか VPN を使用してください。VeNCrypt X509Plain は TLS と証明書検証を使用します。

ブラウザーでの閲覧・操作は LAN または VPN 内で利用できます。