rdp-cli
メニュー

RDP / VNC

RDP / VNC でリモートデスクトップを自動化

Windows・macOS・Linux で AI Agent が使える rdp-cli の機能を紹介。RDP / VNC の画面取得・入力・人への操作引き継ぎと、RDP のファイル交換・音声機能を確認できます。

ひとつのリモートデスクトップで、作業の始めから終わりまで。

01

Agent に作業を任せる

既存のデスクトップに接続し、画面を確認してコマンドでアプリを操作。複数のセッションを維持できます。

RDP / VNC

コマンドでリモート作業

画面の取得、クリック、ドラッグ、スクロール、文字やショートカットの入力に対応。Agent は JSON の応答と次の画面を確認します。入力送信の成功だけではアプリ内の完了を判断できません。

  • JSON の結果、エラーコード、操作状況の照会、イベント購読により、Agent は続行・待機・復旧を判断できます。アプリ上の結果は新しい画面で確認します。

画面を確認し、その観察トークンで操作してから、もう一度結果を見ます。

はじめ方
01 / コマンドで作業を進める
rdp-cli clipboard set \
  --session SESSION \
  --text "中文输入验证：远端命令完成。" \
  --observation OBSERVATION

rdp-cli key --session SESSION \
  --keys CTRL+V \
  --observation OBSERVATION

rdp-cli screenshot \
  --session SESSION --out result.png

RDP / アプリ上の実際の結果

rdp-cli のコマンドで実際に入力した文字を表示する Windows メモ帳

操作のたびに結果を確認。次の一手はリモート画面を見て判断します。

実機で記録した使用例 · ライブ接続ではありません
コマンドの使用例です。SESSION と OBSERVATION は現在の値に置き換えてください。記録した画面は明示的な貼り付け操作の結果です。
中国語テキストを使用した実機テストの原画像です。画像は変更せず、結果を本文で説明しています。

RDP / VNC

RDP と VNC を同じ手順で

Windows・macOS・Linux から既存の RDP または VNC サーバーに接続。画面取得、入力、閲覧を共通の流れで扱えます。接続先のサービスと通信経路は事前に用意してください。クラウドデスクトップを作るツールではありません。

  • どちらのプロトコルも同じセッション操作コマンドを使えます。RDP はローカル・ドメインアカウント、VNC はサーバーが対応する認証を利用します。

Windows の RDP、または既存の VNC サーバーを選びます。

はじめ方

Linux から Windows RDP に接続する →

VNC をコマンドで操作して入力結果を確認する →

RDP / VNC

複数の接続を持続

複数セッションを接続したまま、ID で操作先を指定できます。閲覧専用ウィンドウを閉じても接続は維持。再接続後は古い観察が無効となり入力が一時停止するため、画面を確認して明示的に再開します。

  • コマンドが終了しても接続は維持できます。セッション ID で対象のデスクトップを指定し、再接続後は入力を一時停止して画面を確認します。

セッションを一覧し、不要になった接続だけを切断します。

はじめ方

RDP 接続・黒い画面・入力拒否の原因を調べる →

02

見守り、必要なときに引き継ぐ

ウィンドウや許可されたブラウザーで同じセッションを確認。一時停止して自分で修正し、Agent に操作を戻せます。

RDP / VNC

閲覧・一時停止・引き継ぎ

既存セッションをネイティブウィンドウや許可されたブラウザーで開きます。複数人が見られますが、人の操作権は同時に一つだけ。引き継ぎ中の Agent 入力は止まり、操作中のビューアーを失うと一時停止します。

  • 閲覧者が増えても既存の接続を共有します。複数人が閲覧でき、操作するのは一度に一人です。人が操作を戻した後、Agent は画面を再確認します。

細部を直して、同じセッションを Agent に返します。

はじめ方
同じリモートのメモ帳セッションを操作するブラウザービューアー元のスクリーンショットを見る ↗
実機で記録した使用例 · ライブ接続ではありません 実録では、ビューアーで Agent を一時停止し、操作を引き継いで「reviewed.」を追加しました。返却後、Agent が新しい画面を取得して保存しました。 中国語テキストを使用した実機テストの原画像です。画像は変更せず、結果を本文で説明しています。
実際の操作引き継ぎを見る

Windows 11 の同じ RDP セッションで記録。エージェントがチェックリストを作成し、人が中断して確認します。

  1. エージェントの作業を見る

    rdp-cli がリモートアプリへ文字を送信すると、ビューアーに入力のヒントが表示されます。

    rdp-cli がリモートアプリへ文字を送信すると、ビューアーに入力のヒントが表示されます。 元のスクリーンショットを見る ↗

  2. 作業を一時停止

    ビューアーから入力を停止します。書きかけの文が画面に残ります。

    ビューアーから入力を停止します。書きかけの文が画面に残ります。 元のスクリーンショットを見る ↗

  3. 操作を引き継いで確認

    人が同じ文書を操作し、「Human review: approved.」（人による確認済み）を追記します。

    人が同じ文書を操作し、「Human review: approved.」（人による確認済み）を追記します。 元のスクリーンショットを見る ↗

  4. 操作を返して検証

    返却後、エージェントは新しいリモート画面を取得し、確認結果を読んで保存します。

    返却後、エージェントは新しいリモート画面を取得し、確認結果を読んで保存します。 元のスクリーンショットを見る ↗

完成ファイルを交換ドライブから取得し、SHA-256 を照合しました。 実際の結果ファイルをダウンロード (504 B)

2026年9月21日に英語環境で記録。画像の画素は原本のままで、サイトの言語やテーマによって変更しません。

メニューバーからの実際の引き継ぎ

2026年9月23日に追加記録。以下のメニューパネルと最終スクリーンショットは、同じ Windows 11 RDP セッションのものです。

macOS のメニューパネルから現在のセッションを選択します。ビューアーを開くだけでは操作権は移りません。 元のスクリーンショットを見る ↗
macOS のメニューパネルから現在のセッションを選択します。ビューアーを開くだけでは操作権は移りません。
確認者がブラウザーで一時停止し、操作権を取得して承認文を入力しました。操作権を戻した後、Agent は新しいスクリーンショットを取得してから入力を再開しました。 元のスクリーンショットを見る ↗
確認者がブラウザーで一時停止し、操作権を取得して承認文を入力しました。操作権を戻した後、Agent は新しいスクリーンショットを取得してから入力を再開しました。

元の画面を掲載しています。Mac のパネルは中国語、リモートデスクトップは英語です。

RDP / VNC

セッションをすぐ管理

Mac はメニューバーから検索できる一覧、Windows は通知領域のメニューを利用します。接続先、状態、操作主体、最近の操作を確認し、ビューアーを開く、一時停止、切断を選べます。 Linux では検索可能なセッションパネルを利用でき、対応するデスクトップには状態アイコンも表示されます。トレイがない場合は presence show --panel でパネルを開けます。

  • Mac では名前やアドレスで検索し、Windows ではトレイから選択できます。状態メニューから全セッションをまとめて一時停止できます。 Linux では検索可能なセッションパネルを利用でき、対応するデスクトップには状態アイコンも表示されます。トレイがない場合は presence show --panel でパネルを開けます。

名前やアドレスで現在のセッションを探せます。保存済み接続のアドレス帳ではありません。

はじめ方

RDP / VNC

操作の動きがわかる

クリックの輪、ドラッグ軌跡、スクロール方向、ショートカット、入力進捗で送信済みの操作を表示。ビューアーごとに非表示にできます。入力本文はヒントに再表示せず、リモート画面とは別の層です。

  • ポインター、クリックの輪、ドラッグの軌跡、スクロール方向、ショートカットを表示。入力進捗に本文は再表示しませんが、リモート画面自体は見えます。

Agent がどこを押したかわかります。画面そのものが自動で伏せ字になるわけではありません。

はじめ方

RDP / VNC

既存のアカウントと権限

ローカル・ドメインアカウントで接続し、対応する認証情報ストアへの保存・参照や、ブラウザー資源の明示的な許可が可能です。RDP 証明書設定と VNC の安全性には異なる制約があります。

  • 資格情報をシステムの資格情報ストアに保存し、後で参照できます。ブラウザーには必要な閲覧・操作・ファイル権限を与え、作業後に取り消せます。

見る権限と、入力・ファイル・マイクを使う権限を分けて管理します。

はじめ方
03

作業全体を進める

複数画面、フォルダー転送、テキストの受け渡し、リモート音声を活用。完成したファイルを手元に戻せます。

RDP

画面ごとに見る・操作する

複数モニター構成を確立した RDP セッションで、全体や一画面を撮影し、画面をまたいでドラッグできます。ネイティブでは画面別ウィンドウ、ブラウザーでは画面切り替えを利用。ウィンドウの大きさは遠隔側の配置を変えません。

  • 画面ごとに撮影・操作でき、画面間のドラッグにも対応。
  • ネイティブでは画面別のウィンドウ、ブラウザーでは切り替えと全体表示。
  • 手元が 1 画面でも、遠隔の 2 画面を確認できます。

全体像を保ちながら、一つの画面に集中できます。

はじめ方

RDP

ファイルとフォルダーの交換

交換ドライブへ送り、リモートで処理して結果を取得。CLI・ウィンドウ・ブラウザーで進捗とキャンセルを共有し、上書きは明示的に指定します。RDP サーバーのドライブ転送許可が必要です。

  • フォルダー構成を保ってファイルをアップロード・ダウンロード。
  • 転送ごとの進捗と結果を確認し、必要に応じてキャンセル。
  • 同名ファイルの上書きを明示的に選択し、転送内容を検証。

報告書フォルダーを処理して持ち帰れます。任意のリモートディスクを閲覧する機能ではありません。

はじめ方
  1. アップロード

    ファイル・フォルダー → 交換ドライブ

  2. リモートで処理

    開く、編集する、結果を保存する

  3. ダウンロード

    転送状況と完了したファイルを確認

アップロードしたテキストをリモートで編集し、人が確認した画面元のスクリーンショットを見る ↗
実機で記録した使用例 · ライブ接続ではありません 47 バイトをアップロード → Windows メモ帳で編集 → 保存 → 87 バイトをダウンロード。取得した本文を期待する内容と照合しました。 中国語テキストを使用した実機テストの原画像です。画像は変更せず、結果を本文で説明しています。

表計算と動画編集の実例を見る →

RDP コマンドラインでファイルを送受信する →

RDP / VNC

リモートのテキストクリップボード

明示的に文字を読み書きし、ショートカットで貼り付けます。ローカルのクリップボードとは自動同期しません。RDP はサーバー設定、VNC は交渉した文字コードに依存します。

  • アドレス、文章、表形式のテキストをリモートのクリップボードで受け渡せます。対応する文字は type で直接入力でき、クリップボードを書き換えません。

文字を設定して CTRL+V を送り、アプリ上の結果を確認します。

はじめ方

RDP

リモートの音を聞く

RDP 音声を再生し、ビューアーごとに音量などを調整。人が操作権を持つ間にマイクを明示的に開始できますが、システムの権限とサーバーの対応が必要です。操作権の返却や切断で録音を止め、自動再開しません。

  • 許可された複数のビューアーで同時に音声を再生。
  • 音声入力が必要なら、操作権を取得してマイクを有効化。
  • 操作権の返却や切断で送信を停止。再利用時は明示的に有効化。

リモート側の再生を聞き、音声入力が必要なときだけマイクを使います。

はじめ方

作業に合ったプロトコルを選ぶ。

コマンド操作の流れは共通です。追加機能はプロトコルとサーバーに依存します。

機能RDPVNC
画面取得・キーボード・マウス対応対応
テキストクリップボードサーバーの設定と機能によるネゴシエーションした文字コードによる
交換ドライブとファイルサーバーの設定と機能による非対応
音声とマイクサーバーの設定と機能による非対応
要求したマルチモニター配置サーバーの設定と機能による非対応

対応する VNC モードは通信を暗号化しません。信頼できるネットワークか VPN を利用してください。従来の VNC 認証はパスワードの先頭 8 UTF-8 バイトを使用します。

ブラウザーでの閲覧・操作は LAN または VPN 内で利用できます。