RDP / VNC 远程桌面自动化

RDP / VNC

用命令完成远端任务

获取桌面截图，点击、拖动、滚动、输入文字和快捷键。Agent 读取 JSON 返回值，并查看下一张截图判断实际结果。命令发送成功，不等于应用内任务已经完成。

• JSON 结果、错误代码、操作查询和事件订阅，帮助 Agent 判断继续、等待还是恢复。应用是否完成目标，仍通过新截图核对。

先截图，使用这张截图的观察令牌操作，再截图验证。

● ● ●01 / 命令驱动远端

rdp-cli clipboard set \
  --session SESSION \
  --text "中文输入验证：远端命令完成。" \
  --observation OBSERVATION

rdp-cli key --session SESSION \
  --keys CTRL+V \
  --observation OBSERVATION

rdp-cli screenshot \
  --session SESSION --out result.png

RDP / 远端应用中的实际结果

每次操作后，再看一眼实际结果。让 Agent 依据远端画面决定下一步。

RDP / VNC

同时连接 RDP 与 VNC

在 Windows、macOS 或 Linux 上连接已有的 RDP、VNC 服务，使用一致的截图、输入和观看流程。远端必须已开启相应服务且网络可达；本工具不会为你创建云端桌面。

• 两种协议共用会话操作命令。RDP 可使用本地或域账号；VNC 使用服务端支持的认证方式。

Windows 远程桌面可使用 RDP，已有 VNC 服务则选择 VNC。

在 Linux 用单个程序连接 Windows RDP →

用命令连接 VNC 并验证远端输入 →

RDP / VNC

多台电脑，持续连接

同时保持多个会话，通过会话 ID 指定操作目标。关闭只读窗口不会断开连接。重连会使旧观察令牌失效，并保持暂停；先检查当前画面，再明确恢复输入。

• 一条命令结束后，远程连接仍可保留。后续操作通过会话 ID 找到对应桌面；重连后暂停输入，重新观察再继续。

列出当前会话，查看其中一个的状态，只断开不再需要的连接。

排查 RDP 连接、黑屏与输入被拒绝问题 →

RDP / VNC

观看、暂停和接管

用原生窗口或已授权浏览器观看已有会话。可以有多个观看者，但同一时刻只有一个观看端拥有人类控制权。接管会停止 Agent 输入，交还后恢复协作；控制端意外退出会暂停输入。

• 新增观看端沿用原有连接。多人可同时观看，同一时刻由一个控制者操作；人交还控制后，Agent 重新观察更新后的画面。

观看任务，接管并修改一个细节，再把同一会话交回 Agent。

查看原始截图 ↗

查看真实接管过程 +

在 Windows 11 的同一个 RDP 会话中录制：Agent 编写清单，人随时暂停并审核。

1. 01 观察 Agent 工作

   rdp-cli 向远端应用输入文字时，查看器显示输入动作提示。

   查看原始截图 ↗

2. 02 暂停任务

   人在查看器中暂停输入，画面保留尚未写完的句子。

   查看原始截图 ↗

3. 03 接管并审核

   人接管同一份文档，添加“Human review: approved.”（人工审核通过）。

   查看原始截图 ↗

4. 04 交还并验证

   交还后，Agent 重新截取远端画面，确认审核意见，再保存结果。

   查看原始截图 ↗

最终文件已通过交换盘取回，并核对 SHA-256 摘要。 下载实际结果文件 (504 B)

2026 年 9 月 21 日英文环境原始实录。截图像素保持原样，不随网站语言或主题改写。

菜单栏入口：另一组真实交接

2026 年 9 月 23 日补录。下面的菜单面板和最终截图来自同一个 Windows 11 RDP 会话。

查看原始截图 ↗

查看原始截图 ↗

原始画面：Mac 面板为中文，远端桌面为英文。

RDP / VNC

会话管理，随手可用

Mac 菜单栏图标打开可搜索的当前会话列表，Windows 提供通知区菜单。查看目标、连接状态、控制者和最近操作，再打开查看器、暂停或断开相应会话。 Linux 提供可搜索的会话面板；桌面支持时也会显示状态图标。没有托盘时，可用 presence show --panel 打开面板。

• Mac 可按名称或地址搜索会话，Windows 从托盘选择。需要休息或检查时，可从状态菜单一次暂停全部会话。 Linux 提供可搜索的会话面板；桌面支持时也会显示状态图标。没有托盘时，可用 presence show --panel 打开面板。

按名称或地址找到正在运行的桌面。这是当前会话列表，不是保存连接配置的地址簿。

RDP / VNC

看清每一步操作

点击圈、拖动轨迹、滚动方向、快捷键和文字输入进度，帮助你理解实际发送的动作。每个观看端都可关闭提示。输入提示不重复显示正文，与远端画面分开呈现。

• 指针移动、点击圈、拖动轨迹、滚动方向和快捷键提示，说明实际发送了哪些动作。输入进度不重复显示正文；远端画面本身仍正常可见。

看见 Agent 点了哪里；远端画面本身不会因此自动打码。

RDP / VNC

沿用现有账号与权限

使用本地或域账号连接，按需保存并引用系统凭据存储中的凭据，单独授予浏览器资源权限。RDP 证书设置与 VNC 安全模式各有边界，应按实际环境配置。

• 凭据可以保存在系统凭据存储中，后续直接引用。按需授权浏览器访问画面、控制、文件等资源，任务结束后可撤销访问。

分别管理会话观看、键鼠控制、文件和麦克风等权限。

RDP

按屏查看与操作

在已协商多屏的 RDP 会话中，截取整个桌面或指定屏幕，按屏操作并跨屏拖动。原生查看器可为每个屏幕打开窗口，浏览器可切换屏幕。缩放查看窗口只改变本地显示，不改变远端布局。

• 按屏截图与操作，支持跨屏拖动。
• 原生窗口可逐屏展开；浏览器可切屏或查看总览。
• 你只有一块本机屏幕，也能查看远程双屏工作区。

专注查看一块屏幕，同时保留整个远端桌面的总览。

RDP

交换文件和文件夹

把文件上传到会话交换盘，在远端处理后再下载。命令、原生窗口和浏览器共享传输进度及取消操作，覆盖已有文件需明确选择。需要 RDP 服务端允许驱动器重定向。

• 文件与文件夹上传、下载，保留目录结构。
• 查看每项传输的进度与结果，按需取消。
• 遇到同名文件由你选择是否覆盖，传输后校验文件内容。

上传报告文件夹，在远端修改文档，再取回结果；这不等于任意浏览远端磁盘。

1. 上传资料

   文件和文件夹 → 会话交换盘

2. 远端处理

   打开、修改，并保存处理结果

3. 下载结果

   查看传输进度，核对完成的文件

查看原始截图 ↗

查看表格与视频任务实录 →

RDP 命令行上传与下载文件 →

RDP / VNC

按需读写远端文本剪贴板

显式读取或设置远端剪贴板文字，再通过快捷键粘贴。它不会自动同步本机剪贴板。RDP 剪贴板能力取决于服务端策略，VNC 文字编码取决于协商结果。

• 通过远端剪贴板传递地址、段落或表格文本。支持的文字也可用 type 命令直接输入，不必替换剪贴板。

设置远端剪贴板，发送 CTRL+V，再检查应用内结果。

RDP

听见远端声音

播放 RDP 远端声音，各观看端独立调整播放。人类接管后可主动开启麦克风，仍需系统授权和服务端支持。交还控制权或断开连接会停止采集，不会自动重新录音。

• 多个有权限的观看端可同时收听。
• 需要语音输入时，接管会话后主动开启麦克风。
• 交还控制或断线时停止回传；再次使用需明确开启。

听取远端播放结果；需要语音输入时再打开麦克风。