让 Agent 完成工作
连接目标设备,先看画面,再发送一个动作。核对实际结果后继续下一步。
RDP / VNC / Android / X11 / Wayland
了解远端截图、键鼠控制、文件传输、剪贴板、音频和多显示器功能。查看各协议支持的能力,以及如何在同一个会话中切换 Agent 操作与人工接管。
不开本地窗口,也能操作 RDP 桌面、VNC 桌面、X11 应用和 Android。需要查看或接管时,打开 rdp-cli 的 GUI 或 Web,进入同一个会话。
按操作系统和 CPU 架构下载一个可执行文件。使用下列命令前,先核对下载文件实际包含的能力。
截取局部或缩小画面,与上次观察比较;没有变化时不重复返回图片。坐标仍与远端画面对应。
等待指定区域变化或稳定,或等待连接、操作、文件传输到达指定状态。继续前仍要核对实际成果。
把 Agent 已确定的动作组合发送,加入新观察并停在检查点。出错或控制权变化就停止后续步骤;已发出的动作不会回滚。
保存任务进度、检查点和选定截图,导出本地报告。中断后先核对已完成的工作,再提交新步骤,不重放结果未知的动作。
注册后的 Agent 明确交接唯一控制权。人通过 GUI 或 Web 接管后,可交还给指定 Agent;Agent 重新观察再操作。
同一个文件提供内置 MCP 和命令行。用命名连接档案保存参数与凭据引用,用 doctor 分层检查连接能力。
在支持的 Android 设备上明确创建虚拟屏,并在其中启动应用。Agent、GUI、Web 使用同一显示目标;应用行为和系统音频授权仍按实际设备规则执行。
连接目标设备,先看画面,再发送一个动作。核对实际结果后继续下一步。
RDP / VNC / X11 / Android
获取桌面截图,点击、拖动、滚动、输入文字和快捷键。Agent 读取 JSON 返回值,并查看下一张截图判断实际结果。命令发送成功,不等于应用内任务已经完成。
先截图,使用这张截图的观察令牌操作,再截图验证。
快速上手rdp-cli screenshot --session SESSION --out before.png
rdp-cli clipboard set --session SESSION \
--text "结果:报表已完成,等待审核。" \
--observation OBSERVATION
rdp-cli key --session SESSION \
--keys CTRL+V --observation OBSERVATION
rdp-cli screenshot --session SESSION --out result.pngRDP / VNC / X11 / Android
rdp-cli 是为 AI Agent 打造的免费远程访问工具:操控 RDP、VNC 桌面、Android 手机和 Linux X11 应用,也能通过已有 RDP 或 VNC 服务连接 Wayland 桌面。你可以打开桌面窗口或浏览器观看同一会话,随时接管。
通过 ADB 的 USB 或 Wi-Fi 连接查看和操作 Android 12 及以上手机,需要手机调试授权。已测试 Pixel 3 / Android 12,其他机型的兼容性可能不同。
快速上手RDP / VNC / X11 / Android
同时保持多个会话,通过会话 ID 指定操作目标。关闭只读窗口不会断开连接。重连会使旧观察令牌失效,并保持暂停;先检查当前画面,再明确恢复输入。
列出当前会话,查看其中一个的状态,只断开不再需要的连接。
快速上手窗口与授权浏览器观看同一个会话。暂停、亲自修改,再交还 Agent 继续。
RDP / VNC / X11 / Android
Agent 默认无头工作。想查看进度或亲自操作时,打开同一会话的桌面窗口或已授权浏览器即可。Windows 和 Mac 使用系统控件,Linux 的轻量界面包含在可执行文件内。界面支持十种语言,查看器窗口提供亮暗主题。人工接管会暂停 Agent 输入;交还后,Agent 重新查看当前画面再继续。
观看任务,接管并修改一个细节,再把同一会话交回 Agent。
快速上手Agent 在远程 Windows 的 LibreOffice Calc 中准备运营报告。人从浏览器接管审核,再将控制权交还。
Agent 核对报告,留下等待审核的说明。
暂停远程输入,报告仍保持可见。
从浏览器接管,在同一份工作簿中写入审核通过。
交还控制权,Agent 保存已审核的工作簿并取回文件。
保存的工作簿同时包含 Agent 的说明和人工审核结果,可下载实际文件。
软件真实运行时分别截取十种语言、两种主题。报告使用虚构的示例数据。
RDP / VNC / X11 / Android
在桌面窗口或 Web 查看器中,看清 Agent 指针、左右中键、双击、拖动、滚动、快捷键和输入字数。文件进度独立显示,并标明人工或 Agent 来源。提示不会重复输入正文,也不会写入截图;远端画面本身不会自动打码。
提示帮助你了解操作过程;任务是否完成,仍以远端实际结果为准。
快速上手RDP / VNC / X11 / Android
使用本地或域账号连接,按需保存并引用系统凭据存储中的凭据,单独授予浏览器资源权限。RDP 证书设置与 VNC 安全模式各有边界,应按实际环境配置。
分别管理会话观看、键鼠控制、文件和麦克风等权限。
快速上手多屏配合、发送项目文件夹、交换文字、收听远端声音,处理完再取回成果。
RDP
在已协商多屏的 RDP 会话中,截取整个桌面或指定屏幕,按屏操作并跨屏拖动。原生查看器可为每个屏幕打开窗口,浏览器可切换屏幕。缩放查看窗口只改变本地显示,不改变远端布局。
专注查看一块屏幕,同时保留整个远端桌面的总览。
快速上手RDP / X11 / Android
文件与文件夹上传、下载,保留目录结构。 查看每项传输的进度与结果,按需取消。 遇到同名文件由你选择是否覆盖,传输后校验文件内容。
上传报告文件夹,在远端修改文档,再取回结果;这不等于任意浏览远端磁盘。
快速上手RDP
文件和文件夹 → 会话交换盘
打开、修改,并保存处理结果
查看传输进度,核对完成的文件
RDP / VNC / X11 / Android
显式读取或设置远端剪贴板文字,再通过快捷键粘贴。它不会自动同步本机剪贴板。RDP 剪贴板能力取决于服务端策略,VNC 文字编码取决于协商结果。
设置远端剪贴板,发送 CTRL+V,再检查应用内结果。
快速上手RDP
RDP 声音播放和麦克风可分别选择查看端、被控电脑或关闭。使用被控电脑的音频需要配套 Windows rdp-cli 音频服务。录音始终需要明确启动,并取决于设备和服务端策略。
为需要语音的远程任务预先选好方向,避免把声音或麦克风数据发送到错误的电脑。
快速上手Android · USB / Wi-Fi
通过 USB 或 Wi-Fi 连接手机。Agent 用命令看屏幕、点击、输入和取回成果,你可以随时从窗口或浏览器查看同一会话。
支持 Android 的下载版本: macOS · Apple silicon · macOS · Intel · Windows · x64 · Windows · x86 · Windows · ARM64 · Linux · x86_64 · Linux · ARM64
截取真实画面,执行点击、滑动、拖动和双指手势,再用新截图核对结果。
显式粘贴中文和 emoji,传输文件与文件夹,安装、启动或停止单 APK 应用。
命令、原生窗口与授权浏览器共用一个持久会话;需要时随时暂停或接管。
支持基线为 Android 12 及以上。已实测设备是运行 Android 12 的 Google Pixel 3,不代表所有品牌或后续系统版本均已验证。
连接 Android 手机 →Linux · X11 / SSH · Wayland RDP / VNC
连接已有 Linux 桌面或转发单个 X11 应用,用截图与输入命令完成任务、取回文件,并让人加入同一会话接管操作。
下载: macOS · Apple siliconmacOS · IntelWindows · x64Windows · x86Windows · ARM64Linux · x86_64Linux · ARM64
rdp-cli 让 AI Agent 通过命令观察和操作 Linux 应用。Agent 先截图,依据画面操作,再截图核对结果。你可以打开原生窗口或经过授权的 Web 查看器,观看、暂停或接管同一会话。
示例在 rdp-cli 内置的隔离显示环境中打开已有 Gedit,默认不打开本机查看窗口。保存响应的 data.session,后续以 SESSION 表示。即使主机日常使用 Wayland 桌面,也可以这样转发支持 X11 的应用。
填写实际 display 和已有授权文件路径。SSH 账号必须有访问该 display 的权限;SSH 登录成功并不等于获得桌面访问授权。这种方式连接已有桌面,不创建另一个登录会话。
| 功能 | X11 |
|---|---|
| 截图与键盘、鼠标操作 | 支持 |
| 文本剪贴板 | 依服务端策略与能力 |
| 文件与文件夹 | 依服务端策略与能力 |
| 声音与麦克风 | 不支持 |
| 请求多显示器布局 | 不支持 |
原生 X11 不提供音频播放或麦克风重定向。访问整个 Wayland 桌面,需要已经配置好的兼容 RDP 或 VNC 端点,并以实际协商能力为准。rdp-cli 不安装或开启远端服务。应用可能在显示连接断开或失联后退出,先保存成果,不要把它当成自动重启或保留工作区。
快速上手 →两组真实任务:Agent 在 Mac 上通过 rdp-cli 命令操作远端 Windows 11 应用,再把完成的文件取回来。
LibreOffice Calc · RDP
rdp-cli files upload上传准备好的工作簿,其中包含十二个月的示例数据、图表和汇总。
rdp-cli screenshot → click / type / key在远端 Calc 打开,通过 rdp-cli 粘贴完成说明并保存。
rdp-cli files download保存并取回 XLSX,核对图表与汇总:15,230 次请求、14,933 次已解决、14,140 次达到目标。
Shotcut · RDP
rdp-cli files upload上传原创动画和准备好的四秒 Shotcut 项目。
rdp-cli screenshot → click / type / key在远端 Shotcut 打开项目,通过界面启动 MP4 导出。
rdp-cli files download导出并取回 MP4,核对 24 fps、96 帧、960 × 540 分辨率及传输校验值。
2026 年 10 月 20 日在实际运行的应用中重新采集,覆盖十种语言和亮暗两种主题。表格使用虚构数据,动画为原创素材。这些是任务示例,不是性能测试。
RDP 与 VNC 共用命令工作流。下表比较这两种远程桌面协议,扩展能力取决于协议及远端服务。
| 功能 | RDP | VNC |
|---|---|---|
| 截图与键盘、鼠标操作 | 支持 | 支持 |
| 文本剪贴板 | 依服务端策略与能力 | 依协商的文字编码 |
| 文件与文件夹 | 依服务端策略与能力 | 不支持 |
| 声音与麦克风 | 依服务端策略与能力 | 不支持 |
| 请求多显示器布局 | 依服务端策略与能力 | 不支持 |
VNC 的安全性取决于所选模式。传统 VNC 不加密,应在可信网络或 VPN 中使用;VeNCrypt X509Plain 使用 TLS,并要求验证证书。
浏览器观看和控制适用于局域网或 VPN。