RDP / VNC / Android / X11 / Wayland

让 AI Agent 操作电脑和 Android 手机

了解远端截图、键鼠控制、文件传输、剪贴板、音频和多显示器功能。查看各协议支持的能力,以及如何在同一个会话中切换 Agent 操作与人工接管。

一套远程桌面,完整的工作流程。

让 AI Agent 操作远端设备,你随时加入。

不开本地窗口,也能操作 RDP 桌面、VNC 桌面、X11 应用和 Android。需要查看或接管时,打开 rdp-cli 的 GUI 或 Web,进入同一个会话。

按操作系统和 CPU 架构下载一个可执行文件。使用下列命令前,先核对下载文件实际包含的能力。

只看需要看的区域

截取局部或缩小画面,与上次观察比较;没有变化时不重复返回图片。坐标仍与远端画面对应。

等画面变化,也等文件传完

等待指定区域变化或稳定,或等待连接、操作、文件传输到达指定状态。继续前仍要核对实际成果。

一小组操作,随时停下来核对

把 Agent 已确定的动作组合发送,加入新观察并停在检查点。出错或控制权变化就停止后续步骤;已发出的动作不会回滚。

记住进度,中断后查清再继续

保存任务进度、检查点和选定截图,导出本地报告。中断后先核对已完成的工作,再提交新步骤,不重放结果未知的动作。

多个 Agent 分工,人随时接手

注册后的 Agent 明确交接唯一控制权。人通过 GUI 或 Web 接管后,可交还给指定 Agent;Agent 重新观察再操作。

接入 Agent,也把连接问题查清楚

同一个文件提供内置 MCP 和命令行。用命名连接档案保存参数与凭据引用,用 doctor 分层检查连接能力。

手机主屏或虚拟屏,由你选择

在支持的 Android 设备上明确创建虚拟屏,并在其中启动应用。Agent、GUI、Web 使用同一显示目标;应用行为和系统音频授权仍按实际设备规则执行。

快速上手 →
01

让 Agent 完成工作

连接目标设备,先看画面,再发送一个动作。核对实际结果后继续下一步。

RDP / VNC / X11 / Android

用命令完成远端任务

获取桌面截图,点击、拖动、滚动、输入文字和快捷键。Agent 读取 JSON 返回值,并查看下一张截图判断实际结果。命令发送成功,不等于应用内任务已经完成。

  • JSON 结果、错误代码、操作查询和事件订阅,帮助 Agent 判断继续、等待还是恢复。应用是否完成目标,仍通过新截图核对。

先截图,使用这张截图的观察令牌操作,再截图验证。

快速上手
01 / 命令驱动远端
rdp-cli screenshot --session SESSION --out before.png

rdp-cli clipboard set --session SESSION \
  --text "结果:报表已完成,等待审核。" \
  --observation OBSERVATION

rdp-cli key --session SESSION \
  --keys CTRL+V --observation OBSERVATION

rdp-cli screenshot --session SESSION --out result.png

RDP / VNC / X11 / Android

RDP / VNC / Android / X11 / Wayland

rdp-cli 是为 AI Agent 打造的免费远程访问工具:操控 RDP、VNC 桌面、Android 手机和 Linux X11 应用,也能通过已有 RDP 或 VNC 服务连接 Wayland 桌面。你可以打开桌面窗口或浏览器观看同一会话,随时接管。

  • 操作桌面应用、交换文件,并在远端服务支持时使用声音和多显示器。
  • 连接已有的 VNC 服务,查看并操作桌面。文本剪贴板能力取决于服务端;VNC 不提供文件传输、声音或显示器布局调整。
  • 通过 ADB 的 USB 或 Wi-Fi 连接查看和操作 Android 12 及以上手机,需要手机调试授权。已测试 Pixel 3 / Android 12,其他机型的兼容性可能不同。

通过 ADB 的 USB 或 Wi-Fi 连接查看和操作 Android 12 及以上手机,需要手机调试授权。已测试 Pixel 3 / Android 12,其他机型的兼容性可能不同。

快速上手

在 Linux 用单个程序连接 Windows RDP →

用命令连接 VNC 并验证远端输入 →

RDP / VNC / X11 / Android

多台电脑,持续连接

同时保持多个会话,通过会话 ID 指定操作目标。关闭只读窗口不会断开连接。重连会使旧观察令牌失效,并保持暂停;先检查当前画面,再明确恢复输入。

  • 一条命令结束后,远程连接仍可保留。后续操作通过会话 ID 找到对应桌面;重连后暂停输入,重新观察再继续。

列出当前会话,查看其中一个的状态,只断开不再需要的连接。

快速上手

排查 RDP 连接、黑屏与输入被拒绝问题 →

02

你随时观看与接管

窗口与授权浏览器观看同一个会话。暂停、亲自修改,再交还 Agent 继续。

RDP / VNC / X11 / Android

观看、暂停和接管

Agent 默认无头工作。想查看进度或亲自操作时,打开同一会话的桌面窗口或已授权浏览器即可。Windows 和 Mac 使用系统控件,Linux 的轻量界面包含在可执行文件内。界面支持十种语言,查看器窗口提供亮暗主题。人工接管会暂停 Agent 输入;交还后,Agent 重新查看当前画面再继续。

  • 新增观看端沿用原有连接。多人可同时观看,同一时刻由一个控制者操作;人交还控制后,Agent 重新观察更新后的画面。

观看任务,接管并修改一个细节,再把同一会话交回 Agent。

快速上手
查看真实接管过程

Agent 在远程 Windows 的 LibreOffice Calc 中准备运营报告。人从浏览器接管审核,再将控制权交还。

  1. 观察 Agent 工作

    Agent 核对报告,留下等待审核的说明。

  2. 暂停任务

    暂停远程输入,报告仍保持可见。

  3. 接管并审核

    从浏览器接管,在同一份工作簿中写入审核通过。

  4. 交还并验证

    交还控制权,Agent 保存已审核的工作簿并取回文件。

保存的工作簿同时包含 Agent 的说明和人工审核结果,可下载实际文件。

下载实际结果文件 · XLSX (12.2 KB)

下载实际结果文件 · XLSX (12.2 KB)

软件真实运行时分别截取十种语言、两种主题。报告使用虚构的示例数据。

RDP / VNC / X11 / Android

集中管理正在进行的会话

通过 Mac 菜单栏、Windows 托盘或 Linux 面板管理会话,查看目标、连接、控制者、当前或最近操作、文件进度与异常。桌面支持时,图标会提示 Agent 活动。可打开查看器、暂停或断开选中的会话。

  • Mac 可按名称或地址搜索会话,Windows 从托盘选择。需要休息或检查时,可从状态菜单一次暂停全部会话。 Linux 提供可搜索的会话面板;桌面支持时也会显示状态图标。没有托盘时,可用 presence show --panel 打开面板。

打开已有会话,无需再次登录远端。Linux 状态图标取决于桌面支持,也可用 presence show --panel 直接打开面板。

快速上手

RDP / VNC / X11 / Android

看懂每一次远程操作

在桌面窗口或 Web 查看器中,看清 Agent 指针、左右中键、双击、拖动、滚动、快捷键和输入字数。文件进度独立显示,并标明人工或 Agent 来源。提示不会重复输入正文,也不会写入截图;远端画面本身不会自动打码。

  • 长按键盘或鼠标时,操作提示与文件进度分别显示,关闭文件面板也能看到进度。传输会标明人工或 Agent 来源;敏感输入不显示正文和字数。提示跟随查看器语言及亮暗主题,可调节或关闭,不影响远端任务。

提示帮助你了解操作过程;任务是否完成,仍以远端实际结果为准。

快速上手

RDP / VNC / X11 / Android

沿用现有账号与权限

使用本地或域账号连接,按需保存并引用系统凭据存储中的凭据,单独授予浏览器资源权限。RDP 证书设置与 VNC 安全模式各有边界,应按实际环境配置。

  • 凭据可以保存在系统凭据存储中,后续直接引用。按需授权浏览器访问画面、控制、文件等资源,任务结束后可撤销访问。

分别管理会话观看、键鼠控制、文件和麦克风等权限。

快速上手
03

完成一整项远程任务

多屏配合、发送项目文件夹、交换文字、收听远端声音,处理完再取回成果。

RDP

按屏查看与操作

在已协商多屏的 RDP 会话中,截取整个桌面或指定屏幕,按屏操作并跨屏拖动。原生查看器可为每个屏幕打开窗口,浏览器可切换屏幕。缩放查看窗口只改变本地显示,不改变远端布局。

  • 按屏截图与操作,支持跨屏拖动。
  • 原生窗口可逐屏展开;浏览器可切屏或查看总览。
  • 你只有一块本机屏幕,也能查看远程双屏工作区。

专注查看一块屏幕,同时保留整个远端桌面的总览。

快速上手

RDP / X11 / Android

交换文件和文件夹

文件与文件夹上传、下载,保留目录结构。 查看每项传输的进度与结果,按需取消。 遇到同名文件由你选择是否覆盖,传输后校验文件内容。

上传报告文件夹,在远端修改文档,再取回结果;这不等于任意浏览远端磁盘。

快速上手
  • RDP:通过会话重定向盘交换文件,远端策略需要允许磁盘重定向。
  • X11 / SSH:使用服务器已有的 SFTP 服务,在指定目录内传输文件。 X11 →
  • Android:在手机的会话目录内传输文件。VNC 不提供文件传输通道。 Android →

RDP

  1. 上传资料

    文件和文件夹 → 会话交换盘

  2. 远端处理

    打开、修改,并保存处理结果

  3. 下载结果

    查看传输进度,核对完成的文件

上传准备好的工作簿 → 在远端 Calc 更新内容 → 保存 → 下载。已核对下载文件中的完成说明、公式、汇总和图表。

查看表格与视频任务实录 →

RDP 命令行上传与下载文件 →

RDP / VNC / X11 / Android

按需读写远端文本剪贴板

显式读取或设置远端剪贴板文字,再通过快捷键粘贴。它不会自动同步本机剪贴板。RDP 剪贴板能力取决于服务端策略,VNC 文字编码取决于协商结果。

  • 通过远端剪贴板传递地址、段落或表格文本。支持的文字也可用 type 命令直接输入,不必替换剪贴板。

设置远端剪贴板,发送 CTRL+V,再检查应用内结果。

快速上手

RDP

分别选择 RDP 声音去向与麦克风来源

RDP 声音播放和麦克风可分别选择查看端、被控电脑或关闭。使用被控电脑的音频需要配套 Windows rdp-cli 音频服务。录音始终需要明确启动,并取决于设备和服务端策略。

  • 多个有权限的观看端可同时收听。
  • 需要语音输入时,接管会话后主动开启麦克风。
  • 交还控制或断线时停止回传;再次使用需明确开启。

为需要语音的远程任务预先选好方向,避免把声音或麦克风数据发送到错误的电脑。

快速上手

选择 RDP 声音和麦克风的位置 →

Android · USB / Wi-Fi

让 AI Agent 操作真实的 Android 手机。

通过 USB 或 Wi-Fi 连接手机。Agent 用命令看屏幕、点击、输入和取回成果,你可以随时从窗口或浏览器查看同一会话。

Android 手机 · USB / Wi-Fi →

支持 Android 的下载版本: macOS · Apple silicon · macOS · Intel · Windows · x64 · Windows · x86 · Windows · ARM64 · Linux · x86_64 · Linux · ARM64

看屏幕,再操作

截取真实画面,执行点击、滑动、拖动和双指手势,再用新截图核对结果。

文字、文件与应用

显式粘贴中文和 emoji,传输文件与文件夹,安装、启动或停止单 APK 应用。

人和 Agent 共用会话

命令、原生窗口与授权浏览器共用一个持久会话;需要时随时暂停或接管。

支持基线为 Android 12 及以上。已实测设备是运行 Android 12 的 Google Pixel 3,不代表所有品牌或后续系统版本均已验证。

连接 Android 手机 →

使用边界

Linux · X11 / SSH · Wayland RDP / VNC

让 AI Agent 通过 X11 和 SSH 操控 Linux 应用

连接已有 Linux 桌面或转发单个 X11 应用,用截图与输入命令完成任务、取回文件,并让人加入同一会话接管操作。

下载: macOS · Apple siliconmacOS · IntelWindows · x64Windows · x86Windows · ARM64Linux · x86_64Linux · ARM64

Agent 和你共用一个会话

rdp-cli 让 AI Agent 通过命令观察和操作 Linux 应用。Agent 先截图,依据画面操作,再截图核对结果。你可以打开原生窗口或经过授权的 Web 查看器,观看、暂停或接管同一会话。

打开单个应用

示例在 rdp-cli 内置的隔离显示环境中打开已有 Gedit,默认不打开本机查看窗口。保存响应的 data.session,后续以 SESSION 表示。即使主机日常使用 Wayland 桌面,也可以这样转发支持 X11 的应用。

或连接已有 X11 桌面

填写实际 display 和已有授权文件路径。SSH 账号必须有访问该 display 的权限;SSH 登录成功并不等于获得桌面访问授权。这种方式连接已有桌面,不创建另一个登录会话。

集中管理正在进行的会话
按任务选择合适的协议。 · X11
功能X11
截图与键盘、鼠标操作支持
文本剪贴板依服务端策略与能力
文件与文件夹依服务端策略与能力
声音与麦克风不支持
请求多显示器布局不支持

原生 X11 不提供音频播放或麦克风重定向。访问整个 Wayland 桌面,需要已经配置好的兼容 RDP 或 VNC 端点,并以实际协商能力为准。rdp-cli 不安装或开启远端服务。应用可能在显示连接断开或失联后退出,先保存成果,不要把它当成自动重启或保留工作区。

快速上手 →

让 AI Agent 通过 X11 和 SSH 操控 Linux 应用 →

从远端操作,到拿到可用的成果

两组真实任务:Agent 在 Mac 上通过 rdp-cli 命令操作远端 Windows 11 应用,再把完成的文件取回来。

LibreOffice Calc · RDP

更新报表,取回工作簿

  1. rdp-cli files upload

    上传准备好的工作簿,其中包含十二个月的示例数据、图表和汇总。

  2. rdp-cli screenshot → click / type / key

    在远端 Calc 打开,通过 rdp-cli 粘贴完成说明并保存。

  3. rdp-cli files download

    保存并取回 XLSX,核对图表与汇总:15,230 次请求、14,933 次已解决、14,140 次达到目标。

Shotcut · RDP

导出视频项目,取回 MP4

  1. rdp-cli files upload

    上传原创动画和准备好的四秒 Shotcut 项目。

  2. rdp-cli screenshot → click / type / key

    在远端 Shotcut 打开项目,通过界面启动 MP4 导出。

  3. rdp-cli files download

    导出并取回 MP4,核对 24 fps、96 帧、960 × 540 分辨率及传输校验值。

2026 年 10 月 20 日在实际运行的应用中重新采集,覆盖十种语言和亮暗两种主题。表格使用虚构数据,动画为原创素材。这些是任务示例,不是性能测试。

按任务选择合适的协议。

RDP 与 VNC 共用命令工作流。下表比较这两种远程桌面协议,扩展能力取决于协议及远端服务。

功能RDPVNC
截图与键盘、鼠标操作支持支持
文本剪贴板依服务端策略与能力依协商的文字编码
文件与文件夹依服务端策略与能力不支持
声音与麦克风依服务端策略与能力不支持
请求多显示器布局依服务端策略与能力不支持

VNC 的安全性取决于所选模式。传统 VNC 不加密,应在可信网络或 VPN 中使用;VeNCrypt X509Plain 使用 TLS,并要求验证证书。

浏览器观看和控制适用于局域网或 VPN。