看屏幕,再操作
截取真实画面,执行点击、滑动、拖动和双指手势,再用新截图核对结果。
rdp-cli
连接一次,观察画面,执行命令,再检查结果。本机查看窗口按需打开。
看看 rdp-cli 如何工作
从你的电脑开始
选择运行 rdp-cli 的电脑。
为你的 Agent 准备好远程操作工具。
ARM 处理器的 Windows 10 或 11 请选择 ARM64;Intel 或 AMD 处理器的 64 位 Windows 请选择 x64,32 位 Windows 请选择 x86。下载对应的 rdp-cli.exe,在 PowerShell 中运行。
每种架构分别提供一个独立的单文件 EXE。
rdp-cli.exe Windows ≥ 7 · 64 位 rdp-cli.exe Windows ≥ 7 · 32 位 rdp-cli.exe Windows 10 / 11 · ARM64 .\rdp-cli.exe --help先在远端启用 RDP。替换 192.0.2.20 和 USER;通过不回显的提示输入密码,密码从标准输入送入命令。保存返回 JSON 中的 data.session。
$secret = Read-Host '密码' -AsSecureString
$savedEncoding = $OutputEncoding
try {
$OutputEncoding = [System.Text.UTF8Encoding]::new($false)
[System.Net.NetworkCredential]::new('', $secret).Password |
.\rdp-cli.exe connect --host 192.0.2.20 --user USER --password-stdin
} finally {
$OutputEncoding = $savedEncoding
$secret.Dispose()
}将 SESSION 换成连接返回的值。打开 before.png,查看目标应用和输入位置,并保存截图结果中的 data.observation。
.\rdp-cli.exe screenshot --session SESSION --out ./before.png先从截图确定可输入位置,再替换 X、Y 和 OBSERVATION。点击后重新截图,用新的观察值输入;最后查看 after.png,确认远端实际结果。
.\rdp-cli.exe click --session SESSION --desktop --x X --y Y --observation OBSERVATION
.\rdp-cli.exe screenshot --session SESSION --out ./focused.png
.\rdp-cli.exe type --session SESSION --text "远端任务已完成。" --observation NEW_OBSERVATION
.\rdp-cli.exe screenshot --session SESSION --out ./after.png人想看进度时再打开同一会话,默认只读。窗口中可暂停、接管和交还;Agent 的普通命令操作不依赖这个窗口。
.\rdp-cli.exe watch --session SESSION --viewer window
.\rdp-cli.exe watch --session SESSION --viewer web将 rdp-cli 拖入“应用程序”,然后在 macOS 终端(zsh)运行下面的命令。
根据 Mac 的芯片选择 DMG:Apple silicon 需 macOS 13 或以上,Intel 需 macOS 12 或以上。各版本是否可下载,以下载页为准。
rdp-cli-0.3.1-macos-arm64.dmg macOS ≥ 13.0 rdp-cli-0.3.1-macos-x86_64.dmg macOS ≥ 12.0 /Applications/rdp-cli.app/Contents/MacOS/rdp-cli install-cli
rdp-cli --help先在远端启用 RDP。替换 192.0.2.20 和 USER;通过不回显的提示输入密码,密码从标准输入送入命令。保存返回 JSON 中的 data.session。
read -r -s "rdp_password?密码: "
printf '\n'
printf '%s' "$rdp_password" | rdp-cli connect --host 192.0.2.20 --user USER --password-stdin
unset rdp_password将 SESSION 换成连接返回的值。打开 before.png,查看目标应用和输入位置,并保存截图结果中的 data.observation。
rdp-cli screenshot --session SESSION --out ./before.png先从截图确定可输入位置,再替换 X、Y 和 OBSERVATION。点击后重新截图,用新的观察值输入;最后查看 after.png,确认远端实际结果。
rdp-cli click --session SESSION --desktop --x X --y Y --observation OBSERVATION
rdp-cli screenshot --session SESSION --out ./focused.png
rdp-cli type --session SESSION --text "远端任务已完成。" --observation NEW_OBSERVATION
rdp-cli screenshot --session SESSION --out ./after.png人想看进度时再打开同一会话,默认只读。窗口中可暂停、接管和交还;Agent 的普通命令操作不依赖这个窗口。
rdp-cli watch --session SESSION --viewer window
rdp-cli watch --session SESSION --viewer web下载 Linux x86_64 文件,赋予执行权限后在终端运行,无需管理员权限。
x86_64 下载适用于下列 Linux 系统,其他系统版本的兼容性尚未验证。
chmod u+x ./rdp-cli-linux-x86_64
./rdp-cli-linux-x86_64 --help先在远端启用 RDP。替换 192.0.2.20 和 USER;通过不回显的提示输入密码,密码从标准输入送入命令。保存返回 JSON 中的 data.session。
IFS= read -r -s -p '密码: ' rdp_password
printf '\n'
printf '%s' "$rdp_password" | ./rdp-cli-linux-x86_64 connect --host 192.0.2.20 --user USER --password-stdin
unset rdp_password将 SESSION 换成连接返回的值。打开 before.png,查看目标应用和输入位置,并保存截图结果中的 data.observation。
./rdp-cli-linux-x86_64 screenshot --session SESSION --out ./before.png先从截图确定可输入位置,再替换 X、Y 和 OBSERVATION。点击后重新截图,用新的观察值输入;最后查看 after.png,确认远端实际结果。
./rdp-cli-linux-x86_64 click --session SESSION --desktop --x X --y Y --observation OBSERVATION
./rdp-cli-linux-x86_64 screenshot --session SESSION --out ./focused.png
./rdp-cli-linux-x86_64 type --session SESSION --text "远端任务已完成。" --observation NEW_OBSERVATION
./rdp-cli-linux-x86_64 screenshot --session SESSION --out ./after.png人想看进度时再打开同一会话,默认只读。窗口中可暂停、接管和交还;Agent 的普通命令操作不依赖这个窗口。
./rdp-cli-linux-x86_64 watch --session SESSION --viewer window
./rdp-cli-linux-x86_64 watch --session SESSION --viewer web为 64 位 ARM Linux 系统下载 Linux ARM64 文件,添加执行权限后,以普通用户运行。
同一个静态 ARM64 ELF 支持列出的 Linux 系统、树莓派 4 和 DGX Spark。不支持 32 位树莓派系统。
rdp-cli-linux-arm64 aarch64 · 64 位 chmod u+x ./rdp-cli-linux-arm64
./rdp-cli-linux-arm64 --help先在远端启用 RDP。替换 192.0.2.20 和 USER;通过不回显的提示输入密码,密码从标准输入送入命令。保存返回 JSON 中的 data.session。
IFS= read -r -s -p '密码: ' rdp_password
printf '\n'
printf '%s' "$rdp_password" | ./rdp-cli-linux-arm64 connect --host 192.0.2.20 --user USER --password-stdin
unset rdp_password将 SESSION 换成连接返回的值。打开 before.png,查看目标应用和输入位置,并保存截图结果中的 data.observation。
./rdp-cli-linux-arm64 screenshot --session SESSION --out ./before.png先从截图确定可输入位置,再替换 X、Y 和 OBSERVATION。点击后重新截图,用新的观察值输入;最后查看 after.png,确认远端实际结果。
./rdp-cli-linux-arm64 click --session SESSION --desktop --x X --y Y --observation OBSERVATION
./rdp-cli-linux-arm64 screenshot --session SESSION --out ./focused.png
./rdp-cli-linux-arm64 type --session SESSION --text "远端任务已完成。" --observation NEW_OBSERVATION
./rdp-cli-linux-arm64 screenshot --session SESSION --out ./after.png人想看进度时再打开同一会话,默认只读。窗口中可暂停、接管和交还;Agent 的普通命令操作不依赖这个窗口。
./rdp-cli-linux-arm64 watch --session SESSION --viewer window
./rdp-cli-linux-arm64 watch --session SESSION --viewer web示例使用文档地址和占位账号。用实际返回的 session 和 observation 替换占位值;命令发出后,仍需查看新截图确认结果。
VNC
使用你有权访问且网络可达的 VNC 服务,替换主机和端口。此例使用传统 VNC 密码认证,连接本身不加密,请在可信局域网或 VPN 内使用。密码从标准输入提供,输入完成后结束输入。把响应中的 data.session 保存为 SESSION。Windows PowerShell 将 rdp-cli 换成 .\rdp-cli.exe;Linux 若未配置 PATH,请使用下载程序的路径。
rdp-cli connect --protocol vnc --host 192.0.2.20 --port 5900 --password-stdin 打开 before.png,按实际画面选择坐标,将响应中的 data.observation 作为 OBSERVATION。每次动作后重新截图验证结果。完整连接示例和服务端条件见 VNC 教程。
rdp-cli screenshot --session SESSION --out before.png
rdp-cli click --session SESSION --desktop --x X --y Y --observation OBSERVATION
rdp-cli screenshot --session SESSION --out after.png 用命令连接 VNC 并验证远端输入 → Android · USB / Wi-Fi
通过 USB 或 Wi-Fi 连接手机。Agent 用命令看屏幕、点击、输入和取回成果,你可以随时从窗口或浏览器查看同一会话。
支持 Android 的下载版本: macOS · Apple silicon · macOS · Intel · Windows · x64 · Windows · x86 · Windows · ARM64 · Linux · x86_64 · Linux · ARM64
截取真实画面,执行点击、滑动、拖动和双指手势,再用新截图核对结果。
显式粘贴中文和 emoji,传输文件与文件夹,安装、启动或停止单 APK 应用。
命令、原生窗口与授权浏览器共用一个持久会话;需要时随时暂停或接管。
支持基线为 Android 12 及以上。已实测设备是运行 Android 12 的 Google Pixel 3,不代表所有品牌或后续系统版本均已验证。
将 DEVICE_SERIAL、SESSION、OBSERVATION、PHONE_IP 和两个端口替换为实际值。连接后保存 data.session,每次截图后使用返回的 data.observation。用返回的 wifi: 设备 ID 替换 wifi:PHONE_GUID;自行为 PHONE_REF 取名,用于在这台电脑保存配对身份。出现提示时输入当次六位配对码,命令会通过标准输入发送。
明确选择发现结果中的设备 ID。连接不会弹出窗口,也不会开启声音。
rdp-cli android devices
rdp-cli connect --protocol adb --device usb:DEVICE_SERIAL --transport usb先查看 before.png,用该画面坐标和观察值操作,再检查 after.png 确认应用实际结果。
rdp-cli screenshot --session SESSION --out before.png
rdp-cli android touch --session SESSION --kind tap --x 300 --y 900 --observation OBSERVATION
rdp-cli screenshot --session SESSION --out after.pngWi-Fi 是 USB 的替代连接方式。如果同一手机已有 USB 会话,先运行 disconnect --session SESSION。明确配对,再用返回的设备 ID 和当前连接端口连接。保存新的 data.session,重新截图后再操作。
printf '%s' '配对码: '
IFS= read -r -s rdp_pair_code
printf '\n'
printf '%s' "$rdp_pair_code" | rdp-cli android pair --host PHONE_IP --port PAIR_PORT --code-stdin --save-device-auth PHONE_REF
unset rdp_pair_code
rdp-cli connect --protocol adb --device wifi:PHONE_GUID --transport wifi --host PHONE_IP --port CONNECT_PORT --device-auth-ref PHONE_REF关闭手机音频并断开。已完成的文件和用户安装的应用保留在手机上。
rdp-cli audio android --session SESSION --source off
rdp-cli disconnect --session SESSION明确选择发现结果中的设备 ID。连接不会弹出窗口,也不会开启声音。
.\rdp-cli.exe android devices
.\rdp-cli.exe connect --protocol adb --device usb:DEVICE_SERIAL --transport usb先查看 before.png,用该画面坐标和观察值操作,再检查 after.png 确认应用实际结果。
.\rdp-cli.exe screenshot --session SESSION --out before.png
.\rdp-cli.exe android touch --session SESSION --kind tap --x 300 --y 900 --observation OBSERVATION
.\rdp-cli.exe screenshot --session SESSION --out after.pngWi-Fi 是 USB 的替代连接方式。如果同一手机已有 USB 会话,先运行 disconnect --session SESSION。明确配对,再用返回的设备 ID 和当前连接端口连接。保存新的 data.session,重新截图后再操作。
$pairingCode = Read-Host '配对码' -AsSecureString
try {
[System.Net.NetworkCredential]::new('', $pairingCode).Password |
.\rdp-cli.exe android pair --host PHONE_IP --port PAIR_PORT --code-stdin --save-device-auth PHONE_REF
} finally {
$pairingCode.Dispose()
}
.\rdp-cli.exe connect --protocol adb --device wifi:PHONE_GUID --transport wifi --host PHONE_IP --port CONNECT_PORT --device-auth-ref PHONE_REF关闭手机音频并断开。已完成的文件和用户安装的应用保留在手机上。
.\rdp-cli.exe audio android --session SESSION --source off
.\rdp-cli.exe disconnect --session SESSION连接设备、查看画面、发送一小组操作,再核对成果。保存会话 ID;人接管并交还后,重新观察再操作。
按操作系统和 CPU 架构下载一个可执行文件。使用下列命令前,先核对下载文件实际包含的能力。
截取局部或缩小画面,与上次观察比较;没有变化时不重复返回图片。坐标仍与远端画面对应。
等待指定区域变化或稳定,或等待连接、操作、文件传输到达指定状态。继续前仍要核对实际成果。
把 Agent 已确定的动作组合发送,加入新观察并停在检查点。出错或控制权变化就停止后续步骤;已发出的动作不会回滚。
保存任务进度、检查点和选定截图,导出本地报告。中断后先核对已完成的工作,再提交新步骤,不重放结果未知的动作。
注册后的 Agent 明确交接唯一控制权。人通过 GUI 或 Web 接管后,可交还给指定 Agent;Agent 重新观察再操作。
同一个文件提供内置 MCP 和命令行。用命名连接档案保存参数与凭据引用,用 doctor 分层检查连接能力。
在支持的 Android 设备上明确创建虚拟屏,并在其中启动应用。Agent、GUI、Web 使用同一显示目标;应用行为和系统音频授权仍按实际设备规则执行。
.\rdp-cli.exe --version
.\rdp-cli.exe --help-json.\rdp-cli.exe screenshot --session SESSION --max-width 640
.\rdp-cli.exe screenshot --session SESSION --region X,Y,WIDTH,HEIGHT --max-width 640.\rdp-cli.exe wait --session SESSION --condition changed --region X,Y,WIDTH,HEIGHT --timeout-ms 10000.\rdp-cli.exe doctor --session SESSION.\rdp-cli.exe mcp stdio rdp-cli --version
rdp-cli --help-jsonrdp-cli screenshot --session SESSION --max-width 640
rdp-cli screenshot --session SESSION --region X,Y,WIDTH,HEIGHT --max-width 640rdp-cli wait --session SESSION --condition changed --region X,Y,WIDTH,HEIGHT --timeout-ms 10000rdp-cli doctor --session SESSIONrdp-cli mcp stdio Linux · X11 / SSH · Wayland RDP / VNC
连接已有 Linux 桌面或转发单个 X11 应用,用截图与输入命令完成任务、取回文件,并让人加入同一会话接管操作。
下载: macOS · Apple siliconmacOS · IntelWindows · x64Windows · x86Windows · ARM64Linux · x86_64Linux · ARM64
连接前,先选一个远端已存在且可读写的目录作为 FILE_ROOT。桌面模式的 DISPLAY 和 XAUTHORITY 应从目标用户已登录的图形桌面内打开终端获取;SSH 终端中的值可能不同。值为空时,请向桌面所有者或管理员确认。
rdp-cli 让 AI Agent 通过命令观察和操作 Linux 应用。Agent 先截图,依据画面操作,再截图核对结果。你可以打开原生窗口或经过授权的 Web 查看器,观看、暂停或接管同一会话。
Linux 电脑需要已有 SSH 访问入口,以及已安装的 X11 兼容应用。替换示例地址、账号、私钥路径和已独立核实的 known-hosts 文件。在 Windows PowerShell 中,将 rdp-cli 换成 .\rdp-cli.exe。先检查 --version 返回的 embedded_ssh、x11_desktop、x11_application 均为 true。
示例在 rdp-cli 内置的隔离显示环境中打开已有 Gedit,默认不打开本机查看窗口。保存响应的 data.session,后续以 SESSION 表示。即使主机日常使用 Wayland 桌面,也可以这样转发支持 X11 的应用。
rdp-cli connect --protocol x11 --mode application --host 192.0.2.20 --user USER --ssh-key PRIVATE_KEY --ssh-known-hosts KNOWN_HOSTS --linux-file-root FILE_ROOT --application /usr/bin/gedit --app-args '["--standalone","--new-window"]'
填写实际 display 和已有授权文件路径。SSH 账号必须有访问该 display 的权限;SSH 登录成功并不等于获得桌面访问授权。这种方式连接已有桌面,不创建另一个登录会话。
rdp-cli connect --protocol x11 --mode desktop --host 192.0.2.20 --user USER --ssh-key PRIVATE_KEY --ssh-known-hosts KNOWN_HOSTS --linux-file-root FILE_ROOT --display DISPLAY --xauthority XAUTHORITY_PATH
查看返回的 PNG,并保存 data.observation。用图中的实际坐标替换 X、Y。聚焦输入框后重新截图,再使用新令牌。显式剪贴板方法会替换远端剪贴板,不改变本机剪贴板。输入响应只确认派发,操作后仍应观察实际结果。
rdp-cli screenshot --session SESSION --out before.png
rdp-cli click --session SESSION --x X --y Y --observation OBSERVATION
rdp-cli screenshot --session SESSION --out focused.png
rdp-cli linux text --session SESSION --method clipboard --text '审核已完成。' --observation OBSERVATION
rdp-cli screenshot --session SESSION --out after.png
在 Linux 应用中打开上传结果的 remote_path,编辑、保存,再下载成果。分别保存每次的 transfer_id,等状态达到 completed 后再使用文件。传输前先保存,默认不覆盖已有同名文件;出错后先查任务状态,不要盲目重传。
把 FILE_ROOT 替换为远端已存在、且此 SSH 账号可读写的目录。文件命令只访问该目录;指定目录不会创建目录,也不会增加账号权限。
rdp-cli files list --session SESSION
rdp-cli files upload --session SESSION --local ./report.txt --path report.txt
rdp-cli files status --session SESSION --transfer-id UPLOAD_TRANSFER
rdp-cli files download --session SESSION --path report.txt --local ./result.txt
rdp-cli files status --session SESSION --transfer-id DOWNLOAD_TRANSFER
需要观看时再打开这个查看器,它最初是只读的。点击接管会停止 Agent 输入;修正后交还控制,继续同一任务。经过授权的 Web 查看器也加入同一会话,同一时间只有一个查看器能持有人工控制权。关闭只读查看器不会断开后台连接。
rdp-cli watch --session SESSION --viewer window
原生 X11 不提供音频播放或麦克风重定向。访问整个 Wayland 桌面,需要已经配置好的兼容 RDP 或 VNC 端点,并以实际协商能力为准。rdp-cli 不安装或开启远端服务。应用可能在显示连接断开或失联后退出,先保存成果,不要把它当成自动重启或保留工作区。
Wayland 文字输入取决于已有服务端。GNOME 46 和 Krfb 23.08 可能无法映射部分 Unicode 按键,输入后须核对结果。仅在该端点实际支持时使用显式剪贴板粘贴:Plasma Wayland 上的 Krfb 可能公布剪贴板能力却未把内容交给应用。复杂输入或快速操作应分步发送,并检查下一张截图。
已实测的桌面端点: Ubuntu 24.04.5 · GNOME 46 / GNOME Remote Desktop 46.3; KDE Plasma 5.27.12 / Krfb 23.08.5.
rdp-cli 让 AI Agent 通过命令观察和操作 Linux 应用。Agent 先截图,依据画面操作,再截图核对结果。你可以打开原生窗口或经过授权的 Web 查看器,观看、暂停或接管同一会话。
Linux 电脑需要已有 SSH 访问入口,以及已安装的 X11 兼容应用。替换示例地址、账号、私钥路径和已独立核实的 known-hosts 文件。在 Windows PowerShell 中,将 rdp-cli 换成 .\rdp-cli.exe。先检查 --version 返回的 embedded_ssh、x11_desktop、x11_application 均为 true。
示例在 rdp-cli 内置的隔离显示环境中打开已有 Gedit,默认不打开本机查看窗口。保存响应的 data.session,后续以 SESSION 表示。即使主机日常使用 Wayland 桌面,也可以这样转发支持 X11 的应用。
.\rdp-cli.exe connect --protocol x11 --mode application --host 192.0.2.20 --user USER --ssh-key PRIVATE_KEY --ssh-known-hosts KNOWN_HOSTS --linux-file-root FILE_ROOT --application /usr/bin/gedit --app-args '["--standalone","--new-window"]'
填写实际 display 和已有授权文件路径。SSH 账号必须有访问该 display 的权限;SSH 登录成功并不等于获得桌面访问授权。这种方式连接已有桌面,不创建另一个登录会话。
.\rdp-cli.exe connect --protocol x11 --mode desktop --host 192.0.2.20 --user USER --ssh-key PRIVATE_KEY --ssh-known-hosts KNOWN_HOSTS --linux-file-root FILE_ROOT --display DISPLAY --xauthority XAUTHORITY_PATH
查看返回的 PNG,并保存 data.observation。用图中的实际坐标替换 X、Y。聚焦输入框后重新截图,再使用新令牌。显式剪贴板方法会替换远端剪贴板,不改变本机剪贴板。输入响应只确认派发,操作后仍应观察实际结果。
.\rdp-cli.exe screenshot --session SESSION --out before.png
.\rdp-cli.exe click --session SESSION --x X --y Y --observation OBSERVATION
.\rdp-cli.exe screenshot --session SESSION --out focused.png
.\rdp-cli.exe linux text --session SESSION --method clipboard --text '审核已完成。' --observation OBSERVATION
.\rdp-cli.exe screenshot --session SESSION --out after.png
在 Linux 应用中打开上传结果的 remote_path,编辑、保存,再下载成果。分别保存每次的 transfer_id,等状态达到 completed 后再使用文件。传输前先保存,默认不覆盖已有同名文件;出错后先查任务状态,不要盲目重传。
把 FILE_ROOT 替换为远端已存在、且此 SSH 账号可读写的目录。文件命令只访问该目录;指定目录不会创建目录,也不会增加账号权限。
.\rdp-cli.exe files list --session SESSION
.\rdp-cli.exe files upload --session SESSION --local ./report.txt --path report.txt
.\rdp-cli.exe files status --session SESSION --transfer-id UPLOAD_TRANSFER
.\rdp-cli.exe files download --session SESSION --path report.txt --local ./result.txt
.\rdp-cli.exe files status --session SESSION --transfer-id DOWNLOAD_TRANSFER
需要观看时再打开这个查看器,它最初是只读的。点击接管会停止 Agent 输入;修正后交还控制,继续同一任务。经过授权的 Web 查看器也加入同一会话,同一时间只有一个查看器能持有人工控制权。关闭只读查看器不会断开后台连接。
.\rdp-cli.exe watch --session SESSION --viewer window
原生 X11 不提供音频播放或麦克风重定向。访问整个 Wayland 桌面,需要已经配置好的兼容 RDP 或 VNC 端点,并以实际协商能力为准。rdp-cli 不安装或开启远端服务。应用可能在显示连接断开或失联后退出,先保存成果,不要把它当成自动重启或保留工作区。
Wayland 文字输入取决于已有服务端。GNOME 46 和 Krfb 23.08 可能无法映射部分 Unicode 按键,输入后须核对结果。仅在该端点实际支持时使用显式剪贴板粘贴:Plasma Wayland 上的 Krfb 可能公布剪贴板能力却未把内容交给应用。复杂输入或快速操作应分步发送,并检查下一张截图。
已实测的桌面端点: Ubuntu 24.04.5 · GNOME 46 / GNOME Remote Desktop 46.3; KDE Plasma 5.27.12 / Krfb 23.08.5.
告诉 Agent 程序路径、获授权的目标或已有会话,以及期望的远端结果。可选 rdp-cli-agent 技能记录了命令工作流,Agent 可以直接阅读 SKILL.md;连接本身不需要安装技能。
rdp-cli-agent / SKILL.md ↓RDP 证书策略目前为兼容性默认使用 ignore,请查看 connect --help 并按环境配置验证方式。官网不转发会话,也不收集远端凭据。浏览器查看器适用于局域网/VPN,VNC 传输需要可信网络。