先说明想得到什么结果
告诉 Agent 程序位置、获授权的目标或已有会话,以及具体目标,例如在远端编辑器输入一段文字并确认显示正确。工具本身不包含 AI 模型,由你的 Agent 根据画面决定下一步。
先按快速上手连接服务端并保存 data.session。下面的 SESSION 都代表这个返回值。
操作之前先看画面
在 Windows PowerShell 中,请进入可执行文件所在目录,并将下文命令中的 rdp-cli 换成 .\rdp-cli.exe。
rdp-cli screenshot --session SESSION --out before.png
打开 PNG 查看桌面,保存响应中的 data.observation,在下一次输入时使用。坐标属于远端桌面,不是本机查看窗口。需要聚焦某个输入框时,根据图中的实际位置点击:
rdp-cli click --session SESSION --desktop --x 420 --y 315 --observation OBSERVATION
这里的数字只是示例,实际坐标必须从当前画面选择。应用移动或弹出新对话框后,重新截图观察。
输入一段文字,再核对
编辑器聚焦后获取新的观察令牌。剪贴板能力可用时,显式写入远端文本剪贴板并粘贴:
rdp-cli clipboard set --session SESSION --text "远端任务已完成。" --observation OBSERVATION
rdp-cli key --session SESSION --keys CTRL+V --observation OBSERVATION
rdp-cli screenshot --session SESSION --out result.png
下方实测截图展示 Windows 记事本中的粘贴结果。它是产品测试记录,不是实时连接,也不能用来证明直接 type 输入的结果。
这是使用中文输入的原始产品测试截图;图片保留实测内容,结果由相邻文字说明。
也可以用 type 直接输入文字,具体选项见 rdp-cli type --help。无论选哪种输入方式,都要读取结果截图。命令返回成功表示输入已发送,应用仍可能忙碌或没有接受操作。
出错时先恢复状态
观察令牌过期就重新截图。人类暂停或接管时,Agent 应停止输入。重连或交接后使用新观察,不继续套用旧令牌。
操作超时时,先按原请求或操作查询状态,再决定是否重试:
rdp-cli operations status --session SESSION --request-id REQUEST_ID
结果不明确,不代表什么都没发生。文件传输也一样,应使用 files status 查询并核对完成结果,不能因为第一次回复丢失就重新上传。
同时保留本机工作空间
普通截图和输入命令通过远程协议工作,不需要打开本机查看器,也不移动本机指针。人仍可随时打开会话观看或接管。剪贴板、文件和不同协议的条件见功能说明。
