rdp-cli

通过 RDP 让 AI Agent 自动化 Excel 任务

为什么要通过 RDP 自动化 Excel 任务?

通过 RDP 自动化 Excel 任务时,AI Agent 可以操作远程 Windows 桌面,更新工作簿,处理桌面弹窗,并通过最新截图验证保存结果。

当表格任务依赖本地模板、桌面插件、共享文件夹、启用宏的文件或旧版报表工具时,这种方式很有用。不必先围绕 API 重写流程,Agent 可以直接操作人员原本使用的 Excel 界面。

使用 rdp-cli,Agent 可以连接现有 RDP 会话、截取屏幕、点击控件、输入文字,并检查下一张截图。具体能力可参考 RDP 与 VNC 功能。

AI Agent 工作流:上传、编辑和验证

一个实用的 Excel 自动化任务通常包含五步:

  1. 将源工作簿上传到远程工作区。
  2. 在 Excel 或其他 Windows 表格软件中打开。
  3. 通过截图找到正确的工作表、单元格或弹窗。
  4. 输入数据或执行所需操作。
  5. 保存、下载并验证完成的工作簿。

关键是验证每个重要操作。例如:

rdp-cli screenshot --session SESSION --out before.png

rdp-cli click --session SESSION --desktop \
  --x X --y Y --observation OBSERVATION

rdp-cli screenshot --session SESSION --out focused.png

rdp-cli type --session SESSION \
  --text "Remote task completed." \
  --observation NEW_OBSERVATION

rdp-cli screenshot --session SESSION --out after.png

Agent 应从最新截图中获取 X、Y 和 observation。点击命令成功只代表输入已经发送,并不代表 Excel 接受了操作。

如何自动化月度 Excel 报表

一个典型的月报流程是:

  • 将工作簿上传到 RDP 会话。
  • 打开报表模板。
  • 选择正确的月份和工作表。
  • 通过远程文本剪贴板粘贴新数据。
  • 刷新公式、表格或图表。
  • 保存工作簿。
  • 下载结果并检查总数和文件名。

当服务器允许驱动器重定向时,RDP 会话可以传输文件和文件夹。Agent 继续执行前,应先确认传输已完成。rdp-cli 快速上手指南介绍了连接、截图和远程操作流程。

高风险表格操作保留人工复核

覆盖重要工作簿、批准付款报表或向客户发送最终文件等操作应保留人工审批。

人员可以在原生窗口或授权浏览器中打开同一会话,暂停 Agent 输入,检查工作簿并接管操作。完成修正后,再把控制权交还给 Agent,让它保存并取回最终文件。

可靠自动化 Excel 的规则

  • 重要操作前重新截取屏幕。
  • 使用小动作,不要连续盲目点击。
  • 输入数据前确认当前工作簿和工作表。
  • 遇到未知警告或登录弹窗时停止。
  • 下载后验证保存的文件。
  • 不要把凭据放进提示词或表格内容。
  • 通过可信网络或 VPN 使用 RDP。

常见问题

AI Agent 没有 Excel API 也能自动化吗?

可以。Agent 可以通过 RDP、截图、鼠标操作和键盘输入操作可见的 Windows 界面。

Agent 如何判断任务是否成功?

它会在重要操作后重新截图,并检查工作簿、弹窗、总数或保存文件的实际结果。

当工作簿依赖真实 Windows 桌面或现有业务软件时,基于 RDP 的 Excel 自动化尤其有用。Agent 不需要替换现有流程,而是操作团队已经在使用的工具,并返回可供人员检查的结果。