rdp-cli
MCP 工具 vs GUI 电脑操作：Agent 什么时候需要真实桌面
MCP 工具和 GUI 电脑操作解决的是两类不同的问题。
当应用提供可靠 API 时，MCP 工具更合适：查询数据库、创建工单、更新 CRM 记录或生成结构化报告。Agent 发送明确参数，并获得结构化结果。
但很多真实任务没有可用 API。Agent 可能需要打开旧版 Windows 软件、完成可视化流程、检查图表、操作视频编辑器，或进入一个正在被人使用的桌面会话。这时就需要 GUI 电脑操作。
什么时候优先使用 MCP 工具
以下情况适合 MCP：
- 系统有稳定的 API。
- 任务主要处理结构化数据。
- 你需要可预测的输出和清晰日志。
- 应用运行在没有图形界面的服务器上。
- 你不想依赖容易变化的屏幕坐标。
例如，更新 500 条客户记录通常应该调用 API 或 MCP 工具。让 Agent 打开浏览器逐条点击，会更慢，也更难验证。
什么时候 Agent 需要真实桌面
当桌面本身就是操作界面时，GUI 控制很有用：
- 旧版 Windows 软件没有 API。
- 任务依赖当前用户会话。
- Agent 必须检查视觉内容。
- 流程包含菜单、对话框、时间轴或拖放。
- 应用只提供本地文件和桌面控件。
- 人员可能需要观察或接管会话。
rdp-cli 支持 Agent 使用 RDP 和 VNC 桌面、捕获屏幕、传输文件、操作多显示器，并允许人接管同一个会话。
一个实用的混合工作流
通常可以先用 MCP，再用 GUI：
- 用 MCP 工具获取结构化数据或准备任务。
- 把所需文件上传到远程桌面。
- 让 Agent 操作桌面应用。
- 在关键操作后重新截图。
- 下载结果，或通过 MCP 把结果传回去。
- 如果屏幕状态不明确，让人接管。
例如，Agent 可以上传表格，通过 RDP 打开分析软件，再检查结果：
rdp-cli files upload --session SESSION --local .\sales.xlsx --path sales.xlsx
rdp-cli screenshot --session SESSION --monitor M1 --out before.png
完成后：
rdp-cli screenshot --session SESSION --monitor M1 --out after.png
rdp-cli files download --session SESSION --path report.pdf --local .\report.pdf
截图很重要：它让 Agent 根据最新画面继续，而不是假设上一次点击已经成功。
不要把所有任务都交给 GUI
GUI 控制很强大，但并非总是合适。窗口布局变化、远程连接变慢、意外弹窗或登录过期都可能导致错误。
结构化操作使用 MCP；真正依赖视觉交互的任务使用真实桌面。只要任务跨越两者边界，就采用混合方式。
系统能直接提供数据时，用 MCP；任务依赖人眼看到并点击的内容时，用真实桌面。