rdp-cli
如何减少 AI Agent 截图 Token 消耗?
最后更新:2026 年 11 月 6 日
审核:rdp-cli 团队
AI Agent 操作远程桌面时,需要通过截图了解当前界面。但如果每次点击后都发送完整高清截图,Token 消耗、延迟和运行成本都会快速增加。
有效方法不是单纯压缩 PNG,而是减少无关画面,并避免重复发送没有变化的截图。
最实用的流程是:
只截取需要观察的区域,在不需要完整细节时缩小图片,等待界面变化,并只在必要时验证。
使用 rdp-cli,Agent 可以连接 RDP、VNC、X11 或 Android 会话,截取屏幕区域,获取较小图片,并与之前的观察结果进行比较。
快速答案:如何减少 AI Agent 截图 Token 消耗?
只截取 Agent 需要的区域;不需要完整细节时缩小图片;使用截图变化检测避免重复图像;等待状态变化,而不是不断轮询完整桌面。
完整截图适合建立上下文、处理布局变化或恢复未知状态。当前参数请参考 rdp-cli 截图命令文档。
为什么高清截图会消耗更多 Token?
高清截图包含的视觉信息通常超过 Agent 的实际需要。常见浪费包括:
- 每一步都发送完整的 1920×1080 桌面;
- 点击前后重复发送相同画面;
- 只检查一个弹窗,却发送整个桌面;
- 应用加载时高频截图轮询;
- 在上下文中保留过多旧截图。
PNG 文件大小主要影响传输速度,不一定等于视觉模型处理的 Token 数量。图片尺寸、图片数量和模型规则都会影响实际用量。
1. 使用区域截图
如果只需检查按钮、弹窗、表格或状态标签,就不要截取整个桌面:
rdp-cli screenshot \
--session SESSION \
--region 800,120,720,560 \
--out focused.png
将 SESSION 替换为实际会话 ID。--region 使用远程屏幕坐标指定截图区域。
区域截图适合检查保存提示、订单状态、确认弹窗、按钮状态和进度条。命令还支持 --monitor 与 --max-width,请查看命令文档。
2. 不需要完整细节时缩小图片
如果只需要识别普通按钮或窗口状态,可以限制图片最大宽度:
rdp-cli screenshot \
--session SESSION \
--region 800,120,720,560 \
--max-width 900 \
--out focused-small.png
小字体、密集表格和复杂表单可能需要保留更大的图片。rdp-cli 功能说明显示,图片缩小后,原始输入坐标仍对应远程屏幕坐标。
3. 使用截图变化检测
等待应用加载时,很多流程会反复发送相同截图。可以将当前截图与之前的观察结果比较:
rdp-cli screenshot \
--session SESSION \
--since PREVIOUS_REFERENCE \
--region 800,120,720,560 \
--out current.png
将 PREVIOUS_REFERENCE 替换为工作流返回的比较引用。如果区域没有变化,Agent 就可以继续等待,而不必再次处理相同图片。
4. 使用状态等待代替截图轮询
如果只需要知道区域是否发生变化,可以使用 wait:
rdp-cli wait \
--session SESSION \
--condition changed \
--region 800,120,720,560
也可以等待区域稳定:
rdp-cli wait \
--session SESSION \
--condition stable \
--region 800,120,720,560
这样可以减少无效截图,并避免 Agent 在界面尚未稳定时继续操作。
5. 保持“观察 → 操作 → 验证”循环
可靠的 GUI 自动化流程应当是:
- 获取当前屏幕或目标区域;
- 根据最新观察结果执行一个动作;
- 等待界面变化或稳定;
- 只截取必要的结果区域;
- 验证预期结果。
每个操作都应使用最新的 observation。请参考 rdp-cli 快速上手了解完整流程。
远程桌面截图优化策略
对于 Windows 远程应用,连接时获取一次完整桌面;找到目标窗口后改用区域截图;重要动作后等待状态变化;只用小范围截图验证结果。只有布局改变或 Agent 失去上下文时,才重新截取完整桌面,并只保留关键截图作为证据。
限制
需要比较多个窗口、跟踪跨显示器移动的窗口、判断全局布局、确认前台窗口或调查未知错误时,仍可能需要完整截图。
rdp-cli 提供连接、截图、输入、文件和会话控制,不包含 AI 模型。Agent 仍负责决定观察内容、执行动作和解释结果。
FAQ
减少 AI Agent 截图 Token 消耗的最佳方法是什么?
使用区域截图,避免重复图像,等待状态变化,并用小范围结果区域进行验证。
缩小截图一定会减少 Token 吗?
不一定。实际用量取决于视觉模型。减少截图区域和重复发送次数通常比单纯压缩文件更有效。
Agent 每次操作后都需要完整桌面截图吗?
不需要。建立上下文或恢复未知状态时使用完整截图,普通操作通常使用区域截图即可。
rdp-cli 可以截取远程屏幕的一部分吗?
可以。screenshot 命令支持 --region。
rdp-cli 是否包含 AI 模型?
不包含。rdp-cli 提供远程桌面控制能力,AI Agent 负责推理和决策。
总结
减少 AI 截图 Token 消耗的关键,不是取消视觉验证,而是让每次观察更聚焦:
截取相关区域 → 执行一个动作 → 等待变化 → 只截取必要结果 → 验证结果。
这样可以让高清远程桌面自动化更加高效,同时保留 AI Agent 所需的视觉反馈。