什么是 AI Agent 的计算机使用？桌面自动化实用指南

rdp-cli

2026年10月23日

什么是计算机使用

计算机使用，是指 AI Agent 通过可见界面操作电脑：读取屏幕、点击控件、输入文字、打开应用，并检查操作结果。

当任务依赖没有可用 API 的桌面软件时，这种方式很有价值。Agent 可以使用视频编辑器、检查表格、操作旧版软件、管理文件，或使用 Android 应用，而不必为每个应用单独开发集成。

像 rdp-cli 这样的工具，可以把 Agent 连接到 RDP、VNC 桌面和 Android 12 及以上设备。同一个会话可以由人查看、暂停，或在需要审批时接管。

可靠流程：观察、操作、验证

计算机使用不应该是一串未经确认的盲目点击，而应该是一个短反馈循环：

截取当前屏幕。
找到下一步目标。
执行一个小操作。
再次截取屏幕。
确认实际结果后再继续。

例如，Agent 可以这样检查远程桌面：

rdp-cli screenshot --session SESSION --out before.png

找到输入框或按钮后，再点击并输入：

rdp-cli click --session SESSION --desktop \
  --x X --y Y --observation OBSERVATION

rdp-cli type --session SESSION \
  --text "Remote task completed." \
  --observation NEW_OBSERVATION

操作后的截图很重要。它能告诉 Agent 窗口是否变化、是否出现错误、输入是否被接受。如果画面与预期不符，Agent 应该停止并重新检查，而不是继续点击。

适合哪些任务

桌面应用。 在视频编辑器中导入素材、剪辑、导出 MP4，并检查输出文件是否存在。

表格处理。 打开工作簿、比较实际值与目标值并生成报告，同时保留简单 CSV 流程可能丢失的图表、公式或插件。

文件流程。 把源文件发送到远程工作区，在那里处理，再取回报告、视频或文档。

Android 操作。 通过 USB 或 Wi-Fi 连接支持的手机，在没有合适 API 的应用中点击、输入并处理文件。

保持人工控制

发布内容、删除文件、发送消息或确认购买等操作通常应该需要人工审批。实际工作中，可以让 Agent 处理重复步骤，由人查看同一会话，必要时暂停输入、接管操作，再把会话交还给 Agent。

避免失败的四条规则

使用小而容易验证的操作。
在重要步骤前后都截图。
不要把密码和 API 密钥放进提示词或文章内容。
遇到异常对话框、登录页面或错误时立即停止。

如果存在稳定的 API，优先使用 API。计算机使用最适合图形化、旧版，或需要串联多个现有应用的流程。它的目的不是替代所有自动化方式，而是让 AI Agent 受控地使用人们已经在用的软件。