rdp-cli

AI Agent 手机控制:让你的 Agent 拥有一部真实 Android 手机

聊天框可以回答问题、编写代码,也可以告诉你如何使用 Android 应用。但它不能点击按钮、确认权限弹窗,也不能验证真实手机上到底发生了什么。

因此,真正有用的 AI Agent 不仅需要对话能力,还需要受控地访问任务实际运行的设备。

通过 rdp-cli,AI Agent 可以通过 ADB,经由 USB 或 Wi-Fi 控制已授权的 Android 手机。它可以查看实时屏幕、发送触控和文字输入、传输文件,并在需要时让人接管同一个会话。

什么是 AI Agent 手机控制?

AI Agent 手机控制,是指让 AI Agent 获得一个受控接口,从而操作真实 Android 设备。

Agent 不只是生成操作说明,还可以:

  • 查看当前 Android 屏幕
  • 识别下一个控件
  • 点击、滑动或输入文字
  • 等待应用完成响应
  • 获取新的截图
  • 验证界面结果
  • 在需要时暂停并等待人工审核

基本流程很简单:

观察手机
→ 执行一个动作
→ 获取最新截图
→ 验证结果

当目标流程存在于移动应用中,而不是 API 中时,这种方式尤其有用。

为什么聊天框还不够?

很多 Android 任务依赖真实的视觉状态。

测试移动应用时,Agent 可能需要确认:

  • 正确的登录页面是否出现
  • 权限提示是否打开
  • 按钮是否可用
  • 表单是否接受输入
  • 警告弹窗是否出现
  • 文件是否生成
  • 移动流程是否到达最终页面

文本响应无法证明这些结果。后端请求可能返回成功,但应用仍然可能显示错误、失去焦点或停留在加载页面。

真实手机还会暴露屏幕尺寸、Android 版本、权限和厂商差异带来的问题。

rdp-cli 的定位

rdp-cli 是 AI Agent 手机控制的会话层。它连接现有的、已经授权的 Android 设备,并提供截图、输入、文件和会话管理能力。

各部分职责很清晰:

  • AI 模型负责判断下一步做什么。
  • rdp-cli 负责连接设备并执行控制。
  • Android 手机运行目标应用。
  • 截图提供可检查的视觉证据。

rdp-cli 不包含 AI 模型,也不要求额外安装独立 MCP Server。根据 Agent 的工作方式,你可以使用 CLI 或 rdp-cli 内置的 MCP 接口。

如果需要具体连接命令,请查看 通过 USB 或 Wi-Fi 操作 Android 手机。

AI Agent 可以在 Android 手机上做什么?

测试真实 Android 应用

Agent 可以打开应用、输入测试数据、执行完整流程,并报告预期页面没有出现的位置。

适用场景包括登录流程、结算测试、内部业务应用、表单验证、权限处理和错误提示验证。

操作仅提供移动端的业务工具

如果内部系统只有 Android 应用,Agent 就需要操作员工实际使用的界面。它可以输入受控记录、检查状态字段,并保存流程完成后的证据。

传输测试文件和结果

移动工作流可能需要输入文件、导出文件或生成结果。rdp-cli 支持在支持的 Android 会话中上传和下载文件。

文件访问遵循会话支持的文件路径,并不等于可以任意访问所有应用私有目录。

使用 Android 虚拟显示

在支持的设备上,rdp-cli 可以创建会话专属的虚拟显示并启动应用。详细流程请参考 Android AI Agent 虚拟显示自动化。

为什么必须使用最新截图?

发送输入命令并不代表任务已经成功。

Agent 应在操作前获取截图,使用最新 observation 执行一个动作,再获取新的截图。重新连接、控制权变化或人工接管后,也必须重新观察。

这样可以避免输入到错误字段、遇到弹窗后仍继续操作,或使用旧坐标控制已经变化的页面。

rdp-cli 命令参考提供了截图、输入、文件和会话管理命令。

人工接管仍然重要

Android GUI 自动化可能遇到需要人工判断的情况:

  • 出现安全提示
  • 需要一次性登录确认
  • 即将执行不可逆操作
  • 应用进入未知状态
  • 需要确认设备授权
  • Agent 无法识别正确控件

使用 rdp-cli 时,人可以通过 GUI 或授权的 Web Viewer 打开同一个会话,暂停 Agent 输入,修正手机状态,再把控制权交还给 Agent。

控制权变化后,Agent 必须获取新截图,不能继续使用旧 observation。

要求和限制

使用前准备:

  • Android 12 或更高版本的设备
  • 已启用 USB 调试或无线调试
  • 已在手机上确认 ADB 授权
  • 已安装目标应用
  • 在 Windows、macOS 或 Linux 上安装 rdp-cli
  • 稳定的 USB 或 Wi-Fi 连接

Android 12+ 是当前支持基线。已验证设备为运行 Android 12 的 Google Pixel 3,不代表所有厂商和更高版本都已测试。

安全窗口可能限制截图,应用行为可能因设备而异,Wi-Fi 可能不如 USB 稳定,GUI 控制也不能替代应用测试或后端验证。

常见问题

AI Agent 可以在没有 API 的情况下控制 Android 吗?

可以。Agent 可以通过截图、触控输入和文字输入操作 Android GUI。

rdp-cli 需要 MCP 吗?

不需要。你可以通过 CLI 或内置 MCP 接口使用 rdp-cli,不需要额外的 MCP Server。

rdp-cli 自带 Android AI Agent 吗?

不带。rdp-cli 提供设备连接和控制层,外部 AI Agent 负责推理和任务规划。

人可以中途接管 Android 会话吗?

可以。人可以暂停 Agent、修正状态,再把同一个会话交还给 Agent。

总结

当真正的任务发生在手机上时,AI Agent 不需要另一个聊天框,而需要一部真实 Android 手机。

rdp-cli 为已授权 Android 设备提供 USB 或 Wi-Fi 控制,让 Agent 可以查看屏幕、执行动作、验证结果,并在需要时由人接管。

开始使用 Android 连接指南,查看 rdp-cli 功能 或 下载 rdp-cli。