rdp-cli

Управление телефоном AI-агентом: дайте агенту настоящий Android-смартфон

Чат может отвечать на вопросы, писать код и объяснять, как пользоваться Android-приложением. Но он не может нажать кнопку, подтвердить разрешение или проверить, что произошло на настоящем телефоне.

Поэтому полезному AI-агенту нужна не только беседа. Ему нужен контролируемый доступ к устройству, на котором выполняется задача.

С помощью rdp-cli AI-агент может управлять авторизованным Android-смартфоном через ADB по USB или Wi-Fi. Он может видеть экран, отправлять касания и текст, передавать файлы и передавать ту же сессию человеку, когда требуется его участие.

Что такое управление телефоном AI-агентом?

Это контролируемый интерфейс, который позволяет AI-агенту работать с настоящим Android-устройством.

Агент не только создаёт инструкции. Он может:

  • наблюдать текущий экран Android
  • находить следующий элемент управления
  • нажимать, прокручивать и вводить текст
  • ждать ответа приложения
  • делать новый снимок экрана
  • проверять видимый результат
  • приостанавливать работу для проверки человеком

Основной цикл выглядит так:

Наблюдать за телефоном
→ Выполнить одно действие
→ Сделать новый снимок экрана
→ Проверить результат

Это особенно полезно, когда нужный процесс находится внутри мобильного приложения, а не в API.

Почему одного чата недостаточно

Многие задачи Android зависят от состояния интерфейса.

При тестировании приложения агенту может понадобиться проверить:

  • появился ли правильный экран входа
  • открылось ли окно разрешений
  • активна ли кнопка
  • принимает ли форма ввод
  • появилось ли предупреждение
  • создан ли файл
  • достиг ли процесс финального экрана

Текстовый ответ не доказывает эти результаты. Backend-запрос может завершиться успешно, а приложение при этом будет показывать ошибку, потеряет фокус или останется на экране загрузки.

Настоящий телефон также показывает различия в размере экрана, версии Android, разрешениях и поведении устройств разных производителей.

Роль rdp-cli

rdp-cli — это слой сессий для управления телефонами AI-агентами. Он подключает агент к существующему авторизованному Android-устройству и предоставляет работу с экраном, вводом, файлами и сессией.

Обязанности разделены:

  • AI-модель решает, что делать дальше.
  • rdp-cli подключается к устройству и управляет им.
  • Android запускает целевое приложение.
  • Снимки экрана дают визуальное подтверждение.

rdp-cli не содержит AI-модель. Отдельный MCP-сервер также не является обязательным. В зависимости от агента можно использовать CLI или встроенный MCP-интерфейс rdp-cli.

Команды подключения приведены в статье Управление Android-телефоном с AI-агентом через USB или Wi-Fi.

Что умеет AI-агент автоматизации Android?

Тестировать настоящее Android-приложение

Агент может запустить приложение, ввести тестовые данные, пройти сценарий и сообщить, где ожидаемое состояние не было достигнуто.

Это подходит для входа, платежных сценариев, внутренних приложений, проверки форм, разрешений и сообщений об ошибках.

Работать с мобильными бизнес-инструментами

Если внутренняя система доступна только как Android-приложение, агент может использовать тот же интерфейс, что и сотрудники, вводить контролируемые данные и проверять отображаемые статусы.

Передавать тестовые файлы и результаты

Мобильному процессу могут понадобиться входные или выходные файлы. rdp-cli поддерживает загрузку и скачивание файлов в совместимых Android-сессиях.

Доступ ограничен путями, предоставленными сессией, и не означает неограниченный доступ к приватным каталогам приложений.

Использовать виртуальный дисплей Android

На поддерживаемых устройствах rdp-cli может создать виртуальный дисплей сессии и запустить приложение на нём. Подробности описаны в статье Автоматизация виртуального дисплея Android для AI-агентов.

Почему нужны свежие снимки экрана?

Отправленная команда ввода не подтверждает завершение задачи.

Агент должен сделать снимок до действия, выполнить одно действие на основе свежего observation и сделать новый снимок после него. После переподключения, смены управления или участия человека нужно снова получить состояние экрана.

Это снижает риск ввода не в то поле, продолжения после неожиданного диалога и повторного использования старых координат.

Справочник команд rdp-cli описывает снимки, ввод, файлы и управление сессиями.

Передача управления человеку

Проверка безопасности, разовое подтверждение, опасное действие, неизвестное состояние, авторизация устройства или нераспознанный элемент могут потребовать участия человека.

С rdp-cli человек может открыть ту же сессию через GUI или авторизованный Web Viewer, приостановить ввод агента, исправить состояние телефона и вернуть управление.

После смены управления агент должен получить новый снимок экрана.

Требования и ограничения

Нужны устройство Android 12 или новее, USB- или беспроводная отладка, авторизация ADB, установленное приложение, rdp-cli для Windows, macOS или Linux и стабильное USB- или Wi-Fi-соединение.

Android 12+ — текущая базовая версия поддержки. Проверено устройство Google Pixel 3 с Android 12; совместимость со всеми производителями и более новыми версиями не гарантируется.

Защищённые экраны могут ограничивать захват. Поведение зависит от устройства, а GUI-управление не заменяет тесты приложения и проверку backend.

Частые вопросы

Может ли AI-агент управлять Android без API?

Да. Он может работать с Android GUI через снимки экрана, касания и ввод текста.

Нужен ли rdp-cli MCP?

Нет. Можно использовать CLI или встроенный MCP-интерфейс. Отдельный MCP-сервер не требуется.

Входит ли Android AI-агент в rdp-cli?

Нет. rdp-cli предоставляет подключение и управление, а внешний агент отвечает за рассуждение и планирование.

Может ли человек перехватить Android-сессию?

Да. Он может приостановить агента, исправить состояние и вернуть управление.

Итог

Если настоящая задача выполняется на телефоне, AI-агенту нужен настоящий Android, а не ещё одно окно чата.

rdp-cli позволяет управлять авторизованными Android-устройствами по USB или Wi-Fi, видеть экран, выполнять действия, проверять результаты и подключать человека к той же сессии.

Начните с руководства по подключению Android, изучите возможности rdp-cli или скачайте rdp-cli.