rdp-cli
Управление телефоном AI-агентом: дайте агенту настоящий Android-смартфон
Чат может отвечать на вопросы, писать код и объяснять, как пользоваться Android-приложением. Но он не может нажать кнопку, подтвердить разрешение или проверить, что произошло на настоящем телефоне.
Поэтому полезному AI-агенту нужна не только беседа. Ему нужен контролируемый доступ к устройству, на котором выполняется задача.
С помощью rdp-cli AI-агент может управлять авторизованным Android-смартфоном через ADB по USB или Wi-Fi. Он может видеть экран, отправлять касания и текст, передавать файлы и передавать ту же сессию человеку, когда требуется его участие.
Что такое управление телефоном AI-агентом?
Это контролируемый интерфейс, который позволяет AI-агенту работать с настоящим Android-устройством.
Агент не только создаёт инструкции. Он может:
- наблюдать текущий экран Android
- находить следующий элемент управления
- нажимать, прокручивать и вводить текст
- ждать ответа приложения
- делать новый снимок экрана
- проверять видимый результат
- приостанавливать работу для проверки человеком
Основной цикл выглядит так:
Наблюдать за телефоном
→ Выполнить одно действие
→ Сделать новый снимок экрана
→ Проверить результат
Это особенно полезно, когда нужный процесс находится внутри мобильного приложения, а не в API.
Почему одного чата недостаточно
Многие задачи Android зависят от состояния интерфейса.
При тестировании приложения агенту может понадобиться проверить:
- появился ли правильный экран входа
- открылось ли окно разрешений
- активна ли кнопка
- принимает ли форма ввод
- появилось ли предупреждение
- создан ли файл
- достиг ли процесс финального экрана
Текстовый ответ не доказывает эти результаты. Backend-запрос может завершиться успешно, а приложение при этом будет показывать ошибку, потеряет фокус или останется на экране загрузки.
Настоящий телефон также показывает различия в размере экрана, версии Android, разрешениях и поведении устройств разных производителей.
Роль rdp-cli
rdp-cli — это слой сессий для управления телефонами AI-агентами. Он подключает агент к существующему авторизованному Android-устройству и предоставляет работу с экраном, вводом, файлами и сессией.
Обязанности разделены:
- AI-модель решает, что делать дальше.
- rdp-cli подключается к устройству и управляет им.
- Android запускает целевое приложение.
- Снимки экрана дают визуальное подтверждение.
rdp-cli не содержит AI-модель. Отдельный MCP-сервер также не является обязательным. В зависимости от агента можно использовать CLI или встроенный MCP-интерфейс rdp-cli.
Команды подключения приведены в статье Управление Android-телефоном с AI-агентом через USB или Wi-Fi.
Что умеет AI-агент автоматизации Android?
Тестировать настоящее Android-приложение
Агент может запустить приложение, ввести тестовые данные, пройти сценарий и сообщить, где ожидаемое состояние не было достигнуто.
Это подходит для входа, платежных сценариев, внутренних приложений, проверки форм, разрешений и сообщений об ошибках.
Работать с мобильными бизнес-инструментами
Если внутренняя система доступна только как Android-приложение, агент может использовать тот же интерфейс, что и сотрудники, вводить контролируемые данные и проверять отображаемые статусы.
Передавать тестовые файлы и результаты
Мобильному процессу могут понадобиться входные или выходные файлы. rdp-cli поддерживает загрузку и скачивание файлов в совместимых Android-сессиях.
Доступ ограничен путями, предоставленными сессией, и не означает неограниченный доступ к приватным каталогам приложений.
Использовать виртуальный дисплей Android
На поддерживаемых устройствах rdp-cli может создать виртуальный дисплей сессии и запустить приложение на нём. Подробности описаны в статье Автоматизация виртуального дисплея Android для AI-агентов.
Почему нужны свежие снимки экрана?
Отправленная команда ввода не подтверждает завершение задачи.
Агент должен сделать снимок до действия, выполнить одно действие на основе свежего observation и сделать новый снимок после него. После переподключения, смены управления или участия человека нужно снова получить состояние экрана.
Это снижает риск ввода не в то поле, продолжения после неожиданного диалога и повторного использования старых координат.
Справочник команд rdp-cli описывает снимки, ввод, файлы и управление сессиями.
Передача управления человеку
Проверка безопасности, разовое подтверждение, опасное действие, неизвестное состояние, авторизация устройства или нераспознанный элемент могут потребовать участия человека.
С rdp-cli человек может открыть ту же сессию через GUI или авторизованный Web Viewer, приостановить ввод агента, исправить состояние телефона и вернуть управление.
После смены управления агент должен получить новый снимок экрана.
Требования и ограничения
Нужны устройство Android 12 или новее, USB- или беспроводная отладка, авторизация ADB, установленное приложение, rdp-cli для Windows, macOS или Linux и стабильное USB- или Wi-Fi-соединение.
Android 12+ — текущая базовая версия поддержки. Проверено устройство Google Pixel 3 с Android 12; совместимость со всеми производителями и более новыми версиями не гарантируется.
Защищённые экраны могут ограничивать захват. Поведение зависит от устройства, а GUI-управление не заменяет тесты приложения и проверку backend.
Частые вопросы
Может ли AI-агент управлять Android без API?
Да. Он может работать с Android GUI через снимки экрана, касания и ввод текста.
Нужен ли rdp-cli MCP?
Нет. Можно использовать CLI или встроенный MCP-интерфейс. Отдельный MCP-сервер не требуется.
Входит ли Android AI-агент в rdp-cli?
Нет. rdp-cli предоставляет подключение и управление, а внешний агент отвечает за рассуждение и планирование.
Может ли человек перехватить Android-сессию?
Да. Он может приостановить агента, исправить состояние и вернуть управление.
Итог
Если настоящая задача выполняется на телефоне, AI-агенту нужен настоящий Android, а не ещё одно окно чата.
rdp-cli позволяет управлять авторизованными Android-устройствами по USB или Wi-Fi, видеть экран, выполнять действия, проверять результаты и подключать человека к той же сессии.
Начните с руководства по подключению Android, изучите возможности rdp-cli или скачайте rdp-cli.