rdp-cli
Автоматизация виртуального дисплея Android для ИИ-агентов
Автоматизация виртуального дисплея Android позволяет ИИ-агенту управлять и тестировать приложение на отдельной поверхности отображения.
Вместо управления только физическим главным экраном агент может создать виртуальный дисплей для сеанса, задать его размер и DPI, запустить приложение и проверить каждое действие новым снимком экрана.
С помощью rdp-cli агент подключается к Android-устройству через ADB по USB или Wi-Fi, выбирает виртуальный дисплей и выполняет сценарий автоматизации на основе снимков экрана.
Кратко: виртуальный дисплей Android даёт ИИ-агенту отдельную цель для GUI-задач. Надёжный процесс выглядит так: создать дисплей, сделать снимок, выполнить одно действие, сделать новый снимок и проверить результат.
Виртуальный дисплей Android и главный экран
rdp-cli поддерживает две цели отображения Android:
main: управляет текущим физическим главным экраном телефона.virtual: создаёт отдельный виртуальный дисплей для сеанса автоматизации.
Виртуальный дисплей полезен, когда агенту нужны фиксированные размер экрана и DPI. Agent, GUI Viewer и Web Viewer используют выбранную в сеансе цель отображения. Поведение приложения и системные разрешения могут различаться в зависимости от устройства и приложения.
Виртуальный дисплей не является облачным эмулятором Android. Приложение по-прежнему работает на авторизованном физическом Android-устройстве, а совместимость зависит от версии Android, производителя и приложения.
Когда использовать виртуальный дисплей?
Подход подходит для:
- Повторяемых GUI-тестов Android
- Тестирования приложений без доступного API
- Форм, входа в аккаунт и процессов согласования
- Визуальных тестов с фиксированным размером
- Сохранения снимков как доказательств
- Запуска приложения на отдельной цели отображения
Если устройство ещё не подключено, сначала прочитайте Как управлять Android с ИИ-агентом через USB или Wi-Fi.
Требования
Подготовьте:
- Устройство с Android 12 или новее
- Включённую USB- или беспроводную отладку
- Подтверждённую ADB-авторизацию на телефоне
- Установленное целевое приложение
- Версию rdp-cli с поддержкой Android
- Подходящие размер виртуального экрана и DPI
Android 12+ является текущей базовой версией поддержки rdp-cli. Google Pixel 3 с Android 12 — проверенное эталонное устройство, но совместимость с другими устройствами может отличаться.
Создание виртуального дисплея Android
После обнаружения и авторизации устройства создайте сеанс с виртуальным дисплеем:
rdp-cli connect \
--protocol adb \
--device usb:DEVICE_ID \
--transport usb \
--android-display virtual \
--android-virtual-size 1080x1920 \
--android-virtual-dpi 420 \
--android-start-app com.example.app
Замените DEVICE_ID, размер экрана, DPI и имя пакета приложения фактическими значениями.
Команда возвращает ID сеанса. Сохраните его для следующих операций. Подробности приведены в справочнике команд rdp-cli.
Наблюдение, действие и проверка
Не отправляйте действия на основе старого снимка экрана.
Сначала снимите текущий виртуальный дисплей:
rdp-cli screenshot \
--session SESSION \
--out before.png
Проверьте снимок, найдите нужный элемент и отправьте одно действие с актуальным observation:
rdp-cli android touch \
--session SESSION \
--kind tap \
--x X \
--y Y \
--observation OBSERVATION
Затем сделайте новый снимок:
rdp-cli screenshot \
--session SESSION \
--out after.png
Второй снимок является фактической проверкой. Успешный ответ на ввод означает только отправку команды, но не подтверждает ожидаемое состояние приложения.
Передача файлов и проверка человеком
Для текста Unicode или нескольких строк используйте буфер обмена Android:
rdp-cli android text \
--session SESSION \
--method clipboard \
--text "Test order completed." \
--observation OBSERVATION
Тестовые файлы можно загрузить в каталог сеанса:
rdp-cli files upload \
--session SESSION \
--local ./test-data.json \
--path test-data.json
Скачайте результат, дождитесь завершения передачи и проверьте файл.
Если требуется проверка человеком, откройте тот же сеанс в браузере:
rdp-cli watch --session SESSION --viewer web
Человек может приостановить агента, обработать запрос разрешения или исправить неожиданное состояние, а затем вернуть управление. После изменения управления агент должен сделать новый снимок экрана.
Ограничения
- Требуется авторизация ADB.
- Совместимость зависит от устройства и версии Android.
- Некоторые приложения могут вести себя иначе на виртуальном дисплее.
- Системные разрешения и работа аудио по-прежнему применяются.
- Защищённые окна могут ограничивать снимки экрана.
- rdp-cli управляет устройством, но не содержит ИИ-модель.
- Планирование выполняет внешний ИИ-агент.
Частые вопросы
Нужен ли root для автоматизации виртуального дисплея Android?
Документированный сценарий rdp-cli не требует root. Нужна авторизованная ADB-связь по USB или Wi-Fi.
Можно ли автоматизировать любое Android-приложение на виртуальном дисплее?
Это не гарантируется. Некоторые приложения зависят от физического экрана, сервисов устройства или системных разрешений. Сначала протестируйте приложение на целевом устройстве.
Как проверить успешность действия автоматизации?
Сделайте снимок до действия, отправьте один ввод, сделайте новый снимок и проверьте видимый результат. Успешная отправка команды не означает завершение задачи.
Входит ли ИИ-агент в состав rdp-cli?
Нет. rdp-cli предоставляет подключение, снимки, ввод, управление сеансом и структурированные результаты. Действия выбирает внешний ИИ-агент.
Итог
Автоматизация виртуального дисплея Android полезна, когда ИИ-агенту нужна контролируемая цель отображения для GUI-тестов или повторяющихся сценариев.
Надёжный шаблон:
Создать виртуальный дисплей → снять экран → выполнить одно действие → снять экран снова → проверить результат
С помощью rdp-cli агент может запустить приложение на виртуальном дисплее, работать с видимыми элементами, передавать тестовые файлы и при необходимости передавать задачу человеку.