rdp-cli

Automatización de una pantalla virtual de Android para agentes de IA

La automatización de una pantalla virtual de Android permite que un agente de IA controle y pruebe una aplicación en una superficie de visualización independiente.

En lugar de controlar únicamente la pantalla física principal, el agente puede crear una pantalla virtual para la sesión, definir su tamaño y DPI, iniciar una aplicación y verificar cada acción con una captura nueva.

Con rdp-cli, el agente se conecta a dispositivos Android mediante ADB por USB o Wi-Fi, selecciona una pantalla virtual y ejecuta un flujo de automatización basado en capturas.

Resumen: la automatización de una pantalla virtual de Android permite ejecutar tareas GUI en una pantalla independiente. El flujo fiable es crear la pantalla, capturarla, realizar una acción, capturarla de nuevo y verificar el resultado.

Pantalla virtual de Android frente a pantalla principal

rdp-cli admite dos destinos de pantalla:

  • main: controla la pantalla física principal del teléfono.
  • virtual: crea una pantalla virtual propia para la sesión de automatización.

La pantalla virtual resulta útil cuando el agente necesita un tamaño y un DPI controlados. El Agent, el GUI Viewer y el Web Viewer utilizan el destino seleccionado en la sesión. El comportamiento de la aplicación y los permisos del sistema pueden variar según el dispositivo y la app.

Una pantalla virtual no es un emulador Android en la nube. La aplicación sigue ejecutándose en un dispositivo Android físico autorizado, y la compatibilidad depende de la versión de Android, el fabricante y la aplicación.

¿Cuándo conviene usar una pantalla virtual?

Este enfoque es útil para:

  • Repetir pruebas de GUI en Android
  • Probar aplicaciones sin una API disponible
  • Ejecutar formularios, inicios de sesión y aprobaciones
  • Usar un tamaño fijo para pruebas visuales
  • Guardar capturas como evidencia
  • Ejecutar una app en un destino de pantalla independiente

Si todavía no has conectado el teléfono, consulta Controlar un teléfono Android con un agente de IA por USB o Wi-Fi.

Requisitos

Necesitas:

  • Un dispositivo con Android 12 o posterior
  • Depuración USB o inalámbrica activada
  • Autorización ADB confirmada en el teléfono
  • La aplicación instalada
  • Una versión de rdp-cli compatible con Android
  • Un tamaño de pantalla virtual y un DPI adecuados

Android 12+ es la base de soporte actual de rdp-cli. Google Pixel 3 con Android 12 es un dispositivo de referencia verificado, pero la compatibilidad con otros dispositivos puede variar.

Crear una pantalla virtual de Android

Después de detectar y autorizar el dispositivo, crea una sesión con pantalla virtual:

rdp-cli connect \
  --protocol adb \
  --device usb:DEVICE_ID \
  --transport usb \
  --android-display virtual \
  --android-virtual-size 1080x1920 \
  --android-virtual-dpi 420 \
  --android-start-app com.example.app

Sustituye DEVICE_ID, el tamaño de pantalla, el DPI y el nombre del paquete por los valores reales.

El comando devuelve un ID de sesión. Guárdalo para las operaciones siguientes. Consulta la referencia de comandos de rdp-cli para ver todas las opciones.

Flujo de observar, actuar y verificar

No envíes acciones usando una captura antigua.

Captura primero la pantalla virtual actual:

rdp-cli screenshot \
  --session SESSION \
  --out before.png

Inspecciona la imagen, localiza el control y envía una sola acción con la observación más reciente:

rdp-cli android touch \
  --session SESSION \
  --kind tap \
  --x X \
  --y Y \
  --observation OBSERVATION

Captura la pantalla de nuevo:

rdp-cli screenshot \
  --session SESSION \
  --out after.png

La segunda captura es la comprobación real. Una respuesta correcta del comando solo confirma que la entrada fue enviada; no demuestra que la aplicación haya alcanzado el estado esperado.

Transferir archivos y añadir revisión humana

Para texto Unicode o multilínea, usa el método del portapapeles de Android:

rdp-cli android text \
  --session SESSION \
  --method clipboard \
  --text "Test order completed." \
  --observation OBSERVATION

También puedes subir archivos de prueba al directorio de la sesión:

rdp-cli files upload \
  --session SESSION \
  --local ./test-data.json \
  --path test-data.json

Descarga el resultado, espera a que la transferencia termine y verifica el archivo.

Cuando sea necesaria una revisión humana, abre la misma sesión en un navegador:

rdp-cli watch --session SESSION --viewer web

La persona puede pausar al agente, resolver un aviso de permisos o corregir una pantalla inesperada y devolverle el control. Después de un cambio de control, el agente debe tomar una captura nueva.

Limitaciones

  • Se requiere autorización ADB.
  • La compatibilidad depende del dispositivo y de la versión de Android.
  • Algunas aplicaciones pueden comportarse de forma distinta en una pantalla virtual.
  • Los permisos del sistema y el audio siguen aplicándose.
  • Las ventanas seguras pueden limitar las capturas.
  • rdp-cli controla el dispositivo, pero no incluye un modelo de IA.
  • La planificación corresponde al agente de IA externo.

Preguntas frecuentes

¿La automatización de una pantalla virtual Android requiere root?

El flujo documentado de rdp-cli no requiere root. Sí requiere una conexión ADB autorizada por USB o Wi-Fi.

¿Puedo automatizar cualquier aplicación Android en una pantalla virtual?

No está garantizado. Algunas apps dependen de la pantalla física, de servicios del dispositivo o de permisos concretos. Prueba primero en el hardware objetivo.

¿Cómo verifico que una acción terminó correctamente?

Captura la pantalla antes de la acción, envía una entrada, captura de nuevo y comprueba el resultado visible. El envío correcto del comando no equivale a completar la tarea.

¿rdp-cli incluye un agente de IA?

No. rdp-cli proporciona conexión, capturas, entradas, control de sesión y resultados estructurados. Un agente externo decide las acciones.

Conclusión

La automatización de una pantalla virtual Android es útil cuando un agente necesita un destino de visualización controlado para pruebas GUI o flujos repetitivos.

El patrón recomendado es:

Crear la pantalla virtual → capturar → realizar una acción → capturar de nuevo → verificar

Con rdp-cli, el agente puede iniciar una app en una pantalla virtual, interactuar con sus controles, transferir archivos de prueba y detenerse para una revisión humana.

Consulta la guía de inicio rápido de rdp-cli.