rdp-cli

Control del teléfono con un agente de IA: Dale a tu agente un Android real

Un cuadro de chat puede responder preguntas, escribir código y explicar cómo usar una aplicación Android. No puede tocar un botón, confirmar un permiso ni comprobar qué ocurrió realmente en un teléfono.

Por eso un agente de IA útil necesita algo más que conversación. Necesita acceso controlado al dispositivo donde se ejecuta la tarea.

Con rdp-cli, un agente puede controlar un teléfono Android autorizado mediante ADB por USB o Wi-Fi. Puede observar la pantalla, enviar toques y texto, transferir archivos y permitir que una persona tome el control de la misma sesión cuando sea necesario.

¿Qué es el control de teléfonos con agentes de IA?

El control de teléfonos con agentes de IA consiste en dar a un agente una interfaz controlada para operar un dispositivo Android real.

El agente no solo genera instrucciones. También puede:

  • Observar la pantalla actual
  • Identificar el siguiente control
  • Tocar, deslizar o escribir
  • Esperar la respuesta de la aplicación
  • Capturar una nueva pantalla
  • Verificar el resultado visible
  • Pausar para que una persona revise

El flujo básico es:

Observar el teléfono
→ Realizar una acción
→ Capturar una nueva pantalla
→ Verificar el resultado

Es especialmente útil cuando el flujo existe dentro de una aplicación móvil y no en una API.

Por qué un cuadro de chat no es suficiente

Muchas tareas de Android dependen del estado visual.

Al probar una aplicación, el agente puede tener que confirmar que:

  • Aparece la pantalla de inicio de sesión correcta
  • Se abre un aviso de permisos
  • Un botón está habilitado
  • Un formulario acepta datos
  • Aparece un diálogo de advertencia
  • Se crea un archivo
  • El flujo llega a la pantalla final

Una respuesta de texto no demuestra esos resultados. Una petición de backend puede ser correcta mientras la aplicación muestra un error, pierde el foco o permanece cargando.

Un teléfono real también revela diferencias de tamaño de pantalla, versión de Android, permisos y fabricante.

Dónde encaja rdp-cli

rdp-cli es una capa de sesión para el control de teléfonos por agentes de IA. Conecta el agente a un dispositivo Android existente y autorizado, y proporciona control de pantalla, entrada, archivos y sesiones.

Las responsabilidades están separadas:

  • El modelo de IA decide qué hacer.
  • rdp-cli conecta y controla el dispositivo.
  • Android ejecuta la aplicación.
  • Las capturas sirven como evidencia visual.

rdp-cli no incluye un modelo de IA. Tampoco exige un servidor MCP independiente. Según el agente que uses, puedes trabajar con la CLI o con la interfaz MCP integrada de rdp-cli.

Para ver los comandos de conexión, consulta Controlar un teléfono Android con un agente de IA por USB o Wi-Fi.

Qué puede hacer un agente de automatización Android

Probar una aplicación Android real

El agente puede abrir una aplicación, introducir datos de prueba, seguir un flujo y señalar dónde no apareció el estado esperado.

Esto sirve para inicios de sesión, pruebas de pago, aplicaciones internas, validación de formularios, permisos y mensajes de error.

Operar herramientas empresariales móviles

Si un sistema interno solo está disponible como aplicación Android, el agente puede utilizar la misma interfaz que usan los empleados, introducir datos controlados y comprobar los estados visibles.

Transferir archivos de prueba y resultados

Los flujos móviles pueden necesitar archivos de entrada o resultados generados. rdp-cli permite subir y descargar archivos en las sesiones Android compatibles.

El acceso se limita a las rutas disponibles para la sesión; no implica acceso ilimitado a todos los directorios privados de las aplicaciones.

Usar una pantalla virtual de Android

En dispositivos compatibles, rdp-cli puede crear una pantalla virtual propia de la sesión e iniciar una aplicación. Consulta Automatización de una pantalla virtual Android para agentes de IA.

Por qué hacen falta capturas recientes

Enviar una entrada no demuestra que la tarea haya terminado.

El agente debe capturar la pantalla antes de actuar, realizar una sola acción usando la observación más reciente y volver a capturarla después. Tras una reconexión, un cambio de control o una intervención humana, debe observar de nuevo.

Esto reduce errores como escribir en el campo equivocado, continuar después de un diálogo inesperado o reutilizar coordenadas antiguas.

La referencia de comandos de rdp-cli documenta capturas, entrada, archivos y sesiones.

Intervención humana

La automatización puede encontrar una verificación de seguridad, una aprobación única, una acción destructiva, un estado desconocido, una autorización del dispositivo o un control que el agente no reconoce.

Con rdp-cli, una persona puede abrir la misma sesión desde la GUI o el Web Viewer autorizado, pausar la entrada del agente, corregir el teléfono y devolver el control.

Después del cambio de control, el agente debe capturar una pantalla nueva.

Requisitos y límites

Necesitas un dispositivo Android 12 o posterior, depuración USB o inalámbrica, autorización ADB, la aplicación instalada, rdp-cli para Windows, macOS o Linux y una conexión USB o Wi-Fi estable.

Android 12+ es la base de soporte actual. El dispositivo verificado es un Google Pixel 3 con Android 12; no se garantiza la compatibilidad con todos los fabricantes o versiones posteriores.

Las pantallas seguras pueden limitar las capturas, el comportamiento puede variar según el dispositivo y la automatización GUI no sustituye las pruebas de la aplicación ni la validación del backend.

Preguntas frecuentes

¿Puede un agente controlar Android sin una API?

Sí. Puede interactuar con la interfaz mediante capturas, toques y entrada de texto.

¿Necesita MCP rdp-cli?

No. Puedes usar la CLI o la interfaz MCP integrada. No hace falta un servidor MCP independiente.

¿Incluye rdp-cli un agente de IA para Android?

No. rdp-cli proporciona la capa de conexión y control. El agente externo aporta el razonamiento.

¿Puede una persona tomar el control durante la automatización?

Sí. Puede pausar el agente, corregir la sesión y devolverle el control.

Conclusión

Cuando el trabajo real ocurre en un teléfono, un agente de IA necesita un Android real, no otra ventana de chat.

rdp-cli permite controlar dispositivos Android autorizados por USB o Wi-Fi, observar la pantalla, realizar acciones, verificar resultados y permitir la intervención humana.

Consulta la guía de conexión Android, revisa las funciones de rdp-cli o descarga rdp-cli.