rdp-cli
Tu agente de IA puede escribir código. ¿Puede usar un escritorio real? Guía de Computer Use Agent
Un agente de programación puede editar archivos, ejecutar pruebas y crear pull requests. Sin embargo, muchas tareas empresariales todavía ocurren dentro de aplicaciones gráficas.
Pueden incluir Excel, ERP, software contable, herramientas PDF, aplicaciones antiguas de Windows o apps Android.
¿Puede un agente de IA controlar un escritorio real en lugar de trabajar solamente en un chat o terminal?
Sí. Un computer use agent puede leer la pantalla, hacer clic, escribir texto, gestionar diálogos y verificar resultados. Con rdp-cli, puede trabajar en una sesión autorizada de RDP, VNC, X11 o Android sin controlar tu ordenador local.
¿Qué es un Computer Use Agent?
Un computer use agent opera el software mediante su interfaz gráfica. Puede leer capturas, pulsar botones, rellenar formularios, desplazarse, usar atajos de teclado, abrir diálogos de archivos y comprobar resultados visibles.
El flujo básico es: observar la pantalla, ejecutar una acción, capturar una imagen nueva y verificar el resultado. El modelo aporta el razonamiento; rdp-cli aporta la sesión remota y el control del escritorio.
¿Por qué necesita un escritorio real?
Las API y las herramientas MCP son útiles cuando una aplicación ofrece operaciones estructuradas. Pero muchos procesos dependen de elementos que una API no expone: ventanas nativas, foco, avisos, menús, cuadros de diálogo y selectores visuales.
Por ejemplo, el agente puede abrir una aplicación de Windows, iniciar sesión, elegir un valor, confirmar una advertencia, exportar un informe y comprobar que el archivo existe.
El papel de rdp-cli: la capa de sesión
Estas capas no son iguales:
| Capa | Responsabilidad | Lo que no resuelve |
|---|---|---|
| Computer Use nativo del modelo | Entender capturas y elegir acciones | Conexión remota, propiedad de sesión y traspaso humano |
| RPA | Ejecutar selectores o flujos predefinidos | Razonamiento visual flexible y ciclo de vida remoto |
| Cliente MCP | Exponer acciones como herramientas | El ciclo de vida completo de la sesión |
| rdp-cli | Conectar, mantener y compartir sesiones | Razonamiento y planificación de la IA |
El Computer Use nativo es la capa de razonamiento. RPA funciona bien con interfaces estables y repetitivas. MCP conecta al agente con herramientas, pero MCP por sí mismo no define cómo se crea, mantiene, comparte o devuelve una sesión remota a una persona.
rdp-cli es la capa de sesión. Conecta el agente a un entorno autorizado existente y permite que el agente y una persona trabajen en la misma sesión.
Ofrece:
- Conexiones RDP, VNC, X11 y Android
- Identificadores de sesión
- Funcionamiento sin abrir un visor local
- Capturas y acciones basadas en observaciones
- Transferencia de archivos cuando el protocolo lo permite
- Espera de estados y verificación
- GUI o Web Viewer para la misma sesión
- Pausa, takeover humano y devolución al agente
rdp-cli usa un modelo CLI orientado a sesiones en RDP, VNC, X11 y Android ADB. Cada conexión conserva su propio identificador; la ventaja es utilizar un patrón de control coherente en distintos tipos de destino.
¿Cómo funciona la automatización GUI?
Antes de enviar una entrada, el agente debe obtener una captura nueva. Ejecuta screenshot, localiza el control, envía una acción con la observación actual y captura de nuevo.
Que la entrada se haya enviado no significa que la aplicación haya terminado. Después de pulsar Guardar, verifica el mensaje de confirmación, el nuevo registro, el estado actualizado, la fila modificada o el archivo generado.
Consulta la documentación de comandos de rdp-cli.
¿Qué puede controlar?
Con RDP, rdp-cli sirve para ERP antiguos, contabilidad, almacenes, Excel, PDF, aplicaciones internas, pruebas de escritorio e instaladores.
Con X11 controla aplicaciones GUI compatibles de Linux. Con VNC controla un escritorio VNC existente. Con ADB controla dispositivos Android autorizados por USB o Wi-Fi.
Consulta la guía de inicio rápido.
¿Puede trabajar sin ocupar mi ordenador?
Sí. El agente trabaja en una sesión remota separada. Puedes abrir la misma sesión desde la GUI o el Web Viewer autorizado cuando necesites revisar o intervenir.
Si aparece un estado inesperado, pausa la entrada, toma el control, corrige la pantalla, devuelve el control y obliga al agente a obtener una captura nueva. Consulta cómo observar, pausar y tomar el control de la misma sesión.
Lo que rdp-cli no hace
rdp-cli no proporciona el modelo de IA, no decide la siguiente acción y no crea automáticamente un ordenador remoto. Necesitas un dispositivo autorizado, credenciales válidas y un agente capaz de leer capturas y ejecutar comandos.
Las capacidades dependen del protocolo y del servidor. rdp-cli tampoco sustituye las pruebas unitarias, de API o de backend.
Preguntas frecuentes
¿Qué es un computer use agent?
Es un sistema de IA que opera software mediante una interfaz gráfica usando capturas, ratón, teclado y verificación visual.
¿Puede controlar aplicaciones de Windows?
Sí, mediante una sesión RDP autorizada, incluso aplicaciones antiguas sin API o SDK.
¿Incluye rdp-cli un agente de IA?
No. rdp-cli proporciona la sesión remota, capturas, entradas, archivos y traspaso de control. El agente elegido aporta el razonamiento.
¿Es obligatorio usar MCP?
No. Puedes controlar las sesiones con la CLI de rdp-cli. Los agentes compatibles con MCP también pueden usar la interfaz MCP disponible.
Conclusión
La función exclusiva de rdp-cli no es razonar como un modelo ni ejecutar una RPA fija. Es actuar como la capa de sesión entre el agente y el entorno remoto real.
Descarga rdp-cli y permite que tu agente controle los flujos de escritorio donde realmente ocurre el trabajo.