¿Qué es el uso del ordenador para los agentes de IA? Guía práctica de automatización de escritorio

rdp-cli

23 de octubre de 2026

Qué significa usar un ordenador

El uso del ordenador permite que un agente de IA opere una interfaz visible: lee la pantalla, hace clic, escribe texto, abre aplicaciones y comprueba el resultado.

Es útil cuando una tarea depende de una aplicación de escritorio sin una API adecuada. El agente puede editar vídeo, revisar una hoja de cálculo, usar software antiguo, gestionar archivos o trabajar con una aplicación Android sin crear una integración específica para cada programa.

Herramientas como rdp-cli conectan el agente con escritorios RDP y VNC y con dispositivos Android 12 o posteriores. Una persona puede observar la misma sesión, pausarla y tomar el control cuando sea necesario.

El flujo fiable: observar, actuar y verificar

La automatización de escritorio no debería consistir en una cadena larga de clics sin confirmación. Debe seguir este ciclo corto:

1. Capturar la pantalla actual.
2. Localizar el siguiente objetivo.
3. Ejecutar una acción pequeña.
4. Capturar la pantalla de nuevo.
5. Confirmar el resultado real antes de continuar.

Por ejemplo, el agente puede inspeccionar un escritorio remoto así:

rdp-cli screenshot --session SESSION --out before.png

Después de localizar un campo o botón, puede hacer clic y escribir:

rdp-cli click --session SESSION --desktop \
  --x X --y Y --observation OBSERVATION

rdp-cli type --session SESSION \
  --text "Remote task completed." \
  --observation NEW_OBSERVATION

La captura posterior es esencial. Permite saber si la ventana cambió, apareció un error o se aceptó la entrada. Si la pantalla no coincide con lo esperado, el agente debe detenerse e inspeccionar, no seguir haciendo clic.

Casos de uso prácticos

Aplicaciones de escritorio. Importar clips, recortarlos en un editor de vídeo, exportar un MP4 y comprobar el archivo final.

Hojas de cálculo. Abrir un libro, comparar valores reales con objetivos y preparar un informe conservando gráficos, fórmulas o complementos.

Flujos de archivos. Enviar archivos de origen al espacio remoto, procesarlos allí y recuperar el informe, el vídeo o el documento terminado.

Android. Conectar un teléfono compatible por USB o Wi-Fi, tocar, escribir y gestionar archivos en aplicaciones que no tienen una API útil.

Mantén a la persona al mando

Publicar contenido, borrar archivos, enviar mensajes o confirmar compras son acciones que deberían requerir aprobación. El agente puede encargarse de lo repetitivo mientras la persona observa la sesión, pausa la entrada, toma el control y lo devuelve cuando termina.

Cuatro reglas para evitar errores

• Divide el trabajo en acciones pequeñas y verificables.
• Haz capturas antes y después de los pasos importantes.
• No incluyas contraseñas ni claves API en los prompts o en el artículo.
• Detente ante diálogos inesperados, pantallas de inicio de sesión o errores.

Si existe una API estable, úsala primero. El uso del ordenador es especialmente útil para interfaces gráficas, software antiguo y flujos que conectan varias aplicaciones existentes.