Cómo permitir que un agente de IA opere un escritorio remoto de Windows

Un agente de IA puede escribir scripts, pero muchas tareas reales todavía necesitan un escritorio: una aplicación exclusiva de Windows, un editor de documentos o un cuadro de diálogo para exportar archivos. La forma fiable de automatizar ese trabajo es seguir un ciclo breve: observar la pantalla, realizar una acción y verificar el resultado.

1. Preparar el equipo Windows

Activa Escritorio remoto en el equipo de destino. Descarga el archivo de rdp-cli correspondiente al equipo que ejecuta el agente y compruébalo en PowerShell:

.\rdp-cli.exe --help

El agente no tiene que ejecutarse en el equipo Windows. Solo necesita acceso de red al servicio RDP.

2. Conectarse sin exponer la contraseña

Pasa la contraseña por la entrada estándar en lugar de escribirla en el historial del shell:

$secret = Read-Host 'Password' -AsSecureString
try {
  [System.Net.NetworkCredential]::new('', $secret).Password |
    .\rdp-cli.exe connect --host 192.0.2.20 --user USER --password-stdin
} finally {
  $secret.Dispose()
}

Guarda el valor session devuelto en JSON. Ese valor identifica el escritorio remoto para los comandos siguientes.

3. Observar antes de actuar

No adivines las coordenadas. Captura primero la pantalla actual:

.\rdp-cli.exe screenshot --session SESSION --out .\before.png

El agente puede inspeccionar la imagen, localizar el control y hacer clic usando el valor observation de la respuesta:

.\rdp-cli.exe click --session SESSION --desktop --x 420 --y 260 --observation OBSERVATION

4. Verificar cada paso importante

Después de hacer clic, captura una pantalla nueva antes de escribir o enviar nada:

.\rdp-cli.exe screenshot --session SESSION --out .\focused.png
.\rdp-cli.exe type --session SESSION --text "Remote task completed." --observation NEW_OBSERVATION
.\rdp-cli.exe screenshot --session SESSION --out .\after.png

Así se detectan ventanas desplazadas, aplicaciones que aún cargan y clics equivocados. Que un comando no devuelva un error no significa que haya funcionado.

5. Mantener el control humano

Una persona puede observar la misma sesión en una ventana o un navegador:

.\rdp-cli.exe watch --session SESSION --viewer window

El visor comienza en modo de solo lectura y permite pausar al agente, tomar el control y devolverle la sesión. Úsalo para inicios de sesión, cuadros de confirmación y acciones irreversibles.

Siempre que sea posible, usa RDP mediante una red privada o VPN, guarda las credenciales de forma segura y configura la validación de certificados según tu entorno. El patrón práctico es simple: observar, actuar y verificar.