rdp-cli

Automatización del escritorio con agentes de IA: capturas y entrada por RDP

Versión y plataforma: 0.1.2 · Windows / macOS · RDP

Define el resultado esperado

Indica a tu agente la ubicación del ejecutable, el destino autorizado o una sesión y un resultado concreto: por ejemplo, escribir una nota en el editor remoto y comprobarla. rdp-cli no incluye un modelo de IA; tu agente decide a partir de la pantalla. Conecta primero y conserva data.session. SESSION representa ese valor.

Observa antes de actuar

Captura y abre before.png. Guarda data.observation para la entrada siguiente. Las coordenadas son del escritorio remoto, no del visor local. El clic de ejemplo solo sirve si el campo está realmente en ese lugar: elige las coordenadas mirando tu imagen y sustituye OBSERVATION. Si aparece un diálogo o se mueve la aplicación, observa de nuevo.

En PowerShell de Windows, ejecuta estos ejemplos desde la carpeta del ejecutable y sustituye rdp-cli por .\rdp-cli.exe.

El ejemplo de Calc requiere LibreOffice Calc en Windows remoto y redirección de unidades RDP. Descarga el libro de ejemplo como service-activity.xlsx. Súbelo, guarda data.transfer_id como TRANSFER_ID y espera a completed. Ábrelo desde la unidad redirigida en Calc remoto y selecciona A20. El tutorial completo de Calc explica el libro y los resultados esperados.

rdp-cli files upload --session SESSION --local ./service-activity.xlsx --path service-activity.xlsx
rdp-cli files status --session SESSION --transfer-id TRANSFER_ID
rdp-cli screenshot --session SESSION --out before.png
rdp-cli click --session SESSION --desktop --x 420 --y 315 --observation OBSERVATION

Introduce texto y comprueba

En el ejemplo siguiente, abra el libro preparado en Calc remoto y seleccione A20. Revise una captura nueva y use su token de observación. Pegue la nota, guarde con el botón Guardar de la aplicación y compruebe el resultado visible.

Usa data.observation de la respuesta de before.png como OBSERVATION. Tras hacer clic, revisa clipboard-ready.png y usa su nuevo data.observation como NEW_OBSERVATION. Comprueba el texto en result.png: que un comando termine bien no demuestra que la aplicación haya aceptado la entrada.

Elige un PASTE_REQUEST único para este pegado y guárdalo con la respuesta. Si vence el tiempo, consulta ese mismo ID; no repitas el pegado con otro ID antes de comprobar la pantalla.

PNG data.observation
note-focused.png FOCUSED_OBSERVATION
clipboard-ready.png NEW_OBSERVATION
rdp-cli screenshot --session SESSION --out note-focused.png
rdp-cli clipboard set --session SESSION --text "Resultado: informe completado y listo para revisar." --observation FOCUSED_OBSERVATION
rdp-cli screenshot --session SESSION --out clipboard-ready.png
rdp-cli key --session SESSION --keys CTRL+V --observation NEW_OBSERVATION --request-id PASTE_REQUEST
rdp-cli screenshot --session SESSION --out result.png

Informe de Calc remoto guardado tras pegar la nota de finalización con rdp-cli.

El ejemplo de Calc utiliza datos de servicio ficticios. Los libros terminados enlazados abajo corresponden al idioma y tema de las capturas.

Descarga el resultado correspondiente a las capturas: Tema claro · Tema oscuro

Informe de Calc remoto guardado tras pegar la nota de finalización con rdp-cli.

Ver captura original — Claro ↗ · Ver captura original — Oscuro ↗

Recupera el estado sin duplicar trabajo

Una observación caducada requiere otra captura. Si una persona pausa o toma el control, deja de enviar entradas. Después de reconectar o devolver el control, usa un token nuevo. Si una operación agota el tiempo, consulta su solicitud original antes de repetirla. Un resultado incierto no prueba que no ocurrió nada. Para archivos, usa files status y verifica el resultado; no vuelvas a subir porque se perdió la primera respuesta.

rdp-cli operations status --session SESSION --request-id PASTE_REQUEST

Conserva tu escritorio local

Las capturas y entradas normales viajan por el protocolo remoto, sin mover tu puntero ni abrir un visor local. Una persona puede observar o tomar el control de la misma sesión cuando lo necesite. Los permisos del portapapeles y de archivos siguen dependiendo del servidor y del protocolo.

Continúa con estas guías

Empieza en tu escritorio remoto

Descargar rdp-cli · Seguir la guía rápida de tu plataforma

Guías relacionadas

Comandos ampliados de rdp-cli

Ejecuta primero rdp-cli --version. Los comandos siguientes requieren agent_execution.contract_version igual a 1; las versiones anteriores pueden seguir usando el flujo paso a paso descrito arriba.

Sustituye los marcadores en mayúsculas por los valores devueltos. En Windows PowerShell, usa .\rdp-cli.exe desde su carpeta; en macOS o Linux, usa el comando instalado o la ruta real del ejecutable.

Mira la zona que importa

Solicita una región o una imagen más pequeña. Compárala con una observación anterior y omite la imagen si nada cambió; las coordenadas conservan su relación con la pantalla remota.

Espera cambios o transferencias completas

Espera a que una región cambie o se estabilice, o a que una conexión, operación o transferencia alcance el estado indicado. Verifica también el resultado real.

Envía una secuencia breve y detente para revisar

Agrupa acciones decididas por tu agente, añade una observación y para en un punto de control. Un error o cambio de control detiene los pasos posteriores; las acciones enviadas no se deshacen.

Conserva el progreso y continúa tras comprobarlo

Guarda progreso, puntos de control e imágenes seleccionadas. Exporta un informe local y, tras una interrupción, comprueba lo terminado antes de enviar nuevos pasos sin repetir acciones inciertas.

Envía el JSON siguiente a batch por la entrada estándar. Este ejemplo solo observa y se detiene en un punto de control; revisa la imagen actual antes de añadir acciones de entrada. Usa como TASK_ID el identificador devuelto por tasks create para guardar este lote en el mismo registro de tarea.

rdp-cli screenshot --session SESSION --max-width 640
rdp-cli screenshot --session SESSION --region X,Y,WIDTH,HEIGHT --max-width 640
rdp-cli wait --session SESSION --condition changed --region X,Y,WIDTH,HEIGHT --timeout-ms 10000
rdp-cli tasks create --session SESSION --title "Review result"
rdp-cli batch --session SESSION --task TASK_ID --steps-stdin --request-id UNIQUE_REQUEST_ID
{"version":1,"steps":[{"id":"look","command":"observe","arguments":{"max-width":640}},{"id":"review","command":"checkpoint"}]}