rdp-cli
Automatiser un bureau distant avec un agent IA : captures et saisie RDP
Version et plateforme: 0.1.2 · Windows / macOS · RDP
Définir le résultat attendu
Donnez à l’agent le chemin de l’exécutable, une cible autorisée ou une session et un résultat concret, comme écrire puis vérifier une note dans un éditeur distant. rdp-cli ne contient pas de modèle IA ; votre agent décide selon l’écran. Connectez-vous d’abord et conservez data.session, représenté ici par SESSION.
Observer avant d’envoyer
Prenez et ouvrez before.png. Conservez data.observation pour l’entrée suivante. Les coordonnées concernent le bureau distant, pas la fenêtre locale. Le clic donné n’est qu’un exemple : choisissez la position réelle d’après votre capture et remplacez OBSERVATION. Si un dialogue apparaît ou que l’application se déplace, observez à nouveau.
Dans PowerShell sous Windows, exécutez ces exemples depuis le dossier de l’exécutable et remplacez rdp-cli par .\rdp-cli.exe.
Cet exemple nécessite LibreOffice Calc sur Windows distant et la redirection de lecteurs RDP. Téléchargez le classeur exemple sous service-activity.xlsx. Envoyez-le, conservez data.transfer_id comme TRANSFER_ID et attendez l’état completed. Ouvrez-le depuis le lecteur redirigé dans Calc distant et sélectionnez A20. Le guide Calc complet décrit le classeur et les résultats attendus.
rdp-cli files upload --session SESSION --local ./service-activity.xlsx --path service-activity.xlsx
rdp-cli files status --session SESSION --transfer-id TRANSFER_ID
rdp-cli screenshot --session SESSION --out before.png
rdp-cli click --session SESSION --desktop --x 420 --y 315 --observation OBSERVATION
Saisir et vérifier
Dans cet exemple, ouvrez le classeur préparé dans Calc distant et sélectionnez A20. Examinez une nouvelle capture et utilisez son jeton d’observation. Collez la note, enregistrez avec le bouton de l’application, puis vérifiez le résultat visible.
Utilisez data.observation de la réponse à before.png comme OBSERVATION. Après le clic, examinez clipboard-ready.png et utilisez son nouveau data.observation comme NEW_OBSERVATION. Vérifiez le texte dans result.png : une commande réussie ne prouve pas que l’application a accepté la saisie.
Choisissez un PASTE_REQUEST unique pour ce collage et conservez-le avec la réponse. En cas de délai dépassé, interrogez le même ID. Ne recommencez pas avec un autre ID avant d’avoir vérifié l’écran.
| PNG | data.observation |
|---|---|
| note-focused.png | FOCUSED_OBSERVATION |
| clipboard-ready.png | NEW_OBSERVATION |
rdp-cli screenshot --session SESSION --out note-focused.png
rdp-cli clipboard set --session SESSION --text "Résultat : rapport terminé, prêt à être vérifié." --observation FOCUSED_OBSERVATION
rdp-cli screenshot --session SESSION --out clipboard-ready.png
rdp-cli key --session SESSION --keys CTRL+V --observation NEW_OBSERVATION --request-id PASTE_REQUEST
rdp-cli screenshot --session SESSION --out result.png
Rapport Calc distant enregistré après le collage de la note de fin avec rdp-cli.
L’exemple Calc utilise des données de service fictives. Les classeurs terminés ci-dessous correspondent à la langue et au thème des captures.
Télécharger le résultat correspondant aux captures : Thème clair · Thème sombre

Voir la capture originale — Clair ↗ · Voir la capture originale — Sombre ↗
Récupérer sans répéter le travail
Un jeton expiré exige une nouvelle capture. Si une personne suspend ou prend la main, arrêtez les entrées. Après reconnexion ou transfert, obtenez un nouveau jeton. Si une opération dépasse le délai, interrogez sa requête initiale avant de réessayer. Un résultat incertain ne prouve pas l’absence d’action. Pour les fichiers, consultez files status et vérifiez le résultat ; ne renvoyez pas un fichier parce qu’une réponse s’est perdue.
rdp-cli operations status --session SESSION --request-id PASTE_REQUEST
Garder votre bureau local disponible
Les captures et entrées ordinaires passent par le protocole distant, sans déplacer votre pointeur ni ouvrir de visualiseur local. Une personne peut cependant observer ou reprendre la même session. Les capacités de presse-papiers et de fichiers restent soumises au serveur et au protocole.
Pour continuer
- Connecter votre Mac à un bureau Windows
- Observer, suspendre et reprendre la même session
- Bien démarrer
Commencer sur votre bureau distant
Télécharger rdp-cli · Suivre le démarrage rapide de votre plateforme
Guides associés
Commandes avancées de rdp-cli
Exécutez d’abord rdp-cli --version. Les commandes ci-dessous nécessitent agent_execution.contract_version égal à 1 ; les versions antérieures peuvent continuer à utiliser les étapes individuelles décrites plus haut.
Remplacez les paramètres en majuscules par les valeurs retournées. Dans Windows PowerShell, utilisez .\rdp-cli.exe depuis son dossier ; sous macOS ou Linux, utilisez la commande installée ou le chemin réel de l’exécutable.
Regardez la zone utile
Demandez une zone de l’écran ou une image réduite. Comparez-la à une observation précédente et omettez l’image si rien n’a changé ; les coordonnées restent liées à l’écran distant.
Attendez un changement ou la fin d’un transfert
Attendez qu’une zone change ou se stabilise, ou qu’une connexion, une opération ou un transfert atteigne un état donné. Vérifiez ensuite le résultat réel.
Une courte séquence, avec un point d’arrêt
Regroupez les actions choisies par l’agent, ajoutez une observation et arrêtez-vous à un point de contrôle. Une erreur ou un changement de contrôle stoppe la suite ; les actions envoyées ne sont pas annulées.
Gardez la progression et reprenez après vérification
Enregistrez la progression, les points de contrôle et certaines images. Exportez un rapport local puis, après une interruption, vérifiez le travail accompli avant d’envoyer de nouvelles étapes sans répéter les actions incertaines.
Transmettez le JSON ci-dessous à batch via l’entrée standard. Cet exemple observe uniquement l’écran et s’arrête à un point de contrôle ; examinez l’image actuelle avant d’ajouter des actions de saisie. Utilisez comme TASK_ID l’identifiant renvoyé par tasks create pour rattacher ce lot au même historique de tâche.
rdp-cli screenshot --session SESSION --max-width 640
rdp-cli screenshot --session SESSION --region X,Y,WIDTH,HEIGHT --max-width 640
rdp-cli wait --session SESSION --condition changed --region X,Y,WIDTH,HEIGHT --timeout-ms 10000
rdp-cli tasks create --session SESSION --title "Review result"
rdp-cli batch --session SESSION --task TASK_ID --steps-stdin --request-id UNIQUE_REQUEST_ID
{"version":1,"steps":[{"id":"look","command":"observe","arguments":{"max-width":640}},{"id":"review","command":"checkpoint"}]}