Une session pour votre agent et vous
rdp-cli permet à un agent IA de voir et de piloter une application Linux par commandes. Il capture l’écran, agit sur ce qu’il observe puis vérifie la capture suivante. Vous pouvez ouvrir une fenêtre native ou un navigateur autorisé pour observer, mettre en pause ou reprendre cette même session.
Préparer une cible autorisée
Le poste Linux doit déjà proposer un accès SSH et une application compatible X11 installée. Remplacez l’adresse, le compte, le chemin de clé privée et le fichier known-hosts vérifié indépendamment. Dans PowerShell sous Windows, utilisez .\rdp-cli.exe à la place de rdp-cli. Vérifiez que --version indique true pour embedded_ssh, x11_desktop et x11_application.
Ouvrir une seule application
Cet exemple ouvre le Gedit déjà installé dans un affichage isolé intégré à rdp-cli. Aucune fenêtre locale de visualisation ne s’ouvre automatiquement. Conservez data.session de la réponse sous SESSION. Un hôte utilisant habituellement Wayland peut aussi transférer une application compatible X11 ainsi.
rdp-cli connect --protocol x11 --mode application --host 192.0.2.20 --user USER --ssh-key PRIVATE_KEY --ssh-known-hosts KNOWN_HOSTS --linux-file-root FILE_ROOT --application /usr/bin/gedit --app-args '["--standalone","--new-window"]'
Ou rejoindre un bureau X11 existant
Indiquez le display réel et le chemin de son fichier d’autorisation existant. Le compte SSH doit pouvoir accéder à ce display : l’authentification SSH seule ne donne pas accès au bureau. Ce mode rejoint le bureau existant sans créer une nouvelle session de connexion.
rdp-cli connect --protocol x11 --mode desktop --host 192.0.2.20 --user USER --ssh-key PRIVATE_KEY --ssh-known-hosts KNOWN_HOSTS --linux-file-root FILE_ROOT --display DISPLAY --xauthority XAUTHORITY_PATH
Observer, agir et vérifier
Examinez le PNG retourné et conservez data.observation. Remplacez X et Y par les coordonnées réelles de l’image. Après avoir ciblé le champ, capturez à nouveau et utilisez le nouveau jeton. La méthode explicite de presse-papiers remplace le presse-papiers distant sans modifier celui du poste local. La réponse confirme l’envoi de l’entrée ; vérifiez ensuite le résultat visible.
rdp-cli screenshot --session SESSION --out before.png
rdp-cli click --session SESSION --x X --y Y --observation OBSERVATION
rdp-cli screenshot --session SESSION --out focused.png
rdp-cli linux text --session SESSION --method clipboard --text 'Vérification terminée.' --observation OBSERVATION
rdp-cli screenshot --session SESSION --out after.png
Récupérer les fichiers produits
Ouvrez le remote_path retourné par l’envoi dans l’application Linux, modifiez, enregistrez puis téléchargez le résultat. Conservez chaque transfer_id et attendez completed avant d’utiliser le fichier. Enregistrez avant le transfert ; un nom existant n’est pas écrasé par défaut. En cas d’erreur, consultez l’état avant de recommencer.
Remplacez FILE_ROOT par un répertoire distant existant dans lequel ce compte SSH peut lire et écrire. Les opérations de fichiers restent dans ce répertoire ; indiquer le chemin ne crée pas le répertoire et ne donne pas de droits supplémentaires.
rdp-cli files list --session SESSION
rdp-cli files upload --session SESSION --local ./report.txt --path report.txt
rdp-cli files status --session SESSION --transfer-id UPLOAD_TRANSFER
rdp-cli files download --session SESSION --path report.txt --local ./result.txt
rdp-cli files status --session SESSION --transfer-id DOWNLOAD_TRANSFER
Passer la main à une personne
Ouvrez le visualiseur lorsque vous voulez observer : il commence en lecture seule. Prendre la main arrête les entrées de l’agent ; après correction, rendez le contrôle pour poursuivre la même tâche. Le visualiseur web autorisé partage la session et un seul peut détenir le contrôle humain. Fermer un visualiseur en lecture seule conserve la connexion.
rdp-cli watch --session SESSION --viewer window
Comprendre les limites du protocole
X11 natif ne propose aucune redirection de lecture audio ou de microphone. Un bureau Wayland complet nécessite un point de terminaison RDP ou VNC compatible déjà configuré, selon ses capacités réellement négociées. rdp-cli n’installe ni n’active de service distant. Une application peut se fermer si son affichage est déconnecté ou perdu : enregistrez d’abord, sans supposer un redémarrage automatique ou un espace de travail conservé.
La saisie de texte sous Wayland dépend du serveur existant. GNOME 46 et Krfb 23.08 peuvent ne pas reconnaître certaines touches Unicode ; vérifiez le résultat. Utilisez le collage explicite uniquement s’il fonctionne sur cette cible : Krfb sous Plasma Wayland peut annoncer la prise en charge du presse-papiers sans transmettre le contenu aux applications. Décomposez les saisies complexes ou rapides en petites étapes et vérifiez la capture suivante.
Cibles de bureau testées : Ubuntu 24.04.5 · GNOME 46 / GNOME Remote Desktop 46.3; KDE Plasma 5.27.12 / Krfb 23.08.5.