Comment laisser un agent IA utiliser un bureau Windows distant

Un agent IA peut écrire des scripts, mais de nombreuses tâches réelles nécessitent encore un bureau : une application Windows, un éditeur de documents ou une fenêtre d’exportation. L’automatisation devient fiable lorsque l’agent suit une boucle courte : observer l’écran, effectuer une action, vérifier le résultat.

1. Préparer l’hôte Windows

Activez le Bureau à distance sur l’ordinateur cible. Téléchargez le fichier rdp-cli adapté à l’ordinateur qui exécute l’agent, puis vérifiez-le dans PowerShell :

.\rdp-cli.exe --help

L’agent n’a pas besoin de fonctionner sur l’hôte Windows. Il doit seulement pouvoir accéder au service RDP.

2. Se connecter sans exposer le mot de passe

Passez le mot de passe par l’entrée standard au lieu de l’écrire dans la ligne de commande ou l’historique du shell :

$secret = Read-Host 'Password' -AsSecureString
try {
  [System.Net.NetworkCredential]::new('', $secret).Password |
    .\rdp-cli.exe connect --host 192.0.2.20 --user USER --password-stdin
} finally {
  $secret.Dispose()
}

Conservez la valeur session renvoyée en JSON. Elle identifie le bureau distant pour les commandes suivantes.

3. Observer avant d’agir

Ne devinez pas les coordonnées. Capturez d’abord l’écran actuel :

.\rdp-cli.exe screenshot --session SESSION --out .\before.png

L’agent peut examiner l’image, trouver le contrôle et cliquer avec la valeur observation de la réponse :

.\rdp-cli.exe click --session SESSION --desktop --x 420 --y 260 --observation OBSERVATION

4. Vérifier chaque étape importante

Après un clic, capturez un nouvel écran avant de saisir ou d’envoyer quoi que ce soit :

.\rdp-cli.exe screenshot --session SESSION --out .\focused.png
.\rdp-cli.exe type --session SESSION --text "Remote task completed." --observation NEW_OBSERVATION
.\rdp-cli.exe screenshot --session SESSION --out .\after.png

Cela permet de détecter les fenêtres déplacées, les applications en cours de chargement et les mauvais clics. L’absence d’erreur ne prouve pas que l’action a réussi.

5. Garder un contrôle humain

Une personne peut observer la même session dans une fenêtre ou un navigateur :

.\rdp-cli.exe watch --session SESSION --viewer window

Le visualiseur démarre en lecture seule et permet de mettre l’agent en pause, de prendre la main et de lui rendre la session. Utilisez-le pour les connexions, les confirmations et les actions irréversibles.

Si possible, utilisez RDP sur un réseau privé ou un VPN, protégez les identifiants et configurez la validation des certificats selon votre environnement. Le principe est simple : observer, agir, vérifier.