Automatiser des applications Windows anciennes sans API

Pourquoi l’automatisation par API échoue avec les anciens logiciels Windows

Il est possible d’automatiser des applications Windows anciennes sans API, mais l’automatisation classique par API ne peut pas résoudre ce problème. De nombreux logiciels de comptabilité, ERP, outils d’entrepôt et utilitaires internes ne proposent ni API, ni SDK, ni support des scripts. Leurs opérations importantes sont uniquement accessibles par des boutons, formulaires, menus et boîtes de dialogue.

L’alternative pratique est le GUI Computer Use : un agent IA se connecte au vrai bureau via RDP ou VNC, lit l’écran actuel, effectue une action contrôlée, puis vérifie le résultat.

Un flux pratique avec un agent IA et RDP/VNC

Avec rdp-cli, l’agent peut se connecter à un bureau RDP ou VNC existant sur lequel l’application est déjà installée. Suivez le guide de démarrage et conservez l’identifiant de session renvoyé.

La boucle fiable est la suivante :

Capturer l’écran actuel.
Repérer le champ, le bouton ou la boîte de dialogue suivante.
Effectuer une petite action.
Capturer à nouveau l’écran.
Confirmer le résultat réel avant de continuer.

Par exemple, l’agent peut examiner une application Windows distante ainsi :

rdp-cli screenshot --session SESSION --out before.png

rdp-cli click --session SESSION --desktop \
  --x X --y Y --observation OBSERVATION

rdp-cli screenshot --session SESSION --out focused.png

rdp-cli type --session SESSION \
  --text "Remote task completed." \
  --observation NEW_OBSERVATION

rdp-cli screenshot --session SESSION --out after.png

Les coordonnées et les valeurs observation doivent venir de la capture la plus récente. La réussite de la commande de clic signifie seulement que l’entrée a été envoyée ; elle ne prouve pas que l’application a accepté l’action.

Fichiers et vérification humaine

Un flux courant consiste à envoyer une feuille de calcul vers l’espace de travail distant, à l’ouvrir dans un ancien outil de reporting, à choisir une période, à exporter un PDF, puis à télécharger le fichier terminé. Les sessions RDP peuvent échanger des fichiers et des dossiers si le serveur autorise la redirection de lecteurs. VNC permet de contrôler un bureau existant, mais le transfert de fichiers et les autres fonctions dépendent du protocole et de la configuration du serveur.

Lorsqu’une boîte de dialogue inattendue apparaît ou qu’une validation est nécessaire, une personne peut observer la même session, suspendre les entrées de l’agent, reprendre le contrôle dans une fenêtre native ou un navigateur autorisé, puis rendre la session à l’agent.

Règles pour limiter les échecs GUI

Utiliser de petites actions vérifiables plutôt que de longues suites de clics.
Prendre une nouvelle capture après les actions importantes.
Attendre les écrans de chargement et les boîtes de dialogue.
S’arrêter devant une page de connexion, un avertissement ou une erreur inattendue.
Ne pas mettre de mots de passe ni de clés API dans les prompts ou le contenu.
Utiliser un réseau de confiance ou un VPN et accorder uniquement les droits nécessaires.

Si une API stable existe, utilisez-la en priorité. L’automatisation GUI est surtout utile pour les applications graphiques, anciennes ou impossibles à intégrer. Elle permet à un agent IA d’utiliser les logiciels Windows dont l’entreprise dépend déjà, sans devoir les reconstruire.

Pour la configuration, consultez les fonctions RDP et VNC de rdp-cli.