Tester une application Windows avec un agent IA via RDP

Tester une application Windows est difficile lorsqu’elle ne fournit ni API, ni SDK, ni interface de script fiable. De nombreux logiciels anciens de gestion, de comptabilité, d’entrepôt ou internes fonctionnent uniquement avec des fenêtres, boutons, formulaires, menus et boîtes de dialogue.

Une méthode pratique consiste à connecter un agent IA à un vrai bureau Windows distant. Avec rdp-cli, l’agent se connecte à une session RDP ou VNC, observe l’écran, exécute des actions GUI et vérifie le résultat avec une nouvelle capture.

Un agent IA peut-il tester une application Windows ?

Oui, si l’application est visible et interactive. L’agent observe l’écran, identifie le contrôle, clique ou saisit du texte, prend une nouvelle capture et vérifie le résultat.

Pourquoi les tests API ne suffisent pas

Les tests API vérifient le backend, mais ne reproduisent pas tout le parcours du bureau. Un test d’inventaire peut demander d’ouvrir l’application, de se connecter, de choisir un entrepôt, de saisir un SKU, de confirmer une alerte et d’exporter un rapport. Les tests API ne détectent pas forcément les boutons cassés, le mauvais focus, les boîtes de dialogue inattendues ou les erreurs d’exportation.

Workflow avec rdp-cli

Préparez une machine Windows de test, un compte limité, des données stables, un endpoint RDP accessible, une résolution constante et une procédure de nettoyage. Après la connexion, l’agent doit toujours commencer par une capture.

.\rdp-cli.exe screenshot --session SESSION --out .\before.png
.\rdp-cli.exe click --session SESSION --desktop --x X --y Y --observation OBSERVATION
.\rdp-cli.exe screenshot --session SESSION --out .\after.png

Pour saisir du texte :

.\rdp-cli.exe type --session SESSION --text "Remote task completed." --observation NEW_OBSERVATION

Chaque action doit utiliser l’état d’écran le plus récent. Après Enregistrer, vérifiez le message, l’identifiant de la fiche ou le statut.

Exemple

Ouvrez l’application, connectez-vous, créez et enregistrez une fiche client, recherchez-la, exportez-la en PDF ou tableur et vérifiez que le fichier existe. Capturez l’écran avant et après chaque étape importante. Si la fenêtre attendue n’apparaît pas, arrêtez le processus.

Avec la redirection de lecteurs RDP activée, les fichiers de test et rapports peuvent être transférés. Le presse-papiers distant peut transmettre du texte contrôlé.

Validation humaine

Une personne devrait vérifier ou reprendre la main avant une action destructive, une demande de sécurité, une erreur inconnue, une approbation ponctuelle ou un test proche de la production. rdp-cli permet de suspendre l’agent puis de rendre la session.

Limites

Les tests GUI via RDP ne remplacent pas les tests unitaires, d’intégration ou d’API. Ils ne détectent pas de manière fiable les erreurs de calcul invisibles, les incohérences de base de données, les problèmes de performance cachés, les conditions de concurrence instrumentées ni tous les états visuels. Combinez-les avec une suite traditionnelle.

Conclusion

Pour tester une application Windows sans API, un agent IA connecté par RDP offre une voie concrète :

Observer l’écran → effectuer une action → capturer un nouvel écran → vérifier le résultat.

FAQ

Les agents IA peuvent-ils tester des applications Windows sans API ?

Oui. Ils peuvent utiliser l’interface GUI via RDP et vérifier les résultats visibles.

Les tests GUI via RDP remplacent-ils les tests API ?

Non. Ils complètent les tests API et les tests traditionnels.

Guides associés

Automatiser les applications Windows qui n’ont pas d’API
Comment laisser Claude Code contrôler un bureau Windows distant