rdp-cli

Votre agent IA sait écrire du code. Peut-il utiliser un vrai bureau ? Guide du Computer Use Agent

Un agent de programmation peut modifier des fichiers, exécuter des tests et créer des pull requests. Pourtant, de nombreuses tâches métier se déroulent encore dans des applications graphiques.

Il peut s’agir d’Excel, d’un ERP, d’un logiciel comptable, d’outils PDF, d’anciens programmes Windows ou d’applications Android.

Un agent IA peut-il donc contrôler un vrai bureau au lieu de rester dans une fenêtre de chat ou un terminal ?

Oui. Un computer use agent peut lire l’écran, cliquer, saisir du texte, gérer des boîtes de dialogue et vérifier les résultats. Avec rdp-cli, il peut contrôler une session RDP, VNC, X11 ou Android autorisée sans prendre le contrôle de votre ordinateur local.

Qu’est-ce qu’un Computer Use Agent ?

Un computer use agent utilise l’interface graphique du logiciel. Il peut lire des captures, cliquer sur des boutons, remplir des formulaires, faire défiler une fenêtre, utiliser des raccourcis, ouvrir des dialogues de fichiers et vérifier les résultats visibles.

La boucle de base est simple : observer l’écran, effectuer une action, prendre une nouvelle capture et vérifier le résultat. Le modèle fournit le raisonnement ; rdp-cli fournit la session distante et le contrôle du bureau.

Pourquoi un agent a-t-il besoin d’un vrai bureau ?

Les API et les outils MCP conviennent lorsque l’application expose des opérations structurées. Mais beaucoup de processus dépendent d’éléments que l’API ne fournit pas : fenêtres natives, focus, alertes, menus et boîtes de dialogue.

L’agent peut devoir ouvrir une application Windows, se connecter, sélectionner une valeur, confirmer une alerte, exporter un rapport et vérifier le fichier produit.

Le rôle de rdp-cli : la couche de session

Les couches suivantes ne répondent pas au même besoin :

Couche Responsabilité principale Ce qu’elle ne résout pas
Computer Use natif du modèle Comprendre les captures et choisir les actions Connexion distante, propriété de session et transfert humain
RPA Exécuter des sélecteurs ou processus définis Raisonnement visuel flexible et cycle de vie distant
Client MCP Exposer les actions comme outils Le cycle de vie complet d’une session distante
rdp-cli Connecter, maintenir et partager les sessions Raisonnement IA et planification

Le Computer Use natif est la couche de raisonnement. La RPA convient aux processus stables et répétitifs. MCP relie l’agent aux outils, mais MCP ne définit pas à lui seul la création, la conservation, le partage ou la restitution d’une session distante à une personne.

rdp-cli est la couche de session. Il connecte l’agent à un environnement autorisé existant et permet à l’agent et à un humain de travailler dans la même session.

rdp-cli fournit :

  • Connexions RDP, VNC, X11 et Android
  • Identifiants de session
  • Fonctionnement sans ouvrir de viewer local
  • Captures et actions basées sur l’observation
  • Transfert de fichiers selon le protocole
  • Attente d’état et vérification du résultat
  • GUI ou Web Viewer pour la même session
  • Pause, prise de contrôle humaine et restitution à l’agent

rdp-cli utilise un modèle CLI orienté session pour RDP, VNC, X11 et Android ADB. Chaque connexion conserve son propre identifiant ; l’avantage est d’utiliser un mode de contrôle cohérent sur plusieurs types de cibles.

Comment fonctionne l’automatisation GUI ?

Avant toute entrée, l’agent doit prendre une capture récente. Il localise le contrôle, envoie une action avec l’observation actuelle, puis prend une nouvelle capture.

Le succès de l’envoi ne prouve pas que l’application a terminé. Après avoir cliqué sur Enregistrer, vérifiez le message de confirmation, le nouveau numéro, le statut, la ligne modifiée ou le fichier généré.

Consultez la documentation des commandes rdp-cli.

Quels environnements peut-il contrôler ?

Avec RDP, rdp-cli convient aux ERP anciens, logiciels comptables, systèmes d’entrepôt, workflows Excel, outils PDF, applications internes, tests desktop et installateurs.

Avec X11, il contrôle des applications GUI Linux compatibles. Avec VNC, il contrôle un bureau VNC existant. Avec ADB, il contrôle des appareils Android autorisés par USB ou Wi-Fi.

Consultez le guide de démarrage rapide.

Peut-il fonctionner sans bloquer mon ordinateur ?

Oui. L’agent travaille dans une session distante séparée. Vous pouvez ouvrir la même session via la GUI ou le Web Viewer autorisé lorsque vous devez vérifier ou intervenir.

En cas d’état inattendu, mettez l’entrée en pause, prenez le contrôle, corrigez le bureau, rendez le contrôle et demandez à l’agent de prendre une nouvelle capture. Consultez comment observer, mettre en pause et reprendre la même session.

Ce que rdp-cli ne fait pas

rdp-cli ne fournit pas le modèle IA, ne choisit pas l’action suivante et ne crée pas automatiquement un ordinateur distant. Il faut un appareil autorisé, les identifiants nécessaires et un agent capable de lire les captures et d’exécuter des commandes.

Les capacités dépendent du protocole et du serveur. rdp-cli ne remplace pas non plus les tests unitaires, API ou backend.

FAQ

Qu’est-ce qu’un computer use agent ?

C’est un système IA qui utilise une interface graphique avec des captures, la souris, le clavier et une vérification visuelle.

Un agent IA peut-il contrôler des applications Windows ?

Oui. Une session RDP autorisée permet de contrôler des applications anciennes sans API ni SDK.

rdp-cli inclut-il un agent IA ?

Non. rdp-cli fournit la session distante, les captures, les entrées, les fichiers et le transfert de contrôle. Le raisonnement vient de l’agent choisi.

MCP est-il obligatoire ?

Non. Les sessions peuvent être contrôlées avec la CLI rdp-cli. Les agents compatibles MCP peuvent aussi utiliser l’interface MCP disponible.

Conclusion

Le rôle spécifique de rdp-cli n’est ni le raisonnement IA ni une RPA prédéfinie. C’est la couche de session entre l’agent et l’environnement distant réel.

Téléchargez rdp-cli et donnez à votre agent IA un accès contrôlé aux workflows desktop où le travail se déroule réellement.