Qu’est-ce que le Computer Use pour les agents IA ? Guide pratique de l’automatisation de bureau

rdp-cli

23 octobre 2026

Que signifie utiliser un ordinateur

Le Computer Use permet à un agent IA d’utiliser une interface visible : lire l’écran, cliquer, saisir du texte, ouvrir des applications et vérifier le résultat.

C’est utile lorsqu’une tâche dépend d’une application de bureau qui ne propose pas d’API adaptée. L’agent peut monter une vidéo, vérifier un tableur, utiliser un logiciel ancien, gérer des fichiers ou travailler dans une application Android sans créer une intégration spécifique pour chaque programme.

Des outils comme rdp-cli connectent l’agent à des bureaux RDP et VNC ainsi qu’à des appareils Android 12 ou plus récents. Une personne peut observer la même session, la mettre en pause et reprendre la main si nécessaire.

Le flux fiable : observer, agir, vérifier

L’automatisation de bureau ne doit pas être une longue suite de clics non vérifiés. Utilisez plutôt cette boucle courte :

1. Capturer l’écran actuel.
2. Repérer la prochaine cible.
3. Effectuer une petite action.
4. Capturer à nouveau l’écran.
5. Vérifier le résultat réel avant de continuer.

Par exemple, l’agent peut inspecter un bureau distant avec :

rdp-cli screenshot --session SESSION --out before.png

Après avoir repéré un champ ou un bouton, il peut cliquer et saisir du texte :

rdp-cli click --session SESSION --desktop \
  --x X --y Y --observation OBSERVATION

rdp-cli type --session SESSION \
  --text "Remote task completed." \
  --observation NEW_OBSERVATION

La capture après l’action est essentielle. Elle indique si la fenêtre a changé, si une erreur est apparue ou si la saisie a été acceptée. Si l’écran ne correspond pas aux attentes, l’agent doit s’arrêter et inspecter, plutôt que cliquer davantage.

Cas d’usage pratiques

Applications de bureau. Importer des clips, les couper dans un éditeur vidéo, exporter un MP4 et vérifier le fichier final.

Tableurs. Ouvrir un classeur, comparer les valeurs réelles aux objectifs et préparer un rapport en conservant graphiques, formules et compléments.

Fichiers. Envoyer les fichiers sources dans un espace distant, les traiter, puis récupérer le rapport, la vidéo ou le document terminé.

Android. Connecter un téléphone compatible par USB ou Wi-Fi, toucher, saisir du texte et gérer des fichiers dans des applications sans API utile.

Laisser la personne garder le contrôle

La publication de contenu, la suppression de fichiers, l’envoi de messages ou la confirmation d’un achat devraient nécessiter une validation humaine. L’agent s’occupe des répétitions ; la personne observe la session, met l’entrée en pause, prend le contrôle puis le rend à l’agent.

Quatre règles pour éviter les erreurs

• Découper le travail en petites actions vérifiables.
• Faire des captures avant et après les étapes importantes.
• Ne pas mettre de mots de passe ni de clés API dans les prompts ou l’article.
• S’arrêter devant une boîte de dialogue inattendue, une page de connexion ou une erreur.

Si une API stable existe, utilisez-la en priorité. Le Computer Use est particulièrement utile pour les interfaces graphiques, les logiciels anciens et les flux qui relient plusieurs applications existantes.