rdp-cli

Contrôle du téléphone par un agent IA : donnez à votre agent un vrai téléphone Android

Une fenêtre de chat peut répondre aux questions, écrire du code et expliquer comment utiliser une application Android. Elle ne peut pas toucher un bouton, confirmer une autorisation ou vérifier ce qui s’est réellement passé sur un téléphone.

Un agent IA utile a donc besoin de plus qu’une conversation. Il doit pouvoir accéder de manière contrôlée à l’appareil où la tâche est exécutée.

Avec rdp-cli, un agent peut contrôler un téléphone Android autorisé via ADB, en USB ou en Wi-Fi. Il peut observer l’écran, envoyer des actions tactiles et du texte, transférer des fichiers et laisser une personne reprendre la même session si nécessaire.

Qu’est-ce que le contrôle d’un téléphone par un agent IA ?

Il s’agit de fournir à un agent IA une interface contrôlée pour utiliser un véritable appareil Android.

L’agent ne se limite pas à générer des instructions. Il peut :

  • observer l’écran Android actuel
  • identifier le prochain contrôle
  • toucher, faire défiler ou saisir du texte
  • attendre la réponse de l’application
  • prendre une nouvelle capture
  • vérifier le résultat visible
  • mettre la tâche en pause pour une revue humaine

Le cycle de base est le suivant :

Observer le téléphone
→ effectuer une action
→ prendre une nouvelle capture
→ vérifier le résultat

Cette approche est utile lorsque le workflow se trouve dans une application mobile et non dans une API.

Pourquoi une fenêtre de chat ne suffit pas

De nombreuses tâches Android dépendent de l’état visuel.

Lorsqu’il teste une application, l’agent peut devoir confirmer que :

  • le bon écran de connexion apparaît
  • une demande d’autorisation s’ouvre
  • un bouton est actif
  • un formulaire accepte la saisie
  • une alerte apparaît
  • un fichier est créé
  • le workflow arrive à l’écran final

Une réponse textuelle ne prouve pas ces résultats. Une requête backend peut réussir alors que l’application affiche une erreur, perd le focus ou reste bloquée sur un écran de chargement.

Un vrai téléphone permet aussi de vérifier les différences de taille d’écran, de version Android, de permissions et de fabricant.

Le rôle de rdp-cli

rdp-cli est une couche de session pour le contrôle de téléphones par des agents IA. Il connecte l’agent à un appareil Android existant et autorisé, puis fournit les fonctions d’écran, d’entrée, de fichiers et de session.

Les rôles sont séparés :

  • le modèle IA décide de l’action suivante
  • rdp-cli connecte et contrôle l’appareil
  • Android exécute l’application
  • les captures fournissent une preuve visuelle

rdp-cli ne contient pas de modèle IA. Il n’exige pas non plus de serveur MCP séparé. Selon votre agent, vous pouvez utiliser la CLI ou l’interface MCP intégrée à rdp-cli.

Pour les commandes de connexion, consultez Piloter un téléphone Android avec un agent IA par USB ou Wi-Fi.

Ce qu’un agent d’automatisation Android peut faire

Tester une vraie application Android

L’agent peut ouvrir l’application, saisir des données de test, exécuter un scénario et signaler l’endroit où l’état attendu n’a pas été atteint.

Cela convient aux connexions, tests de paiement, applications internes, formulaires, permissions et messages d’erreur.

Utiliser des outils métier mobiles

Lorsqu’un système interne n’existe que sous forme d’application Android, l’agent peut utiliser la même interface que les employés, saisir des données contrôlées et vérifier les statuts affichés.

Transférer les fichiers de test et les résultats

Les workflows mobiles peuvent nécessiter des fichiers d’entrée ou de sortie. rdp-cli permet l’envoi et le téléchargement de fichiers dans les sessions Android compatibles.

L’accès respecte les chemins fournis par la session. Il ne donne pas un accès illimité aux répertoires privés des applications.

Utiliser un écran virtuel Android

Sur les appareils compatibles, rdp-cli peut créer un écran virtuel propre à la session et y lancer une application. Consultez Automatiser un écran virtuel Android pour les agents IA.

Pourquoi utiliser des captures récentes ?

L’envoi d’une action ne prouve pas que la tâche est terminée.

L’agent doit capturer l’écran avant l’action, effectuer une seule action avec l’observation la plus récente, puis capturer à nouveau. Après une reconnexion, un changement de contrôle ou une intervention humaine, il doit observer de nouveau.

Cela réduit les saisies dans le mauvais champ, les actions après une boîte de dialogue inattendue et la réutilisation d’anciennes coordonnées.

La référence des commandes rdp-cli décrit les captures, les entrées, les fichiers et les sessions.

Reprise en main humaine

Une demande de sécurité, une approbation ponctuelle, une action destructive, un état inattendu, une autorisation de l’appareil ou un contrôle inconnu peuvent nécessiter une décision humaine.

Avec rdp-cli, une personne peut ouvrir la même session via l’interface graphique ou le Web Viewer autorisé, mettre en pause les entrées de l’agent, corriger le téléphone puis rendre le contrôle.

Après ce changement, l’agent doit prendre une nouvelle capture.

Prérequis et limites

Il faut un appareil Android 12 ou ultérieur, le débogage USB ou sans fil, l’autorisation ADB, l’application cible, rdp-cli pour Windows, macOS ou Linux et une connexion USB ou Wi-Fi stable.

Android 12+ est la base de support actuelle. L’appareil vérifié est un Google Pixel 3 sous Android 12 ; la compatibilité avec tous les fabricants ou versions ultérieures n’est pas garantie.

Les écrans sécurisés peuvent limiter les captures. Le comportement varie selon l’appareil et le contrôle GUI ne remplace ni les tests applicatifs ni la validation backend.

Questions fréquentes

Un agent IA peut-il contrôler Android sans API ?

Oui. Il peut utiliser des captures, des actions tactiles et la saisie de texte pour interagir avec l’interface Android.

rdp-cli nécessite-t-il MCP ?

Non. Vous pouvez utiliser la CLI ou l’interface MCP intégrée. Aucun serveur MCP séparé n’est nécessaire.

rdp-cli inclut-il un agent IA Android ?

Non. rdp-cli fournit la connexion et le contrôle. L’agent externe fournit le raisonnement.

Une personne peut-elle reprendre une session Android ?

Oui. Elle peut mettre l’agent en pause, corriger l’état et rendre le contrôle.

Conclusion

Lorsque le travail réel se déroule sur un téléphone, un agent IA a besoin d’un vrai Android, pas d’une nouvelle fenêtre de chat.

rdp-cli permet de contrôler un appareil Android autorisé par USB ou Wi-Fi, d’observer l’écran, d’exécuter des actions, de vérifier les résultats et de laisser une personne intervenir.

Commencez par le guide de connexion Android, consultez les fonctions de rdp-cli ou téléchargez rdp-cli.