rdp-cli
Automatiser un écran virtuel Android avec un agent IA
L’automatisation d’un écran virtuel Android permet à un agent IA de contrôler et de tester une application sur une surface d’affichage séparée.
Au lieu de contrôler uniquement l’écran physique principal, l’agent peut créer un écran virtuel propre à la session, définir sa taille et son DPI, lancer une application et vérifier chaque action avec une nouvelle capture.
Avec rdp-cli, l’agent se connecte à un appareil Android par ADB via USB ou Wi-Fi, sélectionne un écran virtuel et exécute un flux d’automatisation basé sur les captures.
En bref : l’automatisation d’un écran virtuel Android donne à l’agent IA une cible distincte pour les tâches GUI. Le flux fiable est le suivant : créer l’écran, le capturer, effectuer une action, le capturer à nouveau et vérifier le résultat.
Écran virtuel Android ou écran principal
rdp-cli prend en charge deux cibles d’affichage Android :
main: contrôle l’écran physique principal du téléphone.virtual: crée un écran virtuel dédié à la session d’automatisation.
L’écran virtuel est utile lorsque l’agent a besoin d’une taille et d’un DPI contrôlés. L’Agent, le GUI Viewer et le Web Viewer utilisent la cible choisie pour la session. Le comportement de l’application et les permissions système peuvent varier selon l’appareil et l’application.
Un écran virtuel n’est pas un émulateur Android cloud. L’application s’exécute toujours sur un appareil Android physique autorisé, et la compatibilité dépend de la version Android, du fabricant et de l’application.
Quand utiliser un écran virtuel ?
Cette méthode convient pour :
- Répéter des tests GUI Android
- Tester des applications sans API utilisable
- Exécuter des formulaires, connexions et validations
- Utiliser une taille fixe pour les tests visuels
- Conserver des captures comme preuves
- Exécuter une application sur une cible d’affichage séparée
Si l’appareil n’est pas encore connecté, consultez d’abord Piloter un téléphone Android avec un agent IA par USB ou Wi-Fi.
Préparation
Préparez :
- Un appareil Android 12 ou version ultérieure
- Le débogage USB ou sans fil activé
- L’autorisation ADB confirmée sur le téléphone
- L’application cible déjà installée
- Une version de rdp-cli compatible avec Android
- Une taille d’écran virtuel et un DPI adaptés
Android 12+ est la base de prise en charge actuelle de rdp-cli. Google Pixel 3 sous Android 12 est un appareil de référence vérifié, mais la compatibilité peut varier selon les appareils.
Créer un écran virtuel Android
Après avoir détecté et autorisé l’appareil, créez une session avec un écran virtuel :
rdp-cli connect \
--protocol adb \
--device usb:DEVICE_ID \
--transport usb \
--android-display virtual \
--android-virtual-size 1080x1920 \
--android-virtual-dpi 420 \
--android-start-app com.example.app
Remplacez DEVICE_ID, la taille d’écran, le DPI et le nom du paquet par les valeurs réelles.
La commande renvoie un ID de session. Enregistrez-le pour les opérations suivantes. Les options sont détaillées dans la référence des commandes rdp-cli.
Observer, agir et vérifier
N’envoyez pas d’action à partir d’une capture obsolète.
Capturez d’abord l’écran virtuel actuel :
rdp-cli screenshot \
--session SESSION \
--out before.png
Inspectez l’image, trouvez le contrôle cible et envoyez une seule action avec l’observation la plus récente :
rdp-cli android touch \
--session SESSION \
--kind tap \
--x X \
--y Y \
--observation OBSERVATION
Capturez à nouveau :
rdp-cli screenshot \
--session SESSION \
--out after.png
La seconde capture est la vérification réelle. Une réponse réussie confirme seulement que l’entrée a été envoyée, pas que l’application a atteint l’état attendu.
Transférer des fichiers et demander une vérification humaine
Pour du texte Unicode ou multiligne, utilisez le presse-papiers Android :
rdp-cli android text \
--session SESSION \
--method clipboard \
--text "Test order completed." \
--observation OBSERVATION
Vous pouvez envoyer des fichiers de test dans le répertoire de session :
rdp-cli files upload \
--session SESSION \
--local ./test-data.json \
--path test-data.json
Téléchargez le résultat, attendez la fin du transfert et vérifiez le fichier.
Pour une vérification humaine, ouvrez la même session dans un navigateur :
rdp-cli watch --session SESSION --viewer web
Une personne peut mettre l’agent en pause, traiter une demande d’autorisation ou corriger un état inattendu, puis rendre le contrôle à l’agent. Après un changement de contrôle, l’agent doit prendre une nouvelle capture.
Limites
- L’autorisation ADB est obligatoire.
- La compatibilité dépend de l’appareil et de la version Android.
- Certaines applications peuvent se comporter différemment sur un écran virtuel.
- Les permissions système et le comportement audio restent applicables.
- Les fenêtres sécurisées peuvent limiter les captures.
- rdp-cli fournit le contrôle de l’appareil, mais pas de modèle IA.
- La planification est assurée par l’agent IA externe.
FAQ
L’automatisation d’un écran virtuel Android nécessite-t-elle le root ?
Le flux documenté de rdp-cli ne nécessite pas le root. Une connexion ADB autorisée par USB ou Wi-Fi est nécessaire.
Puis-je automatiser n’importe quelle application Android sur un écran virtuel ?
Ce n’est pas garanti. Certaines applications dépendent de l’écran physique, de services de l’appareil ou de permissions spécifiques. Testez l’application cible avant la production.
Comment vérifier qu’une action a réussi ?
Capturez l’écran avant l’action, envoyez une entrée, capturez à nouveau et contrôlez le résultat visible. L’envoi réussi de la commande ne prouve pas que la tâche est terminée.
rdp-cli inclut-il un agent IA ?
Non. rdp-cli fournit la connexion, les captures, les entrées, le contrôle de session et les résultats structurés. Un agent externe décide des actions.
Conclusion
L’automatisation d’un écran virtuel Android est utile lorsqu’un agent IA doit exécuter des tests GUI ou des flux répétitifs sur une cible d’affichage contrôlée.
Le modèle fiable est :
Créer l’écran virtuel → capturer l’écran → effectuer une action → capturer à nouveau → vérifier le résultat
Avec rdp-cli, l’agent peut lancer une application sur un écran virtuel, interagir avec ses contrôles, transférer des fichiers de test et demander une vérification humaine si nécessaire.