rdp-cli
Android-Virtual-Display-Automatisierung für KI-Agenten
Mit der Android-Virtual-Display-Automatisierung kann ein KI-Agent eine Android-App auf einer eigenen Anzeige steuern und testen.
Statt nur den physischen Hauptbildschirm zu bedienen, kann der Agent ein sitzungseigenes virtuelles Display erstellen, Größe und DPI festlegen, eine App starten und jede Aktion mit einem neuen Screenshot prüfen.
Mit rdp-cli verbindet sich ein Agent per ADB über USB oder Wi-Fi mit einem Android-Gerät und führt einen screenshotbasierten Automatisierungsablauf aus.
Kurz gesagt: Ein virtuelles Android-Display gibt dem KI-Agenten ein separates Ziel für GUI-Aufgaben. Der zuverlässige Ablauf lautet: Display erstellen, Bildschirm erfassen, eine Aktion ausführen, erneut erfassen und das Ergebnis prüfen.
Virtuelles Display und Hauptbildschirm
rdp-cli unterstützt zwei Android-Anzeigeziele:
main: steuert den aktuellen physischen Hauptbildschirm.virtual: erstellt ein eigenes virtuelles Display für die Automatisierungssitzung.
Ein virtuelles Display ist hilfreich, wenn der Agent eine feste Bildschirmgröße und DPI benötigt. Agent, GUI Viewer und Web Viewer verwenden das in der Sitzung ausgewählte Ziel. App-Verhalten und Systemberechtigungen können je nach Gerät und Anwendung variieren.
Ein virtuelles Display ist kein Android-Cloud-Emulator. Die App läuft weiterhin auf einem autorisierten physischen Android-Gerät. Die Kompatibilität hängt von Android-Version, Hersteller und App ab.
Wann ist ein virtuelles Display sinnvoll?
Geeignet ist der Ansatz für:
- Wiederholbare Android-GUI-Tests
- Anwendungen ohne nutzbare API
- Formulare, Anmeldungen und Freigabeabläufe
- Visuelle Tests mit fester Bildschirmgröße
- Screenshots als Testnachweis
- Apps auf einem separaten Anzeigeziel
Wenn das Android-Gerät noch nicht verbunden ist, lesen Sie zunächst Android per USB oder WLAN mit einem KI-Agenten steuern.
Voraussetzungen
Sie benötigen:
- Ein Gerät mit Android 12 oder neuer
- Aktiviertes USB- oder Wireless-Debugging
- Bestätigte ADB-Autorisierung auf dem Telefon
- Eine installierte Ziel-App
- Einen Android-fähigen rdp-cli-Build
- Eine passende virtuelle Bildschirmgröße und DPI
Android 12+ ist die aktuelle Support-Basis von rdp-cli. Ein Google Pixel 3 mit Android 12 ist ein geprüftes Referenzgerät; bei anderen Geräten kann die Kompatibilität abweichen.
Virtuelles Android-Display erstellen
Nach Erkennung und Autorisierung des Geräts erstellen Sie eine Sitzung mit virtuellem Display:
rdp-cli connect \
--protocol adb \
--device usb:DEVICE_ID \
--transport usb \
--android-display virtual \
--android-virtual-size 1080x1920 \
--android-virtual-dpi 420 \
--android-start-app com.example.app
Ersetzen Sie DEVICE_ID, Bildschirmgröße, DPI und Paketnamen durch die echten Werte.
Der Befehl gibt eine Sitzungs-ID zurück. Speichern Sie diese für die nächsten Befehle. Weitere Optionen finden Sie in der rdp-cli-Befehlsreferenz.
Beobachten, handeln und verifizieren
Verwenden Sie keine veralteten Screenshots für Eingaben.
Erfassen Sie zuerst das aktuelle virtuelle Display:
rdp-cli screenshot \
--session SESSION \
--out before.png
Prüfen Sie das Bild, suchen Sie das Ziel und senden Sie mit der neuesten Observation eine einzelne Aktion:
rdp-cli android touch \
--session SESSION \
--kind tap \
--x X \
--y Y \
--observation OBSERVATION
Erfassen Sie den Bildschirm erneut:
rdp-cli screenshot \
--session SESSION \
--out after.png
Der zweite Screenshot ist die tatsächliche Prüfung. Eine erfolgreiche Eingabe bestätigt nur die Übertragung des Befehls, nicht den erwarteten Zustand der App.
Testdateien übertragen und menschlich prüfen
Für Unicode- oder mehrzeiligen Text verwenden Sie die Android-Zwischenablage:
rdp-cli android text \
--session SESSION \
--method clipboard \
--text "Test order completed." \
--observation OBSERVATION
Testdateien können in das Sitzungsverzeichnis hochgeladen werden:
rdp-cli files upload \
--session SESSION \
--local ./test-data.json \
--path test-data.json
Laden Sie das Ergebnis herunter, warten Sie auf den Abschluss und prüfen Sie die Datei.
Für eine menschliche Kontrolle öffnen Sie dieselbe Sitzung im Browser:
rdp-cli watch --session SESSION --viewer web
Eine Person kann den Agenten pausieren, einen Berechtigungsdialog bearbeiten oder einen unerwarteten Zustand korrigieren und anschließend die Kontrolle zurückgeben. Danach muss der Agent einen neuen Screenshot erfassen.
Einschränkungen
- ADB-Autorisierung ist erforderlich.
- Die Kompatibilität hängt von Gerät und Android-Version ab.
- Apps können sich auf einem virtuellen Display anders verhalten.
- Systemberechtigungen und Audioverhalten gelten weiterhin.
- Sichere Fenster können Screenshots blockieren.
- rdp-cli liefert Gerätesteuerung, aber kein KI-Modell.
- Die Planung übernimmt der externe KI-Agent.
FAQ
Benötigt Android-Virtual-Display-Automatisierung Root?
Der dokumentierte rdp-cli-Ablauf benötigt keinen Root-Zugriff. Eine autorisierte ADB-Verbindung über USB oder Wi-Fi ist erforderlich.
Kann jede Android-App auf einem virtuellen Display automatisiert werden?
Nein, das ist nicht garantiert. Manche Apps benötigen den physischen Bildschirm, bestimmte Gerätedienste oder Systemberechtigungen. Testen Sie die Ziel-App zuerst.
Wie prüfe ich, ob eine Aktion erfolgreich war?
Erfassen Sie vor der Aktion einen Screenshot, senden Sie eine Eingabe, erfassen Sie einen neuen Screenshot und prüfen Sie das sichtbare Ergebnis. Eine erfolgreiche Befehlsübertragung bedeutet nicht automatisch, dass die Aufgabe abgeschlossen ist.
Enthält rdp-cli einen KI-Agenten?
Nein. rdp-cli stellt Verbindung, Screenshots, Eingaben, Sitzungssteuerung und strukturierte Ergebnisse bereit. Der externe KI-Agent entscheidet über die Aktionen.
Fazit
Android-Virtual-Display-Automatisierung eignet sich für KI-Agenten, die Android-GUI-Tests oder wiederholte Abläufe auf einem kontrollierten Anzeigeziel ausführen müssen.
Das zuverlässige Muster lautet:
Virtuelles Display erstellen → Bildschirm erfassen → eine Aktion ausführen → erneut erfassen → Ergebnis prüfen
Mit rdp-cli kann der Agent eine App auf dem virtuellen Display starten, sichtbare Steuerelemente bedienen, Testdateien übertragen und bei Bedarf eine menschliche Prüfung einlegen.