Android per USB oder WLAN mit einem KI-Agenten steuern

Verbinde Android 12 oder neuer, erfasse den Bildschirm, gib Text ein, übertrage Dateien und übernimm dieselbe rdp-cli-Sitzung.

Die unterstützte Basis ist Android 12 oder neuer. Geprüft wurde Google Pixel 3 mit Android 12. Das bedeutet nicht, dass alle Hersteller oder späteren Android-Versionen getestet wurden.

Download · Schnellstart

Smartphone vorbereiten

Aktivieren Sie Entwickleroptionen und USB-Debugging, schließen Sie ein Datenkabel an und bestätigen Sie die Debugging-Anfrage auf dem entsperrten Smartphone.
Für WLAN aktivieren Sie drahtloses Debugging und verwenden den angezeigten Kopplungscode und Kopplungsport. Der Verbindungsport ist ein anderer; USB ist nicht erforderlich.
Windows benötigt für USB einen zum Smartphone und zur Hostarchitektur passenden WinUSB-Treiber, auch bei ARM64. rdp-cli installiert keine Treiber und beendet keine anderen Debugging-Werkzeuge. Unter Linux (x86_64 / ARM64) benötigt Ihr normaler Benutzer über eine passende udev-Regel oder Gerätegruppe Zugriff auf das USB-Gerät des Smartphones. Führen Sie die folgenden Befehle in Bash und rdp-cli ohne sudo aus. macOS verwendet die USB-Schnittstelle des Systems.

Ersetzen Sie DEVICE_SERIAL, SESSION, OBSERVATION, PHONE_IP und beide Ports durch echte Werte. Verwenden Sie data.session aus connect und data.observation aus dem jeweiligen Screenshot. Ersetzen Sie wifi:PHONE_GUID durch die zurückgegebene wifi:-Geräte-ID. Wählen Sie für PHONE_REF einen Namen, unter dem die Kopplung auf diesem Computer gespeichert wird. Geben Sie den aktuellen sechsstelligen Code bei der Aufforderung ein; der Befehl übergibt ihn über die Standardeingabe.

Windows PowerShell: rdp-cli → .\rdp-cli.exe.

Suchen und verbinden

Wählen Sie die ermittelte Geräte-ID ausdrücklich aus. Die Verbindung öffnet kein Fenster und aktiviert kein Audio.

rdp-cli android devices
rdp-cli connect --protocol adb --device usb:DEVICE_SERIAL --transport usb
rdp-cli screenshot --session SESSION --out before.png

Eine kleine Aufgabe erledigen

Öffne auf dem freigegebenen Smartphone eine Notiz-App und lege eine leere Notiz an. Prüfe before.png, ersetze X und Y durch die tatsächliche Position des Textfelds und tippe darauf. Prüfe focused.png und nutze dessen data.observation als NEW_OBSERVATION zum Einfügen. Kontrolliere den Text in result.png. Ein Betrachterfenster auf dem Computer ist nicht nötig.

rdp-cli android touch --session SESSION --kind tap --x X --y Y --observation OBSERVATION
rdp-cli screenshot --session SESSION --out focused.png

Für Unicode oder mehrzeiligen Text nutzt du die ausdrückliche Zwischenablage-Methode. Sie ersetzt die Zwischenablage des Smartphones und synchronisiert sie nicht mit dem Computer. Ersetze den Beispieltext durch deine Notiz. Nach Drehung oder Ablauf der Beobachtung brauchst du einen neuen geprüften Screenshot.

rdp-cli android text --session SESSION --method clipboard --text "Remote-Aufgabe abgeschlossen." --observation NEW_OBSERVATION
rdp-cli screenshot --session SESSION --out result.png

Dateien & Ordner

Lege lokal eine note.txt mit Testtext an. Lade sie hoch, speichere data.transfer_id als UPLOAD_TRANSFER und warte auf completed. Lade sie unter anderem Namen herunter, speichere die neue ID als DOWNLOAD_TRANSFER und warte erneut auf completed. Vergleiche danach beide Dateien. Die Pfade liegen im Sitzungsordner des Smartphones, nicht in privaten App-Verzeichnissen. Bestehende Namen werden standardmäßig nicht überschrieben.

rdp-cli files upload --session SESSION --local ./note.txt --path note.txt
rdp-cli files status --session SESSION --transfer-id UPLOAD_TRANSFER
rdp-cli files download --session SESSION --path note.txt --local ./note-returned.txt
rdp-cli files status --session SESSION --transfer-id DOWNLOAD_TRANSFER

Drahtlos verbinden

WLAN ist eine Alternative zu USB. Besteht bereits eine USB-Sitzung für dieses Smartphone, zuerst disconnect --session SESSION ausführen. Danach koppeln und mit zurückgegebener Geräte-ID und aktuellem Verbindungsport verbinden. Neue data.session speichern und vor Eingaben erneut ein Bildschirmbild aufnehmen.

Für WLAN aktivieren Sie drahtloses Debugging und verwenden den angezeigten Kopplungscode und Kopplungsport. Der Verbindungsport ist ein anderer; USB ist nicht erforderlich.

Android-Smartphone verbinden

macOS / Linux · Bash

printf '%s' 'Kopplungscode: '
IFS= read -r -s rdp_pair_code
printf '\n'
printf '%s' "$rdp_pair_code" | rdp-cli android pair --host PHONE_IP --port PAIR_PORT --code-stdin --save-device-auth PHONE_REF
unset rdp_pair_code
rdp-cli connect --protocol adb --device wifi:PHONE_GUID --transport wifi --host PHONE_IP --port CONNECT_PORT --device-auth-ref PHONE_REF

Windows · PowerShell

$pairingCode = Read-Host 'Kopplungscode' -AsSecureString
try {
  [System.Net.NetworkCredential]::new('', $pairingCode).Password |
    .\rdp-cli.exe android pair --host PHONE_IP --port PAIR_PORT --code-stdin --save-device-auth PHONE_REF
} finally {
  $pairingCode.Dispose()
}
.\rdp-cli.exe connect --protocol adb --device wifi:PHONE_GUID --transport wifi --host PHONE_IP --port CONNECT_PORT --device-auth-ref PHONE_REF

Gemeinsame Sitzung

Agent, natives Fenster und autorisierte Browser teilen eine dauerhafte Sitzung. Bei Bedarf pausieren Sie oder übernehmen die Steuerung.

rdp-cli watch --session SESSION --viewer window
rdp-cli watch --session SESSION --viewer web

Zusehen & übernehmen

Funktionsumfang

Bei leerer USB-Liste prüfe Datenkabel und Geräteberechtigungen. ADB_DEVICE_BUSY bedeutet, dass ein anderes Debugging-Werkzeug das Telefon belegt; schließe diese Verbindung ausdrücklich. Prüfe bei WLAN den aktuellen Verbindungsport und die gespeicherte Geräteidentität, nicht den Kopplungsport. Ein Eingabeerfolg bestätigt das Senden; erst der nächste Screenshot oder die fertige Datei bestätigt das Ergebnis.

Die Sitzung steuert den vorhandenen Smartphone-Bildschirm. Physische Berührungen und andere Debugging-Werkzeuge können ihn weiterhin beeinflussen.
Unicode-Einfügen verändert ausdrücklich die Smartphone-Zwischenablage. Die Computer-Zwischenablage wird weder gelesen noch synchronisiert.
Wiedergabe-Audio erfordert die Bestätigung der Systemfreigabe und beachtet Aufnahmesperren der Apps. Das Smartphone-Mikrofon ist eine eigene Quelle; das Computer-Mikrofon wird nicht in Apps eingespeist.
Audio ist anfangs aus und wird nach erneutem Verbinden nicht fortgesetzt. Temporäre Komponenten werden nur auf dem autorisierten Smartphone bereitgestellt; Root oder ein Tastaturwechsel sind nicht nötig.

Beenden

Schalten Sie das Smartphone-Audio aus und trennen Sie die Verbindung. Fertige Dateien und Benutzer-Apps bleiben erhalten.

rdp-cli audio android --session SESSION --source off
rdp-cli disconnect --session SESSION

Funktionen · Befehlsreferenz