rdp-cli

KI-Agentensteuerung für Smartphones: Gib deinem Agenten ein echtes Android-Handy

Ein Chatfenster kann Fragen beantworten, Code schreiben und die Nutzung einer Android-App erklären. Es kann jedoch keine Schaltfläche antippen, einen Berechtigungsdialog bestätigen oder prüfen, was auf einem echten Smartphone passiert ist.

Ein brauchbarer KI-Agent braucht deshalb mehr als Unterhaltung. Er benötigt kontrollierten Zugriff auf das Gerät, auf dem die Aufgabe ausgeführt wird.

Mit rdp-cli kann ein Agent ein autorisiertes Android-Handy über ADB per USB oder WLAN steuern. Er kann den Bildschirm beobachten, Touch- und Texteingaben senden, Dateien übertragen und einer Person die gleiche Sitzung zur Kontrolle übergeben.

Was bedeutet KI-Agentensteuerung für ein Smartphone?

Damit ist eine kontrollierte Schnittstelle gemeint, über die ein KI-Agent ein echtes Android-Gerät bedienen kann.

Der Agent erzeugt nicht nur Anweisungen. Er kann:

  • den aktuellen Android-Bildschirm beobachten
  • das nächste Steuerelement erkennen
  • tippen, wischen oder Text eingeben
  • auf die Reaktion der App warten
  • einen neuen Screenshot aufnehmen
  • das sichtbare Ergebnis prüfen
  • für eine menschliche Prüfung pausieren

Der grundlegende Ablauf:

Smartphone beobachten
→ eine Aktion ausführen
→ neuen Screenshot aufnehmen
→ Ergebnis prüfen

Das ist besonders hilfreich, wenn der Ablauf in einer mobilen App statt in einer API stattfindet.

Warum ein Chatfenster nicht genügt

Viele Android-Aufgaben hängen vom sichtbaren Zustand ab.

Beim Testen einer App muss der Agent eventuell prüfen, ob:

  • der richtige Anmeldebildschirm erscheint
  • ein Berechtigungsdialog geöffnet wird
  • eine Schaltfläche aktiv ist
  • ein Formular Eingaben akzeptiert
  • ein Warnfenster erscheint
  • eine Datei erstellt wird
  • der Ablauf den letzten Bildschirm erreicht

Eine Textantwort beweist diese Ergebnisse nicht. Eine Backend-Anfrage kann erfolgreich sein, während die App einen Fehler anzeigt, den Fokus verliert oder im Ladezustand bleibt.

Ein echtes Smartphone zeigt außerdem Unterschiede bei Displaygröße, Android-Version, Berechtigungen und Hersteller.

Die Rolle von rdp-cli

rdp-cli ist eine Sitzungsschicht für die Steuerung von Smartphones durch KI-Agenten. Es verbindet den Agenten mit einem vorhandenen, autorisierten Android-Gerät und stellt Bildschirm-, Eingabe-, Datei- und Sitzungsfunktionen bereit.

Die Aufgaben sind getrennt:

  • Das KI-Modell entscheidet, was als Nächstes geschieht.
  • rdp-cli verbindet und steuert das Gerät.
  • Android führt die Ziel-App aus.
  • Screenshots liefern sichtbare Belege.

rdp-cli enthält kein KI-Modell. Ein separater MCP-Server ist ebenfalls nicht erforderlich. Je nach Agent kannst du die CLI oder die integrierte MCP-Schnittstelle von rdp-cli verwenden.

Die Verbindungsbefehle findest du unter Android per USB oder WLAN mit einem KI-Agenten steuern.

Was kann ein Android-Automatisierungsagent erledigen?

Eine echte Android-App testen

Der Agent kann eine App öffnen, Testdaten eingeben, einen Ablauf ausführen und melden, an welcher Stelle der erwartete Bildschirmzustand nicht erreicht wurde.

Das eignet sich für Anmeldungen, Zahlungstests, interne Geschäfts-Apps, Formularprüfung, Berechtigungen und Fehlermeldungen.

Mobile Geschäftsanwendungen bedienen

Wenn ein internes System nur als Android-App verfügbar ist, kann der Agent die gleiche Oberfläche bedienen wie die Nutzer. Er kann kontrollierte Daten eingeben, Statusfelder prüfen und den Abschluss dokumentieren.

Testdateien und Ergebnisse übertragen

Mobile Abläufe können Eingabe- oder Ergebnisdateien benötigen. rdp-cli unterstützt Uploads und Downloads in kompatiblen Android-Sitzungen.

Der Zugriff folgt den von der Sitzung bereitgestellten Pfaden. Er bedeutet keinen uneingeschränkten Zugriff auf private App-Verzeichnisse.

Ein virtuelles Android-Display verwenden

Auf unterstützten Geräten kann rdp-cli ein sitzungseigenes virtuelles Display erstellen und eine App dort starten. Details stehen in Android-Virtual-Display-Automatisierung für KI-Agenten.

Warum aktuelle Screenshots wichtig sind

Eine gesendete Eingabe beweist nicht, dass die Aufgabe abgeschlossen ist.

Der Agent sollte vor der Aktion einen Screenshot aufnehmen, genau eine Aktion mit der neuesten Beobachtung ausführen und danach erneut aufnehmen. Nach einer erneuten Verbindung, einer Kontrolländerung oder einer menschlichen Übernahme muss er den Bildschirm erneut beobachten.

So werden Eingaben in falsche Felder, Aktionen nach unerwarteten Dialogen und alte Koordinaten vermieden.

Die rdp-cli-Befehlsreferenz beschreibt Screenshots, Eingaben, Dateien und Sitzungen.

Menschliche Übernahme

Sicherheitsabfragen, einmalige Freigaben, destruktive Aktionen, unbekannte Zustände, Geräteautorisierung oder nicht erkennbare Steuerelemente erfordern menschliche Entscheidung.

Mit rdp-cli kann eine Person dieselbe Sitzung über die GUI oder den autorisierten Web Viewer öffnen, Agent-Eingaben pausieren, das Handy korrigieren und die Kontrolle zurückgeben.

Nach dem Kontrollwechsel muss der Agent einen neuen Screenshot aufnehmen.

Voraussetzungen und Grenzen

Du brauchst ein Android-Gerät ab Version 12, USB- oder WLAN-Debugging, ADB-Autorisierung, die Ziel-App, rdp-cli für Windows, macOS oder Linux und eine stabile USB- oder WLAN-Verbindung.

Android 12+ ist die aktuelle Support-Basis. Verifiziert wurde ein Google Pixel 3 mit Android 12; die Kompatibilität mit allen Herstellern oder späteren Versionen ist nicht garantiert.

Sichere App-Bildschirme können Screenshots beschränken. Das Verhalten kann je nach Gerät variieren. GUI-Steuerung ersetzt weder App-Tests noch Backend-Prüfungen.

Häufige Fragen

Kann ein KI-Agent Android ohne API steuern?

Ja. Er kann über Screenshots, Touch-Eingaben und Texteingaben mit der Android-GUI arbeiten.

Braucht rdp-cli MCP?

Nein. Du kannst die CLI oder die integrierte MCP-Schnittstelle verwenden. Ein zusätzlicher MCP-Server ist nicht notwendig.

Enthält rdp-cli einen Android-KI-Agenten?

Nein. rdp-cli stellt Verbindung und Steuerung bereit. Der externe Agent übernimmt die Planung und Schlussfolgerung.

Kann ein Mensch eine laufende Android-Sitzung übernehmen?

Ja. Die Person kann den Agenten pausieren, den Zustand korrigieren und die Kontrolle zurückgeben.

Fazit

Wenn die eigentliche Arbeit auf einem Smartphone stattfindet, braucht ein KI-Agent ein echtes Android-Gerät und kein weiteres Chatfenster.

rdp-cli ermöglicht die Steuerung autorisierter Android-Geräte über USB oder WLAN, mit Bildschirmbeobachtung, Eingaben, Ergebnisprüfung und menschlicher Übernahme.

Starte mit der Android-Verbindungsanleitung, lies die rdp-cli-Funktionen oder lade rdp-cli herunter.