RDP / VNC / Android / X11 / Wayland

Computer und Android mit deinem KI-Agenten steuern

Entdecken Sie Bildschirmaufnahmen, Maus- und Tastatursteuerung, Dateiübertragung, Zwischenablage, Audio und mehrere Monitore. Erfahren Sie, welches Protokoll was unterstützt und wie Sie eine Sitzung übernehmen.

Ein Remotedesktop. Ein vollständiger Arbeitsablauf.

Dein KI-Agent bedient entfernte Geräte. Du kannst jederzeit dazukommen.

RDP- und VNC-Desktops, X11-Anwendungen und Android ohne lokales Anzeigefenster steuern. Über die GUI oder den Web-Viewer von rdp-cli kannst du dieselbe Sitzung ansehen oder übernehmen.

Eine ausführbare Datei für dein Betriebssystem und deinen Prozessor. Prüfe ihre Fähigkeiten, bevor du die folgenden Befehle verwendest.

Den relevanten Bereich ansehen

Fordere einen Bildausschnitt oder ein kleineres Bild an. Vergleiche es mit einer früheren Beobachtung und lasse das Bild bei unverändertem Inhalt weg. Koordinaten bleiben dem entfernten Bildschirm zugeordnet.

Auf Änderungen oder Übertragungen warten

Warte auf einen veränderten oder stabilen Bereich oder einen bestimmten Zustand einer Verbindung, Aktion oder Dateiübertragung. Prüfe vor dem Fortfahren das tatsächliche Ergebnis.

Kurze Aktionsfolgen mit Prüfpunkten

Fasse vom Agenten festgelegte Aktionen zusammen, beobachte erneut und halte an einem Prüfpunkt an. Fehler oder ein Steuerungswechsel stoppen Folgeschritte; gesendete Aktionen werden nicht zurückgerollt.

Fortschritt festhalten und geprüft fortsetzen

Speichere Fortschritt, Prüfpunkte und ausgewählte Bilder und exportiere einen lokalen Bericht. Prüfe nach einer Unterbrechung erledigte Arbeit und beginne neue Schritte, ohne unklare Aktionen zu wiederholen.

Klare Übergaben zwischen Agenten und Menschen

Registrierte Agenten übergeben die Steuerung ausdrücklich. Menschen können per GUI oder Web übernehmen und an einen ausgewählten Agenten zurückgeben, der vor weiteren Aktionen erneut beobachtet.

Agenten anbinden und Verbindungen prüfen

Nutze die integrierte MCP-Schnittstelle oder die CLI. Speichere benannte Verbindungsprofile mit Verweisen auf Zugangsdaten und prüfe Verbindungsschichten mit doctor.

Hauptbildschirm oder virtuelles Display wählen

Erstelle auf einem unterstützten Android-Gerät ausdrücklich ein virtuelles Display und starte dort eine App. Agent, GUI und Web nutzen dasselbe Display; App-Verhalten und Systemberechtigungen für Audio gelten weiterhin.

Schnellstart →
01

Den Agent arbeiten lassen

Verbinde das Zielgerät, prüfe den Bildschirm und führe jeweils eine Aktion aus. Kontrolliere das Ergebnis, bevor du fortfährst.

RDP / VNC / X11 / Android

Aufgaben mit Befehlen erledigen

Screenshots aufnehmen, klicken, ziehen, scrollen, Text und Tastenkürzel senden. Der Agent liest JSON-Ergebnisse und prüft den nächsten Screenshot. Erfolgreiches Senden allein bestätigt noch keinen Erfolg in der Anwendung.

  • JSON-Ergebnisse, Fehlercodes, Operationsabfragen und Ereignisse helfen dem Agent, fortzufahren, zu warten oder Fehler zu behandeln. Ein neuer Screenshot bestätigt das Ergebnis in der Anwendung.

Erst beobachten, mit dem aktuellen Beobachtungstoken handeln, dann erneut prüfen.

Schnellstart
01 / Arbeit per Befehl
rdp-cli screenshot --session SESSION --out before.png

rdp-cli clipboard set --session SESSION \
  --text "Ergebnis: Bericht fertig und zur Prüfung bereit." \
  --observation OBSERVATION

rdp-cli key --session SESSION \
  --keys CTRL+V --observation OBSERVATION

rdp-cli screenshot --session SESSION --out result.png

RDP / VNC / X11 / Android

RDP / VNC / Android / X11 / Wayland

rdp-cli ist ein kostenloses Fernzugriffswerkzeug für KI-Agenten: Steuere RDP- und VNC-Desktops, Android-Geräte und Linux-X11-Anwendungen. Wayland erreichst du über einen vorhandenen RDP- oder VNC-Server. Verfolge dieselbe Sitzung im Desktopfenster oder Browser und übernimm jederzeit selbst.

  • Bediene Anwendungen, tausche Dateien aus und nutze Audio oder mehrere Bildschirme, sofern der Remote-Server dies unterstützt.
  • Beobachte und bediene einen Desktop über seinen vorhandenen VNC-Server. Die Textzwischenablage hängt vom Server ab. Dateiübertragung, Audio und Änderungen am Bildschirmlayout sind über VNC nicht verfügbar.
  • Beobachte und steuere Android ab Version 12 über ADB per USB oder WLAN. Debugging muss auf dem Gerät erlaubt werden. Getestet mit Pixel 3 und Android 12; andere Geräte können abweichen.

Beobachte und steuere Android ab Version 12 über ADB per USB oder WLAN. Debugging muss auf dem Gerät erlaubt werden. Getestet mit Pixel 3 und Android 12; andere Geräte können abweichen.

Schnellstart

Von Linux mit einer einzigen Programmdatei zu Windows RDP verbinden →

Per Kommandozeile mit VNC verbinden und Eingaben prüfen →

RDP / VNC / X11 / Android

Mehrere dauerhafte Sitzungen

Mehrere Verbindungen halten und über Sitzungs-IDs ansprechen. Ein geschlossenes Beobachtungsfenster beendet die Verbindung nicht. Nach Wiederverbindung sind alte Beobachtungen ungültig und Eingaben pausiert; erst prüfen, dann ausdrücklich fortsetzen.

  • Nach dem Ende eines Befehls kann die Verbindung bestehen bleiben. Sitzungs-IDs ordnen weitere Aktionen dem richtigen Desktop zu; nach einer Wiederverbindung pausiert die Eingabe für eine neue Beobachtung.

Sitzungen auflisten und gezielt nur nicht mehr benötigte Verbindungen trennen.

Schnellstart

RDP-Verbindung, schwarzen Bildschirm und gesperrte Eingaben untersuchen →

02

Zusehen und übernehmen

Dieselbe Sitzung im Fenster oder autorisierten Browser verfolgen. Pausieren, selbst etwas ändern und die Kontrolle zurückgeben.

RDP / VNC / X11 / Android

Zusehen, pausieren und übernehmen

Der Agent arbeitet standardmäßig ohne lokale Oberfläche. Zum Zuschauen oder Eingreifen öffnen Sie dieselbe Sitzung im Desktopfenster oder in einem freigegebenen Browser. Windows und Mac verwenden Systemsteuerelemente; unter Linux ist die schlanke Oberfläche in der Programmdatei enthalten. Die Oberfläche unterstützt zehn Sprachen; das Anzeigefenster bietet eine helle und eine dunkle Darstellung. Bei der Übernahme pausieren Agent-Eingaben. Nach der Rückgabe prüft der Agent die aktuelle Ansicht und arbeitet weiter.

  • Zusätzliche Betrachter teilen die bestehende Verbindung. Mehrere Menschen können zusehen, jeweils einer hat die Kontrolle. Nach der Rückgabe prüft der Agent den aktuellen Bildschirm.

Ein Detail korrigieren und dieselbe Sitzung an den Agenten zurückgeben.

Schnellstart
Eine echte Übergabe ansehen

Ein Agent erstellt einen Bericht in LibreOffice Calc auf einem entfernten Windows-Desktop. Ein Mensch prüft ihn im Browser und gibt die Steuerung zurück.

  1. Dem Agenten zusehen

    Der Agent prüft den Bericht und hinterlässt ihn zur Freigabe.

  2. Aufgabe pausieren

    Pausieren Sie die Eingabe. Der Bericht bleibt sichtbar.

  3. Übernehmen und prüfen

    Übernehmen Sie im Browser und ergänzen Sie die Freigabe in derselben Arbeitsmappe.

  4. Zurückgeben und verifizieren

    Geben Sie die Steuerung zurück. Der Agent speichert die geprüfte Arbeitsmappe und ruft die Datei ab.

Die gespeicherte Arbeitsmappe enthält den Hinweis des Agenten und die manuelle Freigabe. Laden Sie die tatsächliche Datei herunter.

Tatsächliches Ergebnis herunterladen · XLSX (11.9 KB)

Tatsächliches Ergebnis herunterladen · XLSX (11.9 KB)

Aufnahmen laufender Software, einzeln in zehn Sprachen und zwei Designs erstellt. Der Bericht enthält fiktive Beispieldaten.

RDP / VNC / X11 / Android

Alle aktiven Sitzungen im Überblick

Verwalte Sitzungen über die Mac-Menüleiste, den Windows-Tray oder das Linux-Panel. Sieh Ziel, Verbindung, Steuerung, aktuelle oder letzte Aktionen, Dateifortschritt und Fehler. Unterstützte Desktop-Symbole zeigen Agent-Aktivität an. Öffne eine Ansicht, pausiere oder trenne die ausgewählte Sitzung.

  • Am Mac nach Namen oder Adresse suchen, unter Windows aus dem Infobereich wählen. Über das Statusmenü lassen sich alle Sitzungen gemeinsam pausieren. Unter Linux steht ein durchsuchbares Sitzungspanel zur Verfügung; unterstützte Desktops zeigen auch ein Statussymbol. Ohne Infobereich öffnet presence show --panel das Panel.

Öffnen Sie die bestehende Sitzung ohne erneute Anmeldung am entfernten Rechner. Unter Linux hängt das Statussymbol vom Desktop ab; presence show --panel öffnet die Übersicht direkt.

Schnellstart

RDP / VNC / X11 / Android

Aktionen nachvollziehen

Verfolge in Desktop- und Web-Ansichten den Agent-Zeiger, linke, rechte und mittlere Mausklicks, Doppelklicks, Ziehen, Scrollen, Tastenkombinationen und die Anzahl eingegebener Zeichen. Dateifortschritt erscheint separat mit der Herkunft Mensch oder Agent. Hinweise wiederholen keinen eingegebenen Text und erscheinen nicht in Screenshots; der Remote-Bildschirm selbst wird nicht unkenntlich gemacht.

  • Eine gehaltene Taste oder Maustaste bleibt neben einer eigenen Zeile für den Dateifortschritt sichtbar, auch bei geschlossenem Dateipanel. Übertragungen zeigen, ob sie von einem Menschen oder Agent stammen. Bei sensiblen Eingaben werden Text und Zeichenzahl ausgeblendet. Hinweise folgen Sprache und Hell-/Dunkelthema des Viewers und lassen sich ohne Einfluss auf die Remote-Aufgabe anpassen oder ausblenden.

Hinweise zeigen Eingabeaktivität. Prüfe das Ergebnis auf dem Remote-Gerät, bevor du eine Aufgabe als erledigt betrachtest.

Schnellstart

RDP / VNC / X11 / Android

Vorhandene Zugänge verwenden

Lokale oder Domänenkonten nutzen, Zugangsdaten im unterstützten Speicher ablegen und referenzieren, Browserressourcen ausdrücklich freigeben. RDP-Zertifikatregeln und VNC-Sicherheitsmodi haben unterschiedliche Grenzen.

  • Zugangsdaten im System speichern und später per Referenz nutzen. Browsern gezielt Zugriff auf benötigte Ressourcen geben und ihn nach der Aufgabe widerrufen.

Beobachtungsrechte von Eingabe-, Datei- und Mikrofonrechten trennen.

Schnellstart
03

Die ganze Aufgabe erledigen

Mehrere Bildschirme nutzen, Projektordner senden, Text austauschen und Remoteton hören. Fertige Ergebnisse wieder herunterladen.

RDP

Mit mehreren Bildschirmen arbeiten

In ausgehandelten RDP-Mehrmonitorsitzungen den ganzen Desktop oder einzelne Monitore aufnehmen und über Bildschirmgrenzen ziehen. Native Einzelfenster oder Bildschirmwechsel im Browser nutzen. Fenstergröße ändert nicht das entfernte Layout.

  • Einzelne Bildschirme erfassen und bedienen; zwischen ihnen ziehen.
  • Native Fenster je Bildschirm oder Bildschirmwechsel im Browser.
  • Zwei entfernte Bildschirme auch von einem einzelnen lokalen Monitor ansehen.

Einen Monitor prüfen und zugleich die Gesamtübersicht behalten.

Schnellstart

RDP / X11 / Android

Dateien und Ordner austauschen

Dateien und Ordner mit ihrer Verzeichnisstruktur übertragen. Fortschritt und Ergebnis jeder Übertragung prüfen und bei Bedarf abbrechen. Überschreiben ausdrücklich wählen; übertragene Inhalte werden geprüft.

Berichte bearbeiten und zurückholen; das ist kein beliebiger Zugriff auf entfernte Festplatten.

Schnellstart
  • RDP: Dateien über das umgeleitete Sitzungslaufwerk austauschen. Die Richtlinie des Zielsystems muss Laufwerksumleitung erlauben.
  • X11 / SSH: Dateien über den vorhandenen SFTP-Dienst des Servers innerhalb des gewählten Verzeichnisses übertragen. X11 →
  • Android: Dateien im Sitzungsordner des Smartphones übertragen. VNC bietet keine Dateiübertragung. Android →

RDP

  1. Hochladen

    Dateien und Ordner → Austauschlaufwerk

  2. Remote bearbeiten

    Öffnen, ändern und Ergebnis speichern

  3. Herunterladen

    Fortschritt verfolgen und fertige Dateien prüfen

Vorbereitete Arbeitsmappe hochladen → in Remote-Calc aktualisieren → speichern → herunterladen. Vermerk, Formeln, Summen und Diagramm der heruntergeladenen Datei wurden geprüft.

Echte Tabellen- und Videoabläufe ansehen →

Dateien per RDP über die Kommandozeile übertragen →

RDP / VNC / X11 / Android

Entfernte Textzwischenablage nutzen

Text ausdrücklich lesen oder setzen und per Tastenkürzel einfügen. Die lokale Zwischenablage wird nicht automatisch synchronisiert. RDP hängt von Serverrichtlinien ab, VNC von der ausgehandelten Kodierung.

  • Adressen, Absätze oder tabellarischen Text über die Remotezwischenablage austauschen. Unterstützten Text kann type direkt eingeben, ohne die Zwischenablage zu ersetzen.

Text setzen, CTRL+V senden und das Anwendungsergebnis prüfen.

Schnellstart

RDP

RDP-Audioziel und Mikrofonquelle getrennt wählen

Wähle RDP-Wiedergabe und Mikrofon unabhängig: Anzeigecomputer, entfernter Computer oder aus. Audio am entfernten Computer benötigt den passenden Windows-Audiodienst von rdp-cli. Aufnahmen werden ausdrücklich gestartet und hängen von Geräten und Serverrichtlinien ab.

  • Mehrere berechtigte Zuschauer können gleichzeitig zuhören.
  • Für Spracheingabe die Steuerung übernehmen und das Mikrofon einschalten.
  • Rückgabe oder Trennung stoppt die Aufnahme; erneutes Einschalten ist erforderlich.

Bereite eine sprachgestützte Remote-Aufgabe vor, ohne Ton oder Mikrofondaten an den falschen Computer zu senden.

Schnellstart

Wiedergabe und Mikrofon bei RDP richtig zuordnen →

Android · USB / Wi-Fi

Ein echter Android-Bildschirm für Ihren KI-Agenten.

Verbinden Sie ein Smartphone über USB oder WLAN. Ihr Agent beobachtet, tippt, gibt Text ein und ruft Ergebnisse per Befehl ab. Sie verfolgen dieselbe Sitzung im Fenster oder Browser.

Android-Smartphone · USB / Wi-Fi →

Downloads mit Android-Unterstützung: macOS · Apple silicon · macOS · Intel · Windows · x64 · Windows · x86 · Windows · ARM64 · Linux · x86_64 · Linux · ARM64

Beobachten und handeln

Erfassen Sie den echten Bildschirm, führen Sie Tipp-, Wisch-, Zieh- und Zweifingergesten aus und prüfen Sie das Ergebnis mit einem neuen Screenshot.

Text, Dateien und Apps

Fügen Sie Unicode-Text ausdrücklich ein, übertragen Sie Dateien und Ordner und installieren, starten oder stoppen Sie Apps aus einer einzelnen APK.

Gemeinsame Sitzung

Agent, natives Fenster und autorisierte Browser teilen eine dauerhafte Sitzung. Bei Bedarf pausieren Sie oder übernehmen die Steuerung.

Die unterstützte Basis ist Android 12 oder neuer. Geprüft wurde Google Pixel 3 mit Android 12. Das bedeutet nicht, dass alle Hersteller oder späteren Android-Versionen getestet wurden.

Android-Smartphone verbinden →

Funktionsumfang

Linux · X11 / SSH · Wayland RDP / VNC

Linux-Anwendungen mit einem KI-Agenten über X11 und SSH steuern

Verbinde einen vorhandenen Linux-Desktop oder eine einzelne X11-Anwendung, arbeite mit Bildschirmaufnahmen und Eingabebefehlen, hole Dateien ab und übergib dieselbe Sitzung an einen Menschen.

Download: macOS · Apple siliconmacOS · IntelWindows · x64Windows · x86Windows · ARM64Linux · x86_64Linux · ARM64

Eine Sitzung für den Agenten und dich

Mit rdp-cli kann ein KI-Agent eine Linux-Anwendung über Befehle sehen und bedienen. Er erstellt eine Bildschirmaufnahme, handelt anhand des Bildes und prüft das nächste Bild. Du kannst ein natives Fenster oder einen autorisierten Web-Betrachter öffnen, um dieselbe Sitzung zu beobachten, anzuhalten oder zu übernehmen.

Eine einzelne Anwendung öffnen

Das Beispiel öffnet das bereits installierte Gedit in einer isolierten, in rdp-cli integrierten Anzeige. Ein lokales Betrachterfenster wird nicht automatisch geöffnet. Speichere data.session aus der Antwort als SESSION. Auch ein Rechner mit einem gewöhnlichen Wayland-Desktop kann eine X11-kompatible Anwendung so weiterleiten.

Oder einen vorhandenen X11-Desktop verbinden

Gib das tatsächliche display und den Pfad seiner vorhandenen Autorisierungsdatei an. Das SSH-Konto braucht Zugriff auf dieses display; eine SSH-Anmeldung allein erteilt keine Desktop-Berechtigung. Dieser Modus verbindet den vorhandenen Desktop und erzeugt keine weitere Anmeldung.

Alle aktiven Sitzungen im Überblick
Das passende Protokoll für Ihre Aufgabe. · X11
FunktionenX11
Screenshots, Tastatur und MausUnterstützt
TextzwischenablageAbhängig von Serverrichtlinien
Dateien & OrdnerAbhängig von Serverrichtlinien
Audio und MikrofonNicht verfügbar
Angefordertes MehrmonitorlayoutNicht verfügbar

Natives X11 bietet keine Wiedergabe- oder Mikrofonumleitung. Für einen ganzen Wayland-Desktop ist ein bereits konfigurierter kompatibler RDP- oder VNC-Endpunkt nötig; es gelten die tatsächlich ausgehandelten Fähigkeiten. rdp-cli installiert oder aktiviert keinen entfernten Dienst. Beim Trennen oder Verlust der Anzeige kann die Anwendung enden. Speichere vorher und erwarte weder automatischen Neustart noch einen erhaltenen Arbeitsbereich.

Schnellstart →

Linux-Anwendungen mit einem KI-Agenten über X11 und SSH steuern →

Von der Remote-Aufgabe zur nutzbaren Datei

Zwei echte Abläufe: Ein Agent bediente Windows-11-Anwendungen über RDP mit rdp-cli-Befehlen auf einem Mac und holte die fertigen Dateien zurück.

LibreOffice Calc · RDP

Bericht aktualisieren und Arbeitsmappe abrufen

  1. rdp-cli files upload

    Eine vorbereitete Arbeitsmappe mit zwölf Monaten Beispieldaten, Diagramm und Summen hochladen.

  2. rdp-cli screenshot → click / type / key

    In Remote-Calc öffnen, mit rdp-cli einen Abschlussvermerk einfügen und speichern.

  3. rdp-cli files download

    XLSX speichern und zurückholen. Diagramm und Summen prüfen: 15.230 Anfragen, 14.933 gelöst, 14.140 innerhalb des Zielwerts.

Shotcut · RDP

Videoprojekt exportieren und MP4 abrufen

  1. rdp-cli files upload

    Die selbst erstellte Animation und ein vorbereitetes viersekündiges Shotcut-Projekt hochladen.

  2. rdp-cli screenshot → click / type / key

    Das Projekt in Remote-Shotcut öffnen und den MP4-Export über die Oberfläche starten.

  3. rdp-cli files download

    MP4 exportieren und zurückholen. 96 Videoframes bei 24 fps, 960 × 540 und die Übertragungsprüfsumme verifizieren.

Aufnahmen laufender Anwendungen vom 20. Oktober 2026 in zehn Sprachen und mit hellem sowie dunklem Design. Die Daten sind fiktiv, die Animation selbst erstellt. Dies sind Aufgabenbeispiele, keine Leistungstests.

Das passende Protokoll für Ihre Aufgabe.

RDP und VNC teilen den Befehlsablauf. Die Tabelle vergleicht diese beiden Remote-Desktop-Protokolle; Zusatzfunktionen hängen vom Protokoll und Server ab.

FunktionenRDPVNC
Screenshots, Tastatur und MausUnterstütztUnterstützt
TextzwischenablageAbhängig von ServerrichtlinienAbhängig von ausgehandelter Kodierung
Dateien & OrdnerAbhängig von ServerrichtlinienNicht verfügbar
Audio und MikrofonAbhängig von ServerrichtlinienNicht verfügbar
Angefordertes MehrmonitorlayoutAbhängig von ServerrichtlinienNicht verfügbar

Die VNC-Sicherheit hängt vom gewählten Modus ab. Klassisches VNC ist unverschlüsselt; nutze ein vertrauenswürdiges Netzwerk oder VPN. VeNCrypt X509Plain verwendet TLS und erfordert eine Zertifikatsprüfung.

Browseransicht und Steuerung funktionieren im LAN oder VPN.