Remotedesktop-Automatisierung mit RDP und VNC

RDP / VNC

Aufgaben mit Befehlen erledigen

Screenshots aufnehmen, klicken, ziehen, scrollen, Text und Tastenkürzel senden. Der Agent liest JSON-Ergebnisse und prüft den nächsten Screenshot. Erfolgreiches Senden allein bestätigt noch keinen Erfolg in der Anwendung.

• JSON-Ergebnisse, Fehlercodes, Operationsabfragen und Ereignisse helfen dem Agent, fortzufahren, zu warten oder Fehler zu behandeln. Ein neuer Screenshot bestätigt das Ergebnis in der Anwendung.

Erst beobachten, mit dem aktuellen Beobachtungstoken handeln, dann erneut prüfen.

● ● ●01 / Arbeit per Befehl

rdp-cli clipboard set \
  --session SESSION \
  --text "中文输入验证：远端命令完成。" \
  --observation OBSERVATION

rdp-cli key --session SESSION \
  --keys CTRL+V \
  --observation OBSERVATION

rdp-cli screenshot \
  --session SESSION --out result.png

RDP / Das Ergebnis in der Anwendung

Nach jeder Aktion das Ergebnis prüfen. Der aktuelle Bildschirm bestimmt den nächsten Schritt.

RDP / VNC

RDP und VNC im selben Ablauf

Von Windows, macOS oder Linux mit vorhandenen RDP- oder VNC-Servern verbinden. Screenshots, Eingaben und Ansichten folgen demselben Ablauf. Der Dienst muss aktiviert und erreichbar sein; das Werkzeug stellt keinen Cloud-Desktop bereit.

• Beide Protokolle nutzen dieselben Sitzungsbefehle. RDP unterstützt lokale und Domänenkonten; VNC verwendet die vom Server unterstützte Authentifizierung.

Für Windows RDP oder einen vorhandenen VNC-Server wählen.

Von Linux mit einer einzigen Programmdatei zu Windows RDP verbinden →

Per Kommandozeile mit VNC verbinden und Eingaben prüfen →

RDP / VNC

Mehrere dauerhafte Sitzungen

Mehrere Verbindungen halten und über Sitzungs-IDs ansprechen. Ein geschlossenes Beobachtungsfenster beendet die Verbindung nicht. Nach Wiederverbindung sind alte Beobachtungen ungültig und Eingaben pausiert; erst prüfen, dann ausdrücklich fortsetzen.

• Nach dem Ende eines Befehls kann die Verbindung bestehen bleiben. Sitzungs-IDs ordnen weitere Aktionen dem richtigen Desktop zu; nach einer Wiederverbindung pausiert die Eingabe für eine neue Beobachtung.

Sitzungen auflisten und gezielt nur nicht mehr benötigte Verbindungen trennen.

RDP-Verbindung, schwarzen Bildschirm und gesperrte Eingaben untersuchen →

RDP / VNC

Zusehen, pausieren und übernehmen

Eine native Ansicht oder einen autorisierten Browser für die bestehende Sitzung öffnen. Mehrere Beobachter sind möglich, aber nur ein menschlicher Controller. Übernahme stoppt den Agenten; Verlust der steuernden Ansicht pausiert Eingaben.

• Zusätzliche Betrachter teilen die bestehende Verbindung. Mehrere Menschen können zusehen, jeweils einer hat die Kontrolle. Nach der Rückgabe prüft der Agent den aktuellen Bildschirm.

Ein Detail korrigieren und dieselbe Sitzung an den Agenten zurückgeben.

Originalaufnahme ansehen ↗

Eine echte Übergabe ansehen +

Aufgezeichnet unter Windows 11 in derselben RDP-Sitzung. Der Agent schreibt eine Checkliste; ein Mensch unterbricht und prüft sie.

1. 01 Dem Agenten zusehen

   Während rdp-cli Text an die entfernte Anwendung sendet, zeigt der Viewer Eingabehinweise.

   Originalaufnahme ansehen ↗

2. 02 Aufgabe pausieren

   Der Mensch pausiert die Eingabe im Viewer. Der unvollständige Satz bleibt sichtbar.

   Originalaufnahme ansehen ↗

3. 03 Übernehmen und prüfen

   Der Mensch übernimmt dasselbe Dokument und ergänzt „Human review: approved.“ (Prüfung freigegeben).

   Originalaufnahme ansehen ↗

4. 04 Zurückgeben und verifizieren

   Nach der Rückgabe erstellt der Agent einen neuen Screenshot, prüft die Ergänzung und speichert das Ergebnis.

   Originalaufnahme ansehen ↗

Die fertige Datei wurde über das Austauschlaufwerk abgeholt und mit SHA-256 geprüft. Tatsächliches Ergebnis herunterladen (504 B)

Englische Originalaufnahmen vom 21. September 2026. Die Bildpixel bleiben unabhängig von Sprache und Farbschema unverändert.

Eine weitere echte Übergabe über die Menüleiste

Aufgezeichnet am 23. September 2026. Das Menüleistenfenster und der abschließende Screenshot stammen aus derselben Windows-11-RDP-Sitzung.

Originalaufnahme ansehen ↗

Originalaufnahme ansehen ↗

Originalaufnahmen: Das Mac-Fenster ist auf Chinesisch, der entfernte Desktop auf Englisch.

RDP / VNC

Sitzungen schnell erreichen

Auf dem Mac öffnet das Menüleistensymbol eine durchsuchbare Liste, unter Windows das Menü im Infobereich. Ziel, Verbindungsstatus, Controller und letzte Aktion ansehen; Ansicht öffnen, pausieren oder trennen. Unter Linux steht ein durchsuchbares Sitzungspanel zur Verfügung; unterstützte Desktops zeigen auch ein Statussymbol. Ohne Infobereich öffnet presence show --panel das Panel.

• Am Mac nach Namen oder Adresse suchen, unter Windows aus dem Infobereich wählen. Über das Statusmenü lassen sich alle Sitzungen gemeinsam pausieren. Unter Linux steht ein durchsuchbares Sitzungspanel zur Verfügung; unterstützte Desktops zeigen auch ein Statussymbol. Ohne Infobereich öffnet presence show --panel das Panel.

Nach Name oder Adresse suchen: aktuelle Sitzungen, kein Adressbuch gespeicherter Verbindungen.

RDP / VNC

Aktionen nachvollziehen

Klickringe, Ziehpfade, Scrollrichtung, Tastenkürzel und Eingabefortschritt zeigen gesendete Aktionen. Jede Ansicht kann Hinweise ausblenden. Eingegebener Text wird dort nicht wiederholt; Hinweise sind vom entfernten Bild getrennt.

• Zeigerbewegung, Klickkreise, Ziehspuren, Scrollrichtung und Tastenkürzel zeigen gesendete Aktionen. Die Eingabeanzeige wiederholt keinen Text; der eigentliche Remotebildschirm bleibt sichtbar.

Sehen, wohin der Agent klickt. Der Bildschirm selbst wird nicht automatisch anonymisiert.

RDP / VNC

Vorhandene Zugänge verwenden

Lokale oder Domänenkonten nutzen, Zugangsdaten im unterstützten Speicher ablegen und referenzieren, Browserressourcen ausdrücklich freigeben. RDP-Zertifikatregeln und VNC-Sicherheitsmodi haben unterschiedliche Grenzen.

• Zugangsdaten im System speichern und später per Referenz nutzen. Browsern gezielt Zugriff auf benötigte Ressourcen geben und ihn nach der Aufgabe widerrufen.

Beobachtungsrechte von Eingabe-, Datei- und Mikrofonrechten trennen.

RDP

Mit mehreren Bildschirmen arbeiten

In ausgehandelten RDP-Mehrmonitorsitzungen den ganzen Desktop oder einzelne Monitore aufnehmen und über Bildschirmgrenzen ziehen. Native Einzelfenster oder Bildschirmwechsel im Browser nutzen. Fenstergröße ändert nicht das entfernte Layout.

• Einzelne Bildschirme erfassen und bedienen; zwischen ihnen ziehen.
• Native Fenster je Bildschirm oder Bildschirmwechsel im Browser.
• Zwei entfernte Bildschirme auch von einem einzelnen lokalen Monitor ansehen.

Einen Monitor prüfen und zugleich die Gesamtübersicht behalten.

RDP

Dateien und Ordner austauschen

Auf das Austauschlaufwerk laden, remote bearbeiten und herunterladen. CLI und Ansichten teilen Fortschritt und Abbruch; Überschreiben ist ausdrücklich zu wählen. Die RDP-Laufwerksumleitung muss serverseitig erlaubt sein.

• Dateien und Ordner mit ihrer Verzeichnisstruktur übertragen.
• Fortschritt und Ergebnis jeder Übertragung prüfen und bei Bedarf abbrechen.
• Überschreiben ausdrücklich wählen; übertragene Inhalte werden geprüft.

Berichte bearbeiten und zurückholen; das ist kein beliebiger Zugriff auf entfernte Festplatten.

1. Hochladen

   Dateien und Ordner → Austauschlaufwerk

2. Remote bearbeiten

   Öffnen, ändern und Ergebnis speichern

3. Herunterladen

   Fortschritt verfolgen und fertige Dateien prüfen

Originalaufnahme ansehen ↗

Echte Tabellen- und Videoabläufe ansehen →

Dateien per RDP über die Kommandozeile übertragen →

RDP / VNC

Entfernte Textzwischenablage nutzen

Text ausdrücklich lesen oder setzen und per Tastenkürzel einfügen. Die lokale Zwischenablage wird nicht automatisch synchronisiert. RDP hängt von Serverrichtlinien ab, VNC von der ausgehandelten Kodierung.

• Adressen, Absätze oder tabellarischen Text über die Remotezwischenablage austauschen. Unterstützten Text kann type direkt eingeben, ohne die Zwischenablage zu ersetzen.

Text setzen, CTRL+V senden und das Anwendungsergebnis prüfen.

RDP

Entfernten Ton hören

RDP-Audio mit eigenen Wiedergabereglern je Ansicht hören. Wer die Steuerung übernommen hat, kann das Mikrofon ausdrücklich aktivieren, sofern Systemberechtigungen und Server dies erlauben. Die Rückgabe der Steuerung oder das Trennen der Verbindung beendet die Aufnahme; sie startet nicht automatisch erneut.

• Mehrere berechtigte Zuschauer können gleichzeitig zuhören.
• Für Spracheingabe die Steuerung übernehmen und das Mikrofon einschalten.
• Rückgabe oder Trennung stoppt die Aufnahme; erneutes Einschalten ist erforderlich.

Das Wiedergabeergebnis hören; Mikrofon nur bei Bedarf einschalten.