Eine Sitzung für den Agenten und dich
Mit rdp-cli kann ein KI-Agent eine Linux-Anwendung über Befehle sehen und bedienen. Er erstellt eine Bildschirmaufnahme, handelt anhand des Bildes und prüft das nächste Bild. Du kannst ein natives Fenster oder einen autorisierten Web-Betrachter öffnen, um dieselbe Sitzung zu beobachten, anzuhalten oder zu übernehmen.
Ein autorisiertes Ziel vorbereiten
Der Linux-Rechner benötigt einen vorhandenen SSH-Zugang und eine installierte X11-kompatible Anwendung. Ersetze Adresse, Benutzer, privaten Schlüsselpfad und die unabhängig geprüfte known-hosts-Datei. Unter Windows PowerShell verwendest du .\rdp-cli.exe statt rdp-cli. Prüfe, dass --version für embedded_ssh, x11_desktop und x11_application jeweils true meldet.
Eine einzelne Anwendung öffnen
Das Beispiel öffnet das bereits installierte Gedit in einer isolierten, in rdp-cli integrierten Anzeige. Ein lokales Betrachterfenster wird nicht automatisch geöffnet. Speichere data.session aus der Antwort als SESSION. Auch ein Rechner mit einem gewöhnlichen Wayland-Desktop kann eine X11-kompatible Anwendung so weiterleiten.
rdp-cli connect --protocol x11 --mode application --host 192.0.2.20 --user USER --ssh-key PRIVATE_KEY --ssh-known-hosts KNOWN_HOSTS --linux-file-root FILE_ROOT --application /usr/bin/gedit --app-args '["--standalone","--new-window"]'
Oder einen vorhandenen X11-Desktop verbinden
Gib das tatsächliche display und den Pfad seiner vorhandenen Autorisierungsdatei an. Das SSH-Konto braucht Zugriff auf dieses display; eine SSH-Anmeldung allein erteilt keine Desktop-Berechtigung. Dieser Modus verbindet den vorhandenen Desktop und erzeugt keine weitere Anmeldung.
rdp-cli connect --protocol x11 --mode desktop --host 192.0.2.20 --user USER --ssh-key PRIVATE_KEY --ssh-known-hosts KNOWN_HOSTS --linux-file-root FILE_ROOT --display DISPLAY --xauthority XAUTHORITY_PATH
Beobachten, handeln und prüfen
Öffne das zurückgegebene PNG und speichere data.observation. Ersetze X und Y durch tatsächliche Bildkoordinaten. Nach dem Fokussieren des Feldes erstellst du ein neues Bild und nutzt den neuen Token. Die ausdrücklich gewählte Zwischenablage-Methode ersetzt die entfernte Zwischenablage, nicht die lokale. Eine Eingabeantwort bestätigt den Versand; prüfe danach das sichtbare Ergebnis.
rdp-cli screenshot --session SESSION --out before.png
rdp-cli click --session SESSION --x X --y Y --observation OBSERVATION
rdp-cli screenshot --session SESSION --out focused.png
rdp-cli linux text --session SESSION --method clipboard --text 'Prüfung abgeschlossen.' --observation OBSERVATION
rdp-cli screenshot --session SESSION --out after.png
Ergebnisdateien zurückholen
Öffne den remote_path des Upload-Ergebnisses in der Linux-Anwendung, bearbeite und speichere die Datei und lade das Ergebnis herunter. Behalte jede transfer_id und warte auf completed. Speichere vor der Übertragung; vorhandene Namen werden standardmäßig nicht überschrieben. Prüfe bei Fehlern den Aufgabenstatus, bevor du erneut überträgst.
Ersetze FILE_ROOT durch ein vorhandenes entferntes Verzeichnis, in dem dieses SSH-Konto lesen und schreiben darf. Dateioperationen bleiben in diesem Verzeichnis. Die Angabe erstellt kein Verzeichnis und erteilt keine zusätzlichen Rechte.
rdp-cli files list --session SESSION
rdp-cli files upload --session SESSION --local ./report.txt --path report.txt
rdp-cli files status --session SESSION --transfer-id UPLOAD_TRANSFER
rdp-cli files download --session SESSION --path report.txt --local ./result.txt
rdp-cli files status --session SESSION --transfer-id DOWNLOAD_TRANSFER
Einen Menschen übernehmen lassen
Öffne den Betrachter, wenn du zusehen möchtest. Er beginnt schreibgeschützt. Die Übernahme stoppt Agent-Eingaben; nach der Korrektur gibst du die Kontrolle für dieselbe Aufgabe zurück. Ein autorisierter Web-Betrachter teilt diese Sitzung. Nur ein Betrachter kann menschliche Kontrolle besitzen. Ein geschlossenes schreibgeschütztes Fenster trennt die Verbindung nicht.
rdp-cli watch --session SESSION --viewer window
Die Protokollgrenzen kennen
Natives X11 bietet keine Wiedergabe- oder Mikrofonumleitung. Für einen ganzen Wayland-Desktop ist ein bereits konfigurierter kompatibler RDP- oder VNC-Endpunkt nötig; es gelten die tatsächlich ausgehandelten Fähigkeiten. rdp-cli installiert oder aktiviert keinen entfernten Dienst. Beim Trennen oder Verlust der Anzeige kann die Anwendung enden. Speichere vorher und erwarte weder automatischen Neustart noch einen erhaltenen Arbeitsbereich.
Die Texteingabe unter Wayland hängt vom vorhandenen Server ab. GNOME 46 und Krfb 23.08 können manche Unicode-Tasten nicht zuordnen; prüfe daher das Ergebnis. Verwende explizites Einfügen aus der Zwischenablage nur, wenn es am Ziel funktioniert: Krfb unter Plasma Wayland kann die Funktion melden, ohne Inhalte an Anwendungen weiterzugeben. Sende komplexe Eingaben oder schnelle Abläufe in kleinen Schritten und prüfe den nächsten Screenshot.
Getestete Desktop-Endpunkte: Ubuntu 24.04.5 · GNOME 46 / GNOME Remote Desktop 46.3; KDE Plasma 5.27.12 / Krfb 23.08.5.