rdp-cli

Remotedesktop-Automatisierung mit KI-Agenten: RDP-Screenshots und Eingaben

Version und Plattform: 0.1.2 · Windows / macOS · RDP

Von der aktiven Sitzung ausgehen

Verbinden Sie sich wie im Mac-Leitfaden und übernehmen Sie data.session aus der JSON-Antwort. Der Agent arbeitet mit Befehlen; ein lokales Anzeigefenster ist dafür nicht erforderlich. Öffnen Sie den Viewer nur, wenn Sie selbst zuschauen möchten.

Vor jeder Entscheidung beobachten

Erstellen Sie einen Screenshot und lesen Sie data.observation. Ersetzen Sie OBSERVATION durch diesen Wert. Die Koordinaten unten sind nur ein Syntaxbeispiel: Wählen Sie eine Position anhand Ihres eigenen Bildes. Nach einer Änderung von Verbindung, Kontrolle oder Anzeige ist eine neue Beobachtung nötig.

Führen Sie diese Beispiele in Windows PowerShell im Ordner der ausführbaren Datei aus und ersetzen Sie rdp-cli durch .\rdp-cli.exe.

Das Calc-Beispiel benötigt LibreOffice Calc auf dem entfernten Windows-Rechner und RDP-Laufwerksumleitung. Lade die Beispielarbeitsmappe lokal als service-activity.xlsx herunter. Lade sie hoch, speichere data.transfer_id als TRANSFER_ID und warte auf completed. Öffne sie in Calc auf dem umgeleiteten Laufwerk und wähle A20. Die vollständige Calc-Anleitung erklärt die Mappe und erwarteten Ergebnisse.

rdp-cli files upload --session SESSION --local ./service-activity.xlsx --path service-activity.xlsx
rdp-cli files status --session SESSION --transfer-id TRANSFER_ID
rdp-cli screenshot --session SESSION --out before.png
rdp-cli click --session SESSION --desktop --x 420 --y 315 --observation OBSERVATION

Text eingeben und das Ergebnis sehen

Öffnen Sie im folgenden Beispiel die vorbereitete Arbeitsmappe in Remote-Calc und wählen Sie A20. Prüfen Sie einen neuen Screenshot und verwenden Sie dessen Beobachtungstoken. Fügen Sie den Abschlussvermerk ein, speichern Sie über die Schaltfläche der Anwendung und prüfen Sie das sichtbare Ergebnis.

Nutze data.observation aus der Antwort zu before.png als OBSERVATION. Prüfe nach dem Klick clipboard-ready.png und verwende dessen neues data.observation als NEW_OBSERVATION. Kontrolliere den Text in result.png; ein erfolgreicher Befehl beweist noch nicht, dass die Anwendung die Eingabe übernommen hat.

Wähle für diesen Einfügevorgang eine eindeutige PASTE_REQUEST und bewahre sie mit der Antwort auf. Frage bei einem Timeout dieselbe ID ab. Füge nicht unter einer neuen ID erneut ein, bevor du den Bildschirm geprüft hast.

PNG data.observation
note-focused.png FOCUSED_OBSERVATION
clipboard-ready.png NEW_OBSERVATION
rdp-cli screenshot --session SESSION --out note-focused.png
rdp-cli clipboard set --session SESSION --text "Ergebnis: Bericht fertig und zur Prüfung bereit." --observation FOCUSED_OBSERVATION
rdp-cli screenshot --session SESSION --out clipboard-ready.png
rdp-cli key --session SESSION --keys CTRL+V --observation NEW_OBSERVATION --request-id PASTE_REQUEST
rdp-cli screenshot --session SESSION --out result.png

Remote-Calc-Bericht nach dem Einfügen des Abschlussvermerks mit rdp-cli und dem Speichern.

Das Calc-Beispiel verwendet fiktive Servicedaten. Die fertigen Arbeitsmappen unten passen zur jeweiligen Sprache und zum Design der Screenshots.

Ergebnis passend zu den Screenshots herunterladen: Helles Design · Dunkles Design

Remote-Calc-Bericht nach dem Einfügen des Abschlussvermerks mit rdp-cli und dem Speichern.

Originalaufnahme ansehen — Hell ↗ · Originalaufnahme ansehen — Dunkel ↗

Bei unklarem Ergebnis nicht blind wiederholen

Eine Zeitüberschreitung kann auftreten, obwohl die Eingabe bereits gesendet wurde. Prüfen Sie zuerst den Vorgang über seine zurückgegebene REQUEST_ID und beobachten Sie dann erneut. Wiederholen Sie einen Klick zum Speichern oder Absenden erst, wenn der Zustand das erfordert. Bei einem veralteten Beobachtungswert holen Sie einen neuen Screenshot; wechseln Sie nicht automatisch zur lokalen Maussteuerung.

rdp-cli operations status --session SESSION --request-id PASTE_REQUEST

Den Ablauf überprüfbar halten

Bewahren Sie Vorgangsstatus und Ergebnisbilder für Ihre Aufgabe auf und berücksichtigen Sie deren vertrauliche Inhalte. Ein Mensch kann dieselbe Sitzung öffnen, pausieren und übernehmen. Nach der Rückgabe prüft der Agent den aktuellen Bildschirm, bevor er fortfährt. Für Dateiaufgaben stehen bei RDP separate Upload-, Status- und Downloadbefehle bereit.

Weiterlesen

Auf dem eigenen Remotedesktop beginnen

rdp-cli herunterladen · Zur plattformspezifischen Kurzanleitung

Weitere Anleitungen

Erweiterte Befehle in rdp-cli

Führe zuerst rdp-cli --version aus. Die folgenden Befehle setzen agent_execution.contract_version gleich 1 voraus. Ältere Builds können weiterhin den oben beschriebenen Ablauf mit einzelnen Schritten verwenden.

Ersetze Platzhalter in Großbuchstaben durch die zurückgegebenen Werte. Verwende in Windows PowerShell im Programmordner .\rdp-cli.exe; unter macOS und Linux den installierten Befehl oder den tatsächlichen Programmpfad.

Den relevanten Bereich ansehen

Fordere einen Bildausschnitt oder ein kleineres Bild an. Vergleiche es mit einer früheren Beobachtung und lasse das Bild bei unverändertem Inhalt weg. Koordinaten bleiben dem entfernten Bildschirm zugeordnet.

Auf Änderungen oder Übertragungen warten

Warte auf einen veränderten oder stabilen Bereich oder einen bestimmten Zustand einer Verbindung, Aktion oder Dateiübertragung. Prüfe vor dem Fortfahren das tatsächliche Ergebnis.

Kurze Aktionsfolgen mit Prüfpunkten

Fasse vom Agenten festgelegte Aktionen zusammen, beobachte erneut und halte an einem Prüfpunkt an. Fehler oder ein Steuerungswechsel stoppen Folgeschritte; gesendete Aktionen werden nicht zurückgerollt.

Fortschritt festhalten und geprüft fortsetzen

Speichere Fortschritt, Prüfpunkte und ausgewählte Bilder und exportiere einen lokalen Bericht. Prüfe nach einer Unterbrechung erledigte Arbeit und beginne neue Schritte, ohne unklare Aktionen zu wiederholen.

Übergib das folgende JSON über die Standardeingabe an batch. Dieses Beispiel beobachtet nur und hält an einem Prüfpunkt an. Prüfe das aktuelle Bild, bevor du Eingabeaktionen ergänzt. Setze die von tasks create zurückgegebene Aufgaben-ID als TASK_ID ein, damit dieser Batch zur selben Aufgabe gehört.

rdp-cli screenshot --session SESSION --max-width 640
rdp-cli screenshot --session SESSION --region X,Y,WIDTH,HEIGHT --max-width 640
rdp-cli wait --session SESSION --condition changed --region X,Y,WIDTH,HEIGHT --timeout-ms 10000
rdp-cli tasks create --session SESSION --title "Review result"
rdp-cli batch --session SESSION --task TASK_ID --steps-stdin --request-id UNIQUE_REQUEST_ID
{"version":1,"steps":[{"id":"look","command":"observe","arguments":{"max-width":640}},{"id":"review","command":"checkpoint"}]}