Einen Remote-Windows-Desktop von einem KI-Agenten bedienen lassen

Ein KI-Agent kann Skripte schreiben, doch viele echte Aufgaben brauchen weiterhin einen Desktop: eine reine Windows-Anwendung, einen Dokumenteditor oder den Dialog zum Exportieren einer Datei. Zuverlässig wird die Automatisierung, wenn der Agent einen kurzen Rückkopplungskreis einhält: Bildschirm beobachten, eine Aktion ausführen, Ergebnis prüfen.

1. Den Windows-Host vorbereiten

Aktiviere Remotedesktop auf dem Zielcomputer. Lade die passende rdp-cli-Datei für den Computer herunter, auf dem der Agent läuft, und prüfe sie in PowerShell:

.\rdp-cli.exe --help

Der Agent muss nicht auf dem Windows-Host laufen. Netzwerkzugriff auf den RDP-Dienst genügt.

2. Ohne Passwort-Leak verbinden

Übergib das Passwort über die Standardeingabe, statt es in die Befehlszeile oder die Shell-Historie zu schreiben:

$secret = Read-Host 'Password' -AsSecureString
try {
  [System.Net.NetworkCredential]::new('', $secret).Password |
    .\rdp-cli.exe connect --host 192.0.2.20 --user USER --password-stdin
} finally {
  $secret.Dispose()
}

Speichere den in JSON zurückgegebenen Wert session. Er bezeichnet den Remote-Desktop für die folgenden Befehle.

3. Vor jeder Aktion beobachten

Koordinaten sollten nicht geraten werden. Erfasse zuerst den aktuellen Bildschirm:

.\rdp-cli.exe screenshot --session SESSION --out .\before.png

Der Agent prüft das Bild, findet das Ziel und klickt mit dem observation-Wert aus der Screenshot-Antwort:

.\rdp-cli.exe click --session SESSION --desktop --x 420 --y 260 --observation OBSERVATION

4. Jeden wichtigen Schritt prüfen

Nach einem Klick muss vor dem Tippen oder Absenden ein neuer Screenshot erstellt werden:

.\rdp-cli.exe screenshot --session SESSION --out .\focused.png
.\rdp-cli.exe type --session SESSION --text "Remote task completed." --observation NEW_OBSERVATION
.\rdp-cli.exe screenshot --session SESSION --out .\after.png

So werden verschobene Fenster, Ladezustände und Fehlklicks erkannt. Ein Befehl ohne Fehlermeldung ist kein Beweis für ein korrektes Ergebnis.

5. Menschliche Kontrolle behalten

Eine Person kann dieselbe Sitzung in einem Fenster oder Browser beobachten:

.\rdp-cli.exe watch --session SESSION --viewer window

Der Viewer startet schreibgeschützt und erlaubt, den Agenten zu pausieren, die Kontrolle zu übernehmen und die Sitzung zurückzugeben. Für Anmeldungen, Bestätigungsdialoge und nicht reversible Aktionen sollte ein Mensch entscheiden.

Nutze RDP möglichst über ein privates Netzwerk oder VPN, bewahre Zugangsdaten sicher auf und konfiguriere die Zertifikatsprüfung passend zur Umgebung. Das praktische Muster lautet: beobachten, handeln, prüfen.