rdp-cli
Dein KI-Agent kann Code schreiben. Kann er einen echten Desktop bedienen? Ein Computer-Use-Agent-Leitfaden
Ein Coding-Agent kann Dateien bearbeiten, Tests ausführen und Pull Requests erstellen. Viele wichtige Geschäftsprozesse finden jedoch weiterhin in grafischen Anwendungen statt.
Dazu gehören Excel, ERP- und Buchhaltungssoftware, PDF-Tools, ältere Windows-Programme und Android-Apps.
Kann ein KI-Agent also einen echten Desktop bedienen, statt nur in einem Chatfenster oder Terminal zu arbeiten?
Ja. Ein Computer-Use-Agent kann den Bildschirm lesen, klicken, Text eingeben, Dialoge bearbeiten und Ergebnisse prüfen. Mit rdp-cli kann er eine autorisierte RDP-, VNC-, X11- oder Android-Sitzung steuern, ohne deinen lokalen Computer zu übernehmen.
Was ist ein Computer-Use-Agent?
Ein Computer-Use-Agent bedient Software über die grafische Oberfläche. Er kann Screenshots lesen, Schaltflächen anklicken, Formulare ausfüllen, scrollen, Tastenkürzel verwenden, Dateidialoge öffnen und sichtbare Ergebnisse prüfen.
Der grundlegende Ablauf lautet: Bildschirm beobachten, eine Aktion ausführen, einen neuen Screenshot aufnehmen und das Ergebnis prüfen. Das KI-Modell liefert die Überlegung; rdp-cli stellt die Remote-Sitzung und Desktop-Steuerung bereit.
Warum braucht ein KI-Agent einen echten Desktop?
APIs und MCP-Tools sind ideal, wenn eine Anwendung strukturierte Operationen anbietet. Viele Desktop-Prozesse hängen jedoch von Elementen ab, die keine API bereitstellt: native Fenster, Fokus, Warnungen, Menüs und Dateidialoge.
Ein Agent muss beispielsweise eine Windows-Anwendung öffnen, sich anmelden, einen Wert auswählen, eine Warnung bestätigen, einen Bericht exportieren und die Ausgabedatei prüfen.
Die Rolle von rdp-cli: die Sitzungsebene
Die folgenden Ebenen erfüllen unterschiedliche Aufgaben:
| Ebene | Hauptaufgabe | Was sie nicht löst |
|---|---|---|
| Modellbasiertes Computer Use | Screenshots verstehen und Aktionen auswählen | Remote-Verbindung, Sitzungsbesitz und menschliche Übergabe |
| RPA | Vordefinierte Selektoren oder Abläufe ausführen | Flexible visuelle Überlegung und Sitzungslebenszyklus |
| MCP-Client | Desktop-Aktionen als Tools bereitstellen | Den vollständigen Lebenszyklus einer Remote-Sitzung |
| rdp-cli | Remote-Sitzungen verbinden, halten und teilen | KI-Überlegung und Aufgabenplanung |
Modellbasiertes Computer Use ist die Denkschicht. RPA eignet sich für stabile, wiederholbare Abläufe. MCP ist die Schnittstelle zwischen Agent und Tools, definiert aber nicht automatisch, wie eine Remote-Sitzung erstellt, erhalten, geteilt oder an eine Person zurückgegeben wird.
rdp-cli ist die Sitzungsebene. Es verbindet den Agenten mit einer bestehenden autorisierten Umgebung und ermöglicht Agent und Mensch die Arbeit in derselben Sitzung.
rdp-cli bietet:
- RDP-, VNC-, X11- und Android-Verbindungen
- Sitzungs-IDs
- Headless-Betrieb ohne lokalen Viewer
- Screenshots und observation-basierte Eingaben
- Dateiübertragung bei unterstützten Protokollen
- Warten auf Zustände und Ergebnisprüfung
- GUI oder Web Viewer für dieselbe Sitzung
- Pause, menschliche Übernahme und Rückgabe an den Agenten
rdp-cli verwendet für RDP, VNC, X11 und Android ADB ein einheitliches, sitzungsorientiertes CLI-Modell. Jede Verbindung hat weiterhin ihre eigene Sitzungs-ID; der Vorteil ist das konsistente Steuerungsmuster über verschiedene Zieltypen hinweg.
Wie funktioniert AI-GUI-Automatisierung?
Vor jeder Eingabe muss der Agent einen aktuellen Screenshot aufnehmen. Er findet das Ziel, sendet eine Aktion mit der aktuellen Beobachtung und nimmt danach einen weiteren Screenshot auf.
Eine erfolgreich gesendete Eingabe beweist nicht, dass die Anwendung fertig ist. Nach dem Klick auf Speichern sollte der Agent eine Bestätigung, eine neue Datensatznummer, einen Statuswechsel, eine geänderte Tabellenzeile oder eine erzeugte Datei prüfen.
Siehe die rdp-cli-Befehlsdokumentation.
Welche Umgebungen kann ein Agent steuern?
Über RDP eignet sich rdp-cli für ERP, Buchhaltung, Lagerverwaltung, Excel, PDF-Tools, interne Anwendungen, Desktop-Tests und Installationsprogramme.
Über X11 kann der Agent unterstützte Linux-GUI-Anwendungen bedienen. VNC steuert einen bestehenden VNC-Desktop. ADB steuert autorisierte Android-Geräte über USB oder WLAN.
Siehe den Schnellstart.
Kann der Agent arbeiten, ohne meinen PC zu blockieren?
Ja. Der Agent arbeitet in einer separaten Remote-Sitzung. Du kannst dieselbe Sitzung über die GUI oder den autorisierten Web Viewer öffnen, wenn du prüfen oder eingreifen möchtest.
Bei einem unerwarteten Zustand pausierst du die Eingabe, übernimmst die Kontrolle, korrigierst den Desktop, gibst die Kontrolle zurück und lässt den Agenten einen neuen Screenshot aufnehmen. Weitere Informationen findest du unter dieselbe Remote-Sitzung ansehen, pausieren und übernehmen.
Was macht rdp-cli nicht?
rdp-cli stellt kein KI-Modell bereit, entscheidet nicht über die nächste Aktion und erstellt keinen Remote-Computer. Du benötigst ein autorisiertes Gerät, gültige Zugangsdaten und einen Agenten, der Screenshots lesen und Befehle ausführen kann.
Die Funktionen hängen vom Protokoll und Server ab. rdp-cli ersetzt außerdem keine Unit-, API- oder Backend-Tests.
FAQ
Was ist ein Computer-Use-Agent?
Ein KI-System, das Software über eine grafische Oberfläche mit Screenshots, Maus, Tastatur und visueller Prüfung bedient.
Kann ein KI-Agent Windows-Anwendungen steuern?
Ja. Über eine autorisierte RDP-Sitzung kann er auch ältere Anwendungen ohne API oder SDK bedienen.
Enthält rdp-cli einen KI-Agenten?
Nein. rdp-cli stellt Remote-Sitzung, Screenshots, Eingaben, Dateiübertragung und Kontrollübergabe bereit. Das ausgewählte KI-System liefert die Überlegung.
Ist MCP erforderlich?
Nein. Sitzungen können vollständig über die rdp-cli-CLI gesteuert werden. MCP-fähige Agenten können die verfügbare MCP-Schnittstelle verwenden.
Fazit
Die besondere Rolle von rdp-cli ist weder KI-Überlegung noch eine feste RPA. rdp-cli ist die Sitzungsebene zwischen dem Agenten und der echten Remote-Umgebung.
rdp-cli herunterladen und deinem KI-Agenten Zugriff auf die Desktop-Workflows geben, in denen die eigentliche Arbeit stattfindet.