Alte Windows-Anwendungen ohne API automatisieren

Warum API-Automatisierung bei alter Windows-Software scheitert

Alte Windows-Anwendungen lassen sich auch ohne API automatisieren, aber eine gewöhnliche API-Automatisierung hilft hier nicht weiter. Viele Buchhaltungsprogramme, ERP-Systeme, Lagerlösungen und interne Werkzeuge bieten keine API, kein SDK und keine Skriptunterstützung. Die wichtigen Abläufe liegen ausschließlich hinter Schaltflächen, Formularen, Menüs und Dialogfenstern.

Die praktische Alternative heißt GUI Computer Use: Ein KI-Agent verbindet sich per RDP oder VNC mit dem echten Desktop, liest den aktuellen Bildschirm, führt eine kontrollierte Aktion aus und prüft anschließend das Ergebnis.

Praktischer Ablauf mit KI-Agent und RDP/VNC

Mit rdp-cli kann sich der Agent mit einem vorhandenen RDP- oder VNC-Desktop verbinden, auf dem die Anwendung bereits installiert ist. Folge der Schnellstartanleitung und speichere die zurückgegebene Sitzungs-ID.

Der zuverlässige Ablauf lautet:

Den aktuellen Bildschirm erfassen.
Das nächste Feld, die Schaltfläche oder den Dialog finden.
Eine kleine Aktion ausführen.
Den Bildschirm erneut erfassen.
Das tatsächliche Ergebnis prüfen und erst dann fortfahren.

Zum Beispiel kann der Agent eine entfernte Windows-Anwendung so prüfen:

rdp-cli screenshot --session SESSION --out before.png

rdp-cli click --session SESSION --desktop \
  --x X --y Y --observation OBSERVATION

rdp-cli screenshot --session SESSION --out focused.png

rdp-cli type --session SESSION \
  --text "Remote task completed." \
  --observation NEW_OBSERVATION

rdp-cli screenshot --session SESSION --out after.png

Koordinaten und observation-Werte müssen aus dem aktuellen Screenshot stammen. Ein erfolgreich ausgeführter Klick bedeutet nur, dass die Eingabe gesendet wurde. Er beweist nicht, dass die Anwendung die Aktion angenommen hat.

Dateien und menschliche Prüfung

Ein typischer Ablauf lädt eine Tabelle in den entfernten Arbeitsbereich, öffnet sie in einem alten Reporting-Programm, wählt einen Zeitraum, exportiert eine PDF-Datei und lädt das Ergebnis wieder herunter. RDP-Sitzungen können Dateien und Ordner austauschen, wenn der Server die Laufwerksumleitung erlaubt. VNC eignet sich zur Steuerung eines vorhandenen Desktops; Dateiübertragung und weitere Funktionen hängen jedoch vom Protokoll und der Serverkonfiguration ab.

Bei einem unerwarteten Dialog oder einer erforderlichen Freigabe kann eine Person dieselbe Sitzung beobachten, die Agent-Eingabe pausieren, in einem nativen Fenster oder autorisierten Browser die Kontrolle übernehmen und sie anschließend zurückgeben.

Regeln für weniger GUI-Fehler

Kleine, überprüfbare Aktionen statt langer Klickfolgen verwenden.
Nach wichtigen Aktionen einen neuen Screenshot erfassen.
Auf Ladebildschirme und Dialoge warten.
Bei unerwarteten Anmeldeseiten, Warnungen oder Fehlern anhalten.
Passwörter und API-Schlüssel nicht in Prompts oder Artikelinhalte schreiben.
Ein vertrauenswürdiges Netzwerk oder VPN verwenden und nur notwendige Rechte vergeben.

Wenn eine stabile API existiert, sollte sie zuerst verwendet werden. GUI-Automatisierung ist besonders nützlich, wenn eine Anwendung grafisch, veraltet oder nicht integrierbar ist. So kann ein KI-Agent die Windows-Software bedienen, auf die ein Unternehmen bereits angewiesen ist, ohne sie neu bauen zu müssen.

Weitere Informationen findest du in den RDP- und VNC-Funktionen von rdp-cli.