Was bedeutet Computer Use für KI-Agenten? Ein praktischer Leitfaden zur Desktop-Automatisierung

rdp-cli

23. Oktober 2026

Was Computer Use bedeutet

Computer Use bezeichnet die Fähigkeit eines KI-Agenten, einen Computer über die sichtbare Oberfläche zu bedienen: den Bildschirm zu lesen, Schaltflächen anzuklicken, Text einzugeben, Anwendungen zu öffnen und das Ergebnis zu prüfen.

Das ist praktisch, wenn eine Aufgabe von einer Desktop-Anwendung ohne brauchbare API abhängt. Ein Agent kann Videos bearbeiten, Tabellen prüfen, ältere Software bedienen, Dateien verwalten oder eine Android-App nutzen, ohne für jede Anwendung eine eigene Integration zu bauen.

Tools wie rdp-cli verbinden einen Agenten mit RDP- und VNC-Desktops sowie Android-Geräten ab Version 12. Eine Person kann dieselbe Sitzung beobachten, pausieren und bei Bedarf übernehmen.

Der zuverlässige Ablauf: beobachten, handeln, prüfen

Desktop-Automatisierung sollte keine lange Kette unbestätigter Klicks sein. Verwende stattdessen diesen kurzen Regelkreis:

1. Den aktuellen Bildschirm aufnehmen.
2. Das nächste Ziel finden.
3. Eine kleine Aktion ausführen.
4. Den Bildschirm erneut aufnehmen.
5. Das tatsächliche Ergebnis prüfen, bevor es weitergeht.

Zum Beispiel kann ein Agent einen Remote-Desktop so untersuchen:

rdp-cli screenshot --session SESSION --out before.png

Nach dem Auffinden eines Eingabefelds oder einer Schaltfläche kann er klicken und Text eingeben:

rdp-cli click --session SESSION --desktop \
  --x X --y Y --observation OBSERVATION

rdp-cli type --session SESSION \
  --text "Remote task completed." \
  --observation NEW_OBSERVATION

Der Screenshot nach der Aktion ist entscheidend. Er zeigt, ob sich das Fenster verändert hat, ein Fehler erschienen ist oder die Eingabe angenommen wurde. Wenn der Bildschirm nicht wie erwartet aussieht, sollte der Agent anhalten und prüfen, statt weitere Klicks auszuführen.

Praktische Anwendungsfälle

Desktop-Anwendungen. Videoclips importieren, in einem Editor kürzen, als MP4 exportieren und die Ausgabedatei prüfen.

Tabellen. Eine Arbeitsmappe öffnen, Ist-Werte mit Zielen vergleichen und einen Bericht erstellen, während Diagramme, Formeln und Add-ins erhalten bleiben.

Dateiabläufe. Quelldateien in einen Remote-Arbeitsbereich senden, dort verarbeiten und den fertigen Bericht, das Video oder Dokument zurückholen.

Android. Ein unterstütztes Telefon über USB oder WLAN verbinden und in Apps ohne geeignete API tippen, schreiben und Dateien bearbeiten.

Die Kontrolle beim Menschen lassen

Das Veröffentlichen von Inhalten, Löschen von Dateien, Senden von Nachrichten und Bestätigen von Käufen sollte eine menschliche Freigabe erfordern. Der Agent erledigt die Wiederholungen, während eine Person dieselbe Sitzung beobachtet, die Eingabe pausiert, übernimmt und danach zurückgibt.

Vier Regeln gegen Fehler

• In kleine, überprüfbare Aktionen aufteilen.
• Vor und nach wichtigen Schritten Screenshots erstellen.
• Passwörter und API-Schlüssel nicht in Prompts oder Artikel aufnehmen.
• Bei unerwarteten Dialogen, Anmeldeseiten oder Fehlern anhalten.

Wenn eine stabile API vorhanden ist, sollte sie bevorzugt werden. Computer Use ist besonders nützlich für grafische Oberflächen, ältere Software und Abläufe über mehrere bestehende Anwendungen hinweg.