rdp-cli

MCP-Tools vs. GUI-Computersteuerung: Wann ein Agent den echten Desktop braucht

MCP-Tools und die GUI-Steuerung eines Computers lösen unterschiedliche Probleme.

MCP ist ideal, wenn eine Anwendung eine zuverlässige API besitzt: Datenbanken abfragen, Tickets erstellen, CRM-Datensätze aktualisieren oder strukturierte Berichte erzeugen. Der Agent sendet definierte Parameter und erhält strukturierte Ergebnisse.

Viele reale Aufgaben haben jedoch keine brauchbare API. Der Agent muss vielleicht eine alte Windows-Anwendung öffnen, einen visuellen Ablauf durchführen, ein Diagramm prüfen, einen Videoeditor bedienen oder in einer bereits verwendeten Desktop-Sitzung arbeiten. Dann ist GUI-Steuerung erforderlich.

Wann MCP besser ist

  • Das System besitzt eine stabile API.
  • Die Aufgabe verarbeitet strukturierte Daten.
  • Vorhersehbare Ergebnisse und Protokolle sind wichtig.
  • Die Anwendung läuft ohne grafische Oberfläche.
  • Du willst dich nicht auf Bildschirmkoordinaten verlassen.

500 Kundendatensätze sollte man normalerweise über eine API oder MCP aktualisieren. Jeden Datensatz im Browser anzuklicken ist langsamer und schwerer zu prüfen.

Wann der echte Desktop nötig ist

GUI ist sinnvoll für Menüs, Dialoge, Zeitleisten, Drag-and-drop, lokale Dateien oder die aktuelle Benutzersitzung. Mit rdp-cli kann der Agent RDP- und VNC-Desktops bedienen, Bildschirme erfassen, Dateien übertragen, mehrere Displays nutzen und die Sitzung an eine Person übergeben.

Ein praktischer hybrider Ablauf

  1. Mit MCP Daten abrufen oder die Aufgabe vorbereiten.
  2. Dateien auf den Remote-Desktop übertragen.
  3. Den Agenten die Desktop-Anwendung bedienen lassen.
  4. Nach wichtigen Aktionen einen Screenshot aufnehmen.
  5. Das Ergebnis herunterladen.
  6. Bei unklarem Zustand einen Menschen übernehmen lassen.
rdp-cli files upload --session SESSION --local .\sales.xlsx --path sales.xlsx
rdp-cli screenshot --session SESSION --monitor M1 --out before.png

Nach Abschluss:

rdp-cli screenshot --session SESSION --monitor M1 --out after.png
rdp-cli files download --session SESSION --path report.pdf --local .\report.pdf

Wenn das System die Daten direkt bereitstellt, nutze MCP. Wenn die Aufgabe davon abhängt, was eine Person sieht und anklickt, nutze den echten Desktop.