MCP oder Computer Use: Wann braucht man Desktop-Automatisierung?

MCP und Computer Use werden oft zusammen genannt, lösen aber unterschiedliche Probleme.

MCP verbindet einen KI-Agenten mit Tools und strukturierten Daten. Computer Use ermöglicht die Bedienung grafischer Oberflächen: Schaltflächen anklicken, Text eingeben und Bildschirminhalte lesen.

Welche Lösung passt, hängt davon ab, wie die jeweilige Aufgabe zugänglich ist.

MCP: für strukturierte Tools und Daten

MCP eignet sich am besten, wenn eine Anwendung eine zuverlässige API, CLI, Datenbank- oder Dateifunktion bereitstellt.

Ein MCP-Server kann einem Agenten ermöglichen:

• Eine Datenbank abzufragen
• Ein Support-Ticket zu erstellen
• Dateien aus einem gemeinsamen Ordner zu lesen
• Einen Cloud-Dienst aufzurufen
• Einen festgelegten Deployment-Befehl auszuführen
• Den Status eines Servers zu prüfen

Diese Aktionen liefern strukturierte Ergebnisse. Der Agent muss keine UI-Elemente suchen und keine Bildschirmkoordinaten interpretieren.

Ein typischer Ablauf lautet:

Agent -> MCP-Tool -> Anwendung oder Dienst -> Strukturiertes Ergebnis

Wenn eine API oder Kommandozeile vorhanden ist, sollte man normalerweise mit MCP beginnen. Es ist leichter zu testen und weniger empfindlich gegenüber Änderungen am UI-Layout.

Computer Use: für grafische Oberflächen

Computer Use wird benötigt, wenn die Aufgabe nur innerhalb eines grafischen Desktops möglich ist.

Typische Beispiele:

• Eine reine Windows-Anwendung bedienen
• Alte Software ohne API verwenden
• Aufgaben über eine Remote-Desktop-Sitzung ausführen
• Dateiauswahldialoge, Exportfenster und Pop-ups bearbeiten
• Abläufe mit visueller Bestätigung durchführen
• Ein Websystem ohne brauchbare API bedienen

Der Ablauf ist anders:

Agent -> Screenshot aufnehmen -> Maus- oder Tastaturaktion senden -> Neuen Screenshot aufnehmen -> Ergebnis prüfen

Der Agent muss den Bildschirm vor jeder Aktion beobachten. Er darf nicht annehmen, dass Schaltflächen immer an derselben Stelle stehen oder dass ein vorheriger Klick erfolgreich war.

Ein praktischer rdp-cli-Ablauf für einen entfernten Windows-Rechner:

.\rdp-cli.exe screenshot --session SESSION --out before.png
.\rdp-cli.exe click --session SESSION --desktop --x 420 --y 260 --observation OBSERVATION
.\rdp-cli.exe screenshot --session SESSION --out after.png

Entscheidend ist nicht der Klick selbst, sondern die anschließende Prüfung des Ergebnisses.

Bei Bedarf beide kombinieren

MCP und Computer Use sind keine Konkurrenten. Sie können unterschiedliche Schritte desselben Workflows übernehmen.

Ein Agent kann mit MCP eine Aufgabe und Eingabedateien abrufen und auf eine entfernte Windows-Sitzung zugreifen. Danach öffnet Computer Use die Windows-Anwendung, importiert die Dateien, erledigt den visuellen Ablauf und exportiert das Ergebnis. Abschließend kann MCP die Ausgabedatei hochladen und den Aufgabenstatus aktualisieren.

Dieses hybride Muster hält strukturierte Vorgänge in MCP und nutzt Desktop-Automatisierung nur dort, wo sie wirklich nötig ist.

Wann sollte man Computer Use wählen?

Desktop-Automatisierung ist sinnvoll, wenn:

• Keine brauchbare API oder CLI vorhanden ist
• Die Anwendung nur unter Windows läuft
• Die Aufgabe vom visuellen UI-Zustand abhängt
• Menschen sie normalerweise über Dialoge erledigen
• Die Software Daten ändert, die anders nicht erreichbar sind
• Eine vorhandene Remote-Desktop-Sitzung bedient werden muss

Verwende Computer Use nicht nur, weil es möglich ist. Wenn eine API dieselbe Aufgabe zuverlässig erledigen kann, ist sie normalerweise die bessere Wahl.

Eine praktische Entscheidungsregel

Stelle eine Frage:

Kann diese Aufgabe über eine dokumentierte API, einen Befehl oder ein strukturiertes Tool erledigt werden?

Wenn ja, beginne mit MCP. Wenn nein und eine grafische Oberfläche erforderlich ist, nutze Computer Use. Für entfernte Windows-Systeme sollte das mit einem RDP-Tool kombiniert werden, das Screenshots, Maus- und Tastatureingaben sowie Sitzungsprüfung unterstützt.

Das zuverlässige Muster ist einfach:

MCP für strukturierte Vorgänge verwenden. Computer Use für visuelle Vorgänge verwenden. Jede wichtige Desktop-Aktion überprüfen.

Diese Trennung macht die Automatisierung stabiler, leichter zu debuggen und sicherer.