rdp-cli
MCP и Computer Use: когда нужна автоматизация рабочего стола?
MCP и Computer Use часто упоминают вместе, но они решают разные задачи.
MCP подключает ИИ-агента к инструментам и структурированным данным. Computer Use позволяет работать с графическим интерфейсом: нажимать кнопки, вводить текст и читать содержимое экрана.
Выбор зависит от того, каким способом доступна нужная операция.
MCP: для структурированных инструментов и данных
MCP лучше всего подходит, когда приложение предоставляет надежный API, CLI, доступ к базе данных или файловую операцию.
MCP-сервер может позволить агенту:
- Выполнить запрос к базе данных
- Создать тикет поддержки
- Прочитать файлы из общей папки
- Вызвать облачный сервис
- Запустить заранее определенную команду развертывания
- Проверить состояние сервера
Такие действия возвращают структурированный результат. Агенту не нужно искать элементы интерфейса или вычислять координаты на экране.
Типовой поток выглядит так:
Агент -> Инструмент MCP -> Приложение или сервис -> Структурированный результат
Если есть API или командная строка, обычно стоит начать с MCP. Его проще тестировать, и он меньше зависит от изменений интерфейса.
Computer Use: для графических интерфейсов
Computer Use нужен, когда задача существует только внутри графического рабочего стола.
Типичные случаи:
- Работа с приложением только для Windows
- Использование устаревшей программы без API
- Выполнение задачи через удаленный рабочий стол
- Обработка диалогов выбора файла, экспорта и всплывающих окон
- Сценарии, где нужно визуальное подтверждение
- Работа с веб-системой без пригодного API
Поток здесь другой:
Агент -> Снимок экрана -> Действие мышью или клавиатурой -> Новый снимок -> Проверка результата
Перед действием агент должен увидеть текущий экран. Нельзя считать, что кнопка всегда находится на одном месте или что предыдущий клик сработал.
Практический пример для удаленной Windows-системы с rdp-cli:
.\rdp-cli.exe screenshot --session SESSION --out before.png
.\rdp-cli.exe click --session SESSION --desktop --x 420 --y 260 --observation OBSERVATION
.\rdp-cli.exe screenshot --session SESSION --out after.png
Главное здесь не сам клик, а проверка результата после него.
Используйте их вместе
MCP и Computer Use не конкурируют. В одном сценарии они могут отвечать за разные этапы.
Например, MCP получает задачу и входные файлы и подключается к удаленной Windows-сессии. Затем Computer Use открывает приложение, импортирует файлы, выполняет визуальную часть работы и экспортирует результат. После этого MCP загружает файл и обновляет статус задачи.
Такой гибридный подход оставляет структурированные операции MCP, а автоматизацию рабочего стола использует только там, где она действительно нужна.
Когда выбирать Computer Use?
Выбирайте автоматизацию рабочего стола, если:
- Нет пригодного API или CLI
- Приложение работает только в Windows
- Результат зависит от состояния интерфейса
- Человек обычно выполняет задачу через диалоги
- Нужно изменить данные, недоступные другим способом
- Требуется управлять существующей удаленной Windows-сессией
Не используйте Computer Use просто потому, что это возможно. Если API надежно выполняет ту же задачу, обычно лучше выбрать API.
Практическое правило
Задайте один вопрос:
Можно ли выполнить эту задачу через документированный API, команду или структурированный инструмент?
Если да, начните с MCP. Если нет и нужна графическая интерфейсная работа, используйте Computer Use. Для удаленной Windows-системы выбирайте RDP-инструмент со снимками экрана, вводом мыши и клавиатуры и проверкой сессии.
Надежный принцип прост:
MCP — для структурированных операций. Computer Use — для визуальных операций. Важные действия на рабочем столе нужно проверять.
Такое разделение делает автоматизацию стабильнее, упрощает отладку и повышает безопасность.