rdp-cli

Ваш AI-агент умеет писать код. А сможет ли он работать с настоящим рабочим столом? Руководство по Computer Use Agent

Агент для программирования может редактировать файлы, запускать тесты и создавать pull request. Но многие важные бизнес-задачи по-прежнему выполняются в графических приложениях.

Это могут быть Excel, ERP, бухгалтерские программы, PDF-инструменты, старые приложения Windows или Android-приложения.

Может ли AI-агент управлять настоящим рабочим столом, а не только работать в чате или терминале?

Да. computer use agent может читать экран, нажимать кнопки, вводить текст, обрабатывать диалоги и проверять результат. С помощью rdp-cli агент может работать в авторизованной сессии RDP, VNC, X11 или Android, не занимая ваш локальный компьютер.

Что такое Computer Use Agent?

Computer use agent управляет программами через графический интерфейс. Он умеет читать скриншоты, нажимать кнопки, заполнять формы, прокручивать окна, использовать горячие клавиши, открывать файловые диалоги и проверять видимый результат.

Базовый цикл прост: посмотреть на экран, выполнить одно действие, сделать новый скриншот и проверить результат. AI-модель отвечает за рассуждение, а rdp-cli — за удалённую сессию и управление рабочим столом.

Зачем агенту нужен настоящий рабочий стол?

API и MCP-инструменты подходят, когда приложение предоставляет структурированные операции. Но многие процессы зависят от элементов, которых нет в API: нативных окон, фокуса, предупреждений, меню и файловых диалогов.

Агенту может потребоваться открыть приложение Windows, войти в систему, выбрать значение, подтвердить предупреждение, экспортировать отчёт и проверить созданный файл.

Роль rdp-cli: недостающий слой сессии

Эти уровни решают разные задачи:

Уровень Основная роль Что он не решает
Нативный Computer Use модели Понимать скриншоты и выбирать действия Удалённое подключение, владение сессией и передача человеку
RPA Выполнять заранее заданные селекторы и сценарии Гибкое визуальное рассуждение и жизненный цикл сессии
MCP-клиент Представлять действия рабочего стола как инструменты Полный жизненный цикл удалённой сессии
rdp-cli Подключать, поддерживать и делить удалённые сессии Рассуждение и планирование AI

Нативный Computer Use — это слой рассуждения. RPA хорошо подходит для стабильных повторяющихся процессов. MCP связывает агента с инструментами, но сам по себе не определяет, как удалённая сессия создаётся, сохраняется, передаётся человеку или используется совместно.

rdp-cli — это слой сессии. Он подключает агента к уже существующей авторизованной среде и позволяет агенту и человеку работать в одной сессии.

rdp-cli предоставляет:

  • Подключения RDP, VNC, X11 и Android
  • Идентификаторы сессий
  • Headless-работу без локального Viewer
  • Скриншоты и ввод на основе observation
  • Передачу файлов в поддерживаемых протоколах
  • Ожидание состояний и проверку результата
  • GUI или Web Viewer для той же сессии
  • Паузу, перехват управления человеком и возврат агенту

Для RDP, VNC, X11 и Android ADB rdp-cli использует единую модель CLI, ориентированную на сессии. У каждого подключения есть свой идентификатор; преимущество в едином подходе к управлению разными типами целей.

Как работает AI GUI-автоматизация?

Перед вводом агент должен получить свежий скриншот. Затем он находит нужный элемент, выполняет одно действие с актуальным observation и снова делает скриншот.

Успешная отправка ввода не означает, что приложение завершило операцию. После нажатия Save нужно проверить сообщение подтверждения, новый номер записи, изменение статуса, изменившуюся строку или созданный файл.

См. документацию команд rdp-cli.

Чем может управлять агент?

Через RDP rdp-cli подходит для старых ERP, бухгалтерских систем, складских приложений, Excel, PDF-инструментов, внутренних программ, тестирования десктопных приложений и установщиков.

Через X11 можно управлять поддерживаемыми GUI-приложениями Linux. VNC управляет существующим VNC-рабочим столом. ADB позволяет управлять авторизованными Android-устройствами по USB или Wi-Fi.

Ознакомьтесь с кратким руководством.

Можно ли работать, не блокируя локальный компьютер?

Да. Агент работает в отдельной удалённой сессии. При необходимости вы можете открыть ту же сессию через GUI или авторизованный Web Viewer.

Если состояние стало непонятным, приостановите ввод, возьмите управление, исправьте рабочий стол, верните управление и попросите агента получить новый скриншот. См. как наблюдать, приостанавливать и перехватывать управление той же сессией.

Чего rdp-cli не делает?

rdp-cli не предоставляет AI-модель, не выбирает следующее действие и не создаёт удалённый компьютер автоматически. Нужны авторизованное устройство, учётные данные и AI-агент, умеющий читать скриншоты и выполнять команды.

Возможности зависят от протокола и сервера. rdp-cli также не заменяет unit-тесты, API-тесты или проверку backend.

FAQ

Что такое computer use agent?

Это AI-система, которая управляет программами через GUI с помощью скриншотов, мыши, клавиатуры и визуальной проверки.

Может ли AI-агент управлять приложениями Windows?

Да. Через авторизованную RDP-сессию можно управлять даже старыми приложениями без API или SDK.

Входит ли AI-агент в rdp-cli?

Нет. rdp-cli предоставляет удалённую сессию, скриншоты, ввод, передачу файлов и передачу управления. Рассуждение выполняет выбранный AI-агент.

Обязателен ли MCP?

Нет. Сессиями можно управлять через CLI rdp-cli. Агенты с поддержкой MCP также могут использовать доступный MCP-интерфейс.

Итог

Уникальная роль rdp-cli — не AI-рассуждение и не фиксированный RPA-сценарий. Это слой сессии между агентом и настоящей удалённой средой.

Скачать rdp-cli и дайте AI-агенту контролируемый доступ к рабочим процессам, которые выполняются на реальном рабочем столе.