Как автоматизировать устаревшие приложения Windows без API

Почему автоматизация через API не подходит для старого ПО Windows

Автоматизировать устаревшие приложения Windows без API возможно, но обычная автоматизация через API здесь не поможет. Во многих бухгалтерских программах, ERP-системах, складских инструментах и внутренних утилитах нет API, SDK или поддержки скриптов. Важные операции доступны только через кнопки, формы, меню и диалоговые окна.

Практичная альтернатива — GUI Computer Use: ИИ-агент подключается к настоящему рабочему столу через RDP или VNC, читает текущий экран, выполняет одно контролируемое действие и проверяет результат.

Практический сценарий с ИИ-агентом и RDP/VNC

С помощью rdp-cli агент может подключиться к существующему рабочему столу RDP или VNC, где уже установлено нужное приложение. Откройте краткое руководство и сохраните полученный идентификатор сеанса.

Надёжный цикл выглядит так:

Снять текущий экран.
Найти следующее поле, кнопку или диалог.
Выполнить небольшое действие.
Снова снять экран.
Проверить фактический результат и только потом продолжить.

Например, агент может проверить удалённое приложение Windows так:

rdp-cli screenshot --session SESSION --out before.png

rdp-cli click --session SESSION --desktop \
  --x X --y Y --observation OBSERVATION

rdp-cli screenshot --session SESSION --out focused.png

rdp-cli type --session SESSION \
  --text "Remote task completed." \
  --observation NEW_OBSERVATION

rdp-cli screenshot --session SESSION --out after.png

Координаты и значения observation должны быть взяты из последнего снимка экрана. Успешное выполнение команды клика означает только, что ввод был отправлен; это не доказывает, что приложение приняло действие.

Работа с файлами и проверка человеком

Обычный сценарий: загрузить таблицу в удалённое рабочее пространство, открыть её в старой программе отчётности, выбрать период, экспортировать PDF и скачать готовый файл. Сеансы RDP могут передавать файлы и папки, если сервер разрешает перенаправление дисков. VNC подходит для управления существующим рабочим столом, но передача файлов и другие функции зависят от протокола и настроек сервера.

Если появляется неожиданный диалог или требуется подтверждение, человек может наблюдать тот же сеанс, приостановить ввод агента, взять управление в нативном окне или авторизованном браузере, а затем вернуть сеанс агенту.

Правила, которые снижают число ошибок

Используйте небольшие проверяемые действия, а не длинную цепочку кликов.
Делайте новый снимок после важных действий.
Ждите появления экранов загрузки и диалогов.
Останавливайтесь при неожиданных экранах входа, предупреждениях или ошибках.
Не помещайте пароли и API-ключи в промпты или текст статьи.
Используйте доверенную сеть или VPN и выдавайте только необходимые права.

Если есть стабильный API, сначала используйте его. GUI-автоматизация особенно полезна для графических, старых или неинтегрируемых приложений. Она позволяет ИИ-агенту управлять Windows-программами, от которых уже зависит компания, без их переписывания.

Подробности настройки приведены в разделе возможностей RDP и VNC rdp-cli.