Как дать ИИ-агенту управлять удалённым рабочим столом Windows

ИИ-агент умеет писать скрипты, но для многих реальных задач по-прежнему нужен рабочий стол: приложение только для Windows, редактор документов или окно экспорта файла. Надёжная автоматизация строится на коротком цикле: посмотреть на экран, выполнить одно действие, проверить результат.

1. Подготовьте компьютер Windows

Включите удалённый рабочий стол на целевом компьютере. Скачайте файл rdp-cli для компьютера, на котором работает агент, и проверьте его в PowerShell:

.\rdp-cli.exe --help

Агент не обязан работать на компьютере Windows. Ему нужен только сетевой доступ к службе RDP.

2. Подключитесь, не раскрывая пароль

Передавайте пароль через стандартный ввод, а не в командной строке или истории shell:

$secret = Read-Host 'Password' -AsSecureString
try {
  [System.Net.NetworkCredential]::new('', $secret).Password |
    .\rdp-cli.exe connect --host 192.0.2.20 --user USER --password-stdin
} finally {
  $secret.Dispose()
}

Сохраните значение session, возвращённое в JSON. Следующие команды используют его для указания удалённого рабочего стола.

3. Сначала наблюдайте, потом действуйте

Не угадывайте координаты. Сначала снимите текущий экран:

.\rdp-cli.exe screenshot --session SESSION --out .\before.png

Агент анализирует изображение, находит нужный элемент и выполняет клик со значением observation из ответа:

.\rdp-cli.exe click --session SESSION --desktop --x 420 --y 260 --observation OBSERVATION

4. Проверяйте каждый важный шаг

После клика сделайте новый снимок перед вводом или отправкой данных:

.\rdp-cli.exe screenshot --session SESSION --out .\focused.png
.\rdp-cli.exe type --session SESSION --text "Remote task completed." --observation NEW_OBSERVATION
.\rdp-cli.exe screenshot --session SESSION --out .\after.png

Так можно обнаружить переместившееся окно, ещё загружающееся приложение или ошибочный клик. Отсутствие ошибки в команде ещё не означает успех.

5. Оставьте человеку возможность перехватить управление

Ту же сессию можно наблюдать в окне или браузере:

.\rdp-cli.exe watch --session SESSION --viewer window

Просмотр начинается в режиме только для чтения и позволяет поставить агента на паузу, взять управление и вернуть сессию. Для входа, диалогов подтверждения и необратимых действий нужен человек.

По возможности используйте RDP через частную сеть или VPN, храните учётные данные безопасно и настройте проверку сертификатов под свою среду. Практический принцип прост: наблюдать, действовать, проверять.