RDP или VNC для ИИ-агентов

ИИ-агенту недостаточно просто подключиться к удалённому компьютеру. Он должен видеть рабочий стол, выполнить действие, проверить результат и восстановиться после ошибки. Поэтому выбор между RDP и VNC напрямую влияет на надёжность автоматизации.

Короткий ответ

Выбирайте RDP, если агент должен автоматизировать Windows, обрабатывать документы, работать с несколькими мониторами или передавать файлы.

Выбирайте VNC, если агент должен управлять уже открытым рабочим столом именно так, как его видит человек.

Когда лучше выбрать RDP

RDP обычно является практичным вариантом для автоматизации Windows:

приложения Office и другие программы рабочего стола;
обработка документов и создание отчётов;
воспроизводимые удалённые сеансы;
сценарии с несколькими мониторами;
задачи, в которых агент должен вернуть готовые файлы.

С помощью rdp-cli агент может подключиться к Windows, открыть таблицу, создать отчёт, сохранить его и скачать результат. Это надёжнее, чем управлять диалогами выбора файлов через серию кликов.

Когда подходит VNC

VNC удобен, когда источником истины является текущий рабочий стол:

приложение уже открыто;
пользователь и агент должны видеть один и тот же экран;
вы поддерживаете Linux-приложение или старый графический интерфейс;
действие зависит от того, что видно прямо сейчас.

Недостаток в том, что агент сильнее зависит от состояния VNC-сервера. Медленное обновление или блокирующее окно могут привести к действию по устаревшему изображению.

Надёжный сценарий с rdp-cli

Не давайте агенту выполнять длинную цепочку кликов вслепую. Используйте цикл:

снимите текущий экран;
дайте агенту его проверить;
выполните одно контролируемое действие;
снова снимите экран;
проверьте результат перед следующим шагом.

./rdp-cli.exe screenshot --session $session --out ./before.png
./rdp-cli.exe screenshot --session $session --out ./after.png
./rdp-cli.exe files upload --session $session --local ./input.xlsx --path input.xlsx
./rdp-cli.exe files download --session $session --path report.xlsx --local ./report.xlsx

Если агент попал на неожиданный экран, сначала наблюдайте за сеансом, затем поставьте его на паузу и возьмите управление на себя:

./rdp-cli.exe watch --session $session --viewer window
./rdp-cli.exe pause --session $session

Простое правило выбора

Используйте RDP для автоматизации Windows, документов, нескольких мониторов и повторяемых задач с файлами.

Используйте VNC для уже открытых сеансов, совместной работы человека и агента и приложений, которыми нужно управлять точно по изображению на экране.

Протокол — только слой подключения. Надёжность даёт цикл: свежий снимок, одно действие, новый снимок, проверенный результат.