Один сеанс для агента и человека
rdp-cli позволяет ИИ-агенту видеть приложение Linux и управлять им командами. Агент получает снимок, действует по увиденному и проверяет следующий снимок. Вы можете открыть собственное окно просмотра или авторизованный веб-интерфейс, чтобы наблюдать, приостановить ввод или принять управление тем же сеансом.
Подготовьте разрешённое подключение
На компьютере Linux уже должны быть доступ по SSH и установленное X11-совместимое приложение. Замените адрес, пользователя, путь к закрытому ключу и независимо проверенный файл known-hosts. В Windows PowerShell используйте .\rdp-cli.exe вместо rdp-cli. Убедитесь, что --version возвращает true для embedded_ssh, x11_desktop и x11_application.
Откройте отдельное приложение
Пример запускает уже установленный Gedit на изолированном экране, встроенном в rdp-cli. Локальное окно просмотра автоматически не открывается. Сохраните data.session из ответа как SESSION. На узле с обычным рабочим столом Wayland также можно перенаправить X11-совместимое приложение таким способом.
rdp-cli connect --protocol x11 --mode application --host 192.0.2.20 --user USER --ssh-key PRIVATE_KEY --ssh-known-hosts KNOWN_HOSTS --linux-file-root FILE_ROOT --application /usr/bin/gedit --app-args '["--standalone","--new-window"]'
Или подключите существующий рабочий стол X11
Укажите действительный display и путь к существующему файлу авторизации. Учётной записи SSH нужен доступ к этому display: успешная аутентификация SSH сама по себе не даёт доступа к рабочему столу. Режим подключает существующий рабочий стол, а не создаёт новый сеанс входа.
rdp-cli connect --protocol x11 --mode desktop --host 192.0.2.20 --user USER --ssh-key PRIVATE_KEY --ssh-known-hosts KNOWN_HOSTS --linux-file-root FILE_ROOT --display DISPLAY --xauthority XAUTHORITY_PATH
Наблюдайте, действуйте и проверяйте
Откройте полученный PNG и сохраните data.observation. Замените X и Y действительными координатами изображения. После выбора поля сделайте новый снимок и используйте новый токен. Явный метод вставки заменяет удалённый буфер обмена, не меняя локальный. Ответ подтверждает отправку ввода, поэтому затем проверьте видимый результат.
rdp-cli screenshot --session SESSION --out before.png
rdp-cli click --session SESSION --x X --y Y --observation OBSERVATION
rdp-cli screenshot --session SESSION --out focused.png
rdp-cli linux text --session SESSION --method clipboard --text 'Проверка завершена.' --observation OBSERVATION
rdp-cli screenshot --session SESSION --out after.png
Заберите полученные файлы
Откройте remote_path из результата загрузки в приложении Linux, отредактируйте и сохраните файл, затем скачайте результат. Сохраняйте каждый transfer_id и ждите completed перед использованием файла. Сначала сохраните файл; существующие имена по умолчанию не перезаписываются. При ошибке проверьте состояние задачи, прежде чем повторять передачу.
Замените FILE_ROOT на существующий удалённый каталог, доступный этой учётной записи SSH для чтения и записи. Файловые команды работают только внутри этого каталога; указание пути не создаёт каталог и не добавляет прав.
rdp-cli files list --session SESSION
rdp-cli files upload --session SESSION --local ./report.txt --path report.txt
rdp-cli files status --session SESSION --transfer-id UPLOAD_TRANSFER
rdp-cli files download --session SESSION --path report.txt --local ./result.txt
rdp-cli files status --session SESSION --transfer-id DOWNLOAD_TRANSFER
Передайте управление человеку
Открывайте просмотр, когда хотите наблюдать. Сначала он доступен только для чтения. Принятие управления останавливает ввод агента; после исправления верните управление, чтобы продолжить ту же задачу. Авторизованный веб-просмотр использует тот же сеанс. Право ручного управления одновременно принадлежит только одному просмотру. Закрытие просмотра только для чтения не разрывает подключение.
rdp-cli watch --session SESSION --viewer window
Учитывайте границы протокола
Нативный X11 не перенаправляет воспроизведение звука или микрофон. Для всего рабочего стола Wayland нужна уже настроенная совместимая конечная точка RDP или VNC с фактически согласованными возможностями. rdp-cli не устанавливает и не включает удалённые службы. Приложение может завершиться при разрыве соединения с экраном: сначала сохраните работу и не рассчитывайте на автоматический перезапуск или сохранённое рабочее пространство.
Ввод текста в Wayland зависит от существующего сервера. GNOME 46 и Krfb 23.08 могут не распознавать некоторые клавиши Unicode — проверяйте результат. Явную вставку из буфера используйте только там, где она действительно работает: Krfb в Plasma Wayland может заявлять поддержку буфера, не передавая текст приложениям. Сложный ввод и быстрые последовательности разбивайте на небольшие шаги и проверяйте следующий снимок.
Проверенные точки рабочего стола: Ubuntu 24.04.5 · GNOME 46 / GNOME Remote Desktop 46.3; KDE Plasma 5.27.12 / Krfb 23.08.5.