rdp-cli

Автоматизация рабочего стола ИИ-агентом: снимки экрана и ввод по RDP

Версия и платформа: 0.1.2 · Windows / macOS · RDP

Начните с подключённого сеанса

Подключитесь по инструкции для Mac и используйте data.session из JSON-ответа. Агент работает командами и не обязан открывать локальное окно просмотра. Человек может открыть его, когда захочет увидеть ход работы.

Наблюдайте перед действием

Сделайте снимок экрана и прочитайте data.observation. Подставьте это значение вместо OBSERVATION. Координаты ниже показывают только синтаксис: нужную точку выбирайте по своему снимку. После переподключения, смены управления или конфигурации экранов получите новое наблюдение.

В Windows PowerShell перейдите в папку с исполняемым файлом и замените rdp-cli в примерах на .\rdp-cli.exe.

Для примера Calc нужны LibreOffice Calc на удалённом Windows и перенаправление дисков RDP. Скачайте пример книги как service-activity.xlsx. Загрузите её, сохраните data.transfer_id как TRANSFER_ID и дождитесь completed. Откройте файл с перенаправленного диска в удалённом Calc и выберите A20. Полное руководство Calc описывает книгу и ожидаемый результат.

rdp-cli files upload --session SESSION --local ./service-activity.xlsx --path service-activity.xlsx
rdp-cli files status --session SESSION --transfer-id TRANSFER_ID
rdp-cli screenshot --session SESSION --out before.png
rdp-cli click --session SESSION --desktop --x 420 --y 315 --observation OBSERVATION

Введите текст и проверьте результат

В этом примере откройте подготовленную книгу в удалённом Calc и выберите A20. Проверьте свежий снимок и используйте его токен наблюдения. Вставьте отметку, сохраните файл кнопкой приложения и проверьте результат на экране.

Используйте data.observation из ответа для before.png как OBSERVATION. После щелчка проверьте clipboard-ready.png и возьмите новый data.observation как NEW_OBSERVATION. Затем убедитесь по result.png, что текст появился. Успешный ответ команды не доказывает, что приложение приняло ввод.

Выберите уникальный PASTE_REQUEST для этой вставки и сохраните его с ответом. При тайм-ауте запросите состояние по тому же ID. Не повторяйте вставку с новым ID до проверки экрана.

PNG data.observation
note-focused.png FOCUSED_OBSERVATION
clipboard-ready.png NEW_OBSERVATION
rdp-cli screenshot --session SESSION --out note-focused.png
rdp-cli clipboard set --session SESSION --text "Результат: отчёт готов к проверке." --observation FOCUSED_OBSERVATION
rdp-cli screenshot --session SESSION --out clipboard-ready.png
rdp-cli key --session SESSION --keys CTRL+V --observation NEW_OBSERVATION --request-id PASTE_REQUEST
rdp-cli screenshot --session SESSION --out result.png

Отчёт в удалённом Calc, сохранённый после вставки отметки о завершении через rdp-cli.

В примере Calc использованы вымышленные данные сервиса. Готовые книги ниже соответствуют языку и теме снимков экрана.

Скачать результат, соответствующий снимкам: Светлая тема · Тёмная тема

Отчёт в удалённом Calc, сохранённый после вставки отметки о завершении через rdp-cli.

Открыть исходный снимок — Светлое ↗ · Открыть исходный снимок — Тёмное ↗

Не повторяйте действие, пока результат неизвестен

При тайм-ауте ввод уже мог быть отправлен. Сначала проверьте операцию по возвращённому REQUEST_ID, затем снова посмотрите на экран. Повторяйте нажатие «Сохранить» или «Отправить», только если состояние этого требует. Если наблюдение устарело, получите новый снимок; не переключайтесь автоматически на управление локальной мышью.

rdp-cli operations status --session SESSION --request-id PASTE_REQUEST

Сохраняйте проверяемый результат

Сохраняйте необходимые статусы и снимки, учитывая возможное наличие конфиденциальных данных. Человек может открыть тот же сеанс, приостановить его и взять управление. После возврата управления агент проверяет текущий экран и лишь затем продолжает. Для файлов в RDP предусмотрены отдельные команды загрузки, проверки хода операции и скачивания.

Связанные статьи

Начните на своём удалённом рабочем столе

Скачать rdp-cli · Открыть руководство для своей платформы

Связанные руководства

Расширенные команды rdp-cli

Сначала выполните rdp-cli --version. Для команд ниже требуется agent_execution.contract_version, равный 1. В более ранних сборках можно продолжать использовать описанные выше отдельные действия.

Замените параметры в верхнем регистре фактическими возвращёнными значениями. В Windows PowerShell используйте .\rdp-cli.exe из папки программы; в macOS и Linux — установленную команду или фактический путь к файлу.

Смотрите нужную область

Запрашивайте фрагмент экрана или уменьшенное изображение. Сравнивайте с предыдущим наблюдением и не получайте изображение повторно, если ничего не изменилось. Координаты сохраняют связь с удалённым экраном.

Ждите изменений или завершения передачи

Ожидайте изменения или стабилизации области либо заданного состояния подключения, операции или передачи файла. Перед продолжением проверяйте реальный результат.

Короткая последовательность с остановкой для проверки

Объединяйте выбранные агентом действия, добавляйте наблюдение и останавливайтесь на контрольной точке. Ошибка или смена управления прекращает последующие шаги; отправленные действия не откатываются.

Сохраняйте прогресс и продолжайте после проверки

Записывайте ход задачи, контрольные точки и выбранные изображения, экспортируйте локальный отчёт. После прерывания проверяйте выполненное и отправляйте новые шаги, не повторяя действий с неизвестным результатом.

Передайте приведённый ниже JSON команде batch через стандартный ввод. В этом примере выполняется только наблюдение и остановка в контрольной точке. Просмотрите текущее изображение, прежде чем добавлять действия ввода. Подставьте в TASK_ID идентификатор из ответа tasks create, чтобы записать пакет действий в ту же задачу.

rdp-cli screenshot --session SESSION --max-width 640
rdp-cli screenshot --session SESSION --region X,Y,WIDTH,HEIGHT --max-width 640
rdp-cli wait --session SESSION --condition changed --region X,Y,WIDTH,HEIGHT --timeout-ms 10000
rdp-cli tasks create --session SESSION --title "Review result"
rdp-cli batch --session SESSION --task TASK_ID --steps-stdin --request-id UNIQUE_REQUEST_ID
{"version":1,"steps":[{"id":"look","command":"observe","arguments":{"max-width":640}},{"id":"review","command":"checkpoint"}]}