Как использовать автоматизацию RDP с Codex

Codex может спланировать задачу, но сам по себе не видит и не нажимает элементы на рабочем столе Windows. С rdp-cli он может подключиться к RDP-сеансу, получать снимки экрана, выполнять контролируемый ввод, передавать файлы и проверять результат.

Подключайтесь безопасно

Не сохраняйте пароль в запросе или истории команд.

$pw = Read-Host "RDP password"
$connection = $pw | .\rdp-cli.exe connect --host 192.0.2.20 --user USER --password-stdin | ConvertFrom-Json
$session = $connection.data.session

Сохраните полученный идентификатор сеанса.

Сначала наблюдайте, потом вводите данные

Перед каждым важным действием делайте новый снимок экрана.

$shot = .\rdp-cli.exe screenshot --session $session --out .\before.png | ConvertFrom-Json
$observation = $shot.data.observation

Пусть Codex проверит самое свежее изображение. После каждого клика или ввода делайте новый снимок и используйте последнюю observation. Не применяйте координаты со старого экрана.

Передавайте файлы напрямую

.\rdp-cli.exe files upload --session $session --local .\sales.xlsx --path sales.xlsx
.\rdp-cli.exe files download --session $session --path report.xlsx --local .\report.xlsx

Проверьте результат передачи и наличие итогового файла.

Оставьте возможность ручного управления

.\rdp-cli.exe watch --session $session --viewer window
.\rdp-cli.exe pause --session $session

При неожиданных диалогах, запросах входа или опасных действиях поставьте сеанс на паузу. Последний снимок экрана и итоговый файл подтверждают успешное завершение задачи.