화면 확인 후 조작
실제 화면을 캡처하고 탭, 스와이프, 드래그, 두 손가락 제스처를 수행한 뒤 새 스크린샷으로 결과를 확인합니다.
rdp-cli
한 번 연결하고 화면을 보고 조작한 뒤 확인합니다. 로컬 창은 선택 사항입니다.
rdp-cli 작동 방식 보기
rdp-cli는 Windows, macOS, Linux에서 실행됩니다. 에이전트는 뷰어를 열지 않고 연결하여 스크린샷을 읽고, 마우스와 키보드를 조작하며, 파일을 주고받습니다. 사람은 GUI나 웹 뷰어로 같은 세션에 참여해 제어를 넘겨받을 수 있습니다.
단계별 연결 방법 →작업별 명령 찾기 →Windows에서 mstsc는 기본 원격 데스크톱 앱을 엽니다. desktop.example.net을 원격 컴퓨터 주소로 바꾼 뒤 창에서 로그인하세요.
mstsc /v:desktop.example.net내 컴퓨터에서 시작
rdp-cli를 실행할 컴퓨터를 선택하고
에이전트에게 원격 작업 도구를 준비해 주세요.
ARM 프로세서를 사용하는 Windows 10 또는 11에서는 ARM64를 선택하세요. Intel 또는 AMD 프로세서에서는 64비트 Windows용 x64, 32비트 Windows용 x86을 선택하세요. 해당 rdp-cli.exe를 다운로드한 후 PowerShell에서 실행하세요.
각 아키텍처에 맞는 단일 EXE 파일을 별도로 제공합니다.
rdp-cli.exe Windows ≥ 7 · 64비트 rdp-cli.exe Windows ≥ 7 · 32비트 rdp-cli.exe Windows 10 / 11 · ARM64 .\rdp-cli.exe --help대상 컴퓨터에서 RDP를 켜고 192.0.2.20과 USER를 바꾸세요. 숨김 프롬프트로 입력한 암호는 표준 입력으로 전달됩니다. JSON 응답의 data.session을 저장하세요.
$secret = Read-Host '암호' -AsSecureString
$savedEncoding = $OutputEncoding
try {
$OutputEncoding = [System.Text.UTF8Encoding]::new($false)
[System.Net.NetworkCredential]::new('', $secret).Password |
.\rdp-cli.exe connect --host 192.0.2.20 --user USER --password-stdin
} finally {
$OutputEncoding = $savedEncoding
$secret.Dispose()
}SESSION을 연결 결과로 바꾸고 before.png에서 대상 앱과 입력 위치를 확인하세요. 스크린샷 응답의 data.observation을 저장합니다.
.\rdp-cli.exe screenshot --session SESSION --out ./before.png이미지에서 입력 위치를 찾고 X, Y, OBSERVATION을 바꾸세요. 클릭 후 다시 캡처하고 새 observation으로 입력합니다. after.png에서 실제 결과를 확인하세요.
.\rdp-cli.exe click --session SESSION --desktop --x X --y Y --observation OBSERVATION
.\rdp-cli.exe screenshot --session SESSION --out ./focused.png
.\rdp-cli.exe type --session SESSION --text "원격 작업이 완료되었습니다." --observation NEW_OBSERVATION
.\rdp-cli.exe screenshot --session SESSION --out ./after.png필요할 때 기존 세션을 창이나 브라우저로 엽니다. 처음에는 읽기 전용입니다. 뷰어에서 중지, 인계, 반환하고 인계나 재연결 후에는 새 관찰을 얻습니다.
.\rdp-cli.exe watch --session SESSION --viewer window
.\rdp-cli.exe watch --session SESSION --viewer webrdp-cli를 응용 프로그램 폴더로 옮기고 macOS 터미널(zsh)에서 아래 명령을 실행합니다.
Mac 칩에 맞는 DMG를 선택하세요. Apple silicon은 macOS 13 이상, Intel은 macOS 12 이상이 대상입니다. 각 버전의 제공 여부는 다운로드 페이지에서 확인하세요.
/Applications/rdp-cli.app/Contents/MacOS/rdp-cli install-cli
rdp-cli --help대상 컴퓨터에서 RDP를 켜고 192.0.2.20과 USER를 바꾸세요. 숨김 프롬프트로 입력한 암호는 표준 입력으로 전달됩니다. JSON 응답의 data.session을 저장하세요.
read -r -s "rdp_password?암호: "
printf '\n'
printf '%s' "$rdp_password" | rdp-cli connect --host 192.0.2.20 --user USER --password-stdin
unset rdp_passwordSESSION을 연결 결과로 바꾸고 before.png에서 대상 앱과 입력 위치를 확인하세요. 스크린샷 응답의 data.observation을 저장합니다.
rdp-cli screenshot --session SESSION --out ./before.png이미지에서 입력 위치를 찾고 X, Y, OBSERVATION을 바꾸세요. 클릭 후 다시 캡처하고 새 observation으로 입력합니다. after.png에서 실제 결과를 확인하세요.
rdp-cli click --session SESSION --desktop --x X --y Y --observation OBSERVATION
rdp-cli screenshot --session SESSION --out ./focused.png
rdp-cli type --session SESSION --text "원격 작업이 완료되었습니다." --observation NEW_OBSERVATION
rdp-cli screenshot --session SESSION --out ./after.png필요할 때 기존 세션을 창이나 브라우저로 엽니다. 처음에는 읽기 전용입니다. 뷰어에서 중지, 인계, 반환하고 인계나 재연결 후에는 새 관찰을 얻습니다.
rdp-cli watch --session SESSION --viewer window
rdp-cli watch --session SESSION --viewer webLinux x86_64 파일을 다운로드하고 실행 권한을 부여한 뒤 터미널에서 실행하세요. 관리자 권한은 필요하지 않습니다.
x86_64 다운로드는 아래 Linux 시스템용입니다. 다른 시스템 버전의 호환성은 확인되지 않았습니다.
chmod u+x ./rdp-cli-linux-x86_64
./rdp-cli-linux-x86_64 --help대상 컴퓨터에서 RDP를 켜고 192.0.2.20과 USER를 바꾸세요. 숨김 프롬프트로 입력한 암호는 표준 입력으로 전달됩니다. JSON 응답의 data.session을 저장하세요.
IFS= read -r -s -p '암호: ' rdp_password
printf '\n'
printf '%s' "$rdp_password" | ./rdp-cli-linux-x86_64 connect --host 192.0.2.20 --user USER --password-stdin
unset rdp_passwordSESSION을 연결 결과로 바꾸고 before.png에서 대상 앱과 입력 위치를 확인하세요. 스크린샷 응답의 data.observation을 저장합니다.
./rdp-cli-linux-x86_64 screenshot --session SESSION --out ./before.png이미지에서 입력 위치를 찾고 X, Y, OBSERVATION을 바꾸세요. 클릭 후 다시 캡처하고 새 observation으로 입력합니다. after.png에서 실제 결과를 확인하세요.
./rdp-cli-linux-x86_64 click --session SESSION --desktop --x X --y Y --observation OBSERVATION
./rdp-cli-linux-x86_64 screenshot --session SESSION --out ./focused.png
./rdp-cli-linux-x86_64 type --session SESSION --text "원격 작업이 완료되었습니다." --observation NEW_OBSERVATION
./rdp-cli-linux-x86_64 screenshot --session SESSION --out ./after.png필요할 때 기존 세션을 창이나 브라우저로 엽니다. 처음에는 읽기 전용입니다. 뷰어에서 중지, 인계, 반환하고 인계나 재연결 후에는 새 관찰을 얻습니다.
./rdp-cli-linux-x86_64 watch --session SESSION --viewer window
./rdp-cli-linux-x86_64 watch --session SESSION --viewer web64비트 ARM Linux용 Linux ARM64 파일을 다운로드하고 실행 권한을 부여한 뒤 일반 사용자로 실행하세요.
하나의 정적 ARM64 ELF가 명시된 Linux 시스템, Raspberry Pi 4, DGX Spark를 지원합니다. 32비트 Raspberry Pi OS는 지원하지 않습니다.
rdp-cli-linux-arm64 aarch64 · 64비트 chmod u+x ./rdp-cli-linux-arm64
./rdp-cli-linux-arm64 --help대상 컴퓨터에서 RDP를 켜고 192.0.2.20과 USER를 바꾸세요. 숨김 프롬프트로 입력한 암호는 표준 입력으로 전달됩니다. JSON 응답의 data.session을 저장하세요.
IFS= read -r -s -p '암호: ' rdp_password
printf '\n'
printf '%s' "$rdp_password" | ./rdp-cli-linux-arm64 connect --host 192.0.2.20 --user USER --password-stdin
unset rdp_passwordSESSION을 연결 결과로 바꾸고 before.png에서 대상 앱과 입력 위치를 확인하세요. 스크린샷 응답의 data.observation을 저장합니다.
./rdp-cli-linux-arm64 screenshot --session SESSION --out ./before.png이미지에서 입력 위치를 찾고 X, Y, OBSERVATION을 바꾸세요. 클릭 후 다시 캡처하고 새 observation으로 입력합니다. after.png에서 실제 결과를 확인하세요.
./rdp-cli-linux-arm64 click --session SESSION --desktop --x X --y Y --observation OBSERVATION
./rdp-cli-linux-arm64 screenshot --session SESSION --out ./focused.png
./rdp-cli-linux-arm64 type --session SESSION --text "원격 작업이 완료되었습니다." --observation NEW_OBSERVATION
./rdp-cli-linux-arm64 screenshot --session SESSION --out ./after.png필요할 때 기존 세션을 창이나 브라우저로 엽니다. 처음에는 읽기 전용입니다. 뷰어에서 중지, 인계, 반환하고 인계나 재연결 후에는 새 관찰을 얻습니다.
./rdp-cli-linux-arm64 watch --session SESSION --viewer window
./rdp-cli-linux-arm64 watch --session SESSION --viewer web예시 주소와 값을 실제 값으로 바꾸세요. 응답의 session과 observation을 사용하고, 입력 후 새 스크린샷으로 결과를 확인하세요.
VNC
접근 권한이 있고 연결 가능한 VNC 서버의 호스트와 포트를 입력하세요. 이 예시는 기존 VNC 비밀번호 인증을 사용하며 암호화되지 않으므로 신뢰할 수 있는 LAN 또는 VPN에서 사용하세요. 비밀번호를 표준 입력으로 전달하고 입력을 종료합니다. 응답의 data.session을 SESSION으로 저장하세요. Windows PowerShell에서는 rdp-cli 대신 .\rdp-cli.exe를, PATH가 없는 Linux에서는 다운로드한 실행 파일 경로를 사용하세요.
rdp-cli connect --protocol vnc --host 192.0.2.20 --port 5900 --password-stdin before.png를 열어 실제 좌표를 선택하고 응답의 data.observation을 OBSERVATION으로 사용하세요. 동작 후 다시 캡처해 결과를 확인하세요. 전체 연결 예시와 서버별 조건은 VNC 가이드를 참고하세요.
rdp-cli screenshot --session SESSION --out before.png
rdp-cli click --session SESSION --desktop --x X --y Y --observation OBSERVATION
rdp-cli screenshot --session SESSION --out after.png 명령줄로 VNC에 연결하고 입력 확인하기 → Android · USB / Wi-Fi
USB 또는 Wi-Fi로 휴대폰을 연결하세요. 에이전트는 명령으로 화면 확인, 터치, 입력, 결과 수집을 수행하고, 사용자는 창이나 브라우저에서 같은 세션을 볼 수 있습니다.
Android 지원 다운로드: macOS · Apple silicon · macOS · Intel · Windows · x64 · Windows · x86 · Windows · ARM64 · Linux · x86_64 · Linux · ARM64
실제 화면을 캡처하고 탭, 스와이프, 드래그, 두 손가락 제스처를 수행한 뒤 새 스크린샷으로 결과를 확인합니다.
Unicode 텍스트를 명시적으로 붙여넣고 파일과 폴더를 전송하며 단일 APK 앱을 설치, 실행, 중지합니다.
명령, 네이티브 창, 승인된 브라우저가 하나의 지속 세션을 공유합니다. 필요할 때 일시 중지하거나 제어권을 가져오세요.
지원 기준은 Android 12 이상입니다. 실기기 검증 대상은 Android 12를 실행하는 Google Pixel 3이며, 모든 제조사나 이후 Android 버전을 검증했다는 뜻은 아닙니다.
DEVICE_SERIAL, SESSION, OBSERVATION, PHONE_IP 및 두 포트를 실제 값으로 바꾸세요. connect의 data.session과 매 스크린샷의 data.observation을 사용합니다. wifi:PHONE_GUID는 반환된 wifi: 기기 ID로 바꾸세요. PHONE_REF에는 이 컴퓨터에 페어링 정보를 저장할 이름을 정합니다. 입력 안내가 나오면 현재의 6자리 코드를 입력하세요. 명령이 표준 입력으로 전달합니다.
검색 결과의 기기 ID를 명시적으로 선택하세요. 연결만으로 창이나 오디오가 켜지지 않습니다.
rdp-cli android devices
rdp-cli connect --protocol adb --device usb:DEVICE_SERIAL --transport usbbefore.png를 보고 해당 좌표와 관찰값으로 조작한 뒤 after.png에서 앱의 실제 결과를 확인하세요.
rdp-cli screenshot --session SESSION --out before.png
rdp-cli android touch --session SESSION --kind tap --x 300 --y 900 --observation OBSERVATION
rdp-cli screenshot --session SESSION --out after.pngWi-Fi는 USB를 대신하는 연결 방식입니다. 같은 휴대전화에 USB 세션이 있다면 먼저 disconnect --session SESSION을 실행하세요. 페어링한 다음 반환된 기기 ID와 현재 연결 포트로 연결합니다. 새 data.session을 저장하고 입력 전에 화면을 다시 캡처하세요.
printf '%s' '페어링 코드: '
IFS= read -r -s rdp_pair_code
printf '\n'
printf '%s' "$rdp_pair_code" | rdp-cli android pair --host PHONE_IP --port PAIR_PORT --code-stdin --save-device-auth PHONE_REF
unset rdp_pair_code
rdp-cli connect --protocol adb --device wifi:PHONE_GUID --transport wifi --host PHONE_IP --port CONNECT_PORT --device-auth-ref PHONE_REF휴대폰 오디오를 끄고 연결을 종료합니다. 전송 완료 파일과 사용자 설치 앱은 휴대폰에 남습니다.
rdp-cli audio android --session SESSION --source off
rdp-cli disconnect --session SESSION검색 결과의 기기 ID를 명시적으로 선택하세요. 연결만으로 창이나 오디오가 켜지지 않습니다.
.\rdp-cli.exe android devices
.\rdp-cli.exe connect --protocol adb --device usb:DEVICE_SERIAL --transport usbbefore.png를 보고 해당 좌표와 관찰값으로 조작한 뒤 after.png에서 앱의 실제 결과를 확인하세요.
.\rdp-cli.exe screenshot --session SESSION --out before.png
.\rdp-cli.exe android touch --session SESSION --kind tap --x 300 --y 900 --observation OBSERVATION
.\rdp-cli.exe screenshot --session SESSION --out after.pngWi-Fi는 USB를 대신하는 연결 방식입니다. 같은 휴대전화에 USB 세션이 있다면 먼저 disconnect --session SESSION을 실행하세요. 페어링한 다음 반환된 기기 ID와 현재 연결 포트로 연결합니다. 새 data.session을 저장하고 입력 전에 화면을 다시 캡처하세요.
$pairingCode = Read-Host '페어링 코드' -AsSecureString
try {
[System.Net.NetworkCredential]::new('', $pairingCode).Password |
.\rdp-cli.exe android pair --host PHONE_IP --port PAIR_PORT --code-stdin --save-device-auth PHONE_REF
} finally {
$pairingCode.Dispose()
}
.\rdp-cli.exe connect --protocol adb --device wifi:PHONE_GUID --transport wifi --host PHONE_IP --port CONNECT_PORT --device-auth-ref PHONE_REF휴대폰 오디오를 끄고 연결을 종료합니다. 전송 완료 파일과 사용자 설치 앱은 휴대폰에 남습니다.
.\rdp-cli.exe audio android --session SESSION --source off
.\rdp-cli.exe disconnect --session SESSION연결하고 화면을 확인한 뒤 짧은 작업 순서를 보내고 결과를 검증하세요. 세션 ID를 보관하고 사람이 제어를 돌려주면 새 화면을 확인하세요.
운영체제와 CPU에 맞는 실행 파일 하나를 다운로드하세요. 아래 명령을 사용하기 전에 해당 파일의 지원 기능을 확인하세요.
일부 영역이나 축소 이미지를 받아 이전 화면과 비교합니다. 변화가 없으면 이미지를 생략하며 좌표는 원격 화면과의 대응을 유지합니다.
지정 영역의 변화·안정 또는 연결·작업·파일 전송의 지정 상태를 기다립니다. 계속하기 전에 실제 결과도 확인하세요.
에이전트가 결정한 동작을 묶고 새 관찰과 체크포인트를 넣습니다. 오류나 제어권 변경 시 후속 단계를 멈추며 이미 보낸 동작은 되돌리지 않습니다.
작업 진행, 체크포인트, 선택한 화면을 저장하고 로컬 보고서로 내보냅니다. 중단 후 완료 내용을 확인하고 결과를 모르는 동작을 반복하지 않은 채 새 단계로 진행합니다.
등록된 에이전트가 제어권을 명시적으로 넘깁니다. 사람은 GUI나 웹으로 제어를 이어받고 지정한 에이전트에 돌려줄 수 있습니다. 에이전트는 새 화면을 확인한 뒤 조작합니다.
실행 파일에 내장된 MCP 또는 CLI를 사용하세요. 자격 증명 참조를 포함한 연결 프로필을 저장하고 doctor로 연결 계층별 기능을 확인합니다.
지원되는 Android 기기에서 가상 화면을 명시적으로 만들고 앱을 실행합니다. 에이전트·GUI·웹이 같은 화면을 사용하며 앱 동작과 시스템 오디오 권한은 계속 적용됩니다.
.\rdp-cli.exe --version
.\rdp-cli.exe --help-json.\rdp-cli.exe screenshot --session SESSION --max-width 640
.\rdp-cli.exe screenshot --session SESSION --region X,Y,WIDTH,HEIGHT --max-width 640.\rdp-cli.exe wait --session SESSION --condition changed --region X,Y,WIDTH,HEIGHT --timeout-ms 10000.\rdp-cli.exe doctor --session SESSION.\rdp-cli.exe mcp stdio rdp-cli --version
rdp-cli --help-jsonrdp-cli screenshot --session SESSION --max-width 640
rdp-cli screenshot --session SESSION --region X,Y,WIDTH,HEIGHT --max-width 640rdp-cli wait --session SESSION --condition changed --region X,Y,WIDTH,HEIGHT --timeout-ms 10000rdp-cli doctor --session SESSIONrdp-cli mcp stdio Linux · X11 / SSH · Wayland RDP / VNC
기존 Linux 데스크톱이나 단일 X11 앱에 연결하고, 화면 캡처와 입력 명령으로 작업한 뒤 파일을 가져오고 같은 세션을 사람이 이어받습니다.
다운로드: macOS · Apple siliconmacOS · IntelWindows · x64Windows · x86Windows · ARM64Linux · x86_64Linux · ARM64
연결 전에 원격에서 읽고 쓸 수 있는 기존 디렉터리를 FILE_ROOT로 지정하세요. 데스크톱 모드의 DISPLAY와 XAUTHORITY는 대상 사용자가 로그인한 그래픽 세션 안에서 연 터미널에서 확인합니다. SSH 터미널 값은 다를 수 있습니다. 비어 있으면 데스크톱 소유자나 관리자에게 확인하세요.
rdp-cli를 사용하면 AI 에이전트가 명령으로 Linux 앱 화면을 보고 조작할 수 있습니다. 화면을 캡처하고 관찰한 대상을 조작한 뒤 다음 화면으로 결과를 확인합니다. 사람은 네이티브 창이나 승인된 Web 뷰어를 열어 같은 세션을 관찰하거나 일시 정지하고 제어할 수 있습니다.
Linux 컴퓨터에는 기존 SSH 접속과 설치된 X11 호환 앱이 있어야 합니다. 예시 주소, 계정, 개인 키 경로와 별도로 확인한 known-hosts 파일을 바꾸세요. Windows PowerShell에서는 rdp-cli 대신 .\rdp-cli.exe를 사용합니다. --version의 embedded_ssh, x11_desktop, x11_application이 모두 true인지 확인하세요.
예시는 rdp-cli에 내장된 격리된 표시 환경에서 기존 Gedit를 엽니다. 기본적으로 로컬 뷰어 창은 열지 않습니다. 응답의 data.session을 저장하여 아래 SESSION에 사용하세요. 평소 Wayland 데스크톱을 사용하는 호스트에서도 X11 호환 앱은 이 방식으로 전달할 수 있습니다.
rdp-cli connect --protocol x11 --mode application --host 192.0.2.20 --user USER --ssh-key PRIVATE_KEY --ssh-known-hosts KNOWN_HOSTS --linux-file-root FILE_ROOT --application /usr/bin/gedit --app-args '["--standalone","--new-window"]'
실제 display와 기존 인증 파일 경로를 지정합니다. SSH 계정에 해당 display 접근 권한이 있어야 하며 SSH 인증 성공만으로 데스크톱 권한을 얻는 것은 아닙니다. 이 모드는 기존 데스크톱에 연결하고 새 로그인 세션을 만들지 않습니다.
rdp-cli connect --protocol x11 --mode desktop --host 192.0.2.20 --user USER --ssh-key PRIVATE_KEY --ssh-known-hosts KNOWN_HOSTS --linux-file-root FILE_ROOT --display DISPLAY --xauthority XAUTHORITY_PATH
반환된 PNG를 확인하고 data.observation을 저장합니다. X와 Y를 화면의 실제 좌표로 바꿉니다. 입력란에 포커스를 둔 뒤 다시 캡처하여 새 토큰을 사용하세요. 명시적 클립보드 입력은 원격 클립보드를 바꾸며 로컬 클립보드는 바꾸지 않습니다. 입력 응답은 전송만 확인하므로 이후 화면에서 결과를 확인하세요.
rdp-cli screenshot --session SESSION --out before.png
rdp-cli click --session SESSION --x X --y Y --observation OBSERVATION
rdp-cli screenshot --session SESSION --out focused.png
rdp-cli linux text --session SESSION --method clipboard --text '검토가 완료되었습니다.' --observation OBSERVATION
rdp-cli screenshot --session SESSION --out after.png
업로드 결과의 remote_path를 Linux 앱에서 열어 편집하고 저장한 뒤 결과를 다운로드합니다. 각 transfer_id를 보관하고 completed 상태를 기다리세요. 전송 전에 저장하고 같은 이름의 기존 파일은 기본적으로 덮어쓰지 않습니다. 오류가 발생하면 무작정 반복하지 말고 작업 상태를 확인하세요.
FILE_ROOT를 이 SSH 계정이 읽고 쓸 수 있는 기존 원격 디렉터리로 바꾸세요. 파일 명령은 해당 디렉터리 안에서만 작동합니다. 경로를 지정해도 디렉터리가 생성되거나 권한이 추가되지는 않습니다.
rdp-cli files list --session SESSION
rdp-cli files upload --session SESSION --local ./report.txt --path report.txt
rdp-cli files status --session SESSION --transfer-id UPLOAD_TRANSFER
rdp-cli files download --session SESSION --path report.txt --local ./result.txt
rdp-cli files status --session SESSION --transfer-id DOWNLOAD_TRANSFER
보고 싶을 때 뷰어를 엽니다. 처음에는 읽기 전용입니다. 제어권을 가져오면 에이전트 입력이 멈추고 수정 후 제어권을 돌려주면 같은 작업을 계속할 수 있습니다. 승인된 Web 뷰어도 같은 세션에 참여하며 한 번에 하나의 뷰어만 사람의 제어권을 가집니다. 읽기 전용 뷰어를 닫아도 백엔드 연결은 유지됩니다.
rdp-cli watch --session SESSION --viewer window
네이티브 X11은 오디오 재생이나 마이크 리디렉션을 제공하지 않습니다. 전체 Wayland 데스크톱에는 이미 설정된 호환 RDP 또는 VNC 엔드포인트가 필요하며 실제로 협상된 기능을 사용합니다. rdp-cli는 원격 서비스를 설치하거나 활성화하지 않습니다. 표시 연결이 끊기면 앱이 종료될 수 있으므로 먼저 저장하세요. 자동 재시작이나 작업 공간 보존을 가정하면 안 됩니다.
Wayland 문자 입력은 기존 서버에 따라 달라집니다. GNOME 46 및 Krfb 23.08은 일부 Unicode 키를 매핑하지 못할 수 있으므로 입력 결과를 확인하세요. 명시적 클립보드 붙여넣기는 해당 연결 대상에서 실제로 작동할 때 사용하세요. Plasma Wayland의 Krfb는 클립보드 지원을 알리면서도 내용을 앱에 전달하지 않을 수 있습니다. 복잡한 입력이나 빠른 연속 작업은 작은 단계로 나누고 다음 스크린샷을 확인하세요.
실제 테스트한 데스크톱 연결 대상: Ubuntu 24.04.5 · GNOME 46 / GNOME Remote Desktop 46.3; KDE Plasma 5.27.12 / Krfb 23.08.5.
rdp-cli를 사용하면 AI 에이전트가 명령으로 Linux 앱 화면을 보고 조작할 수 있습니다. 화면을 캡처하고 관찰한 대상을 조작한 뒤 다음 화면으로 결과를 확인합니다. 사람은 네이티브 창이나 승인된 Web 뷰어를 열어 같은 세션을 관찰하거나 일시 정지하고 제어할 수 있습니다.
Linux 컴퓨터에는 기존 SSH 접속과 설치된 X11 호환 앱이 있어야 합니다. 예시 주소, 계정, 개인 키 경로와 별도로 확인한 known-hosts 파일을 바꾸세요. Windows PowerShell에서는 rdp-cli 대신 .\rdp-cli.exe를 사용합니다. --version의 embedded_ssh, x11_desktop, x11_application이 모두 true인지 확인하세요.
예시는 rdp-cli에 내장된 격리된 표시 환경에서 기존 Gedit를 엽니다. 기본적으로 로컬 뷰어 창은 열지 않습니다. 응답의 data.session을 저장하여 아래 SESSION에 사용하세요. 평소 Wayland 데스크톱을 사용하는 호스트에서도 X11 호환 앱은 이 방식으로 전달할 수 있습니다.
.\rdp-cli.exe connect --protocol x11 --mode application --host 192.0.2.20 --user USER --ssh-key PRIVATE_KEY --ssh-known-hosts KNOWN_HOSTS --linux-file-root FILE_ROOT --application /usr/bin/gedit --app-args '["--standalone","--new-window"]'
실제 display와 기존 인증 파일 경로를 지정합니다. SSH 계정에 해당 display 접근 권한이 있어야 하며 SSH 인증 성공만으로 데스크톱 권한을 얻는 것은 아닙니다. 이 모드는 기존 데스크톱에 연결하고 새 로그인 세션을 만들지 않습니다.
.\rdp-cli.exe connect --protocol x11 --mode desktop --host 192.0.2.20 --user USER --ssh-key PRIVATE_KEY --ssh-known-hosts KNOWN_HOSTS --linux-file-root FILE_ROOT --display DISPLAY --xauthority XAUTHORITY_PATH
반환된 PNG를 확인하고 data.observation을 저장합니다. X와 Y를 화면의 실제 좌표로 바꿉니다. 입력란에 포커스를 둔 뒤 다시 캡처하여 새 토큰을 사용하세요. 명시적 클립보드 입력은 원격 클립보드를 바꾸며 로컬 클립보드는 바꾸지 않습니다. 입력 응답은 전송만 확인하므로 이후 화면에서 결과를 확인하세요.
.\rdp-cli.exe screenshot --session SESSION --out before.png
.\rdp-cli.exe click --session SESSION --x X --y Y --observation OBSERVATION
.\rdp-cli.exe screenshot --session SESSION --out focused.png
.\rdp-cli.exe linux text --session SESSION --method clipboard --text '검토가 완료되었습니다.' --observation OBSERVATION
.\rdp-cli.exe screenshot --session SESSION --out after.png
업로드 결과의 remote_path를 Linux 앱에서 열어 편집하고 저장한 뒤 결과를 다운로드합니다. 각 transfer_id를 보관하고 completed 상태를 기다리세요. 전송 전에 저장하고 같은 이름의 기존 파일은 기본적으로 덮어쓰지 않습니다. 오류가 발생하면 무작정 반복하지 말고 작업 상태를 확인하세요.
FILE_ROOT를 이 SSH 계정이 읽고 쓸 수 있는 기존 원격 디렉터리로 바꾸세요. 파일 명령은 해당 디렉터리 안에서만 작동합니다. 경로를 지정해도 디렉터리가 생성되거나 권한이 추가되지는 않습니다.
.\rdp-cli.exe files list --session SESSION
.\rdp-cli.exe files upload --session SESSION --local ./report.txt --path report.txt
.\rdp-cli.exe files status --session SESSION --transfer-id UPLOAD_TRANSFER
.\rdp-cli.exe files download --session SESSION --path report.txt --local ./result.txt
.\rdp-cli.exe files status --session SESSION --transfer-id DOWNLOAD_TRANSFER
보고 싶을 때 뷰어를 엽니다. 처음에는 읽기 전용입니다. 제어권을 가져오면 에이전트 입력이 멈추고 수정 후 제어권을 돌려주면 같은 작업을 계속할 수 있습니다. 승인된 Web 뷰어도 같은 세션에 참여하며 한 번에 하나의 뷰어만 사람의 제어권을 가집니다. 읽기 전용 뷰어를 닫아도 백엔드 연결은 유지됩니다.
.\rdp-cli.exe watch --session SESSION --viewer window
네이티브 X11은 오디오 재생이나 마이크 리디렉션을 제공하지 않습니다. 전체 Wayland 데스크톱에는 이미 설정된 호환 RDP 또는 VNC 엔드포인트가 필요하며 실제로 협상된 기능을 사용합니다. rdp-cli는 원격 서비스를 설치하거나 활성화하지 않습니다. 표시 연결이 끊기면 앱이 종료될 수 있으므로 먼저 저장하세요. 자동 재시작이나 작업 공간 보존을 가정하면 안 됩니다.
Wayland 문자 입력은 기존 서버에 따라 달라집니다. GNOME 46 및 Krfb 23.08은 일부 Unicode 키를 매핑하지 못할 수 있으므로 입력 결과를 확인하세요. 명시적 클립보드 붙여넣기는 해당 연결 대상에서 실제로 작동할 때 사용하세요. Plasma Wayland의 Krfb는 클립보드 지원을 알리면서도 내용을 앱에 전달하지 않을 수 있습니다. 복잡한 입력이나 빠른 연속 작업은 작은 단계로 나누고 다음 스크린샷을 확인하세요.
실제 테스트한 데스크톱 연결 대상: Ubuntu 24.04.5 · GNOME 46 / GNOME Remote Desktop 46.3; KDE Plasma 5.27.12 / Krfb 23.08.5.
프로그램 경로, 허가된 대상이나 세션, 원하는 결과를 전달하세요. 선택 사항인 rdp-cli-agent 스킬에 흐름이 있으며 SKILL.md를 직접 읽을 수 있습니다. 연결에 스킬 설치가 필수는 아닙니다.
rdp-cli-agent / SKILL.md ↓RDP 인증서 정책의 초기값은 호환성을 위한 ignore입니다. connect --help를 확인하고 환경에 맞게 검증을 설정하세요. 웹사이트는 세션을 중계하거나 암호를 수집하지 않습니다. 브라우저는 LAN/VPN 용이며 VNC에는 신뢰할 수 있는 네트워크가 필요합니다.