RDP / VNC / Android / X11 / Wayland

AI 에이전트로 컴퓨터와 Android 제어

원격 스크린샷, 키보드와 마우스 제어, 파일 전송, 클립보드, 오디오 및 다중 모니터 기능을 살펴보세요. 프로토콜별 지원 범위와 같은 세션의 제어권을 넘겨받는 방법을 안내합니다.

하나의 원격 데스크톱으로 작업의 시작부터 끝까지.

AI 에이전트가 원격 기기를 조작하고, 사람은 언제든 참여합니다.

로컬 뷰어 창을 열지 않고 RDP·VNC 데스크톱, X11 앱, Android를 조작하세요. 확인하거나 제어를 이어받을 때는 rdp-cli의 GUI 또는 웹 뷰어로 같은 세션에 참여할 수 있습니다.

운영체제와 CPU에 맞는 실행 파일 하나를 다운로드하세요. 아래 명령을 사용하기 전에 해당 파일의 지원 기능을 확인하세요.

필요한 영역만 확인

일부 영역이나 축소 이미지를 받아 이전 화면과 비교합니다. 변화가 없으면 이미지를 생략하며 좌표는 원격 화면과의 대응을 유지합니다.

화면 변화와 전송 완료 기다리기

지정 영역의 변화·안정 또는 연결·작업·파일 전송의 지정 상태를 기다립니다. 계속하기 전에 실제 결과도 확인하세요.

짧은 작업 묶음을 보내고 확인 지점에서 정지

에이전트가 결정한 동작을 묶고 새 관찰과 체크포인트를 넣습니다. 오류나 제어권 변경 시 후속 단계를 멈추며 이미 보낸 동작은 되돌리지 않습니다.

진행 상황을 기록하고 확인 후 이어가기

작업 진행, 체크포인트, 선택한 화면을 저장하고 로컬 보고서로 내보냅니다. 중단 후 완료 내용을 확인하고 결과를 모르는 동작을 반복하지 않은 채 새 단계로 진행합니다.

여러 에이전트와 사람 사이의 제어 인계

등록된 에이전트가 제어권을 명시적으로 넘깁니다. 사람은 GUI나 웹으로 제어를 이어받고 지정한 에이전트에 돌려줄 수 있습니다. 에이전트는 새 화면을 확인한 뒤 조작합니다.

에이전트 연결과 연결 문제 진단

실행 파일에 내장된 MCP 또는 CLI를 사용하세요. 자격 증명 참조를 포함한 연결 프로필을 저장하고 doctor로 연결 계층별 기능을 확인합니다.

휴대전화 기본 화면 또는 가상 화면 선택

지원되는 Android 기기에서 가상 화면을 명시적으로 만들고 앱을 실행합니다. 에이전트·GUI·웹이 같은 화면을 사용하며 앱 동작과 시스템 오디오 권한은 계속 적용됩니다.

시작하기 →
01

Agent가 작업하도록

대상 기기에 연결해 화면을 확인하고 한 번에 한 동작씩 실행합니다. 실제 결과를 확인한 뒤 다음 단계로 진행하세요.

RDP / VNC / X11 / Android

명령으로 원격 작업

화면 캡처, 클릭, 드래그, 스크롤, 텍스트와 단축키 입력을 지원합니다. Agent는 JSON 응답과 다음 화면으로 결과를 확인합니다. 입력 전송 성공만으로 앱의 작업 완료를 판단할 수 없습니다.

  • JSON 결과, 오류 코드, 작업 상태 조회와 이벤트 구독을 통해 Agent가 계속 진행할지, 기다릴지, 복구할지 판단합니다. 앱의 실제 결과는 새 스크린샷으로 확인합니다.

화면을 보고 해당 관찰 토큰으로 조작한 다음 다시 확인합니다.

시작하기
01 / 명령으로 작업
rdp-cli screenshot --session SESSION --out before.png

rdp-cli clipboard set --session SESSION \
  --text "결과: 보고서가 완성되어 검토할 수 있습니다." \
  --observation OBSERVATION

rdp-cli key --session SESSION \
  --keys CTRL+V --observation OBSERVATION

rdp-cli screenshot --session SESSION --out result.png

RDP / VNC / X11 / Android

RDP / VNC / Android / X11 / Wayland

rdp-cli는 AI 에이전트를 위한 무료 원격 접속 도구입니다. RDP·VNC 데스크톱, Android 휴대전화와 Linux X11 앱을 제어하고, 기존 RDP 또는 VNC 서버를 통해 Wayland에 접속합니다. 데스크톱 창이나 브라우저에서 같은 세션을 보고 언제든 직접 제어할 수 있습니다.

  • 데스크톱 앱을 조작하고 파일을 교환하세요. 원격 서버가 지원하면 오디오와 여러 디스플레이도 사용할 수 있습니다.
  • 기존 VNC 서버의 화면을 보고 조작하세요. 텍스트 클립보드 지원은 서버에 따라 다릅니다. VNC에서는 파일 전송, 오디오, 디스플레이 배치 변경을 지원하지 않습니다.
  • ADB의 USB 또는 Wi-Fi 연결로 Android 12 이상 휴대전화를 보고 제어하세요. 휴대전화의 디버깅 승인이 필요합니다. Pixel 3 / Android 12에서 테스트했으며 다른 기기의 호환성은 다를 수 있습니다.

ADB의 USB 또는 Wi-Fi 연결로 Android 12 이상 휴대전화를 보고 제어하세요. 휴대전화의 디버깅 승인이 필요합니다. Pixel 3 / Android 12에서 테스트했으며 다른 기기의 호환성은 다를 수 있습니다.

시작하기

Linux에서 Windows RDP에 연결하기 →

명령줄로 VNC에 연결하고 입력 확인하기 →

RDP / VNC / X11 / Android

여러 세션을 지속적으로

여러 연결을 유지하며 세션 ID로 대상을 지정합니다. 읽기 전용 창을 닫아도 연결은 유지됩니다. 재연결 시 이전 관찰은 무효화되고 입력은 중지되므로, 화면을 확인하고 명시적으로 재개합니다.

  • 명령이 끝나도 연결을 유지할 수 있습니다. 이후 명령은 세션 ID로 올바른 데스크톱을 지정합니다. 재연결 후에는 입력을 일시 정지하고 화면을 다시 확인합니다.

세션을 조회하고 필요 없는 연결만 종료합니다.

시작하기

RDP 연결과 검은 화면 및 입력 거부 문제 해결 →

02

지켜보고 직접 제어하기

창이나 허가된 브라우저에서 같은 세션을 봅니다. 일시 정지하고 직접 수정한 뒤 Agent에게 제어권을 돌려줍니다.

RDP / VNC / X11 / Android

보기, 중지, 제어 인계

에이전트는 기본적으로 헤드리스 모드로 작업합니다. 진행 상황을 보거나 직접 조작하려면 같은 세션을 데스크톱 창 또는 허가된 브라우저에서 여세요. Windows와 Mac은 시스템 컨트롤을 사용하며, Linux의 가벼운 인터페이스는 실행 파일에 포함됩니다. 인터페이스는 10개 언어를 지원하며 뷰어 창에서 밝은 테마와 어두운 테마를 선택할 수 있습니다. 제어권을 가져오면 에이전트 입력이 일시 중지되고, 돌려주면 에이전트가 최신 화면을 확인한 뒤 작업을 이어갑니다.

  • 새 뷰어도 기존 연결을 공유합니다. 여러 사람이 볼 수 있지만 동시에 조작하는 제어자는 한 명입니다. 사람이 제어권을 돌려주면 Agent는 바뀐 화면을 다시 확인합니다.

내용을 수정한 뒤 같은 세션을 Agent에게 돌려줍니다.

시작하기
실제 제어권 인계 보기

Agent가 원격 Windows의 LibreOffice Calc에서 보고서를 준비합니다. 사람이 브라우저로 검토한 뒤 제어권을 돌려줍니다.

  1. 에이전트 작업 관찰

    Agent가 보고서를 확인하고 검토 대기 메모를 남깁니다.

  2. 작업 일시 정지

    원격 입력을 일시 정지해도 보고서는 계속 보입니다.

  3. 제어권을 가져와 검토

    브라우저에서 제어권을 가져와 같은 통합 문서에 승인을 추가합니다.

  4. 제어권 반환 및 확인

    제어권을 반환하면 Agent가 검토한 통합 문서를 저장하고 가져옵니다.

저장된 통합 문서에는 Agent의 메모와 담당자의 승인이 모두 포함됩니다. 실제 파일을 다운로드하세요.

실제 결과 파일 다운로드 · XLSX (12.2 KB)

실제 결과 파일 다운로드 · XLSX (12.2 KB)

실행 중인 소프트웨어를 10개 언어와 두 가지 테마로 각각 촬영했습니다. 보고서에는 가상의 예제 데이터가 사용됩니다.

RDP / VNC / X11 / Android

진행 중인 세션을 한곳에서

Mac 메뉴 막대, Windows 트레이 또는 Linux 패널에서 세션을 관리하세요. 대상, 연결, 제어자, 현재·최근 동작, 파일 진행률과 오류를 확인할 수 있습니다. 지원되는 데스크톱에서는 아이콘이 Agent 활동을 알립니다. 뷰어 열기, 일시 정지, 선택한 세션 연결 종료도 가능합니다.

  • Mac에서는 이름이나 주소로 세션을 찾고 Windows에서는 트레이에서 선택합니다. 상태 메뉴에서 모든 세션을 한 번에 일시 정지할 수 있습니다. Linux에서는 검색 가능한 세션 패널을 사용하며, 데스크톱이 지원하면 상태 아이콘도 표시됩니다. 트레이가 없으면 presence show --panel 명령으로 패널을 열 수 있습니다.

원격 컴퓨터에 다시 로그인하지 않고 기존 세션을 엽니다. Linux 상태 아이콘은 데스크톱 지원에 따라 달라지며, presence show --panel로 패널을 바로 열 수 있습니다.

시작하기

RDP / VNC / X11 / Android

각 동작을 이해하기

데스크톱과 Web 뷰어에서 Agent 포인터, 왼쪽·오른쪽·가운데 클릭, 두 번 클릭, 드래그, 스크롤, 단축키와 입력 글자 수를 확인하세요. 파일 진행률은 별도로 표시되며 사람과 Agent의 작업을 구분합니다. 표시는 입력 본문을 반복해서 보여 주거나 스크린샷에 포함하지 않습니다. 원격 화면 자체를 가리지는 않습니다.

  • 키나 마우스 버튼을 누르고 있는 동안에도 동작과 파일 진행률을 별도로 표시합니다. 파일 패널을 닫아도 진행률이 보이며, 사람이 시작한 전송인지 Agent가 시작한 전송인지 구분합니다. 민감한 입력은 본문과 글자 수를 숨깁니다. 표시는 뷰어의 언어와 밝은·어두운 테마를 따르며, 원격 작업에 영향을 주지 않고 조절하거나 숨길 수 있습니다.

표시는 입력 동작을 알려 줍니다. 작업 완료 여부는 원격 환경의 실제 결과로 확인하세요.

시작하기

RDP / VNC / X11 / Android

기존 계정과 권한 사용

로컬 또는 도메인 계정으로 연결하고 지원되는 시스템 저장소에 자격 증명을 저장·참조합니다. 브라우저 자원 권한은 명시적으로 부여합니다. RDP 인증서 설정과 VNC 보안 모드의 범위는 다릅니다.

  • 자격 증명을 시스템 저장소에 보관하고 나중에 참조할 수 있습니다. 브라우저에 필요한 보기·제어·파일 권한만 부여하고 작업 후 접근 권한을 취소합니다.

보기 권한을 입력, 파일, 마이크 제어 권한과 분리합니다.

시작하기
03

전체 작업을 끝까지

여러 화면, 프로젝트 폴더 전송, 텍스트 교환과 원격 소리를 활용하고 완성된 결과물을 가져옵니다.

RDP

여러 화면에서 작업

다중 모니터를 협상한 RDP 세션에서 전체 또는 개별 화면을 캡처하고 화면 간 드래그를 합니다. 네이티브 화면별 창이나 브라우저 화면 전환을 이용합니다. 뷰어 크기 변경은 원격 화면 배치를 바꾸지 않습니다.

  • 화면별 캡처와 조작, 화면 사이 드래그를 지원합니다.
  • 기본 창에서는 화면별로 열고, 브라우저에서는 전환하거나 전체를 봅니다.
  • 내 컴퓨터가 단일 화면이어도 원격의 두 화면을 확인할 수 있습니다.

전체를 살피면서 특정 화면에 집중합니다.

시작하기

RDP / X11 / Android

파일과 폴더 교환

폴더 구조를 유지하며 파일과 폴더를 업로드하고 다운로드합니다. 전송별 진행 상황과 결과를 확인하고 필요하면 취소합니다. 같은 이름의 파일을 덮어쓸지 선택하고 전송 내용을 검증합니다.

보고서 폴더를 처리해 가져옵니다. 모든 원격 디스크를 탐색하는 기능은 아닙니다.

시작하기
  • RDP: 세션의 리디렉션 드라이브로 파일을 주고받습니다. 원격 정책에서 드라이브 리디렉션을 허용해야 합니다.
  • X11 / SSH: 서버의 기존 SFTP 서비스를 사용해 지정한 디렉터리 안에서 파일을 전송합니다. X11 →
  • Android: 휴대전화의 세션 폴더 안에서 파일을 전송합니다. VNC는 파일 전송을 제공하지 않습니다. Android →

RDP

  1. 업로드

    파일과 폴더 → 세션 교환 드라이브

  2. 원격 처리

    열기, 편집, 결과 저장

  3. 다운로드

    전송 진행과 완료 파일 확인

준비된 통합 문서 업로드 → 원격 Calc에서 수정 → 저장 → 다운로드. 내려받은 문서의 메모, 수식, 합계와 차트를 확인했습니다.

스프레드시트와 영상 작업 실례 보기 →

RDP 명령줄로 파일 업로드와 다운로드 →

RDP / VNC / X11 / Android

원격 텍스트 클립보드

텍스트를 명시적으로 읽거나 설정한 후 단축키로 붙여넣습니다. 로컬 클립보드와 자동 동기화하지 않습니다. RDP는 서버 정책, VNC는 협상한 인코딩에 따릅니다.

  • 원격 클립보드로 주소, 문단, 표 형태의 텍스트를 주고받습니다. 지원되는 문자는 type 명령으로 직접 입력하여 클립보드를 유지할 수 있습니다.

텍스트를 설정하고 CTRL+V를 보낸 다음 앱의 결과를 확인합니다.

시작하기

RDP

RDP 소리 출력과 마이크 입력을 각각 선택

RDP 소리 재생과 마이크를 각각 보기 장치, 원격 컴퓨터 또는 끄기로 설정합니다. 원격 컴퓨터의 오디오에는 해당 Windows rdp-cli 오디오 서비스가 필요합니다. 녹음은 명시적으로 시작하며 장치와 서버 정책에 따라 달라집니다.

  • 허가된 여러 뷰어에서 동시에 소리를 들을 수 있습니다.
  • 음성 입력이 필요하면 제어권을 가져온 뒤 마이크를 직접 켭니다.
  • 제어권 반환 또는 연결 종료 시 전송이 멈추며 다시 직접 켜야 합니다.

음성이 필요한 원격 작업에서 소리나 마이크 데이터가 잘못된 컴퓨터로 가지 않도록 미리 경로를 정합니다.

시작하기

RDP 소리와 마이크 위치 선택 →

Android · USB / Wi-Fi

AI 에이전트가 실제 Android 화면을 조작합니다.

USB 또는 Wi-Fi로 휴대폰을 연결하세요. 에이전트는 명령으로 화면 확인, 터치, 입력, 결과 수집을 수행하고, 사용자는 창이나 브라우저에서 같은 세션을 볼 수 있습니다.

Android 휴대전화 · USB / Wi-Fi →

Android 지원 다운로드: macOS · Apple silicon · macOS · Intel · Windows · x64 · Windows · x86 · Windows · ARM64 · Linux · x86_64 · Linux · ARM64

화면 확인 후 조작

실제 화면을 캡처하고 탭, 스와이프, 드래그, 두 손가락 제스처를 수행한 뒤 새 스크린샷으로 결과를 확인합니다.

텍스트, 파일, 앱

Unicode 텍스트를 명시적으로 붙여넣고 파일과 폴더를 전송하며 단일 APK 앱을 설치, 실행, 중지합니다.

사용자와 에이전트의 세션 공유

명령, 네이티브 창, 승인된 브라우저가 하나의 지속 세션을 공유합니다. 필요할 때 일시 중지하거나 제어권을 가져오세요.

지원 기준은 Android 12 이상입니다. 실기기 검증 대상은 Android 12를 실행하는 Google Pixel 3이며, 모든 제조사나 이후 Android 버전을 검증했다는 뜻은 아닙니다.

Android 휴대폰 연결 →

동작 범위

Linux · X11 / SSH · Wayland RDP / VNC

X11과 SSH로 AI 에이전트가 Linux 앱을 제어하는 방법

기존 Linux 데스크톱이나 단일 X11 앱에 연결하고, 화면 캡처와 입력 명령으로 작업한 뒤 파일을 가져오고 같은 세션을 사람이 이어받습니다.

다운로드: macOS · Apple siliconmacOS · IntelWindows · x64Windows · x86Windows · ARM64Linux · x86_64Linux · ARM64

에이전트와 사람이 같은 세션 사용하기

rdp-cli를 사용하면 AI 에이전트가 명령으로 Linux 앱 화면을 보고 조작할 수 있습니다. 화면을 캡처하고 관찰한 대상을 조작한 뒤 다음 화면으로 결과를 확인합니다. 사람은 네이티브 창이나 승인된 Web 뷰어를 열어 같은 세션을 관찰하거나 일시 정지하고 제어할 수 있습니다.

앱 하나 열기

예시는 rdp-cli에 내장된 격리된 표시 환경에서 기존 Gedit를 엽니다. 기본적으로 로컬 뷰어 창은 열지 않습니다. 응답의 data.session을 저장하여 아래 SESSION에 사용하세요. 평소 Wayland 데스크톱을 사용하는 호스트에서도 X11 호환 앱은 이 방식으로 전달할 수 있습니다.

기존 X11 데스크톱에 연결하기

실제 display와 기존 인증 파일 경로를 지정합니다. SSH 계정에 해당 display 접근 권한이 있어야 하며 SSH 인증 성공만으로 데스크톱 권한을 얻는 것은 아닙니다. 이 모드는 기존 데스크톱에 연결하고 새 로그인 세션을 만들지 않습니다.

진행 중인 세션을 한곳에서
작업에 맞는 프로토콜 선택. · X11
기능X11
화면 캡처, 키보드와 마우스지원
텍스트 클립보드서버 정책 및 기능에 따라 다름
파일과 폴더서버 정책 및 기능에 따라 다름
소리와 마이크지원하지 않음
요청한 다중 모니터 배치지원하지 않음

네이티브 X11은 오디오 재생이나 마이크 리디렉션을 제공하지 않습니다. 전체 Wayland 데스크톱에는 이미 설정된 호환 RDP 또는 VNC 엔드포인트가 필요하며 실제로 협상된 기능을 사용합니다. rdp-cli는 원격 서비스를 설치하거나 활성화하지 않습니다. 표시 연결이 끊기면 앱이 종료될 수 있으므로 먼저 저장하세요. 자동 재시작이나 작업 공간 보존을 가정하면 안 됩니다.

시작하기 →

X11과 SSH로 AI 에이전트가 Linux 앱을 제어하는 방법 →

원격 작업에서 실제 결과 파일까지

실제로 완료한 두 가지 작업입니다. Agent가 Mac의 rdp-cli 명령으로 RDP를 통해 Windows 11 앱을 조작하고 완성된 파일을 가져왔습니다.

LibreOffice Calc · RDP

보고서를 수정하고 통합 문서 가져오기

  1. rdp-cli files upload

    12개월의 예시 데이터, 차트와 합계가 포함된 준비된 통합 문서를 업로드합니다.

  2. rdp-cli screenshot → click / type / key

    원격 Calc에서 열고 rdp-cli로 완료 메모를 붙여넣은 뒤 저장합니다.

  3. rdp-cli files download

    XLSX를 저장하고 가져와 차트와 합계를 확인합니다. 요청 15,230건, 해결 14,933건, 목표 충족 14,140건입니다.

Shotcut · RDP

영상 프로젝트를 내보내고 MP4 가져오기

  1. rdp-cli files upload

    직접 제작한 애니메이션과 준비된 4초 Shotcut 프로젝트를 업로드합니다.

  2. rdp-cli screenshot → click / type / key

    원격 Shotcut에서 프로젝트를 열고 화면에서 MP4 내보내기를 시작합니다.

  3. rdp-cli files download

    MP4로 내보내고 가져옵니다. 24 fps, 96프레임, 960 × 540 해상도와 전송 체크섬 일치를 확인합니다.

2026년 10월 20일 실행 중인 앱에서 10개 언어와 밝은·어두운 테마로 촬영했습니다. 데이터는 가상이며 애니메이션은 직접 제작했습니다. 성능 벤치마크가 아닌 작업 예시입니다.

작업에 맞는 프로토콜 선택.

RDP와 VNC는 명령 흐름을 공유합니다. 아래 표는 두 원격 데스크톱 프로토콜을 비교하며, 추가 기능은 프로토콜과 서버에 따라 달라집니다.

기능RDPVNC
화면 캡처, 키보드와 마우스지원지원
텍스트 클립보드서버 정책 및 기능에 따라 다름협상된 문자 인코딩에 따라 다름
파일과 폴더서버 정책 및 기능에 따라 다름지원하지 않음
소리와 마이크서버 정책 및 기능에 따라 다름지원하지 않음
요청한 다중 모니터 배치서버 정책 및 기능에 따라 다름지원하지 않음

VNC 보안은 선택한 모드에 따라 달라집니다. 기존 VNC는 암호화되지 않으므로 신뢰할 수 있는 네트워크나 VPN을 사용하세요. VeNCrypt X509Plain은 TLS와 인증서 검증을 사용합니다.

브라우저 보기와 제어는 LAN 또는 VPN에서 사용합니다.