rdp-cli

AI 에이전트는 코드를 작성할 수 있습니다. 실제 데스크톱도 사용할 수 있을까요? Computer Use Agent 가이드

코딩 에이전트는 파일을 수정하고 테스트를 실행하며 Pull Request를 만들 수 있습니다. 하지만 실제 업무의 많은 부분은 여전히 그래픽 애플리케이션 안에서 진행됩니다.

Excel, ERP, 회계 프로그램, PDF 도구, 레거시 Windows 프로그램, Android 앱이 대표적인 예입니다.

그렇다면 AI 에이전트가 채팅 창이나 터미널에만 머무르지 않고 실제 데스크톱을 제어할 수 있을까요?

가능합니다. computer use agent는 화면을 읽고, 버튼을 클릭하고, 텍스트를 입력하고, 대화 상자를 처리하고, 결과를 확인할 수 있습니다. rdp-cli를 사용하면 로컬 컴퓨터를 점유하지 않고 인증된 RDP, VNC, X11 또는 Android 세션을 제어할 수 있습니다.

Computer Use Agent란 무엇인가요?

Computer use agent는 API나 명령줄에만 의존하지 않고 그래픽 인터페이스를 통해 소프트웨어를 조작합니다.

스크린샷 읽기, 버튼 클릭, 폼 입력, 창 스크롤, 키보드 단축키 사용, 파일 대화 상자 열기, 화면 결과 확인이 가능합니다.

기본 흐름은 화면 관찰, 한 번의 동작, 새 스크린샷, 결과 확인입니다. AI 모델은 추론을 담당하고 rdp-cli는 원격 세션과 데스크톱 제어를 담당합니다.

왜 실제 데스크톱이 필요한가요?

API와 MCP 도구는 애플리케이션이 구조화된 작업을 제공할 때 적합합니다. 그러나 많은 데스크톱 작업은 API에 없는 창, 포커스, 경고, 메뉴, 파일 대화 상자에 의존합니다.

에이전트는 Windows 애플리케이션을 열고, 로그인하고, 값을 선택하고, 경고를 확인하고, 보고서를 내보내고, 결과 파일이 생성되었는지 확인해야 할 수 있습니다.

rdp-cli의 역할: 빠진 세션 계층

각 계층의 역할은 다릅니다.

계층 주요 역할 해결하지 않는 문제
모델 자체 Computer Use 스크린샷을 이해하고 동작을 선택 원격 연결, 세션 소유권, 사람에게 제어권 전달
RPA 미리 정의된 선택자와 흐름 실행 유연한 시각적 추론과 원격 세션 수명주기
MCP 클라이언트 데스크톱 동작을 도구로 노출 전체 원격 세션 수명주기
rdp-cli 원격 세션 연결, 유지, 공유 AI 추론과 작업 계획

모델 자체 Computer Use는 추론 계층입니다. RPA는 안정적이고 반복적인 작업에 적합합니다. MCP는 에이전트와 도구를 연결하지만, 원격 세션을 만들고 유지하고 공유하고 사람에게 돌려주는 방법 자체를 정의하지는 않습니다.

rdp-cli는 세션 계층입니다. 이미 존재하는 인증된 환경에 에이전트를 연결하고, 에이전트와 사람이 같은 세션에서 작업하도록 합니다.

rdp-cli는 다음을 제공합니다.

  • RDP, VNC, X11, Android 연결
  • 올바른 원격 데스크톱을 찾기 위한 세션 ID
  • 로컬 Viewer 없이 실행하는 headless 작업
  • 스크린샷과 observation 기반 입력
  • 지원되는 프로토콜의 파일 전송
  • 상태 대기와 결과 확인
  • 같은 세션을 여는 GUI 또는 Web Viewer
  • 일시 정지, 사람의 takeover, 에이전트로 제어권 반환

rdp-cli는 RDP, VNC, X11, Android ADB에서 세션 중심의 CLI 모델을 사용합니다. 연결마다 고유한 세션 ID가 있으며, 핵심은 서로 다른 대상에서도 일관된 제어 방식을 사용할 수 있다는 점입니다.

AI GUI 자동화는 어떻게 작동하나요?

입력을 보내기 전에 에이전트는 항상 최신 스크린샷을 가져와야 합니다. 대상을 찾고 현재 observation으로 한 번의 동작을 보낸 뒤 다시 스크린샷을 찍어 결과를 확인합니다.

입력이 전송되었다고 해서 애플리케이션의 작업이 끝난 것은 아닙니다. Save를 누른 뒤에는 확인 메시지, 새 레코드 번호, 상태 변경, 변경된 행 또는 생성된 파일을 확인해야 합니다.

자세한 내용은 rdp-cli 명령 문서를 참고하세요.

어떤 환경을 제어할 수 있나요?

RDP를 사용하면 레거시 ERP, 회계 프로그램, 창고 시스템, Excel, PDF 도구, 사내 애플리케이션, 데스크톱 테스트와 설치 프로그램을 자동화할 수 있습니다.

X11로 지원되는 Linux GUI 애플리케이션을 제어하고, VNC로 기존 VNC 데스크톱을 제어하며, ADB로 USB 또는 Wi-Fi를 통해 인증된 Android 기기를 제어할 수 있습니다.

빠른 시작 가이드를 확인하세요.

내 컴퓨터를 점유하지 않고 실행할 수 있나요?

가능합니다. 에이전트는 별도의 원격 세션에서 작업합니다. 확인이나 개입이 필요할 때만 GUI 또는 인증된 Web Viewer로 같은 세션을 열면 됩니다.

예상하지 못한 상태가 되면 입력을 일시 정지하고, 사람이 제어하고, 데스크톱을 수정한 뒤, 제어권을 돌려주고 새 스크린샷을 요청해야 합니다. 같은 원격 세션을 보고 멈추고 직접 제어하기를 참고하세요.

rdp-cli가 하지 않는 일

rdp-cli는 AI 모델을 제공하지 않고, 다음 동작을 결정하지 않으며, 원격 컴퓨터를 자동으로 만들지 않습니다. 인증된 장치, 필요한 자격 증명, 스크린샷을 읽고 명령을 실행할 수 있는 AI 에이전트가 필요합니다.

기능은 프로토콜과 서버 설정에 따라 달라집니다. rdp-cli는 단위 테스트, API 테스트 또는 백엔드 검증을 대체하지 않습니다.

FAQ

Computer use agent란 무엇인가요?

스크린샷, 마우스, 키보드, 시각적 검증으로 그래픽 인터페이스를 조작하는 AI 시스템입니다.

AI 에이전트가 Windows 데스크톱 애플리케이션을 제어할 수 있나요?

예. 인증된 RDP 세션을 통해 API나 SDK가 없는 레거시 애플리케이션도 제어할 수 있습니다.

rdp-cli에 AI 에이전트가 포함되어 있나요?

아니요. rdp-cli는 원격 세션, 스크린샷, 입력, 파일 전송과 제어권 전달을 제공합니다. 추론은 선택한 AI 에이전트가 담당합니다.

MCP가 필수인가요?

아니요. rdp-cli CLI만으로 세션을 제어할 수 있습니다. MCP를 지원하는 에이전트는 사용 가능한 MCP 인터페이스도 사용할 수 있습니다.

결론

rdp-cli의 고유한 역할은 AI 추론이나 고정된 RPA 흐름이 아닙니다. 에이전트와 실제 원격 환경 사이를 연결하는 세션 계층입니다.

rdp-cli 다운로드하고 실제 업무가 이루어지는 데스크톱 워크플로를 AI 에이전트에 맡겨 보세요.