AI 에이전트의 Computer Use란 무엇인가? 실용적인 데스크톱 자동화 가이드

rdp-cli

2026년 10월 23일

Computer Use란 무엇인가

Computer Use는 AI 에이전트가 화면을 읽고, 버튼을 클릭하고, 텍스트를 입력하고, 애플리케이션을 열고, 결과를 확인하는 기능입니다.

사용할 만한 API가 없는 데스크톱 애플리케이션에 의존하는 작업에서 유용합니다. 동영상 편집, 스프레드시트 검토, 레거시 소프트웨어 조작, 파일 관리, Android 앱 사용을 앱별 맞춤 연동 없이 수행할 수 있습니다.

rdp-cli 같은 도구는 AI 에이전트를 RDP와 VNC 데스크톱, Android 12 이상 기기에 연결합니다. 사람은 같은 세션을 보고 일시 중지하거나 필요한 순간 직접 조작할 수 있습니다.

신뢰할 수 있는 방식: 관찰, 동작, 확인

Computer Use는 확인 없이 클릭을 길게 이어 가는 방식이 아닙니다. 다음의 짧은 피드백 루프를 반복해야 합니다.

현재 화면을 캡처합니다.
다음 대상을 찾습니다.
작은 동작 하나를 실행합니다.
화면을 다시 캡처합니다.
실제 결과를 확인한 뒤 계속합니다.

예를 들어 원격 데스크톱을 다음과 같이 확인할 수 있습니다.

rdp-cli screenshot --session SESSION --out before.png

입력 필드나 버튼을 찾은 뒤 클릭하고 입력합니다.

rdp-cli click --session SESSION --desktop \
  --x X --y Y --observation OBSERVATION

rdp-cli type --session SESSION \
  --text "Remote task completed." \
  --observation NEW_OBSERVATION

동작 후의 스크린샷이 핵심입니다. 창이 바뀌었는지, 오류가 나타났는지, 입력이 적용됐는지를 확인할 수 있습니다. 화면이 예상과 다르면 추가 클릭을 하지 말고 멈춰서 확인해야 합니다.

실용적인 사용 사례

데스크톱 앱. 동영상 편집기에 클립을 가져오고, 자르고, MP4로 내보낸 뒤 결과 파일이 있는지 확인합니다.

스프레드시트. 통합 문서를 열고 실제 값과 목표를 비교한 다음 그래프, 수식, 추가 기능을 유지한 보고서를 만듭니다.

파일 작업. 원본 파일을 원격 작업 공간으로 보내 처리하고, 완성된 보고서·동영상·문서를 다시 가져옵니다.

Android 조작. USB 또는 Wi-Fi로 지원되는 기기에 연결해 API가 없는 앱에서 탭, 입력, 파일 작업을 수행합니다.

사람에게 통제권을 남겨 두기

게시, 파일 삭제, 메시지 전송, 구매 확인 같은 작업은 사람의 승인을 거치게 하는 편이 안전합니다. 에이전트는 반복 작업을 처리하고, 사람은 같은 세션을 확인하다가 필요하면 입력을 멈추고 직접 조작한 뒤 세션을 돌려줄 수 있습니다.

실패를 줄이는 네 가지 규칙

작고 확인 가능한 동작으로 나눕니다.
중요한 단계 전후에 스크린샷을 남깁니다.
비밀번호와 API 키를 프롬프트나 글에 넣지 않습니다.
예상하지 못한 대화 상자, 로그인 화면, 오류가 나오면 멈춥니다.

안정적인 API가 있다면 API를 먼저 사용하세요. Computer Use는 그래픽 화면, 레거시 프로그램, 여러 기존 앱을 연결해야 하는 작업에서 가장 유용합니다.