rdp-cli

AI 에이전트 휴대폰 제어: 에이전트에게 실제 Android 휴대폰을 제공하세요

채팅창은 질문에 답하고 코드를 작성하며 Android 앱 사용법을 설명할 수 있습니다. 하지만 버튼을 누르거나 권한 대화상자를 확인하거나 실제 휴대폰에서 어떤 결과가 발생했는지 검증할 수는 없습니다.

실제로 작업을 수행하는 AI 에이전트에는 대화 기능만이 아니라 작업이 실행되는 기기에 대한 제어된 접근이 필요합니다.

rdp-cli를 사용하면 AI 에이전트가 ADB를 통해 USB 또는 Wi-Fi로 인증된 Android 휴대폰을 제어할 수 있습니다. 실시간 화면을 확인하고, 터치와 텍스트를 입력하고, 파일을 전송하며, 필요할 때 사람이 같은 세션을 이어받을 수 있습니다.

AI 에이전트 휴대폰 제어란 무엇인가요?

AI 에이전트 휴대폰 제어는 AI 에이전트가 실제 Android 기기를 조작할 수 있도록 제어 인터페이스를 제공하는 방식입니다.

에이전트는 설명만 생성하는 것이 아니라 다음 작업을 수행할 수 있습니다.

  • 현재 Android 화면 확인
  • 다음 컨트롤 식별
  • 탭, 스와이프, 텍스트 입력
  • 앱 응답 대기
  • 새 스크린샷 캡처
  • 화면 결과 검증
  • 필요할 때 일시 중지하고 사람의 검토 요청

기본 흐름은 다음과 같습니다.

휴대폰 관찰
→ 한 번의 동작 수행
→ 새 스크린샷 캡처
→ 결과 검증

대상 작업이 API가 아니라 모바일 앱 안에 존재할 때 특히 유용합니다.

채팅창만으로 부족한 이유

많은 Android 작업은 화면 상태에 따라 달라집니다.

모바일 앱을 테스트할 때 에이전트는 다음을 확인해야 할 수 있습니다.

  • 올바른 로그인 화면이 나타나는지
  • 권한 요청이 열리는지
  • 버튼이 활성화되어 있는지
  • 양식이 입력을 받는지
  • 경고 창이 나타나는지
  • 파일이 생성되는지
  • 워크플로가 마지막 화면에 도달하는지

텍스트 응답만으로는 이런 결과를 증명할 수 없습니다. 백엔드 요청이 성공해도 앱이 오류 상태에 있거나, 포커스를 잃거나, 로딩 화면에 멈출 수 있습니다.

실제 휴대폰을 사용하면 화면 크기, Android 버전, 권한과 제조사별 차이도 확인할 수 있습니다.

rdp-cli의 역할

rdp-cli는 AI 에이전트 휴대폰 제어를 위한 세션 계층입니다. 인증된 Android 기기에 연결하고 화면, 입력, 파일과 세션을 관리합니다.

역할은 분리됩니다.

  • AI 모델이 다음 행동을 판단합니다.
  • rdp-cli가 기기에 연결하고 제어합니다.
  • Android 휴대폰이 대상 앱을 실행합니다.
  • 스크린샷이 결과를 확인할 수 있는 증거가 됩니다.

rdp-cli에는 AI 모델이 포함되어 있지 않습니다. 별도의 MCP 서버도 필수는 아닙니다. 에이전트에 맞춰 CLI 또는 rdp-cli의 내장 MCP 인터페이스를 사용할 수 있습니다.

구체적인 연결 명령은 USB 또는 Wi-Fi로 Android 휴대폰 제어하기를 참고하세요.

Android 자동화 AI 에이전트로 할 수 있는 일

실제 Android 앱 테스트

앱을 실행하고 테스트 데이터를 입력하고 워크플로를 수행한 뒤, 예상한 화면 상태에 도달하지 못한 지점을 보고할 수 있습니다.

로그인, 결제 테스트, 내부 업무 앱, 양식 검증, 권한 처리와 오류 메시지 확인에 사용할 수 있습니다.

모바일 전용 업무 도구 조작

내부 시스템이 Android 앱으로만 제공되는 경우 에이전트는 실제 사용자가 보는 화면을 조작할 수 있습니다. 통제된 데이터를 입력하고 상태를 확인하고 완료 화면을 기록할 수 있습니다.

테스트 파일과 결과 전송

입력 파일이나 결과 파일이 필요한 작업에서는 지원되는 Android 세션을 통해 파일을 업로드하고 다운로드할 수 있습니다.

파일 접근은 세션이 제공하는 경로를 따르며, 모든 앱 전용 디렉터리에 대한 무제한 접근을 의미하지 않습니다.

Android 가상 디스플레이 사용

지원되는 기기에서는 세션 전용 가상 디스플레이를 만들고 앱을 실행할 수 있습니다. 자세한 내용은 AI 에이전트를 위한 Android 가상 디스플레이 자동화를 참고하세요.

최신 스크린샷이 필요한 이유

입력 명령이 전송되었다고 해서 작업이 완료된 것은 아닙니다.

에이전트는 행동 전에 화면을 캡처하고, 최신 observation으로 하나의 동작을 수행한 다음, 다시 화면을 캡처해야 합니다. 재연결, 제어권 변경 또는 사람의 인계 후에도 새 화면을 확인해야 합니다.

이 방식은 잘못된 필드에 입력하거나, 예상하지 못한 대화상자 뒤에 계속 진행하거나, 오래된 좌표를 재사용하는 문제를 줄여 줍니다.

스크린샷, 입력, 파일과 세션 명령은 rdp-cli 명령 참고서에서 확인할 수 있습니다.

사람의 인계가 필요한 순간

보안 확인, 일회성 승인, 파괴적인 작업, 예상하지 못한 화면, 기기 인증 또는 식별할 수 없는 컨트롤이 나타나면 사람이 판단해야 합니다.

rdp-cli에서는 GUI 또는 인증된 Web Viewer로 같은 세션을 열고, 에이전트 입력을 일시 중지한 뒤 휴대폰을 직접 수정하고 다시 에이전트에게 제어권을 돌려줄 수 있습니다.

제어권이 바뀐 뒤에는 에이전트가 새 스크린샷을 캡처해야 합니다.

요구 사항과 제한

필요한 항목은 Android 12 이상 기기, USB 디버깅 또는 무선 디버깅, ADB 인증, 대상 앱, Windows·macOS·Linux용 rdp-cli, 안정적인 USB 또는 Wi-Fi 연결입니다.

Android 12 이상이 현재 지원 기준입니다. Android 12의 Google Pixel 3에서 검증되었으며 모든 제조사나 이후 버전의 호환성을 보장하지는 않습니다.

보안 화면은 캡처를 제한할 수 있고, 앱 동작은 기기에 따라 달라질 수 있습니다. GUI 제어는 앱 테스트나 백엔드 검증을 대체하지 않습니다.

자주 묻는 질문

AI 에이전트가 API 없이 Android를 제어할 수 있나요?

네. 스크린샷, 터치 입력과 텍스트 입력을 사용해 Android GUI를 조작할 수 있습니다.

rdp-cli에 MCP가 필요한가요?

필수는 아닙니다. CLI 또는 내장 MCP 인터페이스를 사용할 수 있으며 별도의 MCP 서버는 필요하지 않습니다.

rdp-cli에 Android AI 에이전트가 포함되어 있나요?

아니요. rdp-cli는 연결과 제어 계층을 제공하고 외부 AI 에이전트가 추론과 계획을 담당합니다.

Android 자동화 세션을 사람이 이어받을 수 있나요?

네. 같은 세션을 열고 에이전트를 일시 중지한 뒤 수정하고 다시 제어권을 돌려줄 수 있습니다.

마무리

실제 작업이 휴대폰에서 이루어진다면 AI 에이전트에게 필요한 것은 또 하나의 채팅창이 아니라 실제 Android 휴대폰입니다.

rdp-cli는 USB 또는 Wi-Fi로 인증된 Android 기기를 제어할 수 있는 계층을 제공합니다. 에이전트는 화면을 보고 동작을 수행하고 결과를 검증하며 필요할 때 사람이 이어받을 수 있습니다.

Android 연결 가이드, rdp-cli 기능 또는 rdp-cli 다운로드에서 시작하세요.