rdp-cli

Controle de celular por AI Agent: dê ao seu agente um Android real

Uma caixa de chat pode responder perguntas, escrever código e explicar como usar um aplicativo Android. Ela não consegue tocar em um botão, confirmar uma permissão ou verificar o que realmente aconteceu em um celular.

Por isso, um AI Agent útil precisa de mais do que conversa. Ele precisa de acesso controlado ao dispositivo onde a tarefa acontece.

Com o rdp-cli, um agente pode controlar um celular Android autorizado por ADB via USB ou Wi-Fi. Ele pode observar a tela, enviar toques e texto, transferir arquivos e permitir que uma pessoa assuma a mesma sessão quando necessário.

O que é controle de celular por AI Agent?

É uma forma de dar a um agente uma interface controlada para operar um dispositivo Android real.

O agente não apenas gera instruções. Ele também pode:

  • Observar a tela atual
  • Identificar o próximo controle
  • Tocar, deslizar ou digitar
  • Aguardar a resposta do aplicativo
  • Capturar uma nova tela
  • Verificar o resultado visível
  • Pausar para revisão humana

O ciclo básico é:

Observar o celular
→ Executar uma ação
→ Capturar uma nova tela
→ Verificar o resultado

Isso é útil quando o fluxo está dentro de um aplicativo móvel e não em uma API.

Por que uma caixa de chat não basta?

Muitas tarefas Android dependem do estado visual.

Ao testar um aplicativo, o agente pode precisar confirmar se:

  • A tela de login correta apareceu
  • Um aviso de permissão foi aberto
  • Um botão está habilitado
  • Um formulário aceita dados
  • Uma janela de aviso apareceu
  • Um arquivo foi criado
  • O fluxo chegou à tela final

Uma resposta de texto não comprova esses resultados. Uma requisição de backend pode ser bem-sucedida enquanto o aplicativo mostra um erro, perde o foco ou continua carregando.

Um celular real também revela diferenças de tela, versão do Android, permissões e fabricante.

Onde o rdp-cli se encaixa

O rdp-cli é uma camada de sessão para o controle de celulares por AI Agents. Ele conecta o agente a um dispositivo Android existente e autorizado, oferecendo controle de tela, entrada, arquivos e sessão.

As responsabilidades ficam separadas:

  • O modelo de IA decide o próximo passo.
  • O rdp-cli conecta e controla o dispositivo.
  • O Android executa o aplicativo.
  • As capturas fornecem evidência visual.

O rdp-cli não inclui um modelo de IA. Também não exige um servidor MCP separado. Dependendo do seu agente, você pode usar a CLI ou a interface MCP integrada do rdp-cli.

Para os comandos de conexão, consulte Controlar um Android com um agente de IA por USB ou Wi-Fi.

O que um agente de automação Android pode fazer?

Testar um aplicativo Android real

O agente pode abrir o app, inserir dados de teste, seguir um fluxo e informar onde o estado esperado não foi alcançado.

Isso serve para login, pagamentos, aplicativos internos, validação de formulários, permissões e mensagens de erro.

Operar ferramentas de negócio móveis

Se um sistema interno existe apenas como aplicativo Android, o agente pode usar a mesma interface dos funcionários, inserir dados controlados e conferir os estados exibidos.

Transferir arquivos de teste e resultados

Os fluxos móveis podem precisar de arquivos de entrada ou resultados. O rdp-cli permite enviar e baixar arquivos em sessões Android compatíveis.

O acesso segue os caminhos oferecidos pela sessão; não significa acesso ilimitado aos diretórios privados dos aplicativos.

Usar um display virtual Android

Em dispositivos compatíveis, o rdp-cli pode criar um display virtual da sessão e iniciar um aplicativo nele. Veja Automação de display virtual Android para AI Agents.

Por que capturas recentes são importantes?

Enviar uma ação não prova que a tarefa terminou.

O agente deve capturar a tela antes da ação, executar uma ação usando a observação mais recente e capturar novamente. Depois de reconectar, mudar o controle ou receber uma intervenção humana, deve observar de novo.

Isso reduz erros como digitar no campo errado, continuar após um diálogo inesperado ou reutilizar coordenadas antigas.

A referência de comandos do rdp-cli documenta capturas, entradas, arquivos e sessões.

Retomada humana

Uma confirmação de segurança, aprovação única, ação destrutiva, estado inesperado, autorização do dispositivo ou controle desconhecido pode exigir uma pessoa.

Com o rdp-cli, uma pessoa pode abrir a mesma sessão pela GUI ou pelo Web Viewer autorizado, pausar as entradas do agente, corrigir o celular e devolver o controle.

Depois da mudança de controle, o agente deve capturar uma nova tela.

Requisitos e limitações

Você precisa de um dispositivo Android 12 ou posterior, depuração USB ou sem fio, autorização ADB, o aplicativo instalado, rdp-cli para Windows, macOS ou Linux e uma conexão USB ou Wi-Fi estável.

Android 12+ é a base atual de suporte. O dispositivo verificado é um Google Pixel 3 com Android 12; a compatibilidade com todos os fabricantes ou versões posteriores não é garantida.

Telas seguras podem limitar capturas, o comportamento pode variar por dispositivo e o controle GUI não substitui testes do aplicativo ou validação do backend.

Perguntas frequentes

Um AI Agent pode controlar Android sem uma API?

Sim. Ele pode interagir com a GUI usando capturas de tela, toques e entrada de texto.

O rdp-cli precisa de MCP?

Não. Você pode usar a CLI ou a interface MCP integrada. Não é necessário um servidor MCP separado.

O rdp-cli inclui um AI Agent para Android?

Não. O rdp-cli fornece conexão e controle. O agente externo fornece o raciocínio.

Uma pessoa pode assumir uma sessão Android?

Sim. Ela pode pausar o agente, corrigir o estado e devolver o controle.

Conclusão

Quando o trabalho acontece no celular, um AI Agent precisa de um Android real, não de outra caixa de chat.

O rdp-cli permite controlar dispositivos Android autorizados por USB ou Wi-Fi, observar a tela, executar ações, verificar resultados e permitir a intervenção humana.

Comece pelo guia de conexão Android, veja os recursos do rdp-cli ou baixe o rdp-cli.