rdp-cli
Controle de celular por AI Agent: dê ao seu agente um Android real
Uma caixa de chat pode responder perguntas, escrever código e explicar como usar um aplicativo Android. Ela não consegue tocar em um botão, confirmar uma permissão ou verificar o que realmente aconteceu em um celular.
Por isso, um AI Agent útil precisa de mais do que conversa. Ele precisa de acesso controlado ao dispositivo onde a tarefa acontece.
Com o rdp-cli, um agente pode controlar um celular Android autorizado por ADB via USB ou Wi-Fi. Ele pode observar a tela, enviar toques e texto, transferir arquivos e permitir que uma pessoa assuma a mesma sessão quando necessário.
O que é controle de celular por AI Agent?
É uma forma de dar a um agente uma interface controlada para operar um dispositivo Android real.
O agente não apenas gera instruções. Ele também pode:
- Observar a tela atual
- Identificar o próximo controle
- Tocar, deslizar ou digitar
- Aguardar a resposta do aplicativo
- Capturar uma nova tela
- Verificar o resultado visível
- Pausar para revisão humana
O ciclo básico é:
Observar o celular
→ Executar uma ação
→ Capturar uma nova tela
→ Verificar o resultado
Isso é útil quando o fluxo está dentro de um aplicativo móvel e não em uma API.
Por que uma caixa de chat não basta?
Muitas tarefas Android dependem do estado visual.
Ao testar um aplicativo, o agente pode precisar confirmar se:
- A tela de login correta apareceu
- Um aviso de permissão foi aberto
- Um botão está habilitado
- Um formulário aceita dados
- Uma janela de aviso apareceu
- Um arquivo foi criado
- O fluxo chegou à tela final
Uma resposta de texto não comprova esses resultados. Uma requisição de backend pode ser bem-sucedida enquanto o aplicativo mostra um erro, perde o foco ou continua carregando.
Um celular real também revela diferenças de tela, versão do Android, permissões e fabricante.
Onde o rdp-cli se encaixa
O rdp-cli é uma camada de sessão para o controle de celulares por AI Agents. Ele conecta o agente a um dispositivo Android existente e autorizado, oferecendo controle de tela, entrada, arquivos e sessão.
As responsabilidades ficam separadas:
- O modelo de IA decide o próximo passo.
- O rdp-cli conecta e controla o dispositivo.
- O Android executa o aplicativo.
- As capturas fornecem evidência visual.
O rdp-cli não inclui um modelo de IA. Também não exige um servidor MCP separado. Dependendo do seu agente, você pode usar a CLI ou a interface MCP integrada do rdp-cli.
Para os comandos de conexão, consulte Controlar um Android com um agente de IA por USB ou Wi-Fi.
O que um agente de automação Android pode fazer?
Testar um aplicativo Android real
O agente pode abrir o app, inserir dados de teste, seguir um fluxo e informar onde o estado esperado não foi alcançado.
Isso serve para login, pagamentos, aplicativos internos, validação de formulários, permissões e mensagens de erro.
Operar ferramentas de negócio móveis
Se um sistema interno existe apenas como aplicativo Android, o agente pode usar a mesma interface dos funcionários, inserir dados controlados e conferir os estados exibidos.
Transferir arquivos de teste e resultados
Os fluxos móveis podem precisar de arquivos de entrada ou resultados. O rdp-cli permite enviar e baixar arquivos em sessões Android compatíveis.
O acesso segue os caminhos oferecidos pela sessão; não significa acesso ilimitado aos diretórios privados dos aplicativos.
Usar um display virtual Android
Em dispositivos compatíveis, o rdp-cli pode criar um display virtual da sessão e iniciar um aplicativo nele. Veja Automação de display virtual Android para AI Agents.
Por que capturas recentes são importantes?
Enviar uma ação não prova que a tarefa terminou.
O agente deve capturar a tela antes da ação, executar uma ação usando a observação mais recente e capturar novamente. Depois de reconectar, mudar o controle ou receber uma intervenção humana, deve observar de novo.
Isso reduz erros como digitar no campo errado, continuar após um diálogo inesperado ou reutilizar coordenadas antigas.
A referência de comandos do rdp-cli documenta capturas, entradas, arquivos e sessões.
Retomada humana
Uma confirmação de segurança, aprovação única, ação destrutiva, estado inesperado, autorização do dispositivo ou controle desconhecido pode exigir uma pessoa.
Com o rdp-cli, uma pessoa pode abrir a mesma sessão pela GUI ou pelo Web Viewer autorizado, pausar as entradas do agente, corrigir o celular e devolver o controle.
Depois da mudança de controle, o agente deve capturar uma nova tela.
Requisitos e limitações
Você precisa de um dispositivo Android 12 ou posterior, depuração USB ou sem fio, autorização ADB, o aplicativo instalado, rdp-cli para Windows, macOS ou Linux e uma conexão USB ou Wi-Fi estável.
Android 12+ é a base atual de suporte. O dispositivo verificado é um Google Pixel 3 com Android 12; a compatibilidade com todos os fabricantes ou versões posteriores não é garantida.
Telas seguras podem limitar capturas, o comportamento pode variar por dispositivo e o controle GUI não substitui testes do aplicativo ou validação do backend.
Perguntas frequentes
Um AI Agent pode controlar Android sem uma API?
Sim. Ele pode interagir com a GUI usando capturas de tela, toques e entrada de texto.
O rdp-cli precisa de MCP?
Não. Você pode usar a CLI ou a interface MCP integrada. Não é necessário um servidor MCP separado.
O rdp-cli inclui um AI Agent para Android?
Não. O rdp-cli fornece conexão e controle. O agente externo fornece o raciocínio.
Uma pessoa pode assumir uma sessão Android?
Sim. Ela pode pausar o agente, corrigir o estado e devolver o controle.
Conclusão
Quando o trabalho acontece no celular, um AI Agent precisa de um Android real, não de outra caixa de chat.
O rdp-cli permite controlar dispositivos Android autorizados por USB ou Wi-Fi, observar a tela, executar ações, verificar resultados e permitir a intervenção humana.
Comece pelo guia de conexão Android, veja os recursos do rdp-cli ou baixe o rdp-cli.