rdp-cli
Seu agente de IA escreve código. Ele consegue usar um desktop real? Guia de Computer Use Agent
Um agente de programação pode editar arquivos, executar testes e criar pull requests. Porém, muitas tarefas importantes ainda acontecem dentro de aplicativos gráficos.
Elas podem envolver Excel, ERP, contabilidade, ferramentas de PDF, programas antigos do Windows ou aplicativos Android.
Um agente de IA consegue controlar um desktop real em vez de trabalhar apenas em um chat ou terminal?
Sim. Um computer use agent pode ler a tela, clicar em controles, digitar, lidar com diálogos e verificar resultados. Com o rdp-cli, ele controla uma sessão autorizada de RDP, VNC, X11 ou Android sem assumir o controle do seu computador local.
O que é um Computer Use Agent?
Um computer use agent opera o software pela interface gráfica. Ele pode ler capturas de tela, clicar em botões, preencher formulários, rolar janelas, usar atalhos, abrir diálogos de arquivos e verificar resultados visíveis.
O fluxo básico é: observar a tela, executar uma ação, capturar uma nova imagem e verificar o resultado. O modelo fornece o raciocínio; o rdp-cli fornece a sessão remota e o controle do desktop.
Por que um agente precisa de um desktop real?
APIs e ferramentas MCP são adequadas quando o aplicativo oferece operações estruturadas. Mas muitos fluxos dependem de elementos que a API não expõe: janelas nativas, foco, avisos, menus e caixas de diálogo.
O agente pode precisar abrir um aplicativo Windows, fazer login, selecionar um valor, confirmar um aviso, exportar um relatório e verificar o arquivo gerado.
O papel do rdp-cli: a camada de sessão
Essas camadas resolvem problemas diferentes:
| Camada | Responsabilidade principal | O que não resolve |
|---|---|---|
| Computer Use nativo do modelo | Entender capturas e escolher ações | Conexão remota, posse da sessão e transferência para uma pessoa |
| RPA | Executar seletores ou fluxos predefinidos | Raciocínio visual flexível e ciclo de vida remoto |
| Cliente MCP | Expor ações como ferramentas | O ciclo de vida completo da sessão remota |
| rdp-cli | Conectar, manter e compartilhar sessões | Raciocínio e planejamento da IA |
O Computer Use nativo é a camada de raciocínio. RPA funciona bem em fluxos estáveis e repetitivos. MCP conecta o agente às ferramentas, mas não define sozinho como uma sessão remota é criada, mantida, compartilhada ou devolvida a uma pessoa.
O rdp-cli é a camada de sessão. Ele conecta o agente a um ambiente autorizado que já existe e permite que o agente e uma pessoa trabalhem na mesma sessão.
Ele oferece:
- Conexões RDP, VNC, X11 e Android
- IDs de sessão
- Execução headless sem abrir um viewer local
- Capturas e entradas baseadas em observação
- Transferência de arquivos nos protocolos compatíveis
- Espera por estados e verificação de resultados
- GUI ou Web Viewer para a mesma sessão
- Pausa, controle humano e devolução ao agente
O rdp-cli usa o mesmo modelo de CLI orientado a sessões em RDP, VNC, X11 e Android ADB. Cada conexão possui seu próprio ID; a vantagem é manter um padrão de controle consistente entre diferentes tipos de destino.
Como funciona a automação GUI?
Antes de enviar uma entrada, o agente deve capturar a tela atual. Depois de encontrar o controle, ele envia uma ação com a observação mais recente e captura a tela novamente.
O envio bem-sucedido da entrada não prova que o aplicativo terminou. Depois de clicar em Salvar, verifique a mensagem de confirmação, o novo registro, o status atualizado, a linha alterada ou o arquivo gerado.
Consulte a documentação de comandos do rdp-cli.
O que um agente pode controlar?
Com RDP, o rdp-cli é útil para ERPs antigos, contabilidade, sistemas de estoque, Excel, ferramentas de PDF, aplicativos internos, testes de desktop e instaladores.
Com X11, ele controla aplicativos GUI compatíveis do Linux. Com VNC, controla um desktop VNC existente. Com ADB, controla dispositivos Android autorizados por USB ou Wi-Fi.
Veja o guia de início rápido.
O agente pode trabalhar sem bloquear meu computador?
Sim. O agente trabalha em uma sessão remota separada. Você pode abrir a mesma sessão pela GUI ou pelo Web Viewer autorizado quando precisar revisar ou intervir.
Se surgir um estado inesperado, pause a entrada, assuma o controle, corrija o desktop, devolva o controle e peça ao agente uma nova captura. Consulte como observar, pausar e assumir a mesma sessão.
O que o rdp-cli não faz?
O rdp-cli não fornece o modelo de IA, não escolhe a próxima ação e não cria automaticamente um computador remoto. Você precisa de um dispositivo autorizado, credenciais válidas e um agente capaz de ler capturas e executar comandos.
As capacidades dependem do protocolo e do servidor. O rdp-cli também não substitui testes unitários, de API ou de backend.
FAQ
O que é um computer use agent?
É um sistema de IA que opera software por uma interface gráfica usando capturas, mouse, teclado e verificação visual.
Agentes de IA podem controlar aplicativos Windows?
Sim. Uma sessão RDP autorizada permite controlar aplicativos antigos sem API ou SDK.
O rdp-cli inclui um agente de IA?
Não. O rdp-cli fornece a sessão remota, capturas, entradas, arquivos e transferência de controle. O agente escolhido fornece o raciocínio.
O MCP é obrigatório?
Não. As sessões podem ser controladas pela CLI do rdp-cli. Agentes compatíveis com MCP também podem usar a interface MCP disponível.
Conclusão
O papel exclusivo do rdp-cli não é raciocinar como uma IA nem executar uma RPA fixa. É funcionar como a camada de sessão entre o agente e o ambiente remoto real.
Baixe o rdp-cli e dê ao seu agente acesso controlado aos fluxos de desktop onde o trabalho realmente acontece.