Como deixar um agente de IA operar uma área de trabalho Windows remota

Um agente de IA pode escrever scripts, mas muitas tarefas reais ainda precisam de uma área de trabalho: um aplicativo exclusivo do Windows, um editor de documentos ou uma janela de exportação. A automação fica confiável quando o agente segue um ciclo curto: observar a tela, executar uma ação e verificar o resultado.

1. Preparar o host Windows

Ative a Área de Trabalho Remota no computador de destino. Baixe o arquivo do rdp-cli adequado ao computador que executa o agente e confira no PowerShell:

.\rdp-cli.exe --help

O agente não precisa ser executado no host Windows. Basta ter acesso de rede ao serviço RDP.

2. Conectar sem expor a senha

Passe a senha pela entrada padrão, em vez de colocá-la na linha de comando ou no histórico do shell:

$secret = Read-Host 'Password' -AsSecureString
try {
  [System.Net.NetworkCredential]::new('', $secret).Password |
    .\rdp-cli.exe connect --host 192.0.2.20 --user USER --password-stdin
} finally {
  $secret.Dispose()
}

Guarde o valor session retornado em JSON. Ele identifica a área de trabalho remota nos próximos comandos.

3. Observar antes de agir

Não adivinhe as coordenadas. Capture a tela atual primeiro:

.\rdp-cli.exe screenshot --session SESSION --out .\before.png

O agente pode analisar a imagem, localizar o controle e clicar usando o valor observation da resposta:

.\rdp-cli.exe click --session SESSION --desktop --x 420 --y 260 --observation OBSERVATION

4. Verificar cada etapa importante

Depois de clicar, capture uma nova tela antes de digitar ou enviar qualquer coisa:

.\rdp-cli.exe screenshot --session SESSION --out .\focused.png
.\rdp-cli.exe type --session SESSION --text "Remote task completed." --observation NEW_OBSERVATION
.\rdp-cli.exe screenshot --session SESSION --out .\after.png

Isso detecta janelas que se moveram, aplicativos ainda carregando e cliques incorretos. O fato de o comando não retornar erro não prova que a ação funcionou.

5. Manter o controle humano

Uma pessoa pode observar a mesma sessão em uma janela ou navegador:

.\rdp-cli.exe watch --session SESSION --viewer window

O visualizador começa em modo somente leitura e permite pausar o agente, assumir o controle e devolver a sessão. Use-o para logins, diálogos de confirmação e ações irreversíveis.

Quando possível, use RDP em uma rede privada ou VPN, armazene as credenciais com segurança e configure a validação de certificados para o seu ambiente. O padrão prático é simples: observar, agir e verificar.