Como automatizar aplicações Windows antigas sem uma API

Por que a automação por API falha com software Windows antigo

É possível automatizar aplicações Windows antigas sem uma API, mas a automação tradicional por API não resolve esse problema. Muitas ferramentas de contabilidade, sistemas ERP, programas de estoque e utilitários internos não oferecem API, SDK ou suporte a scripts. Os fluxos importantes ficam apenas em botões, formulários, menus e caixas de diálogo.

A alternativa prática é o GUI Computer Use: um agente de IA se conecta ao desktop real por RDP ou VNC, lê a tela atual, executa uma ação controlada e verifica o resultado.

Um fluxo prático com agente de IA e RDP/VNC

Com o rdp-cli, o agente pode se conectar a um desktop RDP ou VNC existente onde o aplicativo já está instalado. Siga o guia de início rápido e salve o ID da sessão retornado.

O ciclo confiável é:

Capturar a tela atual.
Localizar o próximo campo, botão ou caixa de diálogo.
Executar uma ação pequena.
Capturar a tela novamente.
Confirmar o resultado real antes de continuar.

Por exemplo, o agente pode inspecionar um aplicativo Windows remoto assim:

rdp-cli screenshot --session SESSION --out before.png

rdp-cli click --session SESSION --desktop \
  --x X --y Y --observation OBSERVATION

rdp-cli screenshot --session SESSION --out focused.png

rdp-cli type --session SESSION \
  --text "Remote task completed." \
  --observation NEW_OBSERVATION

rdp-cli screenshot --session SESSION --out after.png

As coordenadas e os valores de observation devem vir da captura mais recente. O sucesso do comando de clique significa apenas que a entrada foi enviada; não prova que o aplicativo aceitou a ação.

Arquivos e revisão humana

Um fluxo comum é enviar uma planilha para o espaço de trabalho remoto, abri-la em uma ferramenta antiga de relatórios, selecionar um período, exportar um PDF e baixar o arquivo final. Sessões RDP podem trocar arquivos e pastas quando o servidor permite o redirecionamento de unidades. O VNC é útil para controlar um desktop existente, mas a transferência de arquivos e outros recursos dependem do protocolo e da configuração do servidor.

Quando aparece uma caixa de diálogo inesperada ou é necessária uma aprovação, uma pessoa pode acompanhar a mesma sessão, pausar a entrada do agente, assumir o controle em uma janela nativa ou navegador autorizado e devolver a sessão ao agente depois.

Regras para reduzir falhas de automação GUI

Use ações pequenas e verificáveis, não longas sequências de cliques.
Faça uma nova captura depois das ações importantes.
Aguarde telas de carregamento e caixas de diálogo.
Pare diante de telas de login, avisos ou erros inesperados.
Não coloque senhas ou chaves de API em prompts ou no conteúdo.
Use uma rede confiável ou VPN e conceda somente as permissões necessárias.

Se existir uma API estável, use-a primeiro. A automação GUI é mais útil quando o aplicativo é gráfico, antigo ou impossível de integrar. Ela permite que um agente de IA opere o software Windows que a empresa já utiliza, sem precisar reconstruí-lo.

Veja os recursos de RDP e VNC do rdp-cli para mais detalhes.