rdp-cli

Automação de área de trabalho com agentes de IA: capturas e entrada por RDP

Versão e plataforma: 0.1.2 · Windows / macOS · RDP

Comece pela sessão conectada

Conecte-se seguindo o guia para Mac e use data.session do JSON. O agente trabalha por comandos e não precisa abrir um visualizador local. Abra a janela quando você quiser acompanhar o progresso.

Observe antes de decidir

Capture a tela e leia data.observation. Coloque esse valor em OBSERVATION. As coordenadas abaixo são apenas um exemplo da sintaxe: escolha o ponto de clique a partir da sua própria imagem. Obtenha uma nova observação após reconexão, mudança de controle ou alteração das telas.

No PowerShell do Windows, execute os exemplos na pasta do executável e substitua rdp-cli por .\rdp-cli.exe.

O exemplo do Calc exige LibreOffice Calc no Windows remoto e redirecionamento de unidades RDP. Baixe a planilha de exemplo como service-activity.xlsx. Envie, salve data.transfer_id como TRANSFER_ID e espere por completed. Abra o arquivo da unidade redirecionada no Calc remoto e selecione A20. O tutorial completo do Calc explica a planilha e os resultados esperados.

rdp-cli files upload --session SESSION --local ./service-activity.xlsx --path service-activity.xlsx
rdp-cli files status --session SESSION --transfer-id TRANSFER_ID
rdp-cli screenshot --session SESSION --out before.png
rdp-cli click --session SESSION --desktop --x 420 --y 315 --observation OBSERVATION

Envie texto e confira o resultado

No exemplo abaixo, abra a planilha preparada no Calc remoto e selecione A20. Confira uma nova captura e use o token de observação dela. Cole a nota, salve pelo botão do aplicativo e verifique o resultado na tela.

Use data.observation da resposta de before.png como OBSERVATION. Depois do clique, confira clipboard-ready.png e use seu novo data.observation como NEW_OBSERVATION. Verifique o texto em result.png: o sucesso do comando não prova que o aplicativo aceitou a entrada.

Escolha um PASTE_REQUEST único para esta colagem e guarde-o com a resposta. Se houver timeout, consulte o mesmo ID. Não cole novamente com outro ID antes de verificar a tela.

PNG data.observation
note-focused.png FOCUSED_OBSERVATION
clipboard-ready.png NEW_OBSERVATION
rdp-cli screenshot --session SESSION --out note-focused.png
rdp-cli clipboard set --session SESSION --text "Resultado: relatório concluído e pronto para revisão." --observation FOCUSED_OBSERVATION
rdp-cli screenshot --session SESSION --out clipboard-ready.png
rdp-cli key --session SESSION --keys CTRL+V --observation NEW_OBSERVATION --request-id PASTE_REQUEST
rdp-cli screenshot --session SESSION --out result.png

Relatório do Calc remoto salvo após colar a nota de conclusão com rdp-cli.

O exemplo do Calc usa dados fictícios de atendimento. As planilhas concluídas abaixo correspondem ao idioma e ao tema das capturas.

Baixe o resultado correspondente às capturas: Tema claro · Tema escuro

Relatório do Calc remoto salvo após colar a nota de conclusão com rdp-cli.

Ver captura original — Claro ↗ · Ver captura original — Escuro ↗

Não repita uma ação sem conferir o estado

Uma operação pode ter enviado a entrada mesmo quando o prazo expira. Consulte o estado usando a REQUEST_ID retornada e observe a tela novamente. Só repita um clique de salvar ou enviar se o estado exigir. Se a observação estiver vencida, obtenha uma nova captura; não passe automaticamente a controlar o mouse local.

rdp-cli operations status --session SESSION --request-id PASTE_REQUEST

Mantenha o resultado verificável

Guarde os estados e as imagens necessários à tarefa, considerando o conteúdo confidencial que podem conter. Uma pessoa pode abrir a mesma sessão, pausar e assumir o controle. Após a devolução, o agente verifica a tela atual antes de continuar. Para arquivos em RDP, há comandos específicos de upload, progresso e download.

Artigos relacionados

Comece na sua área de trabalho remota

Baixar o rdp-cli · Seguir o guia rápido da sua plataforma

Guias relacionados

Comandos avançados do rdp-cli

Execute primeiro rdp-cli --version. Os comandos abaixo exigem agent_execution.contract_version igual a 1; versões anteriores podem continuar usando o fluxo de ações individuais descrito acima.

Substitua os campos em maiúsculas pelos valores retornados. No Windows PowerShell, use .\rdp-cli.exe na pasta do programa; no macOS ou Linux, use o comando instalado ou o caminho real do executável.

Veja a área que importa

Peça uma região da tela ou uma imagem menor. Compare com uma observação anterior e omita a imagem se nada mudou; as coordenadas mantêm a relação com a tela remota.

Espere mudanças ou o fim de uma transferência

Aguarde uma região mudar ou estabilizar, ou uma conexão, operação ou transferência atingir o estado indicado. Confira também o resultado real antes de continuar.

Uma sequência curta, com parada para conferir

Agrupe ações escolhidas pelo agente, inclua uma nova observação e pare em um ponto de verificação. Erros ou mudanças de controle interrompem as próximas etapas; ações já enviadas não são desfeitas.

Registre o progresso e continue após conferir

Salve o progresso, pontos de verificação e imagens selecionadas. Exporte um relatório local e, após uma interrupção, confira o que terminou antes de enviar novas etapas sem repetir ações incertas.

Envie o JSON abaixo ao batch pela entrada padrão. Este exemplo apenas observa e para em um ponto de controle; confira a imagem atual antes de adicionar ações de entrada. Use o ID retornado por tasks create como TASK_ID para registrar este lote na mesma tarefa.

rdp-cli screenshot --session SESSION --max-width 640
rdp-cli screenshot --session SESSION --region X,Y,WIDTH,HEIGHT --max-width 640
rdp-cli wait --session SESSION --condition changed --region X,Y,WIDTH,HEIGHT --timeout-ms 10000
rdp-cli tasks create --session SESSION --title "Review result"
rdp-cli batch --session SESSION --task TASK_ID --steps-stdin --request-id UNIQUE_REQUEST_ID
{"version":1,"steps":[{"id":"look","command":"observe","arguments":{"max-width":640}},{"id":"review","command":"checkpoint"}]}