Uma sessão para o agente e para você
O rdp-cli permite que um agente de IA veja e controle um aplicativo Linux por comandos. Ele captura a tela, age sobre o que observou e verifica a próxima imagem. Você pode abrir uma janela nativa ou um visualizador web autorizado para observar, pausar ou assumir a mesma sessão.
Prepare um destino autorizado
O computador Linux precisa oferecer acesso SSH e ter um aplicativo compatível com X11 já instalado. Substitua o endereço, o usuário, o caminho da chave privada e o arquivo known-hosts verificado de forma independente. No PowerShell do Windows, use .\rdp-cli.exe no lugar de rdp-cli. Confira se --version mostra true para embedded_ssh, x11_desktop e x11_application.
Abra um aplicativo
O exemplo abre o Gedit já instalado em uma tela isolada integrada ao rdp-cli. Nenhum visualizador local é aberto automaticamente. Guarde data.session da resposta e use-o como SESSION. Um host cujo desktop habitual usa Wayland também pode encaminhar um aplicativo compatível com X11 dessa forma.
rdp-cli connect --protocol x11 --mode application --host 192.0.2.20 --user USER --ssh-key PRIVATE_KEY --ssh-known-hosts KNOWN_HOSTS --linux-file-root FILE_ROOT --application /usr/bin/gedit --app-args '["--standalone","--new-window"]'
Ou conecte um desktop X11 existente
Informe o display real e o caminho de seu arquivo de autorização existente. A conta SSH precisa ter acesso a esse display; autenticar-se por SSH não concede, por si só, acesso ao desktop. Esse modo usa o desktop existente sem criar outra sessão de login.
rdp-cli connect --protocol x11 --mode desktop --host 192.0.2.20 --user USER --ssh-key PRIVATE_KEY --ssh-known-hosts KNOWN_HOSTS --linux-file-root FILE_ROOT --display DISPLAY --xauthority XAUTHORITY_PATH
Observe, aja e verifique
Examine o PNG retornado e guarde data.observation. Troque X e Y pelas coordenadas reais da imagem. Depois de focar o campo, capture novamente e use o novo token. O método explícito de área de transferência substitui a área de transferência remota, sem alterar a local. A resposta confirma o envio da entrada; verifique o resultado na tela em seguida.
rdp-cli screenshot --session SESSION --out before.png
rdp-cli click --session SESSION --x X --y Y --observation OBSERVATION
rdp-cli screenshot --session SESSION --out focused.png
rdp-cli linux text --session SESSION --method clipboard --text 'Revisão concluída.' --observation OBSERVATION
rdp-cli screenshot --session SESSION --out after.png
Recupere os arquivos
Abra o remote_path retornado pelo envio no aplicativo Linux, edite e salve antes de baixar o resultado. Guarde cada transfer_id e espere completed para usar o arquivo. Salve antes da transferência; nomes existentes não são sobrescritos por padrão. Se houver erro, consulte o estado antes de repetir.
Substitua FILE_ROOT por um diretório remoto existente no qual esta conta SSH tenha acesso de leitura e gravação. As operações de arquivos ficam dentro desse diretório; informar o caminho não cria o diretório nem concede novas permissões.
rdp-cli files list --session SESSION
rdp-cli files upload --session SESSION --local ./report.txt --path report.txt
rdp-cli files status --session SESSION --transfer-id UPLOAD_TRANSFER
rdp-cli files download --session SESSION --path report.txt --local ./result.txt
rdp-cli files status --session SESSION --transfer-id DOWNLOAD_TRANSFER
Deixe uma pessoa assumir
Abra o visualizador quando quiser acompanhar. Ele começa somente para leitura. Assumir o controle interrompe a entrada do agente; após corrigir, devolva o controle para continuar a mesma tarefa. O visualizador web autorizado participa da mesma sessão, com apenas um detentor de controle humano por vez. Fechar um visualizador de leitura não encerra a conexão.
rdp-cli watch --session SESSION --viewer window
Entenda o alcance do protocolo
X11 nativo não oferece redirecionamento de reprodução de áudio nem de microfone. O desktop Wayland completo exige um destino RDP ou VNC compatível já configurado e usa as capacidades realmente negociadas. O rdp-cli não instala nem ativa serviços remotos. O aplicativo pode sair quando a conexão de exibição for encerrada ou perdida: salve antes e não suponha reinício automático ou um ambiente de trabalho preservado.
A entrada de texto no Wayland depende do servidor existente. O GNOME 46 e o Krfb 23.08 podem não mapear todas as teclas Unicode; confira o resultado. Use a colagem explícita pela área de transferência apenas quando funcionar nesse destino: o Krfb no Plasma Wayland pode anunciar o recurso sem entregar o conteúdo aos aplicativos. Divida entradas complexas ou rápidas em etapas menores e confira a próxima captura.
Destinos de desktop testados: Ubuntu 24.04.5 · GNOME 46 / GNOME Remote Desktop 46.3; KDE Plasma 5.27.12 / Krfb 23.08.5.