rdp-cli
沒有 API,如何自動化操作老舊 Windows 軟體?
為什麼一般 API 自動化行不通
沒有 API 也可以自動化操作老舊 Windows 軟體,但一般介面自動化無法解決這類問題。許多財務軟體、ERP、倉儲系統與內部工具沒有 API、SDK 或腳本介面,重要流程只能透過按鈕、表單、選單與彈窗完成。
更實際的做法是 GUI Computer Use:AI Agent 透過 RDP 或 VNC 連線到真實桌面,讀取目前畫面,執行一次受控操作,再檢查結果。
AI Agent + RDP/VNC 的實際工作流程
使用 rdp-cli,Agent 可以連線到已安裝目標軟體的 RDP 或 VNC 桌面。先依照快速入門指南建立連線,並保存回傳的工作階段 ID。
可靠的執行循環是:
- 擷取目前畫面。
- 找到下一個輸入欄位、按鈕或彈窗。
- 執行一個小動作。
- 再次擷取畫面。
- 確認實際結果後再繼續。
例如,Agent 可以這樣檢查遠端 Windows 應用程式:
rdp-cli screenshot --session SESSION --out before.png
rdp-cli click --session SESSION --desktop \
--x X --y Y --observation OBSERVATION
rdp-cli screenshot --session SESSION --out focused.png
rdp-cli type --session SESSION \
--text "Remote task completed." \
--observation NEW_OBSERVATION
rdp-cli screenshot --session SESSION --out after.png
座標與 observation 必須來自最新畫面。點擊命令成功只代表輸入已送出,不代表軟體真的接受了操作。
檔案處理與人工複核
典型流程可以是:將試算表上傳到遠端工作區,用舊版報表軟體開啟,選擇日期範圍,匯出 PDF,再下載完成的檔案。只要伺服器允許磁碟機重新導向,RDP 工作階段就能傳輸檔案與資料夾。VNC 適合控制現有桌面,但檔案傳輸等能力取決於協定與伺服器設定。
遇到未知彈窗或需要核准時,人員可以觀看同一個工作階段、暫停 Agent 輸入,在原生視窗或授權瀏覽器中接管操作,複核完成後再把工作階段交還給 Agent。
減少 GUI 自動化失敗的規則
- 使用小而可驗證的動作,不要連續盲目點擊。
- 重要動作後重新擷取畫面。
- 等待載入畫面與彈窗出現。
- 遇到未知登入頁、警告或錯誤時停止。
- 不要把密碼與 API 金鑰放進提示詞或文章內容。
- 使用可信任的網路或 VPN,只授予任務所需的權限。
如果存在穩定 API,應優先使用 API。GUI 自動化最適合圖形化、老舊或無法整合的軟體。它不要求先重寫軟體,就能讓 AI Agent 操作企業已經依賴的 Windows 應用程式。
更多設定請參閱 rdp-cli 的 RDP 與 VNC 功能。