使用 AI Agent 透過 RDP 測試 Windows 桌面應用程式

當 Windows 桌面軟體沒有 API、SDK 或穩定的腳本介面時，自動化測試會很困難。許多舊版 ERP、財務、倉儲和內部業務軟體，只能透過視窗、按鈕、表單、選單和彈出視窗操作。

沒有 API 時，如何自動測試 Windows 桌面應用程式？一種實用方法是將 AI Agent 與真實的遠端 Windows 桌面結合。使用 rdp-cli，Agent 可以連接既有的 RDP 或 VNC 工作階段，查看畫面、執行 GUI 操作，並透過新的截圖驗證結果。

AI Agent 可以測試 Windows 桌面應用程式嗎？

可以，前提是目標應用程式能在遠端桌面中顯示並接受操作。Agent 會觀察畫面、找到目標控制項、點擊或輸入、重新擷取畫面，再檢查預期結果。

為什麼只做 API 測試還不夠？

API 測試適合驗證後端邏輯，但無法涵蓋完整桌面流程。測試 Windows 庫存軟體可能需要開啟應用程式、登入、選擇倉庫、輸入 SKU、確認警告並匯出報表。API 測試可能無法發現按鈕失效、輸入焦點錯誤、意外彈窗或匯出失敗。

使用 rdp-cli 的測試流程

準備專用 Windows 測試電腦、受限測試帳號、穩定範例資料、可存取的 RDP、一致的螢幕解析度和清理流程。連接後先擷取畫面：

.\rdp-cli.exe screenshot --session SESSION --out .\before.png
.\rdp-cli.exe click --session SESSION --desktop --x X --y Y --observation OBSERVATION
.\rdp-cli.exe screenshot --session SESSION --out .\after.png

輸入文字時：

.\rdp-cli.exe type --session SESSION --text "Remote task completed." --observation NEW_OBSERVATION

每次操作都應根據最新畫面，而不是舊截圖或固定假設。按下「儲存」後，檢查確認訊息、新記錄編號或狀態標籤。

舊版 Windows 應用程式測試範例

開啟應用程式、使用測試帳號登入、建立範例客戶、儲存資料、再次搜尋、匯出為 PDF 或試算表，並確認檔案存在。在關鍵步驟前後擷取畫面。如果預期視窗沒有出現，應停止並回報目前畫面。

如果 RDP 伺服器啟用磁碟機重新導向，可以傳輸測試檔案和報告；遠端剪貼簿也能傳遞受控文字。

什麼時候需要人工審核？

遇到刪除或不可逆操作、安全提示、未知錯誤、一次性核准，或接近生產環境的測試時，應暫停並由人工接管。rdp-cli 支援暫停 Agent 輸入，讓人工操作桌面，再交還工作階段。

這種方法不能取代什麼？

RDP GUI 測試不能取代單元、整合或後端 API 測試。它不能可靠地發現隱藏計算錯誤、資料庫不一致、介面背後的效能問題、需要插樁的競態條件或所有版面狀態。最佳做法是與傳統自動化測試結合。

總結

如果你需要測試沒有 API 的 Windows 桌面應用程式，透過 RDP 連接 AI Agent 是一條實用路徑：

觀察畫面 → 執行一個操作 → 重新擷取畫面 → 驗證結果。

常見問題

沒有 API，AI Agent 還能測試 Windows 應用程式嗎？

可以。Agent 可以透過 RDP 操作 GUI，並用新的截圖驗證可見結果。

RDP GUI 測試可以取代 API 測試嗎？

不可以。它用來補充 API、整合和單元測試，檢查真實的桌面流程。

如何自動化沒有 API 的 Windows 應用程式
如何讓 Claude Code 控制遠端 Windows 桌面

如何使用 AI Agent 透過 RDP 測試 Windows 桌面應用程式