rdp-cli

透過 RDP 讓 AI Agent 自動化 Excel 任務

為什麼要透過 RDP 自動化 Excel 任務?

透過 RDP 自動化 Excel 任務時,AI Agent 可以操作遠端 Windows 桌面、更新活頁簿、處理桌面彈窗,並透過最新螢幕擷取驗證儲存結果。

當試算表工作依賴本機範本、桌面外掛、共用資料夾、啟用巨集的檔案或舊版報表工具時,這種方式很實用。不必先圍繞 API 重寫流程,Agent 可以直接操作人員原本使用的 Excel 介面。

使用 rdp-cli,Agent 可以連線到現有 RDP 工作階段、擷取畫面、點擊控制項、輸入文字,並檢查下一張畫面。詳情請參閱 RDP 與 VNC 功能。

AI Agent 工作流程:上傳、編輯與驗證

實用的 Excel 自動化任務通常包含五個步驟:

  1. 將來源活頁簿上傳到遠端工作區。
  2. 在 Excel 或其他 Windows 試算表應用程式中開啟。
  3. 透過畫面找到正確的工作表、儲存格或彈窗。
  4. 輸入資料或執行所需操作。
  5. 儲存、下載並驗證完成的活頁簿。

重點是驗證每個重要操作。例如:

rdp-cli screenshot --session SESSION --out before.png

rdp-cli click --session SESSION --desktop \
  --x X --y Y --observation OBSERVATION

rdp-cli screenshot --session SESSION --out focused.png

rdp-cli type --session SESSION \
  --text "Remote task completed." \
  --observation NEW_OBSERVATION

rdp-cli screenshot --session SESSION --out after.png

Agent 應從最新畫面取得 X、Y 和 observation。點擊命令成功只代表輸入已送出,不代表 Excel 已接受操作。

如何自動化每月 Excel 報表

典型的月報流程如下:

  • 將活頁簿上傳到 RDP 工作階段。
  • 開啟報表範本。
  • 選擇正確月份與工作表。
  • 透過遠端文字剪貼簿貼上新資料。
  • 更新公式、表格或圖表。
  • 儲存活頁簿。
  • 下載結果並檢查總數與檔名。

只要伺服器允許磁碟機重新導向,RDP 工作階段就能傳輸檔案與資料夾。Agent 繼續前,應先確認傳輸已完成。rdp-cli 快速入門指南介紹連線、畫面擷取與遠端操作。

高風險試算表操作保留人工複核

覆蓋重要活頁簿、核准付款報表或向客戶傳送最終檔案等操作,應保留人工核准。

人員可以在原生視窗或授權瀏覽器中開啟同一個工作階段,暫停 Agent 輸入,檢查活頁簿並接管操作。修正完成後,再把控制權交還給 Agent,讓它儲存並取回最終檔案。

可靠 Excel 自動化的規則

  • 重要操作前重新擷取畫面。
  • 使用小動作,不要連續盲目點擊。
  • 輸入資料前確認目前的活頁簿與工作表。
  • 遇到未知警告或登入彈窗時停止。
  • 下載後驗證儲存的檔案。
  • 不要把憑據放進提示詞或試算表內容。
  • 透過可信任網路或 VPN 使用 RDP。

常見問題

沒有 Excel API,AI Agent 也能自動化嗎?

可以。Agent 可以透過 RDP、畫面擷取、滑鼠操作與鍵盤輸入操作可見的 Windows 介面。

Agent 如何判斷任務是否成功?

它會在重要操作後重新擷取畫面,並檢查活頁簿、彈窗、總數或儲存檔案的實際結果。

當活頁簿依賴真實 Windows 桌面或現有業務軟體時,基於 RDP 的 Excel 自動化特別實用。Agent 不必取代現有流程,而是操作團隊已經使用的工具,並回傳可供人員檢查的結果。