遠端桌面自動化

這個模組使用遠端桌面協定(RDP)連線至指定 IP 位址的 Windows 電腦，以電腦視覺技術分析遠端螢幕，操作遠端滑鼠與鍵盤來達成自動化。除此之外，模組也提供讀寫遠端剪貼簿文字資料與上傳或下載遠端檔案的功能，上傳下載檔案需要遠端主機啟動 SSHD 服務。

在訓練模式中，使用者可以在「No-Code 編輯器」連線到遠端主機，藉由功能選單生成 Low-Code 腳本或直接在「Low-Code 編輯器」中編寫；在執行模式中，模組會以設定好的連線資訊連接遠端主機，並自動載入執行模組儲存的 Low-Code 腳本。

No-Code 編輯器

包含「連線設定」、「連線按鈕」、「手動操作按鈕」、「螢幕畫面」、「狀態列」、「滑鼠單擊選單」、「滑鼠拖曳選單」，主要是提供互動介面協助使用者產生 Low-Code 腳本。

連線設定 (SETTINGS)

設定遠端桌面連線資訊與 AI Agent 相關功能的金鑰與預設模型：

HOST/IP - 遠端主機的 IP 位址，可以使用 %FILENAME% 變數。

PORT - RDP 連線埠號，預設為常用的 3389。

USERNAME - 遠端主機的登入帳號，可以使用 %FILENAME% 變數。

PASSWORD - 遠端主機的登入密碼，可以使用 %FILENAME% 變數。

DOMAIN - 遠端主機的 Windows 網域，可以使用 %FILENAME% 變數。

RESOLUTION - 預設 1280x720，其他選項有 1440x900 與 1920x1080。

AGENT APIKEY - AI Agent 與 OCR 所需的金鑰，可以使用 %FILENAME% 變數或企業儲值的 %credit-key%。

AGENT MODEL - AI Agent 與 OCR 所需的模型。

手動連線

在訓練模式下手動連線或斷線遠端主機。任何涉及遠端主機的功能只能在連線狀態下運作，包含功能選單。

手動操作

在訓練模式下開啟或關閉手動操作遠端滑鼠鍵盤。模組的功能選單只能在關閉手動操作情況下運作。

滑鼠單擊選單

在遠端桌面螢幕上單擊滑鼠後，選單提供「MOUSE」、「TYPE」、「SPECIAL KEY」、「KEY COMBINATION」、「CLIPBOARD」、「AI AGENT」等功能來為使用者生成 Low-Code 腳本。其中 AI AGENT 相關功能會使用到連線設定中的 APIKEY 與 MODEL，也會產生相關的 Token 費用，在 DEBUG 中可以看到使用的成本。

滑鼠拖曳選單

在遠端桌面螢幕上拖曳滑鼠選取圖案後，選單提供「CAPTURE CROP」、「CLICK AT」、「MOVE TO」、「WAIT FOR CROP」、「CROP TO OCR」等功能為使用者生成參考截取圖案的 Low-Code 腳本。其中 CROP TO OCR 會使用到連線設定中的 APIKEY 與 MODEL，也會產生相關的 Token 費用，在 DEBUG 中可以看到使用的成本。

例如，拖曳滑鼠選取遠端桌面上的「資源回收桶」圖示後，選單選取「CLICK AT」後在圖示中心點擊一下，就會在 Low-Code 編輯器自動生成 Low-Code 程式碼：

Low-Code 編輯器

Low-Code 編輯器提供腳本編輯相關功能，並提供滑鼠、鍵盤、電腦視覺、AI Agent、剪貼簿、遠端檔案傳輸與本地檔案都寫等 API，輸入 api. 就會出現 API 列表，需注意大多數 API 都是非同步。

測試執行 (TEST)

編輯完 Low-Code 腳本後，可以點擊「TEST」開始測試執行，並且被置換為「STOP」按鈕讓使用者可以中斷執行：

此時若切換到「NO-CODE」編輯器可以看到腳本執行的實際畫面：

如果執行測試執行部分 Low-Code 腳本，可以在「LOW-CODE」編輯器選取想要測試的腳本再點擊「TEST」：

傳輸檔案

Windows 提供 OpenSSH Server 的安裝，可以用管理員權限以 PowerShell 查詢，如果顯示 Installed 表示已安裝：

Get-WindowsCapability -Online | Where-Object Name -like 'OpenSSH.Server*'

如果尚未安裝，一樣可以用管理員權限以 PowerShell 安裝：

Add-WindowsCapability -Online -Name OpenSSH.Server~~~~0.0.1.0

接著用管理員權限以 PowerShell 啟動 OpenSSH Server 服務：

Start-Service sshd

也可以設定為開機時自動啟動：

Set-Service -Name sshd -StartupType Automatic

順利啟動 OpenSSH Server 後就可以在「LOW-CODE」 編輯器以 API 傳輸檔案：