Desktop Automation (DA)
桌面自動化(Desktop Automation, 簡稱 DA) 是訓練EMILY分析與辨識螢幕並操作滑鼠與鍵盤來達成桌面應用軟體的流程自動化。請注意部署DA自動化技能的電腦螢幕設定(如解析度、顏色深度、文字放大比例等)應與訓練時的電腦完全一致,建議最好是直接在部署自動化的電腦上訓練技能,並避免於自動化技能執行期間操作電腦造成滑鼠與鍵盤的干擾
訓練介面
點擊 OPEN TRAINER UI 可以啟動訓練模式面板,直接在本機做 DA 流程的設計;或者利用同網段的另一台電腦瀏覽器,連入 Trainer URL 做遠端的流程設計:
當螢幕畫面右上角出現訓練模式面板後,建議將 EMILY 主界面與 WAP 視窗最小化,這樣可以將螢幕空間騰出給訓練模式使用。
訓練模式面板分為三種模式:Live,No-Code,以及 Low-Code。Live 模式是用來手動調整桌面或應用程式的操作狀態;No-Code 模式是利用滑鼠操作帶出選單以選擇流程步驟的指令,最終會將指令寫入 Low-Code 模式的程式碼編輯區;最後 Low-Code 模式是用來手動調整 No-Code 模式產生的程式碼,以達到最大化的設計彈性。
在 Live 模式,我們可以自由的將桌面調整到流程開始時所需的狀態,然後點擊快門按鈕為 No-Code 模式取得螢幕快照;也可以利用 Ctrl/Cmd+0 的快捷鍵執行快照,或是 Ctrl/Cmd+5 快捷鍵執行延遲5秒的快照。
進入 No-Code 模式後可以單點滑鼠帶出選單以選擇要產生的步驟指令:OPEN FILE, INPUT TEXT, SEND KEYS, SLEEP, COPY XY, CLICK LEFT, CLICK RIGHT 等。其中 OPEN FILE 除了可以如同滑鼠雙擊指定檔案以啟動關聯的應用程式外,也可以選擇應用程式執行檔直接啟動應用程式。
當步驟指令在 No-Code 模式下產生後,會如下圖提醒使用者已產生指令:
這時可以切換到 Low-Code 模式檢查或調整程式碼:
在任一模式下點擊訓練模式面板上的 ▶︎ 執行鍵,EMILY 就會自動切換到 Live 模式並開始依指令順序執行,按 ■ 停止鍵或 Shift+ESC 可以中斷執行:
接著可以執行一次快照,取得最新螢幕畫面後切換回 No-Code 模式,繼續增加下一個步驟指令,例如以滑鼠拖曳螢幕畫面上的按鈕區域,放開滑鼠後帶出選單並選取加入的下一個步驟指令:
當步驟指令逐漸增加後,除了訓練模式面板的 ▶︎ 執行鍵可以循序執行全部步驟指令外,也可以在程式碼編輯區選取想要執行的程式碼區段,點擊編輯區上方的 RUN SELECTED CODE 執行選取部份的步驟指令:
在完成所有步驟指令後,一定要記得 Commit 程式碼。由於步驟指令會被加入 TRIAL 程式碼區域,點擊訓練模式面板內的 Commit 鍵會推送到 FINAL 區,必須再 Commit 一次才會推送回 DA WAP 視窗:
此時按下 SAVE 按鈕才算完成 DA WAP 的流程段。如果萬一忘了 SAVE,可以打開訓練模式的工作資料夾,剛才在 FINAL 程式編輯區 Commit 的程式碼會被儲存在 code-final-xxxx.js 的檔案中:
請注意以下的限制
Windows 作業系統需要 Windows 10 64bit 以上版本,並事前安裝微軟 VC++ 函式庫。
DA 技能運作時會占用滑鼠與鍵盤,如果自動化過程中移動滑鼠或使用鍵盤,自動化的結果有可能受到影響而產生錯誤。
使用者要確保輸入法(IME)的狀態與訓練時一致。有時系統對於不同的應用程式會出現輸入法自動切換,有可能導致錯誤的文字輸入。
Low-Code API
api.key 提供按鍵碼如下:
Space LeftAlt RightAlt LeftControl RightControl LeftShift RightShift LeftSuper RightSuper
F1 F2 F3 F4 F5 F6 F7 F8 F9 F10 F11 F12
Num0 Num1 Num2 Num3 Num4 Num5 Num6 Num7 Num8 Num9
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
Grave Minus Equal Backspace LeftBracket RightBracket Backslash Semicolon Quote Return Comma Period Slash
Left Up Right Down
Print Pause Insert Delete Home End PageUp PageDown
NumPad0 NumPad1 NumPad2 NumPad3 NumPad4 NumPad5 NumPad6 NumPad7 NumPad8 NumPad9
Add Subtract Multiply Divide Decimal
CapsLock ScrollLock NumLock
Last updated