本發(fā)明涉及一種用戶界面同步系統(tǒng)及其方法，尤指一種用于電子裝置與穿戴式裝置間的用戶界面同步系統(tǒng)及其方法。

背景技術：

眼動追蹤(eye tracking)，是指通過分析用戶的眼部影像或者眼球相對頭部的運動模式，來實現(xiàn)對眼球運動的追蹤程序。眼動儀是一種能夠跟蹤測量眼球位置及眼球運動信息的設備，在視覺系統(tǒng)、心理學、認知語言學的研究中有廣泛的應用。目前眼動追蹤有多種方法，較常見的眼動追蹤技術包括Purkinje影像追蹤法(Dual-Purkinje-Image,DPI)、紅外線影像系統(tǒng)法(Infra-Red Video System,IRVS)、紅外線眼動圖法(Infra-Red Oculography,IROG)等，可通過獲取用戶的眼部影像藉以判斷用戶的注視方向。

近期來，部分品牌的移動終端推出將眼動追蹤的技術整合至移動終端的技術，通過追蹤用戶的注視方向，移動終端可產(chǎn)生對應的操作指令，以對該移動終端下達對應的指令。這類的技術可便于用戶操作顯示屏幕，當用戶的其中一手無法空出來操作移動終端時，通過追蹤用戶的眼球，仍可輸入對應的指令。另一種情境可應用于影片播放，通過用戶注視的方向，判斷用戶是否注視顯示屏幕，在判斷用戶并未注視顯示屏幕時，暫時啟動停播功能，確保用戶不會錯過影片中的任何精彩片段。

然而，根據(jù)目前現(xiàn)有的技術，經(jīng)由移動終端的前鏡頭拍攝用戶眼部，所取得的影像容易受到環(huán)境因素的影響(例如高光、低光環(huán)境)，在追蹤眼部動作時容易遇到困難。欲進行精確的眼部動作追蹤時(如注視方向檢測)，由于移動終端的前鏡頭、顯示屏幕與用戶眼部的距離不固定，無法通過三角測距的方式取得用戶的注視方向，僅能就用戶的影像簡略地判斷用戶向左或是向右注視。

技術實現(xiàn)要素：

本發(fā)明的主要目的，在于解決現(xiàn)有技術中電子裝置無法精確通過進行眼動追蹤技術操作的問題。

為解決上述問題，本發(fā)明提供一種用戶界面同步系統(tǒng)，用于將電子裝置與穿戴式裝置進行配對，所述用戶界面同步系統(tǒng)包括：

圖形輸出模塊，耦接于該電子裝置，以存取該電子裝置的影像數(shù)據(jù)，并將該電子裝置的影像數(shù)據(jù)經(jīng)由無線網(wǎng)絡傳送至該穿戴式裝置；

映像模塊，耦接于該穿戴式裝置，將該影像數(shù)據(jù)顯示于該穿戴式裝置的輸出單元上，以供用戶注視操作；

眼動指令分析模塊，耦接于該穿戴式裝置，分析該穿戴式裝置所獲取到的眼部動作指令；以及

指令轉換模塊，耦接于該電子裝置或該穿戴式裝置，在接收到該眼部動作指令時對該眼部動作指令進行轉換，以將該眼部動作指令輸出為可供該電子裝置執(zhí)行的動作指令。

進一步地，該映像模塊在該穿戴式裝置的輸出單元上建立顯示該影像數(shù)據(jù)的用戶界面窗口，并依據(jù)電子裝置的顯示屏幕的長寬按照等比例放大或縮小調整該用戶界面窗口。

進一步地，該眼動指令分析模塊系依據(jù)所獲取到的眼部影像，分析該用戶的注視方向，并在該用戶界面窗口上形成可依據(jù)該注視方向移動的光標。

進一步地，當該用戶的注視方向停留在該用戶界面窗口上時，該眼動指令分析模塊則記錄該注視方向所對應于該電子裝置的顯示屏幕上的坐標位置，并當該注視方向大致停留于同一圖形化界面上超過所設定的閾值時間時，將觸發(fā)指令經(jīng)由無線網(wǎng)絡傳送至該指令轉換模塊以啟動該圖形化界面所對應的一或多個程序。

進一步地，該眼動指令分析模塊在檢測到該用戶的注視方向是由左至右快速移動時，傳遞左側翻頁的該眼部動作指令至該指令轉換模塊，以使該電子裝置執(zhí)行由左側向右側翻頁的動作指令，該眼 動指令分析模塊于檢測到該用戶的注視方向是由右至左快速移動時，傳遞右側翻頁的該眼部動作指令至該指令轉換模塊，以使該電子裝置執(zhí)行由右側向左側翻頁的動作指令。

進一步地，該眼動指令分析模塊在檢測到該用戶的觸發(fā)動作時設定基準坐標，持續(xù)檢測該用戶的注視方向，并記錄該注視方向相對該基準坐標的X軸移動距離及Y軸移動距離，當該X軸移動距離或該Y軸移動距離大于閾值時，傳遞對應于該眼部移動方向及移動距離的眼部動作指令至該指令轉換模塊，以使該電子裝置執(zhí)行對應于該眼部移動方向卷動的動作指令。

進一步地，該無線網(wǎng)絡采用無線保真度直連(WiFi Direct)協(xié)議、藍芽無線傳輸(Bluetooth)、或虛擬無線AP(Wi-Fi soft AP)。

本發(fā)明的另一目的，在于提供一種受控端電子裝置，包括有顯示屏幕，無線傳輸單元，以及連接該顯示屏幕及該無線傳輸單元的處理器。該處理器系具有圖形處理單元，用于將影像數(shù)據(jù)傳送至該顯示屏幕上以提供供用戶操作的用戶界面。該處理器包括有運算單元用于掛載并執(zhí)行以下的程序：

圖形輸出模塊，用于存取該電子裝置的影像數(shù)據(jù)，并將該電子裝置所顯示的影像數(shù)據(jù)經(jīng)由無線網(wǎng)絡傳送至穿戴式裝置，來供該穿戴式裝置輸出以供用戶目視操作。

指令轉換模塊，經(jīng)由無線網(wǎng)絡接收該穿戴式裝置所提供的眼部動作指令，將該眼部動作指令輸出為可供該電子裝置執(zhí)行的動作指令。

進一步地，該無線網(wǎng)絡采用無線保真度直連(WiFi Direct)協(xié)議、藍芽無線傳輸(Bluetooth)、或虛擬無線AP(Wi-Fi soft AP)。

本發(fā)明的另一目的，在于提供一種主控端穿戴式裝置，包括有輸出單元，無線傳輸單元，攝像單元，以及連接于該輸出單元、該無線傳輸單元及該攝像單元的處理器。該攝像單元系用于拍攝并取得用戶的眼部影像。該處理器系具有圖形處理單元，用于將影像數(shù)據(jù)傳送至該輸出單元上以供用戶操作的用戶界面。該處理器包括有 運算單元用于掛載并執(zhí)行以下的程序：

映像模塊，系通過無線網(wǎng)絡取得電子裝置的影像數(shù)據(jù)，并將該影像數(shù)據(jù)傳送至該穿戴式裝置的該圖形處理單元以顯示在該輸出單元上，供用戶注視操作。

眼動指令分析模塊，取得經(jīng)由該攝像單元所拍攝取得的眼部影像，并由該眼部影像獲取眼部動作指令，通過無線網(wǎng)絡將該眼部動作指令傳送至該電子裝置，以啟動該電子裝置的一或多個程序。

進一步地，該映像模塊在該穿戴式裝置的輸出單元上建立顯示該影像數(shù)據(jù)的用戶界面窗口，并依據(jù)該電子裝置的顯示屏幕的長寬按照等比例放大或縮小調整該用戶界面窗口。

進一步地，該眼動指令分析模塊系依據(jù)所獲取到的該眼部影像，分析該用戶的注視方向，并在該用戶界面窗口上形成可依據(jù)該注視方向移動的光標。

進一步地，當該用戶的注視方向停留于該用戶界面窗口上時，該眼動指令分析模塊系紀錄該注視方向所對應于該電子裝置的顯示屏幕上的坐標位置，并在檢測到該注視方向大致停留于同一圖形化界面上超過所設定的閾值時間時，將觸發(fā)指令經(jīng)由無線網(wǎng)絡傳送至該電子裝置以啟動該圖形化界面所對應的一或多個程序。

進一步地，該眼動指令分析模塊在檢測到該用戶的注視方向是由左至右快速移動時，傳遞左側翻頁的眼部動作指令至該電子裝置，以使該電子裝置執(zhí)行由左側向右側翻頁的程序，該眼動指令分析模塊在檢測到該用戶的注視方向是由右至左快速移動時，傳遞右側翻頁的眼部動作指令至該電子裝置，以使該電子裝置執(zhí)行由右側向左側翻頁的程序。

進一步地，該眼動指令分析模塊系在檢測到該用戶的觸發(fā)動作時設定基準坐標，持續(xù)檢測該用戶的注視方向，并記錄該注視方向相對該基準坐標的X軸移動距離及Y軸移動距離，當該X軸移動距離或該Y軸移動距離大于閾值時，傳遞對應于該眼部移動方向及移動距離的眼部動作指令至該電子裝置，以使該電子裝置執(zhí)行對應于 該眼部移動方向卷動的程序。

進一步地，該無線網(wǎng)絡采用無線保真度直連(WiFi Direct)協(xié)議、藍芽無線傳輸(Bluetooth)、或虛擬無線AP(Wi-Fi soft AP)。

本發(fā)明的另一目的，在于提供一種穿戴式裝置及電子裝置的界面同步方法，包括：存取該電子裝置的影像數(shù)據(jù)，并將該電子裝置的影像數(shù)據(jù)經(jīng)由無線網(wǎng)絡傳送至該穿戴式裝置；通過該穿戴式裝置將影像數(shù)據(jù)顯示在該穿戴式裝置的輸出單元上，以供用戶注視操作；分析該穿戴式裝置所獲取到的眼部動作指令，并將該眼部動作指令經(jīng)由無線網(wǎng)絡傳送至該電子裝置；以及在接收到該眼部動作指令時對該眼部動作指令進行轉換，以將該眼部動作指令輸出為可供該電子裝置執(zhí)行的動作指令。

進一步地，該穿戴式裝置在接收到該影像數(shù)據(jù)后，依據(jù)該電子裝置的顯示屏幕的長寬按照等比例放大或縮小建立顯示該影像數(shù)據(jù)的用戶界面窗口。

進一步地，該穿戴式裝置系依據(jù)所獲取到的眼部影像，分析該用戶的注視方向，并在該用戶界面窗口上形成可依據(jù)該注視方向移動的光標。

進一步地，該用戶的注視方向停留在該用戶界面窗口上時，則記錄該注視方向所對應于該電子裝置的顯示屏幕上的坐標位置，并在該注視方向大致停留于同一圖形化界面上超過所設定的閾值時間時，將觸發(fā)指令經(jīng)由無線網(wǎng)絡傳送至該電子裝置以啟動該圖形化界面所對應的一或多個程序。

進一步地，在檢測到該用戶的注視方向是由左至右快速移動時，傳遞左側翻頁的眼部動作指令至該電子裝置，以使該電子裝置執(zhí)行由左側向右側翻頁的動作指令，在檢測到該用戶的注視方向是由右至左快速移動時，傳遞右側翻頁的眼部動作指令至該電子裝置，以使該電子裝置執(zhí)行由右側向左側翻頁的動作指令。

進一步地，在檢測到該用戶的觸發(fā)動作時設定基準坐標，持續(xù)檢測該用戶的注視方向，并記錄該注視方向相對該基準坐標的X軸移動 距離及Y軸移動距離，當該X軸移動距離或該Y軸移動距離大于閾值時，傳遞對應于該眼部移動方向及移動距離的眼部動作指令至該電子裝置，以使該電子裝置執(zhí)行對應于該眼部移動方向卷動的動作指令。

本發(fā)明還有一目的，在于提供一種計算機可讀取紀錄媒體，其上記錄一程序，當電子裝置及穿戴式裝置加載該程序并執(zhí)行后，系可完成如上所述的方法。

本發(fā)明還有一目的，在于提供一種計算機程序產(chǎn)品，當該計算機程序產(chǎn)品被加載電子裝置及穿戴式裝置中執(zhí)行時，可完成如上所述的方法。

因此，本發(fā)明相較于前述習知技術具有以下的優(yōu)異效果：

1.本發(fā)明的用戶界面同步系統(tǒng)可將電子裝置的影像數(shù)據(jù)傳送至穿戴式裝置的輸出單元上，以使通過追蹤用戶的眼部動作操作電子裝置。

2.本發(fā)明的前鏡頭與用戶眼部間可維持于固定的間距，較容易檢測用戶的眼部動作。

附圖說明

圖1：表示本發(fā)明用戶界面同步系統(tǒng)的方塊示意圖。

圖2：表示本發(fā)明用戶界面同步系統(tǒng)的使用狀態(tài)示意圖。

圖3：表示用戶界面窗口的示意圖(一)。

圖4：表示眼部動作于用戶界面窗口上所產(chǎn)生的軌跡示意圖(一)。

圖5：表示眼部動作于用戶界面窗口上所產(chǎn)生的軌跡示意圖(二)。

圖6：表示用戶界面窗口的示意圖(二)。

圖7：表示另一種用戶界面窗口的示意圖。

圖8；表示本發(fā)明用戶界面同步方法的流程示意圖(一)。

圖9：表示本發(fā)明用戶界面同步方法的流程示意圖(二)。

圖10：表示本發(fā)明用戶界面同步方法的流程示意圖(三)。

圖11：表示本發(fā)明用戶界面同步方法的流程示意圖(四)。

符號說明

100 用戶界面同步系統(tǒng)

10 電子裝置

11 顯示屏幕

12 處理單元

13 圖形處理單元

14 儲存單元

16 無線傳輸單元

17 圖形輸出模塊

18 指令轉換模塊

CU1 處理器

20 穿戴式裝置

21 輸出單元

22 處理單元

23 圖形處理單元

24 儲存單元

25 攝像單元

26 無線傳輸單元

27 映像模塊

28 眼動指令分析模塊

CU2 處理器

W 用戶界面窗口

W1 游標

W2 定時器

W3、W4、W5、W6 箭頭(上、下、左、右)

步驟S201～S205

步驟S2051A～S2054A

步驟S2051B～S2053B

步驟S2051C～S2055C

具體實施方式

有關本發(fā)明的詳細說明及技術內容，現(xiàn)就配合圖示說明如下。再者，本發(fā)明中的圖示，為說明方便，其比例未必按實際比例繪制，而有夸大的情況，該等圖示及其比例非用于限制本發(fā)明的范圍。

本發(fā)明為一種用戶界面同步系統(tǒng)100，用于將電子裝置10的畫面?zhèn)魉椭链┐魇窖b置20上，通過穿戴式裝置20追蹤用戶的眼部動作以操作該電子裝置10。

所述的電子裝置10系至少包括顯示屏幕11、處理單元12(Central Processing Unit,CPU)、以及可輸入輸出影像的圖形處理單元13(Graphics Processing Unit,GPU)。具體而言，該電子裝置10可為(例如)蜂巢式電話、智能電話、平板計算機、手持式行動通訊裝置、個人數(shù)字助理(Personal Digital Assistant,PDA)或類此的可攜式電子裝置，此外，該電子裝置10亦可為計算器、桌面計算機、筆記本電腦、車載計算機等具有顯示及控制界面的電子裝置。

所述的穿戴式裝置20特指一種穿戴于用戶頭部的穿戴型裝置，可通過輸出單元21提供用戶可操作的用戶界面，通過攝像單元25拍攝用戶的眼部獲取用戶的眼部影像，通過用戶的注視方向操作上述的用戶界面。所述的穿戴式裝置20至少包括有提供影像至用戶眼部的輸出單元21、拍攝用戶眼部以取得用戶眼部影像的攝像單元25、處理單元22(Central Processing Unit,CPU)，以及可輸入輸出影像的圖形處理單元23(Graphics Processing Unit,GPU)。具體而言，該穿戴式裝置20可為智能型眼鏡、眼跡追蹤儀、擴增實境裝置、虛擬現(xiàn)實裝置、或類此的智能型穿戴裝置。

如圖1所示，為本發(fā)明用戶界面同步系統(tǒng)的方塊示意圖，如圖所示：

以下為分別針對電子裝置10及穿戴式裝置20的硬件架構進行說明，在硬件架構說明完后，后方會針對軟件架構的部分進行 更進一步的說明。

電子裝置：

如前所述，所述的電子裝置10作為受控端，以將影像數(shù)據(jù)傳送至該穿戴式裝置20，并通過該穿戴式裝置20的眼部動作追蹤功能通過無線網(wǎng)絡操作該電子裝置10。該電子裝置10系包括有顯示屏幕11、處理單元12(Processing Unit)、可輸入輸出影像的圖形處理單元13(Graphics Processing Unit,GPU)、儲存單元14、及無線傳輸單元16。

所述的處理單元12可與圖形處理單元13共同構成處理器CU1，使該處理單元12與圖形處理單元13可以集成于單一芯片上，因此減少組件所需占去的體積。舉例而言，所述的處理器CU1可以為例如ARM Holdings,Ltd.開發(fā)的系列處理器、以及中國科學院的計算技術研究所(ICT)開發(fā)的龍芯(Loongson)處理器等，于本發(fā)明中不予以限制。

在另一較佳實施例中，所述的處理單元12、及圖形處理單元13可個別構成處理器，分別處理邏輯運算、及圖像處理等工作，并共同或協(xié)同處理部分程序指令。

在另一較佳實施例中，所述的處理單元12可與儲存單元14共同構成處理器，該處理單元12可加載該儲存單元14所預存的程序，并執(zhí)行對應的算法。

在本實施中，該處理單元12系與圖形處理單元13共同構成處理器CU1，該處理器CU1并耦接于該儲存單元14。該處理器CU1可為中央處理器(Central Processing Unit,CPU)，或是其他可程序化并具有一般用途或特殊用途的微處理器(Microprocessor)、數(shù)字信號處理器(Digital Signal Processor,DSP)、可程序化控制器、特殊應用集成電路(Application Specific Integrated Circuits,ASIC)、可程序化邏輯設備(Programmable Logic Device,PLD)或其他類似裝置或這些裝置的組合。

所述的顯示屏幕11系用于顯示圖形數(shù)據(jù)，例如用戶操作界面、圖形化界面、或多媒體影像等，通過將影像或操作界面顯示在該顯示屏幕11上以供用戶讀取。所述的顯示屏幕11可為主動式數(shù)組有機發(fā)光裝置(AMOLED)顯示器、薄膜晶體管(Thin Film Transistor,TFT)顯示器、或其他類此的顯示設備，于本發(fā)明中不予以限制。所述的顯示屏幕11通過控制電路驅動，通過輸入對應的訊號至數(shù)據(jù)線驅動電路及掃描線驅動電路，以驅動面板在對應坐標上的發(fā)光單元(像素元)。所述的顯示屏幕11通過圖形處理單元13在存取儲存單元14內的數(shù)據(jù)后，將對應的多媒體數(shù)據(jù)發(fā)布在顯示屏幕11上，以供用戶目視。

所述的無線傳輸單元16系可通過無線網(wǎng)絡進行數(shù)據(jù)傳輸。具體而言，該無線網(wǎng)絡采用無線保真度直連(WiFi Direct)協(xié)議、藍芽無線傳輸(Bluetooth)、或虛擬無線AP(Wi-Fi soft AP)。在另一較佳實施例中，所述的無線傳輸單元16可通過無線射頻辨識(Radio Frequency Identification,RFID)技術與穿戴式裝置20進行配對，藉以與該穿戴式裝置20進行中、短距離的無線數(shù)據(jù)傳輸。

穿戴式裝置：

該穿戴式裝置20系可作為主控端，通過接收該電子裝置10的影像數(shù)據(jù)，并將該影像數(shù)據(jù)輸出至用戶眼部，以供用戶注視操作。如前所述，該穿戴式裝置20系包括有輸出單元21、處理單元22(Central Processing Unit,CPU)、可輸入輸出影像的圖形處理單元23(Graphics Processing Unit,GPU)、攝像單元25、以及無線傳輸單元26。

所述的處理單元22與電子裝置10的處理單元12大致相同，在此，針對處理單元22的說明即不再予以贅述。同電子裝置10的處理單元12，在一較佳實施例中，所述的處理單元22可與圖形處理單元23共同構成處理器CU2，使該處理單元22與圖形處理單元23可以集成在單一芯片上。在另一較佳實施例中，所述 的處理單元22、及圖形處理單元23可個別構成處理器，分別處理邏輯運算、及圖像處理等工作，并共同或協(xié)同處理部分程序指令。在另一較佳實施例中，所述的處理單元22可與儲存單元24共同構成處理器，該處理單元22可加載該儲存單元24所預存的程序，并執(zhí)行對應的算法。

在本實施中，該處理單元22系與圖形處理單元23共同構成處理器CU2，該處理器CU2系耦接于該儲存單元24。該處理單元22可為中央處理器(Central Processing Unit,CPU)，或是其他可程序化并具有一般用途或特殊用途的微處理器(Microprocessor)、數(shù)字信號處理器(Digital Signal Processor,DSP)、可程序化控制器、特殊應用集成電路(Application Specific Integrated Circuits,ASIC)、可程序化邏輯設備(Programmable Logic Device,PLD)或其他類似裝置或這些裝置的組合。

所述的輸出單元21系用于顯示圖形數(shù)據(jù)，并將圖形數(shù)據(jù)送至用戶的眼部以供用戶目視操作。該輸出單元21可為顯示屏幕，例如主動式數(shù)組有機發(fā)光裝置(AMOLED)顯示器、薄膜晶體管(thin film transistor，TFT)顯示器、或其他類此的顯示設備。在另一較佳實施例中，所述的輸出單元21可為視網(wǎng)膜顯示器，通過視網(wǎng)膜影像投影(Retinal Imaging Display,RID)技術，將畫面直接投射在視網(wǎng)膜上供用戶觀看。視網(wǎng)膜顯示器通過玻璃的反射，光束可直接在視網(wǎng)膜上成像，讓影像光束與肉眼所看到的實景融合。所述的輸出單元21系可通過圖形處理單元23(GPU)在存取儲存單元24內的數(shù)據(jù)后，將對應的多媒體數(shù)據(jù)發(fā)布于用戶的眼部，以供用戶目視。

所述的攝像單元25采用搭載有感光耦合組件(Charge Coupled Device,CCD)或互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor,CMOS)的攝像機，在本發(fā)明中不予以限制。該攝像單元25系用于拍攝用戶的眼部影像，所取得 的眼部影像將傳送至眼動指令分析模塊28進行進一步的分析，以追蹤用戶的眼部動作并將該眼部動作轉換為對應的眼部動作指令。

所述的無線傳輸單元26系可通過無線網(wǎng)絡進行數(shù)據(jù)傳輸。具體而言，該無線網(wǎng)絡采用無線保真度直連(WiFi Direct)協(xié)議、藍芽無線傳輸(Bluetooth)、或虛擬無線AP(Wi-Fi soft AP)。

以上已針對電子裝置10及穿戴式裝置20的硬件架構進行詳細的說明，在此，進一步依據(jù)上述的硬件架構，對應本發(fā)明用戶界面同步系統(tǒng)的架構進行詳細的說明：

結合圖2，為本發(fā)明用戶界面同步系統(tǒng)的使用狀態(tài)示意圖，如圖所示：

本發(fā)明可將該電子裝置10與穿戴式裝置20進行配對。在配對成功后，所述的電子裝置10可通過無線網(wǎng)絡將顯示屏幕11上的影像數(shù)據(jù)傳送至該穿戴式裝置20，以便用戶通過該穿戴式裝置20讀取該顯示屏幕11。所述的穿戴式裝置20系可通過攝像單元25拍攝用戶的眼部影像，以通過眼部動作無線操作該電子裝置10，藉以啟動該電子裝置10的一或多個程序。

參照圖1，所述的用戶界面同步系統(tǒng)100系包括耦接于該電子裝置10的圖形輸出模塊17、指令轉換模塊18，以及耦接于該穿戴式裝置20的映像模塊27、眼動指令分析模塊28。

在本實施例中，所述的圖形輸出模塊17、以及指令轉換模塊18系預存于該電子裝置10的儲存單元14內，以使該電子裝置10的處理單元12于掛載該圖形輸出模塊17及指令轉換模塊18的程序后執(zhí)行其算法。所述的映像模塊27、以及眼動指令分析模塊28系預存于該穿戴式裝置20的儲存單元24內，以使該穿戴式裝置20的處理單元22于掛載該映像模塊27、以及眼動指令分析模塊28的程序后執(zhí)行其算法。在另一較佳實施例中，所述的指令轉換模塊18亦可加載于該穿戴式裝置20，該穿戴式裝置20通過該指令轉換模塊18將該眼部動作指令轉換為可供電 子裝置10執(zhí)行的動作指令后，再經(jīng)由無線網(wǎng)絡將該動作指令傳送至該電子裝置10以啟動一或多個程序。于上述步驟中，所述的穿戴式裝置20系對該動作指令進行加密，該電子裝置10僅需將該動作指令解密后并執(zhí)行即可，所述的方式可理解為本發(fā)明的另一類似實施。

所述的圖形輸出模塊17耦接于該電子裝置10，以存取該電子裝置10的影像數(shù)據(jù)，并將該電子裝置10的影像數(shù)據(jù)經(jīng)由無線網(wǎng)絡傳送至該穿戴式裝置20。該圖形輸出模塊17系用于存取該圖形處理單元13內所提供的影像數(shù)據(jù)(用戶界面)，所取得的影像數(shù)據(jù)系與該顯示屏幕11上所顯示的影像同步，或者是依據(jù)預設定或用戶設定，強制關閉顯示屏幕11，使該圖形輸出模塊17直接將影像數(shù)據(jù)通過無線網(wǎng)絡傳送至該穿戴式裝置20，以減少該圖形輸出模塊17額外的負擔及減少電子裝置的耗電。

所述的映像模塊27系經(jīng)由該無線傳輸單元26與該圖形輸出模塊17形成配對，該映像模塊27系用于將影像數(shù)據(jù)顯示于該穿戴式裝置20的輸出單元21上，以供用戶注視操作。如圖3，該映像模塊27可建立顯示該影像數(shù)據(jù)的用戶界面窗口W，并依據(jù)電子裝置10的顯示屏幕11的長寬依等比例放大或縮小調整該用戶界面窗口W，以使用戶在較佳視覺感受范圍內操作該用戶界面窗口W。所述的映像模塊27系于該用戶界面窗口W上顯示一可移動的光標W1，該光標W1系追隨用戶的注視方向移動，所述的注視方向系通過眼動指令分析模塊28進行計算。

在一較佳實施例中，該圖形輸出模塊17可以通過串流技術(Streaming media)將一連串的影像數(shù)據(jù)壓縮后，經(jīng)過無線網(wǎng)絡分段傳送數(shù)據(jù)，并由耦接于該穿戴式裝置20的映像模塊27解壓串流封包，以使在將影像數(shù)據(jù)實時顯示于該穿戴式裝置20的輸出單元21上。

當該影像數(shù)據(jù)顯示在該輸出單元21所提供的用戶界面窗口W后，用戶可通過眼部動作操作該用戶界面窗口W上的光標W1， 或是通過連續(xù)的眼部動作產(chǎn)生對應的眼部動作指令操作該用戶界面窗口W。該眼動指令分析模塊28在分析用戶的眼部動作后，系將該眼部動作轉換為眼部動作指令，并將該眼部動作指令通過無線網(wǎng)絡傳送至耦接于該電子裝置10的指令轉換模塊18，以供指令轉換模塊18分析，進一步找到該眼部動作指令對應于該電子裝置10的動作指令，以通過處理單元12啟動對應于該動作指令的一或多個程序。在一較佳實施例中，該指令轉換模塊18系包括有查找表，通過該查找表該指令轉換模塊18可將該眼部動作指令轉換為對應至該電子裝置10的動作指令。是以，當穿戴式裝置20與電子裝置10成功配對時，用戶可通過該穿戴式裝置20操作該用戶界面窗口W，此時，攝像單元25將持續(xù)捕捉用戶的眼部影像，通過所捕捉到的眼部動作，用戶可通過穿戴式裝置20通過眼部動作操作該電子裝置10。

具體而言，該眼動指令分析模塊28系包括有二種功能，其一為通過用戶的眼部影像分析對應的眼部動作，通過該眼部動作判斷用戶的注視方向；其二為通過用戶的注視方向判斷用戶所欲輸入的眼部動作指令。

針對通過眼部影像取得眼部動作(注視方向)的技術，可以采用Purkinje影像追蹤法(Dual-Purkinje-Image,DPI)、紅外線影像系統(tǒng)法(Infra-Red Video System,IRVS)、紅外線眼動圖法(Infra-Red Oculography,IROG)，在本發(fā)明中并不予以限制。通過上述的方法，系可通過該用戶的多個眼部影像，采集到該眼部圖像映射于該輸出單元21上的多個樣本點(如圖4所示)，所取得的樣本點是用于進一步分析用戶所欲輸入的眼部動作指令。

以下是對部分主要的眼部動作指令進行說明，用戶例如可通過眼部動作指令輸入翻頁的動作指令至該電子裝置10，使該電子裝置10翻轉用戶界面窗口W上的畫面以達到翻頁的效果。參照圖4，為揭示用戶操作右側卷動時的一連串的樣本點，在系統(tǒng) 默認中，設定中間位置為眼部軌跡指令的起始點及結束點，在圖示中，起始位置系顯示為○，結束位置系顯示為╳，所檢測到的坐標順序系依序呈點狀排列。該眼動指令分析模塊28在檢測到該用戶的注視方向系由左(即中間位置)至右(右側位置)快速移動時，傳遞左側翻頁的眼部動作指令至該電子裝置10的指令轉換模塊18，此時指令轉換模塊18于收到該左側翻頁的眼部動作指令時，通過查找表呼叫對應的動作指令，使該處理單元12執(zhí)行由左側向右側翻頁的事件。

在向右側翻頁的部分，請參照圖5，為揭示用戶操作右側翻頁時的一連串的樣本點，在系統(tǒng)默認中，在圖示中，起始位置系顯示為○，結束位置系顯示為╳，所檢測到的坐標順序系依序呈點狀排列。該眼動指令分析模塊28在檢測到該用戶的注視方向系由右(即中間位置)至左(左側位置)快速移動時，傳遞右側翻頁的眼部動作指令至該電子裝置10的指令轉換模塊18，此時指令轉換模塊18于收到該右側翻頁系通過查找表找到對應的動作指令，使該處理單元12執(zhí)行由右側向左側翻頁的事件。

在翻頁指令輸入完成時，所述的電子裝置10系進入短時間的不反應期(例如一秒)，這是在于避免用戶通過眼部動作翻頁后，在眼睛回到中間位置時，被判定為翻頁指令。

在另一較佳實施態(tài)樣，用戶可通過眼部動作指令輸入卷動頁面的動作指令至該電子裝置10，使該用戶界面W上的頁面朝用戶注視的方向卷動。具體而言，所述的眼動指令分析模塊28系檢測該用戶的眼部動作，在檢測到用戶的觸發(fā)動作時設定一基準點(所述的觸發(fā)動作可為眨眼、閉眼、畫圈或其他預定義的眼部動作)，并持續(xù)記錄該注視方向相對該基準坐標的X軸移動距離及Y軸移動距離。當該X軸移動距離或該Y軸移動距離大于閾值時，該眼動指令分析模塊28系傳遞包含有對應于該眼部移動方向(即X軸或Y軸的正負值)及移動距離的眼部動作指令至該指令轉換模塊18，該指令轉換模塊18系將該指令傳送至處理單元12， 以使該處理單元12執(zhí)行對應于該眼部移動方向卷動的動作指令。其中，所取得的眼部移動方向將作為判定卷動方向的參考值，所取得的移動距離將作為判定卷動速度的參考值。

參照圖6，用戶可通過注視用戶界面窗口W，可以操作該用戶界面窗口W上的光標W1。所述的眼動指令分析模塊28依據(jù)所獲取到的眼部影像，分析該用戶的注視方向，并在該用戶界面窗口W上形成可依據(jù)該注視方向移動的光標W1。當該用戶的注視方向停留在該用戶界面窗口W上時，該眼動指令分析模塊28系紀錄該注視方向所對應于該電子裝置10的顯示屏幕11上的坐標位置，并當該注視方向大致停留在同一圖形化界面超過所設定的閾值時間時，系將觸發(fā)指令經(jīng)由無線網(wǎng)絡傳送至該指令轉換模塊18，該指令轉換模塊18系將該觸發(fā)指令轉換為輕觸啟動的動作指令，啟動對應于該坐標位置上的圖形化界面所對應的軟件程序或指令。

如圖6所示，在一較佳實施例中，映像模塊27在接收到該影像數(shù)據(jù)時，可將該輸出單元21上所對應的圖形化界面劃定范圍并對象化(所劃定的范圍可由電子裝置10的圖形處理單元13取得)，當用戶的注視方向停留在其中一圖形化界面所劃定的范圍內時，游標W1將轉換為定時器W2，并標示出啟動圖形化界面所需的時間。如圖示內容，該定時器W2包含有百分比數(shù)字、以及計時條，當用戶的注視方向停留在圖形化界面時，光標W1即轉換為定時器W2，此時百分比數(shù)字及計時條將顯示剩余的時間，在百分比數(shù)字達到100％時，此時計時條亦顯示為滿格，該眼動指令分析模塊28系將觸發(fā)指令經(jīng)由無線網(wǎng)絡傳送至該指令轉換模塊18，以啟動該圖形化界面所對應的軟件程序或指令。

請一并參閱圖7，系揭示另一較佳的實施例，所述的用戶界面窗口W可設置有多個操作區(qū)域，用戶可注視對應于每一操作區(qū)域上的圖形化界面，以產(chǎn)生對應于該操作區(qū)域的眼部動作指令。例如當用戶將光標W1(注視方向)停留在右側方向的箭頭圖形W3 時，所述的眼動指令分析模塊28將傳遞右側翻頁的眼部動作指令至該電子裝置10的指令轉換模塊18；當用戶將光標W1(注視方向)停留在左側方向的箭頭圖形W4時，所述的眼動指令分析模塊28將傳遞右側翻頁的眼部動作指令至該電子裝置10的指令轉換模塊18；當用戶將光標W1(注視方向)停留在上側方向的箭頭圖形W5時，所述的眼動指令分析模塊28將傳遞上側翻頁的眼部動作指令至該電子裝置10的指令轉換模塊18；當用戶將光標W1(注視方向)停留在下側方向的箭頭圖形W6時，所述的眼動指令分析模塊28將傳遞下側翻頁的眼部動作指令至該電子裝置10的指令轉換模塊18；所述的指令轉換模塊18在接收到上述的眼部動作指令后，可通過查找表或面向對象的方式找到對應的動作指令，并將該動作指令傳送至該處理單元12，以啟動對應的一或多個程序。

以下是配合圖示針對本發(fā)明的用戶界面同步方法進行詳細的說明，參照圖8，為本發(fā)明用戶界面同步方法的流程示意圖，如圖所示：

本發(fā)明的用戶界面同步方法，應用在電子裝置10及穿戴式裝置20上，可通過將電子裝置10上的畫面轉移至穿戴式裝置20上，以通過該穿戴式裝置20的眼控功能無線操作該電子裝置10的用戶界面。有關于界面同步的具體流程如下：

起始時，先將電子裝置10與穿戴式裝置20進行配對，所述的配對可通過加密、建立密鑰或其他可相互驗證的方式執(zhí)行，以使該電子裝置10與穿戴式裝置20間建立聯(lián)機。(步驟S201)

在配對完成時，存取該電子裝置10的影像數(shù)據(jù)(例如顯示屏幕11上的影像)，并將該電子裝置10的影像數(shù)據(jù)經(jīng)由無線網(wǎng)絡傳送至該穿戴式裝置20。(步驟S202)

該穿戴式裝置20在接收到該影像數(shù)據(jù)后，將影像數(shù)據(jù)顯示在該穿戴式裝置20的輸出單元21上，以供用戶注視操作。所述的穿戴式裝置20系依據(jù)該電子裝置10的顯示屏幕11的長寬按 照等比例放大或縮小建立一顯示該影像數(shù)據(jù)的用戶界面窗口W。(步驟S203)

該穿戴式裝置20系依據(jù)所獲取到的眼部影像，分析該用戶的注視方向，并在該用戶界面窗口W上形成可依據(jù)該注視方向移動的光標W1。(步驟S204)

分析該穿戴式裝置20所獲取到的眼部動作指令，并將該眼部動作指令經(jīng)由無線網(wǎng)絡傳送至該電子裝置10。該電子裝置10在接收到該眼部動作指令時對該眼部動作指令進行轉換，以將該眼部動作指令輸出為可供該電子裝置10執(zhí)行的動作指令。(步驟S205)

以下系針對步驟S205的步驟舉三種不同實施方式進行說明，可理解的，以下三種實施方式皆可在步驟S205中同時進行：

第一種實施方式，以下參照圖9的內容。首先，先取得每一圖形化界面在顯示屏幕數(shù)組上所對應的范圍，該范圍可由該電子裝置10的圖形處理單元13中取得，每一圖形化界面的范圍系分別包含有對應至該圖形化界面的一或多個程序。(步驟S2051A)該用戶的注視方向停留在該用戶界面窗口上時，記錄該注視方向所對應于該電子裝置10的顯示屏幕11上的坐標位置，以確認用戶的注視方向(步驟S2052A)。用戶的注視方向停留在其中一圖形化界面上時，啟動一定時器紀錄用戶注視方向的停留時間，并判斷該注視方向是否超過所設定的閾值時間，例如1～2秒(步驟S2053A)，當用戶的注視方向停留在同一圖形化界面上超過所設定的閾值時間時(眼部動作指令)，將觸發(fā)指令經(jīng)由無線網(wǎng)絡傳送至該電子裝置10以啟動該圖形化界面所對應的一或多個程序(動作指令)。(步驟S2054A)。反之，若該注視方向若離開該圖形化界面的范圍內，則回到步驟S2052A，繼續(xù)檢測用戶的注視方向。

第二種實施方式，以下參照圖10的內容。首先，啟動決策程序，在決策程序中系持續(xù)檢測用戶的注視方向(步驟S2051B)， 當檢測該用戶的注視方向系由左至右快速移動時，傳遞左側翻頁的眼部動作指令至該電子裝置10，以使該電子裝置10執(zhí)行由左側向右側翻頁的動作指令(步驟S2052B)。當檢測到該用戶的注視方向系由右至左快速移動時，傳遞右側翻頁的眼部動作指令至該電子裝置10，以使該電子裝置10執(zhí)行由右側向左側翻頁的動作指令。(步驟S2053B)

第三種實施方式，以下參照圖11的內容。首先，該穿戴式裝置20檢測用戶是否行為一觸發(fā)動作(步驟S2051C)。在檢測到該用戶的觸發(fā)動作時設定一基準坐標，持續(xù)檢測該用戶的注視方向，并記錄該注視方向相對該基準坐標的X軸移動距離及Y軸移動距離(步驟S2052C)。接續(xù)，判斷該X軸移動距離或該Y軸移動距離是否大于閾值(步驟S2053C)，若是，進入下一步驟，若否，回到步驟S2052C。當該X軸移動距離或該Y軸移動距離大于閾值時，系判斷該眼部移動方向(步驟S2054C)。將包含有該眼部移動方向及移動距離的眼部動作指令傳送至該電子裝置10，以使該電子裝置10執(zhí)行對應于該眼部移動方向卷動的動作指令(步驟S2055C)。在上述的步驟中，若用戶的注視方向的距離回到小于該閾值的狀態(tài)時，則復歸至步驟2051C前的程序，持續(xù)檢測用戶是否產(chǎn)生一觸發(fā)動作。

本發(fā)明中所述的方法步驟亦可作為一種計算機可讀取紀錄媒體實施，用于儲存在光盤片、硬盤、半導體記憶裝置等計算機可讀取記錄媒體，并通過該計算機可讀取記錄媒體載置在電子裝置上為該電子裝置或電子設備所存取使用。

本發(fā)明所述的方法步驟亦可作為一種計算機程序產(chǎn)品實施，用于儲存在網(wǎng)絡服務器的硬盤、記憶裝置，例如app store、google play、windows市集、或其他類似的應用程序在線發(fā)行平臺，可通過將計算機程序產(chǎn)品上傳至服務器后供用戶付費下載的方式實施。

綜上所述，本發(fā)明的用戶界面同步系統(tǒng)可將電子裝置的影像 數(shù)據(jù)傳送至穿戴式裝置的輸出單元上，以使于通過追蹤用戶的眼部動作操作電子裝置。本發(fā)明的前鏡頭與用戶眼部間可維持在固定的間距，較容易檢測用戶的眼部動作。

以上已將本發(fā)明做一詳細說明，惟以上所述者，僅為本發(fā)明的較佳實施例而已，當不能以此限定本發(fā)明實施的范圍，即凡依本發(fā)明申請專利范圍所作的同等變化與修飾，皆應仍屬本發(fā)明的專利涵蓋范圍內。