專利名稱：一種終端設(shè)備的人機交互方法及其終端設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人機交互技術(shù)領(lǐng)域，尤其涉及一種終端設(shè)備的人機交互方法及其終端設(shè)備。
背景技術(shù)：
目前各種智能終端設(shè)備日益普及，人機交互的方式也在發(fā)展之中?，F(xiàn)代計算機系統(tǒng)實現(xiàn)人機交互的方式主要借助麥克風(fēng)、鍵盤、鼠標、觸摸板、觸筆、搖桿、觸摸屏等交互設(shè)備，上述方式通常需要人手動或發(fā)聲進行重復(fù)的操作，有的還需要人提前進行訓(xùn)練才能熟
練掌握。
現(xiàn)有的技術(shù)中，已經(jīng)存在電子設(shè)備應(yīng)用人眼作為一種輸入裝置，達到更好的人機交互，但目前但是這種輸入方法往往都是通過檢測眼球視線當(dāng)前聚焦于屏幕的某個位置，當(dāng)人眼視線落在屏幕的下端，然后屏幕自動向下翻頁。這種人機交互的方式停留在僅僅采用視線落點作為輸入信息，在實際運用時，電子設(shè)備根據(jù)輸入信息作出的反應(yīng)相對于人眼動作，往往其滯后性比較明顯，而且準確性和靈活性不高，因而不能達到良好的人機信息交互。

發(fā)明內(nèi)容
為了克服上述所指的現(xiàn)有技術(shù)中的不足之處，本發(fā)明提供一種終端設(shè)備的人機交互方法及其終端設(shè)備，以使人機信息交互準確可靠，提高用戶的操作效率和便利性。本發(fā)明是通過以下技術(shù)方案實現(xiàn)的
一種終端設(shè)備的人機交互方法，所述終端設(shè)備包括與中央處理器連接的人眼動態(tài)監(jiān)測儀、圖像處理單元、定時器和顯示屏幕，所述人機交互方法包括以下步驟
a、啟動人眼動態(tài)監(jiān)測儀對人眼進行實時追蹤，該人眼動態(tài)監(jiān)測儀記錄初始人眼影像，同時定時器啟動；
b、定時器超時，人眼動態(tài)監(jiān)測儀記錄當(dāng)前人眼影像；
C、所述圖像處理單元對人眼動態(tài)監(jiān)測儀記錄的人眼影像數(shù)據(jù)進行比較分析，判斷眼球運動距離及方向；
d、中央處理器根據(jù)圖像處理單元的判斷及預(yù)先設(shè)定的眼球動作與顯示屏幕的反饋動作的鏈接關(guān)系，指示顯示屏幕作出反饋。所述定時器的一個計時周期為O. 1-2秒，該定時器啟動次數(shù)為一次或者該定時器采用兩次以上的連續(xù)啟動方式。步驟c中所述圖像處理單元對人眼動態(tài)監(jiān)測儀記錄的人眼影像數(shù)據(jù)進行分析進一步包括識別初始人眼影像及當(dāng)前人眼影像中左眼瞳仁在左眼眼眶內(nèi)的橫向相對位置、右眼瞳仁在右眼眼眶內(nèi)的橫向相對位置，并計算雙眼瞳仁在眼眶內(nèi)的平均橫向相對位置；與相對初始人眼影像比較，計算當(dāng)前人眼影像的雙眼瞳仁橫向偏移量及方向；識別初始人眼影像及當(dāng)前人眼影像中左眼瞳仁在左眼眼眶內(nèi)的豎向相對位置、右眼瞳仁在右眼眼眶內(nèi)的豎向相對位置，并計算雙眼瞳仁在眼眶內(nèi)的平均豎向相對位置；與相對初始人眼影像比較，計算當(dāng)前人眼影像的雙眼瞳仁的豎向偏移量及方向。所述人眼瞳仁在眼眶內(nèi)的相對位置是指以眼眶的橫向及豎向中點為參照，瞳仁的相對坐標位置。步驟c中所述圖像處理單元對人眼動態(tài)監(jiān)測儀記錄的人眼影像數(shù)據(jù)進行分析之前，還包括所述人眼動態(tài)監(jiān)測儀將記錄的初始人眼影像、當(dāng)前人眼影像數(shù)據(jù)分別輸入至圖像處理單元。步驟d中所述中央處理器根據(jù)圖像處理單元的判斷指示顯示屏幕作出反饋之前，包括預(yù)先設(shè)定眼球動作與顯示屏幕的反饋動作的鏈接關(guān)系。具體地說，步驟d中所述中央處理器根據(jù)圖像處理單元的判斷指示顯示屏幕作出反饋包括當(dāng)雙眼瞳仁的向上豎向偏移量達到預(yù)設(shè)閥值時，中央處理器指示顯示屏幕向前 翻動頁面；當(dāng)雙眼瞳仁的向下豎向偏移量達到預(yù)設(shè)閥值時，中央處理器指示顯示屏幕向后翻動頁面。本發(fā)明還公開了一種利用前述的人機交互方法的終端設(shè)備，所述終端設(shè)備包括 人眼動態(tài)監(jiān)測儀，該人眼動態(tài)監(jiān)測儀為基于人眼捕捉技術(shù)，具有人眼識別功能的影像
采集裝置；
圖像處理單元，用于對人眼動態(tài)監(jiān)測儀記錄的人眼影像數(shù)據(jù)進行識別及分析判斷； 定時器，用于限定人眼動態(tài)監(jiān)測儀的影像采集周期；
及顯示屏幕；所述人眼動態(tài)監(jiān)測儀、圖像處理單元、定時器、顯示屏幕分別與中央處理器連接。具體地說，所述終端設(shè)備為手機或者電子計算機。與現(xiàn)有技術(shù)相比，本發(fā)明通過在智能終端設(shè)備中增加人眼動態(tài)監(jiān)測儀，利用該人眼動態(tài)監(jiān)測儀實時檢測眼球的運動趨勢，通過對采集圖像進行分析處理，判斷譬如眼球瞳仁上下左右移動的人眼動作后，中央處理器指示顯示屏幕作出反饋動作，例如翻頁或者歌曲切換，使得僅通過眼球動作就能實現(xiàn)人機交互。利用此方法實現(xiàn)的人機信息交互準確可靠，大大提高了用戶的操作效率，從而為用戶帶來更完善的使用體驗。


附圖I為本發(fā)明實施例的終端設(shè)備的人機交互方法的實現(xiàn)流程示意 附圖2為本發(fā)明實施例的終端設(shè)備的結(jié)構(gòu)簡圖。
具體實施例方式為了便于本領(lǐng)域技術(shù)人員的理解，下面結(jié)合附圖對本發(fā)明作進一步的描述。本發(fā)明是建立在具有基于人眼動態(tài)監(jiān)測儀此一外設(shè)的終端設(shè)備的前提之上的。所述人眼動態(tài)監(jiān)測儀為基于人眼捕捉技術(shù)，具有人眼識別功能的影像采集裝置。目前，人眼識別技術(shù)已經(jīng)應(yīng)用于數(shù)碼攝像領(lǐng)域，具有人眼識別功能的攝像頭可作為本發(fā)明中的人眼動態(tài)監(jiān)測儀應(yīng)用于終端設(shè)備中，因而本發(fā)明的實施不應(yīng)受到硬件設(shè)備的限制，從而具有良好的應(yīng)用前景。具體地說，所述終端設(shè)備包括手機、平板電腦、筆記本等終端設(shè)備，在此所提及的實施例中，以智能手機為例展開敘述。
本發(fā)明公開了一種終端設(shè)備的人機交互方法，所述終端設(shè)備包括與中央處理器連接的人眼動態(tài)監(jiān)測儀、圖像處理單元、定時器和顯示屏幕，本實施例中，如附圖I所示，所述人機交互方法包括以下步驟
步驟101、啟動人眼動態(tài)監(jiān)測儀對人眼進行實時追蹤；
步驟102、該人眼動態(tài)監(jiān)測儀記錄初始人眼影像并輸入至圖像處理單元，同時實施步驟103，定時器啟動；
步驟104緊接步驟103，當(dāng)定 時器超時，人眼動態(tài)監(jiān)測儀記錄當(dāng)前人眼影像并輸入至圖像處理單元；
然后，在步驟105中，所述圖像處理單元對步驟102、步驟104中人眼動態(tài)監(jiān)測儀記錄并輸入的人眼影像數(shù)據(jù)進行比較分析；
步驟106、判斷眼球是否發(fā)生變化，即眼球的瞳仁位置是否發(fā)生偏移動作，若是，則執(zhí)行步驟107，否則，返回步驟102 ；
步驟107、所述圖像處理單元判斷眼球運動距離及方向；
步驟108、所述圖像處理單元將結(jié)果傳輸至中央處理器；
步驟109、中央處理器響應(yīng)圖像處理單元的判斷，根據(jù)預(yù)先設(shè)定的眼球動作與顯示屏幕的反饋動作的鏈接關(guān)系，指示顯示屏幕作出反饋。在本發(fā)明的較佳實施例中，所述步驟102人眼動態(tài)監(jiān)測儀記錄初始人眼影像后，立即執(zhí)行步驟103定時器啟動。在本發(fā)明中，步驟105中所述圖像處理單元對人眼動態(tài)監(jiān)測儀記錄的人眼影像數(shù)據(jù)進行分析進一步包括
步驟501、識別初始人眼影像及當(dāng)前人眼影像中左眼瞳仁在左眼眼眶內(nèi)的橫向相對位置、右眼瞳仁在右眼眼眶內(nèi)的橫向相對位置，并計算雙眼瞳仁在眼眶內(nèi)的平均橫向相對位置；
步驟502、與相對初始人眼影像比較，計算當(dāng)前人眼影像的雙眼瞳仁橫向偏移量及方
向；
步驟503、識別初始人眼影像及當(dāng)前人眼影像中左眼瞳仁在左眼眼眶內(nèi)的豎向相對位置、右眼瞳仁在右眼眼眶內(nèi)的豎向相對位置，并計算雙眼瞳仁在眼眶內(nèi)的平均豎向相對位置；
步驟504、與相對初始人眼影像比較，計算當(dāng)前人眼影像的雙眼瞳仁的豎向偏移量及方向。在本發(fā)明的較佳實施例中，所述人眼瞳仁在眼眶內(nèi)的相對位置是指以眼眶的橫向及豎向中點為參照，瞳仁中心的相對坐標位置。以眼眶中心為參照點，能有效提高檢測的可靠性和穩(wěn)定性。步驟109中所述中央處理器根據(jù)圖像處理單元的判斷指示顯示屏幕作出反饋之前，包括預(yù)先設(shè)定眼球動作與顯示屏幕的反饋動作的鏈接關(guān)系。本發(fā)明中，所述眼球瞳仁上下左右移動的動作與顯示屏幕的反饋動作的對應(yīng)關(guān)系可由系統(tǒng)默認或者由客戶預(yù)先自由設(shè)定。具體地說，步驟109中所述中央處理器根據(jù)圖像處理單元的判斷指示顯示屏幕作出反饋包括當(dāng)雙眼瞳仁的向上豎向偏移量達到預(yù)設(shè)閥值時，中央處理器指示顯示屏幕向前翻動頁面；當(dāng)雙眼瞳仁的向下豎向偏移量達到預(yù)設(shè)閥值時，中央處理器指示顯示屏幕向后翻動頁面。但上述反饋動作應(yīng)理解為是本發(fā)明的舉例，而非限定，在本發(fā)明的其他實施例中，利用智能手機的前置攝像頭捕捉人眼的動作，如眼球瞳仁上下左右移動，進行分析處理后，在屏幕上進行相應(yīng)的動作，例如翻頁或者歌曲切換等，使得僅通過眼球動作就能實現(xiàn)人機交互。所述預(yù)設(shè)閥值為系統(tǒng)默認值或者在一數(shù)值范圍內(nèi)由用戶設(shè)定，該預(yù)設(shè)閥值通過多次試驗調(diào)試后可成為較穩(wěn)定準確的判斷依據(jù)。本發(fā)明所利用的人眼動態(tài)監(jiān)測技術(shù)基于人臉識別技術(shù)，人臉識別技術(shù)包含人臉檢測、人臉跟蹤與人臉比對等課題。人臉檢測是指在動態(tài)的場景、一幀視頻流或一張靜態(tài)圖像中判斷是否存在人臉并將人臉從復(fù)雜背景中分離出來，并自動地將其保存。此人臉檢測技術(shù)已廣泛應(yīng)用于數(shù)碼攝像裝置等領(lǐng)域，為現(xiàn)有技術(shù)。人臉檢測包括參考模板、人臉規(guī)則、樣本學(xué)習(xí)、膚色模型與特征子臉等方法。在人臉特征中，眼睛對于人臉的辨識起著重要的作用，準確地定位人眼是自動人臉識別、人機交互等技術(shù)的關(guān)鍵環(huán)節(jié)。目前，常用的眼睛定位方法包括一、灰度投影法，利用人臉特征的灰度值差別和人臉的幾何分布關(guān)系，來確定眼睛的位置。這種方法比較簡單，但是灰度信息的分布隨不同的人臉而差異很大，因此該方法 定位準確度不穩(wěn)定，容易陷入局部最小而導(dǎo)致定位失??；二、邊緣提取法，利用Sobel算子檢測人臉邊緣，并在其中找出可能為眼睛的區(qū)域，然后利用Hough變換的結(jié)果確定最佳匹配的區(qū)域，作為眼睛的位置。這種方法需要大量的預(yù)處理，而且受光照和遮擋的影響較大；三、模板匹配法，使用可變模板定位眼睛，并在此基礎(chǔ)上提出了基于感興趣區(qū)的模板匹配方法，這種方法使用左眼模板和右眼模板在圖像中進行匹配，不需要大量的先驗知識，但是它對初始位置有要求并且計算量大。雖然以上方法各有其優(yōu)劣，但是隨著算法的改進和結(jié)合光照補償?shù)绕渌麍D像處理措施，在一定程度上已經(jīng)可滿足終端設(shè)備對于眼睛定位的準確度要求。本發(fā)明所公開的人機交互方法實時采集用戶眼球信息，記錄當(dāng)前眼球動作和方向，當(dāng)用戶眼球發(fā)生動作時，通過在一個間隔足夠短時間周期內(nèi)采集足夠多的眼球數(shù)據(jù)并進行處理，分析判斷眼球瞳仁的移動方向和眼球動作；從而使中央處理器根據(jù)分析所得的用戶通過眼睛發(fā)出的信息而進行相應(yīng)的交互操作，使用戶可以通過眼球動作實現(xiàn)相應(yīng)的操作，更好應(yīng)用于人機交互。本發(fā)明還公開了一種利用前述的人機交互方法的終端設(shè)備，如附圖2所示，所述終端設(shè)備包括
人眼動態(tài)監(jiān)測儀，該人眼動態(tài)監(jiān)測儀為基于人眼捕捉技術(shù)，具有人眼識別功能的影像
采集裝置；
圖像處理單元，用于對人眼動態(tài)監(jiān)測儀記錄的人眼影像數(shù)據(jù)進行識別及分析判斷，并將判斷結(jié)果傳送至中央處理器；
定時器，用于限定人眼動態(tài)監(jiān)測儀的影像采集周期；
及顯示屏幕，所述顯示屏幕根據(jù)中央處理器的指令作出向前或向后翻頁、應(yīng)用程序切換等反饋；
所述人眼動態(tài)監(jiān)測儀、圖像處理單元、定時器、顯示屏幕分別與中央處理器保持信號連接。本發(fā)明的終端設(shè)備需要具有人眼動作捕捉單元，即人眼動態(tài)監(jiān)測儀，在實際應(yīng)用中，具有人眼識別功能的手機前置攝像頭可作為人眼動態(tài)監(jiān)測儀。人眼動態(tài)監(jiān)測儀用于實時采集用戶的眼球信息，記錄眼球的即時位置及動作，形成圖像數(shù)據(jù)傳遞至圖形處理單元。當(dāng)人眼動態(tài)監(jiān)測儀啟動時，記錄下初始影像，并立即啟動一個定時器，定時器超時后，記錄定時器超時時人眼影像，對兩個影像進行處理，判斷當(dāng)前眼球的轉(zhuǎn)動動作。所述定時器的一個計時周期為O. 1-2秒，通常設(shè)定為O. 2秒左右。該定時器啟動次數(shù)為一次或者該定時器采用兩次以上的連續(xù)啟動方式。所述定時器可以連續(xù)多次啟動，根據(jù)實際情況，靈活調(diào)制參數(shù)，在此種設(shè)定下，人眼動態(tài)監(jiān)測儀可連續(xù)記錄多個當(dāng)前人眼影像作為比較分析的數(shù)據(jù)，比如設(shè)定判斷一次合理的眼球轉(zhuǎn)動需要檢測到眼球瞳仁在三個定時器周期內(nèi)發(fā)生同向移動，以提高監(jiān)測的準確性和可靠性。以上內(nèi)容是結(jié)合具體的優(yōu)選方式對本發(fā)明所作的進一步詳細說明，不應(yīng)認定本發(fā) 明的具體實施只局限于以上說明。對于本技術(shù)領(lǐng)域的技術(shù)人員而言，在不脫離本發(fā)明構(gòu)思的前提下，還可以作出若干簡單推演或替換，均應(yīng)視為由本發(fā)明所提交的權(quán)利要求確定的保護范圍之內(nèi)。
權(quán)利要求
1.一種終端設(shè)備的人機交互方法，所述終端設(shè)備包括與中央處理器連接的人眼動態(tài)監(jiān)測儀、圖像處理單元、定時器和顯示屏幕，所述人機交互方法包括以下步驟 a、啟動人眼動態(tài)監(jiān)測儀對人眼進行實時追蹤，該人眼動態(tài)監(jiān)測儀記錄初始人眼影像，同時定時器啟動； b、定時器超時，人眼動態(tài)監(jiān)測儀記錄當(dāng)前人眼影像； C、所述圖像處理單元對人眼動態(tài)監(jiān)測儀記錄的人眼影像數(shù)據(jù)進行比較分析，判斷眼球運動距離及方向； d、中央處理器根據(jù)圖像處理單元的判斷及預(yù)先設(shè)定的眼球動作與顯示屏幕的反饋動作的鏈接關(guān)系，指示顯示屏幕作出反饋。
2.根據(jù)權(quán)利要求I所述的終端設(shè)備的人機交互方法，其特征在于所述定時器的ー個計時周期為0. 1-2秒，該定時器啟動次數(shù)為一次或者該定時器采用兩次以上的連續(xù)啟動方式。
3.根據(jù)權(quán)利要求I所述的終端設(shè)備的人機交互方法，其特征在干，步驟c中所述圖像處理單元對人眼動態(tài)監(jiān)測儀記錄的人眼影像數(shù)據(jù)進行比較分析進ー步包括 識別初始人眼影像及當(dāng)前人眼影像中左眼瞳仁在左眼眼眶內(nèi)的橫向相對位置、右眼瞳仁在右眼眼眶內(nèi)的橫向相對位置，并計算雙眼瞳仁在眼眶內(nèi)的平均橫向相對位置； 與相對初始人眼影像比較，計算當(dāng)前人眼影像的雙眼瞳仁橫向偏移量及方向； 識別初始人眼影像及當(dāng)前人眼影像中左眼瞳仁在左眼眼眶內(nèi)的豎向相對位置、右眼瞳仁在右眼眼眶內(nèi)的豎向相對位置，并計算雙眼瞳仁在眼眶內(nèi)的平均豎向相對位置； 與相對初始人眼影像比較，計算當(dāng)前人眼影像的雙眼瞳仁的豎向偏移量及方向。
4.根據(jù)權(quán)利要求3所述的終端設(shè)備的人機交互方法，其特征在于所述人眼瞳仁在眼眶內(nèi)的相對位置是指以眼眶的橫向及豎向中點為參照，瞳仁的相對坐標位置。
5.根據(jù)權(quán)利要求4所述的終端設(shè)備的人機交互方法，其特征在于，步驟c中所述圖像處理單元對人眼動態(tài)監(jiān)測儀記錄的人眼影像數(shù)據(jù)進行分析之前，還包括所述人眼動態(tài)監(jiān)測儀將記錄的初始人眼影像、當(dāng)前人眼影像數(shù)據(jù)分別輸入至圖像處理單元。
6.根據(jù)權(quán)利要求5所述的終端設(shè)備的人機交互方法，其特征在干，步驟d中所述中央處理器根據(jù)圖像處理單元的判斷指示顯示屏幕作出反饋之前，包括預(yù)先設(shè)定眼球動作與顯示屏幕的反饋動作的鏈接關(guān)系。
7.根據(jù)權(quán)利要求6所述的終端設(shè)備的人機交互方法，其特征在干，步驟d中所述中央處理器根據(jù)圖像處理單元的判斷指示顯示屏幕作出反饋包括 當(dāng)雙眼瞳仁的向上豎向偏移量達到預(yù)設(shè)閥值時，中央處理器指示顯示屏幕向前翻動頁面；當(dāng)雙眼瞳仁的向下豎向偏移量達到預(yù)設(shè)閥值時，中央處理器指示顯示屏幕向后翻動頁面。
8.ー種利用權(quán)利要求1-7中任一項所述的人機交互方法的終端設(shè)備，其特征在于，所述終端設(shè)備包括 人眼動態(tài)監(jiān)測儀，所述人眼動態(tài)監(jiān)測儀為基于人眼捕捉技術(shù)，具有人眼識別功能的影像采集裝置； 圖像處理單元，用于對人眼動態(tài)監(jiān)測儀記錄的人眼影像數(shù)據(jù)進行識別及分析判斷； 定時器，用于限定人眼動態(tài)監(jiān)測儀的影像采集周期；及顯示屏幕；所述人眼動態(tài)監(jiān)測儀、圖像處理單元、定時器、顯示屏幕分別與中央處理器連接。
9.根據(jù)權(quán)利要求8所述的終端設(shè)備，其特征在于所述終端設(shè)備為手機或者電子計算機。
全文摘要
一種終端設(shè)備的人機交互方法及其終端設(shè)備，所述終端設(shè)備包括與中央處理器連接的人眼動態(tài)監(jiān)測儀、圖像處理單元、定時器和顯示屏幕，所述人機交互方法包括以下步驟啟動人眼動態(tài)監(jiān)測儀對人眼進行實時追蹤，該人眼動態(tài)監(jiān)測儀記錄初始人眼影像，同時定時器啟動；定時器超時，人眼動態(tài)監(jiān)測儀記錄當(dāng)前人眼影像；所述圖像處理單元對人眼動態(tài)監(jiān)測儀記錄的人眼影像數(shù)據(jù)進行分析，判斷眼球運動距離及方向；中央處理器根據(jù)圖像處理單元的判斷，指示顯示屏幕作出反饋。利用本發(fā)明實現(xiàn)的人機信息交互準確可靠，大大提高了用戶的操作效率和便利性，從而為用戶帶來更完善的使用體驗。
文檔編號G06F3/048GK102819403SQ20121030929
公開日2012年12月12日 申請日期2012年8月28日 優(yōu)先權(quán)日2012年8月28日
發(fā)明者曾元清, 羅龍 申請人:廣東歐珀移動通信有限公司