一種終端輸入控制方法及裝置制造方法
【專利摘要】本發(fā)明公開了一種終端輸入控制方法及裝置，用以豐富終端輸入控制方式，為用戶提供更加自然、直觀的交互操作。其中，所述終端輸入控制方法，包括：利用攝像頭獲得的實時圖像，識別所述實時圖像中的眼球區(qū)域，所述眼球區(qū)域包括眼白區(qū)域和眼仁區(qū)域；識別所述實時圖像中的眨眼操作；以及確定眼仁區(qū)域相對于眼白區(qū)域的位置信息；根據眨眼操作或者根據眨眼操作和所述位置信息確定終端輸入操作。
【專利說明】一種終端輸入控制方法及裝置
【技術領域】
[0001]本發(fā)明涉及終端操作控制【技術領域】，尤其涉及一種終端輸入控制方法及裝置。
【背景技術】
[0002]隨著終端技術，尤其是移動終端技術的不斷發(fā)展，終端功能越來越強大，終端輸入控制方式也越來越方便、自然、友好。目前，大部分終端都支持以下三類輸入方式:
[0003]I)鍵盤輸入:鍵盤是最常用也是最主要的輸入設備，通過鍵盤，可以將上下左右方向控制、英文字母、數字、標點符號等輸入到終端中，從而向終端發(fā)出命令、輸入數據等。
[0004]2)觸摸屏輸入
[0005]隨著大屏幕的移動終端技術的不斷發(fā)展，現在的觸摸屏技術已經比較成熟，支持單點和多點觸摸輸入，使用起來簡單方便，并能為使用者帶來良好的用戶體驗。
[0006]3)語音輸入
[0007]隨著語音識別技術的不斷發(fā)展與成熟，語音輸入為移動終端提供了一種更加方便、智能的人機交互途徑。
[0008]通過上述多種輸入方式，用戶可以實現點擊、上下左右滑動、放大、縮小、旋轉等各種信息輸入操作。為了更加方便用戶與終端之間的交互操作，豐富終端輸入控制方式，提供一種新的終端輸入控制方式成為現有技術亟待解決的技術問題之一。

【發(fā)明內容】

[0009]本發(fā)明實施例提供一種終端輸入控制方法及裝置，用以豐富終端輸入控制方式，為用戶提供更加自然、直觀的交互操作。
[0010]本發(fā)明實施例提供一種終端輸入控制方法，包括:
[0011]利用攝像頭獲得的實時圖像，識別所述實時圖像中的眼球區(qū)域，所述眼球區(qū)域包括眼白區(qū)域和眼仁區(qū)域；
[0012]識別所述實時圖像中的眨眼操作；以及
[0013]確定眼仁區(qū)域相對于眼白區(qū)域的位置信息；
[0014]根據眨眼操作或者根據所述眨眼操作和所述位置信息確定終端輸入操作。
[0015]本發(fā)明實施例提供一種終端輸入控制裝置，包括:
[0016]第一識別單元，用于利用攝像頭獲得的實時圖像，識別所述實時圖像中的眼球區(qū)域，所述眼球區(qū)域包括眼白區(qū)域和眼仁區(qū)域；
[0017]第二識別單元，用于識別所述實時圖像中的眨眼操作；
[0018]第一確定單元，用于確定眼仁區(qū)域相對于眼白區(qū)域的位置信息；
[0019]第二確定單元，用于根據眨眼操作或者根據所述眨眼操作和所述位置信息確定終端輸入操作。
[0020]本發(fā)明實施例提供的終端輸入控制方法及裝置，通過攝像頭識別出眼球區(qū)域，該眼球區(qū)域包括眼白區(qū)域和眼仁區(qū)域，根據識別出的眨眼操作，并結合眼仁區(qū)域相對于眼白區(qū)域的位置信息，來確定終端輸入操作。本發(fā)明實施例中，將基于傳統(tǒng)的計算機視覺的眼球識別技術應用于終端，并基于眼球動作識別對終端輸入進行控制，提供了一種新的終端輸入控制方法，豐富了終端輸入控制方式，為用戶提供了更加自然、直觀的交互操作。
[0021]本發(fā)明的其它特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點可通過在所寫的說明書、權利要求書、以及附圖中所特別指出的結構來實現和獲得。
【專利附圖】

【附圖說明】
[0022]圖1為本發(fā)明實施例中，終端輸入控制方法的實施流程示意圖；
[0023]圖2為本發(fā)明實施例中，為眼白和眼仁顏色采集示意圖；
[0024]圖3本發(fā)明實施例中，眼白區(qū)域劃分示意圖；
[0025]圖4為本發(fā)明實施例中，眼仁區(qū)域相對于眼白區(qū)域的位置信息示意圖；
[0026]圖5為本發(fā)明實施例中，終端輸入控制裝置的結構示意圖。
【具體實施方式】
[0027]為了豐富終端輸入控制方式，為用戶提供更加自然、直觀的交互操作，本發(fā)明實施例提供了一種終端輸入控制方法及裝置。
[0028]以下結合說明書附圖對本發(fā)明的優(yōu)選實施例進行說明，應當理解，此處所描述的優(yōu)選實施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明，并且在不沖突的情況下，本發(fā)明中的實施例及實施例中的特征可以相互組合。
[0029]如圖1所示，為本發(fā)明實施例提供的終端輸入控制方法的實施流程示意圖，包括以下步驟:`
[0030]S101、利用攝像頭獲得的實時圖像，識別該實時圖像中的眼球區(qū)域；
[0031]其中，眼球區(qū)域包括眼白區(qū)域和眼仁區(qū)域。具體實施時，由于人的眼白和眼仁的顏色各不相同，為了提高眼球區(qū)域識別準確度，在用戶首次使用通過眼球運動控制終端輸入方式時，需要采集眼白和眼仁的顏色并存儲相應的眼白顏色信息和眼球顏色信息。如圖2所示，為眼白顏色信息和眼仁顏色信息采集示意圖，具體的，首先啟動移動終端攝像頭，并使人臉正對移動終端的攝像頭，其次，分別將眼球和眼仁放置在移動終端顯示界面的小方框內，以采集眼白和眼仁的顏色，對準后，移動終端記錄眼白顏色和眼仁顏色，為了便于描述，分別以Crl和Cr2表示眼白顏色信息和眼仁顏色信息。
[0032]這樣，當用戶使用眼球運動控制終端輸入時，利用攝像頭實時獲得的圖像，根據記錄的眼白顏色信息和眼仁顏色信息，在圖像中識別可能的眼白區(qū)域和眼仁區(qū)域，當檢測到與記錄的眼白顏色信息匹配的區(qū)域時，確定該區(qū)域為準眼白區(qū)域，當檢測到與記錄的眼仁顏色信息匹配的區(qū)域時，確定該區(qū)域為準眼仁區(qū)域。由于人有兩只眼睛，因此，一般可以識別出2個眼白區(qū)域和2個眼仁區(qū)域，但是，由于顏色識別受光線影響比較大，容易出現識別錯誤，因此，實際識別出的眼白及眼仁區(qū)域可能超過2個。較佳地，為了解決上述問題，本發(fā)明實施例中，可以按照以下方式進一步確定識別出的準眼白區(qū)域和準眼仁區(qū)域是否為真正的眼白區(qū)域和眼仁區(qū)域:
[0033]定義識別出的每一準眼白區(qū)域的外接矩形為Rwi (i=l,2,3……)，任一準眼白區(qū)域的外接矩形的四個頂點坐標分別為LTwi (LTwxi, LTwyi), RTwi (RTwxi, RTwyi),LBwi (LBwxi, LBwyi)，RBwi (RBwxi, RBwyi)，其中，LTwi, RTwi, LBwi, RBwi 分別為該準眼白區(qū)域外接矩形的左上、右上、左下、右下頂點的坐標，通常來說，LTwxi = LBwxi7RTwxi = RBwxi7LTwyi=RTwyi, LBwyi = RBwyi0基于此,可以確定眼白區(qū)域中心點坐標Ewi (Ewxi, Ewyi)分別為:I LTwxl + RTwxt I I LBwxj + RBwxl |
[0034]
【權利要求】
1.一種終端輸入控制方法,其特征在于,包括: 利用攝像頭獲得的實時圖像，識別所述實時圖像中的眼球區(qū)域，所述眼球區(qū)域包括眼白區(qū)域和眼仁區(qū)域； 識別所述實時圖像中的眨眼操作；以及 確定眼仁區(qū)域相對于眼白區(qū)域的位置信息； 根據眨眼操作或者根據所述眨眼操作和所述位置信息確定終端輸入操作。
2.如權利要求1所述的方法，其特征在于，利用攝像頭獲得的圖像，識別眼睛的眼球區(qū)域，具體包括: 根據存儲的眼白顏色信息和眼仁顏色信息，確定與存儲的眼白顏色信息匹配的區(qū)域為準眼白區(qū)域，確定與存儲的眼仁顏色信息匹配的區(qū)域為準眼仁區(qū)域； 確定每一準眼白區(qū)域的外接矩形；以及 確定每一準眼仁區(qū)域的中心點； 針對每一準眼仁區(qū)域，若該準眼仁區(qū)域的中心點位于任一準眼白區(qū)域的外接矩形內部，形成準眼仁區(qū)域和準眼白區(qū)域配對； 確定形成配對的準眼 白區(qū)域和眼仁區(qū)域為識別出的眼睛的眼球區(qū)域。
3.如權利要求2所述的方法，其特征在于，確定形成配對的準眼白區(qū)域和眼仁區(qū)域為識別出的眼睛的眼球區(qū)域之前，還包括: 確定與該準眼仁區(qū)域形成配對的準眼白區(qū)域的中心點；并 確定所述準眼白區(qū)域中心點與存儲的眼白區(qū)域中心點之間的距離小于等于預設距離閾值。
4.如權利要求1所述的方法，其特征在于，所述眼白區(qū)域包括靜止區(qū)域、上區(qū)域、下區(qū)域、左區(qū)域、右區(qū)域、左上區(qū)域、左下區(qū)域、右上區(qū)域和右下區(qū)域；以及 確定眼仁區(qū)域相對于眼白區(qū)域的位置信息，具體包括: 確定眼仁區(qū)域的中心點； 當眼仁區(qū)域的中心點位于眼白區(qū)域的靜止區(qū)域時，確定眼仁區(qū)域相對于眼白區(qū)域的位置信息為靜止； 當眼仁區(qū)域的中心點位于眼白區(qū)域的上區(qū)域時，確定眼仁區(qū)域相對于眼白區(qū)域的位置信息為上； 當眼仁區(qū)域的中心點位于眼白區(qū)域的下區(qū)域時，確定眼仁區(qū)域相對于眼白區(qū)域的位置信息為下； 當眼仁區(qū)域的中心點位于眼白區(qū)域的左區(qū)域時，確定眼仁區(qū)域相對于眼白區(qū)域的位置信息為左； 當眼仁區(qū)域的中心點位于眼白區(qū)域的右區(qū)域時，確定眼仁區(qū)域相對于眼白區(qū)域的位置信息為右； 當眼仁區(qū)域的中心點位于眼白區(qū)域的左上區(qū)域時，確定眼仁區(qū)域相對于眼白區(qū)域的位置信息為左上； 當眼仁區(qū)域的中心點位于眼白區(qū)域的左下區(qū)域時，確定眼仁區(qū)域相對于眼白區(qū)域的位置信息為左下； 當眼仁區(qū)域的中心點位于眼白區(qū)域的右上區(qū)域時，確定眼仁區(qū)域相對于眼白區(qū)域的位置信息為右上； 當眼仁區(qū)域的中心點位于眼白區(qū)域的右下區(qū)域時，確定眼仁區(qū)域相對于眼白區(qū)域的位置信息為右下。
5.如權利要求4所述的方法，其特征在于，根據眼睛眨眼操作和所述位置區(qū)域信息確定終端輸入操作，具體包括: 記錄首次眨眼操作的首次閉眼時長； 若首次閉眼時長大于等于預設時長閾值，且 若眼仁區(qū)域相對于眼白區(qū)域的位置信息為上，確定終端輸入操作為向上滑動操作； 若眼仁區(qū)域相對于眼白區(qū)域的位置信息為下，確定終端輸入操作為向下滑動操作； 若眼仁區(qū)域相對于眼白區(qū)域的位置信息為左，確定終端輸入操作為向左滑動操作； 若眼仁區(qū)域相對于眼白區(qū)域的位置信息為右，確定終端輸入操作為向右滑動操作。
6.如權利要求5所述的方法，其特征在于，還包括: 在首次識別出眨眼操作時，記錄首次識別出眨眼操作的時間；以及 在預設時間間隔內再次識別出眨眼操作時，記錄再次眨眼操作的再次閉眼時長； 若再次閉眼時長大于等于預設時長閾值，結束當前終端輸入操作。
7.如權利要求1所述的方法，其特征在于，根據眼睛眨眼操作和所述位置區(qū)域信息確定終端輸入操作，具體包括: 在首次識別出眨眼操作時，分別記錄首次識別出眨眼操作的時間和首次眨眼操作的首次閉眼時長； 若首次閉眼時長大于等于預設時長閾值，記錄眼白區(qū)域大小第一參數值； 在預設時間間隔內再次識別出眨眼操作時，記錄再次眨眼操作的再次閉眼時長； 若再次閉眼時長大于等于所述預設時長閾值，記錄眼白區(qū)域大小第二參數值； 比較第一參數值與第二參數值，若第一參數值大于第二參數值，確定終端輸入操作為放大操作，若第一參數值小于第二參數值，確定終端輸入操作為縮小操作。
8.如權利要求1所述的方法，其特征在于，根據眼睛眨眼操作和所述位置區(qū)域信息確定終端輸入操作，具體包括: 在首次識別出眨眼操作時，分別記錄首次識別出眨眼操作的時間和首次眨眼操作的首次閉眼時長； 若首次閉眼時長大于等于預設時長閾值，記錄眼白區(qū)域第一長軸值； 在預設時間間隔內再次識別出眨眼操作時，記錄再次眨眼操作的再次閉眼時長； 若再次閉眼時長大于等于所述預設時長閾值，記錄眼白區(qū)域第二長軸值； 比較第一長軸值與第二長軸值，若第一長軸值相對于第二長軸值的旋轉角度大于O，確定終端輸入操作為順時針旋轉操作；若第一長軸值相對于第二長軸值的旋轉角度小于O，確定終端輸入操作為逆時針旋轉操作。
9.如權利要求1所述的方法，其特征在于，根據眼睛眨眼操作確定終端輸入操作，具體包括: 在首次識別出眨眼操作時，分別記錄首次識別出眨眼操作的時間和首次眨眼操作的首次閉眼時長； 若首次閉眼時長大于等于預設時長閾值，且在預設時間間隔內再次識別到眨眼操作，記錄再次眨眼操作的再次閉眼時長； 若再次閉眼時長大于等于所述預設時長閾值，確定終端輸入操作為點擊操作。
10.一種終端輸入控制裝置，其特征在于，包括: 第一識別單元，用于利用攝像頭獲得的實時圖像，識別所述實時圖像中的眼球區(qū)域，所述眼球區(qū)域包括眼白區(qū)域和眼仁區(qū)域； 第二識別單元，用于識別所述實時圖像中的眨眼操作； 第一確定單元，用于確定眼仁區(qū)域相對于眼白區(qū)域的位置信息； 第二確定單元，用于根據眨眼操作或者根據所述眨眼操作和所述位置信息確定終端輸入操作。
11.如權利要求10所述的裝置，其特征在于，所述第一識別單元，包括: 第一確定子單元，用于根據存儲的眼白顏色信息和眼仁顏色信息，確定與存儲的眼白顏色信息匹配的區(qū)域為準眼白區(qū)域，確定與存儲的眼仁顏色信息匹配的區(qū)域為準眼仁區(qū)域；以及分別確定確定每一準眼白區(qū)域的外接矩形和每一準眼仁區(qū)域的中心點； 配對子單元，用于針對每一準眼仁區(qū)域，若該準眼仁區(qū)域的中心點位于任一準眼白區(qū)域的外接矩形內部，形成準眼仁區(qū)域和準眼白區(qū)域配對； 第二確定子單元，用于確定形成配對的準眼白區(qū)域和眼仁區(qū)域為識別出的眼睛的眼球區(qū)域。
12.如權利要求11所述的裝置，其特征在于， 所述第二確定子單元，還用于在確定形成配對的準眼白區(qū)域和眼仁區(qū)域為識別出的眼睛的眼球區(qū)域之前，確定與該準眼仁區(qū)域形成配對的準眼白區(qū)域的中心點；并確定所述準眼白區(qū)域中心點與存儲的眼白區(qū)域中心點之間的距離小于等于預設距離閾值。
13.如權利要求10所述的裝置，其特征在于，所述眼白區(qū)域包括靜止區(qū)域、上區(qū)域、下區(qū)域、左區(qū)域、右區(qū)域、左上區(qū)域、左下區(qū)域、右上區(qū)域和右下區(qū)域；以及 所述第一確定單元，包括: 第三確定子單元，用于確定眼仁區(qū)域的中心點； 第四確定子單元，用于當眼仁區(qū)域的中心點位于眼白區(qū)域的靜止區(qū)域時，確定眼仁區(qū)域相對于眼白區(qū)域的位置信息為靜止；當眼仁區(qū)域的中心點位于眼白區(qū)域的上區(qū)域時，確定眼仁區(qū)域相對于眼白區(qū)域的位置信息為上；當眼仁區(qū)域的中心點位于眼白區(qū)域的下區(qū)域時，確定眼仁區(qū)域相對于眼白區(qū)域的位置信息為下；當眼仁區(qū)域的中心點位于眼白區(qū)域的左區(qū)域時，確定眼仁區(qū)域相對于眼白區(qū)域的位置信息為左；當眼仁區(qū)域的中心點位于眼白區(qū)域的右區(qū)域時，確定眼仁區(qū)域相對于眼白區(qū)域的位置信息為右；當眼仁區(qū)域的中心點位于眼白區(qū)域的左上區(qū)域時，確定眼仁區(qū)域相對于眼白區(qū)域的位置信息為左上；當眼仁區(qū)域的中心點位于眼白區(qū)域的左下區(qū)域時，確定眼仁區(qū)域相對于眼白區(qū)域的位置信息為左下；當眼仁區(qū)域的中心點位于眼白區(qū)域的右上區(qū)域時，確定眼仁區(qū)域相對于眼白區(qū)域的位置信息為右上；當眼仁區(qū)域的中心點位于眼白區(qū)域的右下區(qū)域時，確定眼仁區(qū)域相對于眼白區(qū)域的位置信息為右下。
14.如權利要求13所述的裝置，其特征在于，所述第二確定單元，包括: 第一記錄子單元，用于記錄首次眨眼操作的首次閉眼時長； 第五確定子單元，用于若首次閉眼時長大于等于預設時長閾值，且若眼仁區(qū)域相對于眼白區(qū)域的位置信息為上，確定終端輸入操作為向上滑動操作；若眼仁區(qū)域相對于眼白區(qū)域的位置信息為下，確定終端輸入操作為向下滑動操作；若眼仁區(qū)域相對于眼白區(qū)域的位置信息為左，確定終端輸入操作為向左滑動操作；若眼仁區(qū)域相對于眼白區(qū)域的位置信息為右，確定終端輸入操作為向右滑動操作。
15.如權利要求14所述的裝置，其特征在于，所述第二確定單元，包括: 第二記錄子單元，用于在首次識別出眨眼操作時，記錄首次識別出眨眼操作的時間；以及在預設時間間隔內再次識別出眨眼操作時，記錄再次眨眼操作的再次閉眼時長； 結束子單元，用于若再次閉眼時長大于等于預設時長閾值，結束當前終端輸入操作。
16.如權利要求10所述的裝置，其特征在于，所述第二確定單元，包括: 第三記錄子單元，用于在首次識別出眨眼操作時，分別記錄首次識別出眨眼操作的時間和首次眨眼操作的首次閉眼時長；若首次閉眼時長大于等于預設時長閾值，記錄眼白區(qū)域大小第一參數值；以及在預設時間間隔內再次識別出眨眼操作時，記錄再次眨眼操作的再次閉眼時長；若再次閉眼時長大于等于所述預設時長閾值，記錄眼白區(qū)域大小第二參數值； 第一比較子單元，用于比較第一參數值與第二參數值，若第一參數值大于第二參數值，確定終端輸入操作為放大操作，若第一參數值小于第二參數值，確定終端輸入操作為縮小操作。
17.如權利要求10所述的裝置，其特征在于，所述第二確定單元，包括: 第四記錄子單元，用于在首次識別出眨眼操作時，分別記錄首次識別出眨眼操作的時間和首次眨眼操作的首次閉眼時長；若首次閉眼時長大于等于預設時長閾值，記錄眼白區(qū)域第一長軸值；以及在預設時間間隔內再次識別出眨眼操作時，記錄再次眨眼操作的再次閉眼時長；若再次閉眼時長大于等于所述預設時長閾值，記錄眼白區(qū)域第二長軸值； 第二比較子單元，用于比較第一長軸值與第二長軸值，若第一長軸值相對于第二長軸值的旋轉角度大于0，確定終端輸入操作為順時針旋轉操作；若第一長軸值相對于第二長軸值的旋轉角度小于0，確定終端輸入操作為逆時針旋轉操作。
18.如權利要求10所述的裝置，其特征在于，所述第二確定單元，包括: 第五記錄子單元，用于在首次識別出眨眼操作時，分別記錄首次識別出眨眼操作的時間和首次眨眼操作的首次閉眼時長；若首次閉眼時長大于等于預設時長閾值，且在預設時間間隔內再次識別到眨眼操作，記錄再次眨眼操作的再次閉眼時長； 第六確定子單元，用于若再次閉眼時長大于等于所述預設時長閾值，確定終端輸入操作為點擊操作。
【文檔編號】G06F3/01GK103631365SQ201210301032
【公開日】2014年3月12日 申請日期:2012年8月22日 優(yōu)先權日:2012年8月22日
【發(fā)明者】柳陽 申請人:中國移動通信集團公司