一種基于人眼特征的視線估計方法
【技術領域】
[0001] 本發(fā)明涉及視線檢測領域，尤其是一種視線估計方法。
【背景技術】
[0002] 目前，視線估計的方法主要可以分為三類：電磁線圈法、眼電圖法和基于圖像的方 法。電磁線圈法雖然具有較高的精度，但是會與眼球直接接觸，造成不適；眼電圖法的成本 較低，但是需要借助敏感度較高的傳感器，并且檢測的結果容易受到人體代謝活動和外界 環(huán)境影響；基于圖像的方法分為接觸式和非接觸式，其中接觸式需要額外的佩戴設備，對實 驗造成較大干擾，非接觸式具有干擾低、成本低、操作方便等優(yōu)點，是目前視線檢測領域的 主要發(fā)展方向。但大部分方法都無法適用于頭部轉動的場合，并且適用性較差。

【發(fā)明內容】

[0003] 為了克服已有現(xiàn)有視線估計方法無法適用于人體頭部轉動的場合、適用性較差的 不足，本發(fā)明提供一種有效適用于人體頭部轉動的場合、適用性良好的基于人眼特征的視 線估計方法。
[0004] 本發(fā)明解決其技術問題所采用的技術方案是：
[0005] -種基于人眼特征的視線估計方法，所述視線估計方法包括以下步驟：
[0006] 1)首先定義人眼特征，如式（1)所示：
[0008] 其中ei表示第i張圖像的人眼特征向量，y υ表示左眼的第j個特征點坐標，y " 表示右眼的第j個特征點坐標，P1表示左眼的虹膜中心，P1^表示右眼虹膜中心，特征向量 {ej e Rm；
[0009] 2)在定義人眼特征之后，利用以下模型（2)來估計視線方向，如下所示：
[0011] 其中，{ej表示訓練集的特征，{ Θ J表示視線的角度，為一個二維向量，包含水平 方向的角度和垂直方向的角度，{wj為計算角度的權重值；
[0012] 假定{θ' 和{ Θ / }分別表示{ei}與{ Θ J的權重值不為〇的子集，如式⑵所 示，在視線估計模型中假定特征子空間與視線方向是成線性關系的，
[0013] 基于特征的自適應回歸方法原理如下：
[0015] 其中，A e R2xm為關系矩陣，m為訓練樣本數(shù)，n為特征維數(shù)，當訓練樣本數(shù)大于特 征維數(shù)即η > m時，精確的視線估計是針對其中的一個子集來{(e' X' J }來計算的，轉換 公式表示為下式：
[0017] 為了準確估計關系矩陣A'，必須要確定子集{θ' ,,X' ,}，其中子集的選擇由下式確 定：
[0019] 由于定義的人眼特征幅值是1，所以式中W滿足IV = 1，然后角度的計算通過下 式確定：
[0021] 當A足夠稀疏時，利用下式來求解A :
[0023] 通過ε來限制估計的特征Ew與真實特征的歐式距離，通過最小化I I w| I i確定 視線參數(shù)從而實現(xiàn)視線估計。
[0024] 本發(fā)明的技術構思為：人頭部朝向的角度可以被分為三個角度，及水平偏移 (yaw),垂直傾斜角（Pitch)和旋轉角（Roll)。在利用梯度下降法計算得到人臉的特征點 后，利用POSIT方法 [81]計算頭部朝向。設定視線偏移的三個角度分別為水平偏移，垂直傾 斜，和旋轉方向的偏移角度〇度。
[0025] 本發(fā)明的視線估計方法，首先檢測人臉圖片中的人臉區(qū)域，然后利用虹膜中心定 位算法定位虹膜中心，接著利SDM算法跟蹤定位人眼的眼角及眼皮上的特征點，利用這些 特征點的坐標作為人眼特征來實現(xiàn)頭部靜止情況下的視線方向，最后通過POSIT算法計算 頭部朝向，最終允許頭部轉動的視線方向是由兩個方向疊加而成。
[0026] 本發(fā)明的有益效果主要表現(xiàn)在：有效適用于人體頭部轉動的場合、適用性良好。
【附圖說明】
[0027] 圖1是基于人眼特征的視線估計方法的流程圖。
【具體實施方式】
[0028] 下面結合附圖對本發(fā)明作進一步描述。
[0029] 參照圖1，一種基于人眼特征的視線估計方法，包括以下步驟：
[0030] 1)首先定義人眼特征，如式⑴所示：
[0032] 其中ei表示第i張圖像的人眼特征向量，y υ表示左眼的第j個特征點坐標，y " 表示右眼的第j個特征點坐標，P1表示左眼的虹膜中心，P1^表示右眼虹膜中心，特征向量 {ej e Rm,即具有m= 12維空間。
[0033] 2)在定義人眼特征之后，利用以下模型（2)來估計視線方向，如下所示：
!
[0035] 其中，IeJ表示訓練集的特征，{ Θ J表示視線的角度，為一個二維向量，包含水平 方向的角度和垂直方向的角度，{wj為計算角度的權重值；
[0036] 假定{θ' 和{ Θ / }分別表示{ei}與{ Θ J的權重值不為〇的子集，如式⑵所 示，在視線估計模型中假定特征子空間與視線方向是成線性關系的，當校準的角度足夠小 即校準的點數(shù)足夠多時，這個關系可以得到保證的，然而這個需要采集人眼看屏幕的多個 點下的眼睛特征，即使用者需要校準多個點后開始進行視線估計；當訓練樣本的點是稀疏 采集的時候，這個線性關系是還是成立的，即需要通過優(yōu)化選擇訓練集來確保線性關系 ]。 采用自適應回歸方法，將圖片分為15個小部分，利用每個小圖像區(qū)域的像素和表示圖像特 征，采集的圖像特征為15維的特征，然后將特征匹配到屏幕上的點，圖像特征為人眼的眼 皮，眼角，虹膜中心這些特征點，匹配的目標為視線角度，所以再疊加頭部朝向后能夠視線 允許頭部轉動的視線估計。
[0037] 基于特征的自適應回歸方法原理如下：
[0039] 其中，A e R2xm為關系矩陣，m為訓練樣本數(shù)，n為特征維數(shù)，在特征維數(shù)為12(人 眼眼皮，眼角，虹膜中心等12個點），訓練樣本數(shù)為18 (校準屏幕上的9個點得來的18個方 程），當訓練樣本數(shù)大于特征維數(shù)即η > m時，方程的解是由最小二乘法等方法確定，然而每 個角度都會包含誤差，這個方法并不能很好的估計視線方向；所以精確的視線估計是針對 其中的一個子集來{(e'_j，x'_j)}來計算的，轉換公式表示為下式：
[0041] 由上式看出，為了準確估計關系矩陣A'，必須要確定子集{θ' ,,x' ,}，其中子集的 選擇由下式確定：
[0043] 由于定義的人眼特征幅值是1，所以式中w滿足IV = 1，然后角度的計算通過下 式確定：
[0045] 通過式（6)，得出只要計算式（5)中的#而不是獲取關系矩陣Α'，然而，解決這個 問題是一個NP難問題，所以參考自適應回歸方法來解這個方程，具體辦法是當A足夠稀疏 時，利用下式來求解#:
[0047] 通過ε來限制估計的特征Ew與真實特征I的歐式距離，通過最小化I |w| I i確定 視線參數(shù)從而實現(xiàn)視線估計。
【主權項】
1. 一種基于人眼特征的視線估計方法，其特征在于：所述視線估計方法包括以下步 驟： 1) 首先定義人眼特征，如式（1)所示：其中ei表示第i張圖像的人眼特征向量，yυ表示左眼的第j個特征點坐標，y"表 示右眼的第j個特征點坐標，Pi表示左眼的虹膜中心，P1^表示右眼虹膜中心，特征向量 {ej e Rm； 2) 在定義人眼特征之后，利用以下模型（2)來估計視線方向，如下所示：其中，{ej表示訓練集的特征，{ΘJ表示視線的角度，為一個二維向量，包含水平方向 的角度和垂直方向的角度，{wj為計算角度的權重值； 假定{e' 和{Θ'J分別表示{ei}與{ΘJ的權重值不為〇的子集，如式⑵所示， 在視線估計模型中假定特征子空間與視線方向是成線性關系的， 基于特征的自適應回歸方法原理如下：其中，AeR2Xm為關系矩陣，m為訓練樣本數(shù)，n為特征維數(shù)，當訓練樣本數(shù)大于特征維 數(shù)即η>m時，精確的視線估計是針對其中的一個子集來{(e'X'_j)}來計算的，轉換公式 表示為下式：為了準確估計關系矩陣A'，必須要確定子集|e' ,，X' ，其中子集的選擇由下式確定：由于定義的人眼特征幅值是1，所以式中w滿足IV=1，然后角度的計算通過下式確 定：當氣足夠稀疏時，利用下式來求解#?:通過ε來限制估計的特征Ew與真實特征I;的歐式距離，通過最小化| |w| ^確定視線 參數(shù)從而實現(xiàn)視線估計。
【專利摘要】一種基于人眼特征的視線估計方法，包括以下步驟：1)首先定義人眼特征；2)在定義人眼特征之后，利用模型(2)來估計視線方向，基于特征的自適應回歸方法，通過ε來限制估計的特征Ew與真實特征的歐式距離，通過最小化||w||1確定視線參數(shù)從而實現(xiàn)視線估計。本發(fā)明提供一種有效適用于人體頭部轉動的場合、適用性良好的基于人眼特征的視線估計方法。
【IPC分類】G06K9/00, G06K9/62
【公開號】CN105303170
【申請?zhí)枴緾N201510675215
【發(fā)明人】張劍華, 陳勝勇, 蔡海斌, 劉洪海
【申請人】浙江工業(yè)大學
【公開日】2016年2月3日
【申請日】2015年10月16日