基于圖像的人眼角檢測的方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及的是一種圖像處理領(lǐng)域的技術(shù)，具體是一種基于圖像的人眼角檢測的 方法及系統(tǒng)。
【背景技術(shù)】
[0002] 人臉關(guān)鍵點技術(shù)即定位人臉面部關(guān)鍵特征部位，比如眼睛、眼角、鼻子、嘴巴等。這 些關(guān)鍵點富含了大量?目息，可以為人臉識別、表情分析、人臉跟蹤等研究工作提供相應(yīng)的基 礎(chǔ)數(shù)據(jù)。作為關(guān)鍵點的眼角在各個方面都有涉及，比如用作人眼視線估計Gaze應(yīng)用中，或 者是用作人眼狀態(tài)判斷中眼睛區(qū)域提取的信息等。
[0003] 經(jīng)過對現(xiàn)有技術(shù)的文獻檢索發(fā)現(xiàn)，Ρ. Ν. Belhumeur等人2011年在《IEEE Conference on Computer Vision and Pattern Recognition》（IEEE 計算機視覺和模式識 另1J會議）發(fā)表一篇名為Localizing parts of faces using a consensus of exemplars(使 用范例的一致性確定臉上的部分）中，使用滑動窗提取人面部特征，在使用大量的人臉數(shù) 據(jù)進行訓(xùn)練后，用訓(xùn)練好的模型預(yù)測人臉關(guān)鍵點的位置所在；Xudong Cao等人2012年在 ((IEEE Conference on Computer Vision and Pattern Recognition〉〉（IEEE 計算機視覺和 模式識別會議）上發(fā)表的Face Alignment by Explicit Shape Regression (直接形狀回 歸預(yù)測臉部特征點）中通過對矢量回歸函數(shù)的學(xué)習(xí)，直接預(yù)測臉部特征點的位置。因為不 需要使用搜索窗進行掃描，這種方法更加有效率。
[0004] 也有一些學(xué)者以眼角為重點專門研究。Gil Santos等人在2011年于 《International Joint Conference on Biometrics》（計算生物學(xué)國際聯(lián)合會議）中發(fā)表 了一篇名為 A robust eye - corner detection method for real - world data( 一種基 于現(xiàn)實生活數(shù)據(jù)的魯棒眼角檢測方法），在文章中，作者提取了虹膜、鞏膜信息等，并在指定 區(qū)域內(nèi)提取眼角候選點，根據(jù)一系列特征挑選最為符合的眼角點。與其它方法與眾不同的 是，作者將內(nèi)眼角點和外眼角點作為一組候選，而非一個點，這樣可以加入內(nèi)眼角與外眼角 的生物學(xué)特征，為更加精準(zhǔn)地判斷眼角位置提供了幫助；Xu等人在2008年《Proceedings of the 19th International Conference on Pattern Recognition〉〉（第 19 屆模式識別國 際性會議）上發(fā)表了一篇名為 Semantic feature extraction for accurate eye corner detection(精確眼角檢測的語義特征提?。恼轮惺紫壤媒屈c檢測器選取眼角備選 點，利用邏輯回歸和語義特征分析這些候選點，所謂語義特征即基于字面上定義：由眼瞼構(gòu) 成的角度特征。從備選點中最后檢測出真正的眼角點。
[0005] 盡管上述方法都可以檢測到眼角的位置，但在人臉關(guān)鍵點檢測中，因為還需定位 臉上其它關(guān)鍵點的位置，眼角單獨的信息常常會受到其它部分的限制，有時甚至?xí)黄渌?關(guān)鍵點錯誤的檢測所拖累；而現(xiàn)有的直接檢測眼角位置的方法少之又少，僅有的方法通常 無法應(yīng)對于光線的變化、不同的人眼生物結(jié)構(gòu)等。在一些特殊的情況下，人眼虹膜的移動也 會使得檢測失準(zhǔn)。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明針對現(xiàn)有技術(shù)存在的上述不足，提出一種基于圖像的人眼角檢測的方法及 系統(tǒng)，能夠有效實現(xiàn)眼角檢測。
[0007] 本發(fā)明是通過以下技術(shù)方案實現(xiàn)的：
[0008] 本發(fā)明涉及一種基于圖像的人眼角檢測的方法，包括：
[0009] 第一步：利用主動的外貌特征模型（AAM)或主動形狀模型（ASM)方法定位眼睛大 致區(qū)域圖和眼角區(qū)域圖，并使用固定模板對眼睛大致區(qū)域圖和眼角區(qū)域圖像進行濾波；
[0010] 所述的AAM方法引自Timothy F. Cootes等在1998年發(fā)表在《European Conference on Computer Vision》（歐洲計算機視覺會議）一篇名為 Active Appearance Models (主動的外貌特征模型）一文。
[0011] 所述的ASM方法引自Timothy F. Cootes等在1995年發(fā)表在《Computer Vision and Image Understanding》（計算機視覺及圖像認(rèn)知）一篇名為Active shape models:Their training and application.(主動形狀模型：它們的訓(xùn)練以及應(yīng)用）一文。
[0012] 第二步：對于濾波后的眼角區(qū)域圖使用自定義閾值的方法進行二值化，并取相同 閾值對濾波后的眼睛大致區(qū)域圖進行二值化處理，分別獲得眼角區(qū)域二值圖和眼睛大致區(qū) 域二值圖；
[0013] 第三步：提取第一步濾波前的眼睛大致區(qū)域圖的類眼角點圖和眼白圖，利用類眼 角點圖中最右側(cè)點的坐標(biāo)信息為邊界，濾除第二步得到的眼睛大致區(qū)域二值圖中對應(yīng)該邊 界右側(cè)的連通區(qū)，獲得一次修正的眼睛大致區(qū)域二值圖，再將其與所述眼白圖進行并集操 作，獲得二次修正后的眼睛大致區(qū)域二值圖；
[0014] 第四步：計算第二步得到的眼角區(qū)域二值圖內(nèi)最大兩個連通區(qū)與第二步得到的眼 睛大致區(qū)域二值圖的連通區(qū)關(guān)系，從而得到兩個連通區(qū)在眼睛大致區(qū)域二值圖中對應(yīng)的連 通區(qū)，再計算這兩個連通區(qū)與第三步獲得的二次修正后眼睛大致區(qū)域二值圖連通區(qū)關(guān)系， 判斷是否需要重新定位眼睛大致區(qū)域和眼角區(qū)域。
[0015] 第五步：對眼角區(qū)域二值圖進行修剪并輸出眼角點信息。
[0016] 本發(fā)明涉及一種實現(xiàn)上述方法的系統(tǒng)，包括：濾波模塊、二值化模塊、類眼角點圖 提取模塊、眼白區(qū)域提取模塊、連通區(qū)關(guān)系計算模塊和二值圖修剪模塊，其中：濾波模塊向 二值化模塊輸出圖像的紋理特征，二值化模塊將眼睛大致區(qū)域二值圖和眼角區(qū)域二值圖輸 出至連通區(qū)關(guān)系計算模塊，類眼角點提取模塊將眼睛大致區(qū)域圖中符合眼角點特征的點的 幾何信息輸出至連通區(qū)關(guān)系計算模塊，眼白區(qū)域提取模塊將眼睛大致區(qū)域圖中的眼白區(qū)域 的幾何信息輸出至連通區(qū)關(guān)系計算模塊，連通區(qū)關(guān)系計算模塊綜合圖像信息輸出連通區(qū)在 不同模塊下的相互關(guān)系，二值圖修剪模塊根據(jù)相互關(guān)系對眼角區(qū)域二值圖的眼角區(qū)域輪廓 進行修剪并提取得到眼角點信息。
[0017] 所述的紋理特征用灰度圖中像素值，即0 - 255進行表征，該紋理特征包括但不限 于眼角的輪廓、眼睛區(qū)域輪廓。
[0018] 所述的眼睛大致區(qū)域圖中符合眼角點特征的點的幾何信息，即二值圖中黑色的連 通區(qū)。
[0019] 所述的眼白區(qū)域的幾何信息，即二值圖中黑色連通區(qū)表征。 技術(shù)效果
[0020] 與現(xiàn)有技術(shù)相比，本發(fā)明的技術(shù)效果包括：
[0021] 1)在不同的光照、不同人群下，眼角信息都可以精確地被找到，本方法自由度高， 魯棒性好；
[0022] 2)在眼睛正常移動的情況下，本方法都可以精確找到眼角位置，受到瞳孔區(qū)域影 響較??；在某些情況下（眼睛瞳孔偏向一側(cè)），本方法依然可以找到眼角所在位置，而常規(guī) 方法找到的眼角誤差較大；
[0023] 3)算法時間復(fù)雜度低，可以實時進行眼角定位，本方法利用價值高。
【附圖說明】
[0024] 圖1為本發(fā)明的流程圖。
[0025] 圖2為類眼角點掃描示意圖。
[0026] 圖3為計算連通區(qū)關(guān)系示意圖。
[0027] 圖4為修剪權(quán)重分布示意圖及修剪前后二值圖中連通區(qū)的對比。
[0028] 圖5為本發(fā)明流程圖中涉及的相關(guān)模塊。
【具體實施方式】
[0029] 下面對本發(fā)明的實施例作詳細(xì)說明，本實施例在以本發(fā)明技術(shù)方案為前提下進行 實施，給出了詳細(xì)的實施方式和具體的操作過程，但本發(fā)明的保護范圍不限于下述的實施 例。 實施例1
[0030] 如圖1所示，本實施例包括以下步驟：
[0031] 第一步：利用主動的外貌特征模型或主動形狀模型方法定位眼睛大致區(qū)域圖和眼 角區(qū)域圖，并使用固定模板對眼睛大致區(qū)域圖和眼角區(qū)域圖像進行濾波；
[0032] 所述的固定模板是指：尺寸為4x6的像素模板框，其數(shù)值如下所示：
[0033] 第二步，眼角區(qū)域灰度圖像經(jīng)濾波后采用自定義閾值的方法進行二值 化處理，具體為：對于單通道圖像中的每一個像素點的值為I(x，y)，對于m*n大
小的圖片，計算圖像中的均值和標(biāo)準(zhǔn)差，即
;然后通過調(diào)節(jié)參數(shù)計算得到自定義閾值
其中：調(diào)節(jié)參數(shù)α優(yōu)選為50 ;再根據(jù)自定義閾值對濾波 后的圖像進行二值化處理：當(dāng)像素值I (X，y)高于或等于閾值時，將像素值置為〇(黑色）， 反之置為255 (白色）。
[0034] 當(dāng)?shù)玫缴鲜鲎远x閾值Ithrashcild后，進一步使用該閾值對眼睛大致區(qū)域灰度圖像 進行二值化操作，從而分別獲得眼角區(qū)域二值圖和眼睛大致區(qū)域二值圖；
[0035] 第三步：提取第一步中濾波前的眼睛大致區(qū)域圖的類眼角點圖和眼白圖，利用類 眼角點圖中最右側(cè)點的坐標(biāo)信息為邊界，濾除第二步得到的眼睛大致區(qū)域二值圖中對應(yīng)該 邊界右側(cè)的連通區(qū)，獲得一次修正的眼睛大致區(qū)域二值圖，再將其與所述眼白圖進行并集 操作，獲得二次修正后的眼睛大致區(qū)域二值圖，具體包括以下步驟；
[0036] 所述的眼睛大致區(qū)域圖的類眼角點圖，通過以下方式提取得到：
[0037] 1)對眼睛大致區(qū)域的圖像提取灰度通道，然后建立3*3尺寸像素的掃描框進行上 下左右掃描；
[0038] 所述的掃描的步長為2像素。
[0039] 2)對掃描框中的每一個像素，計算其梯度方向值Θ (X，y) = arctan(Gv(x, y)/ Gh (x，y))，其中：Gh (x,y)為該坐標(biāo)下水平方向的梯度值 G;,(W) = /Cx+Ly)-/(.Y-l.j'）νχ,.ι'，為該坐標(biāo)下豎直方向的梯度值 二/(戈，丨+ 1) -/(r，v-i(x，y)為灰度圖中在坐標(biāo)（x，y)的灰度值。
[0040] 3)計算掃描框中的所有像素的梯度方向值的標(biāo)準(zhǔn)差，替代該掃描框的中心位置像 素的灰度值，并重復(fù)步驟1和步驟2,直至完成整個眼睛大致區(qū)域的圖像的掃描以及對應(yīng)中 心位置像素值的更新。
[0041]