4)對更新后的圖片再次使用自定義閾值的方法進(jìn)行二值化。使用類眼角點(diǎn)圖中邊 界點(diǎn)的信息濾除眼睛大致區(qū)域二值圖中不必要的連通區(qū)，可以獲得一次修正的眼睛大致區(qū) 域二值圖，具體為：利用類眼角點(diǎn)圖中最右側(cè)點(diǎn)的坐標(biāo)信息為邊界，濾除第二步得到的眼睛 大致區(qū)域二值圖中對應(yīng)該邊界右側(cè)的連通區(qū)，使得后續(xù)修正眼睛大致區(qū)域二值圖效果進(jìn)一 步優(yōu)化。
[0042] 所述的眼白圖，通過對眼睛大致區(qū)域二值圖進(jìn)行RGB通道至HSV通道的轉(zhuǎn)換，并提 取其S通道；對S通道進(jìn)行直方圖均衡，并利用自定義閾值的方法對其進(jìn)行二值化處理，即 可得到眼白大致區(qū)域圖像。將一次修正的眼睛大致區(qū)域二值圖和眼白圖進(jìn)行并集操作，可 以獲得二次修正的眼睛大致區(qū)域二值圖。
[0043] 第四步：計(jì)算第二步得到的眼角區(qū)域二值圖內(nèi)最大兩個連通區(qū)與第二步得到的眼 睛大致區(qū)域二值圖的連通區(qū)關(guān)系，從而得到兩個連通區(qū)在眼睛大致區(qū)域二值圖中對應(yīng)的連 通區(qū)，再計(jì)算這兩個連通區(qū)與第三步獲得的二次修正后眼睛大致區(qū)域二值圖連通區(qū)關(guān)系， 判斷是否需要重新框選新的眼角區(qū)域；判斷方法如下：
[0044] 4. 1)遍歷第二步中得到的眼睛大致區(qū)域二值圖和眼角區(qū)域二值圖中最大面積的 兩個連通區(qū)，計(jì)算每一個區(qū)域，即眼睛大致區(qū)域二值圖中黑色連通區(qū)與眼角區(qū)域二值圖內(nèi) 兩個連通區(qū)，即眼角區(qū)域內(nèi)面積最大的兩個黑色連通區(qū)之間的連通區(qū)關(guān)系，分別取結(jié)果最 大的作為最相關(guān)連通區(qū)進(jìn)行輸出，得到眼角區(qū)域二值圖中最大兩個連通區(qū)在眼睛大致區(qū)域 二值圖中對應(yīng)的連通區(qū)。
[0045] 4. 2)計(jì)算眼角區(qū)域二值圖中最大兩個連通區(qū)在眼睛大致區(qū)域二值圖中對應(yīng)的連 通區(qū)與第三步得到的二次修正后的眼睛大致區(qū)域二值圖的連通區(qū)關(guān)系，當(dāng)兩個連通區(qū)關(guān)系 的值同時小于50%時判定眼角區(qū)域內(nèi)信息不夠，并返回第一步，直至兩個連通區(qū)關(guān)系的值 中至少一個大于5〇%，進(jìn)入第五步。
[0046]所述的連通區(qū)關(guān)系是指：Φ (Aarea, Barea) = (num(Aarea, Barea) /Size (Barea)) *100 %， 其中：，Aa_ B_a分別是對應(yīng)圖片中的連通區(qū)，Size (B a_)為Ba_的面積大小，
[0047] 第五步：眼角二值圖修整并輸出眼角信息，具體為：
[0048] 5. 1)對第四步中得到的眼角二值圖進(jìn)行修剪，設(shè)調(diào)節(jié)參量為Tl，在本方法中含兩 個調(diào)節(jié)參量n JP η 2，其對應(yīng)的值分別為〇. 1和1. 2。將像素分為兩類，屬于每一類的像素 值與對應(yīng)的調(diào)節(jié)參量相乘作為新的像素值，使用自定義閾值的方法進(jìn)行二值化，這樣可以 使眼角內(nèi)的連通區(qū)得到顯著，是除眼角外的連通區(qū)得到抑制，如圖4所示。
[0049] 5. 2)在修整后的二值圖中選取最大的連通區(qū)，取其最右側(cè)的點(diǎn)作為眼角點(diǎn)信息輸 出，即根據(jù)眼角區(qū)域在原視頻幀的相對位置，將眼角坐標(biāo)加上相對位置坐標(biāo)，從而可以得到 眼角點(diǎn)在原視頻幀的位置。
[0050] 表1在數(shù)據(jù)庫中不同方法的估計(jì)值與實(shí)際標(biāo)定值的誤差_
[0051] 其中，Wei 的方法來自文獻(xiàn) Yao Wei. Research on Facial Expression Recognition and Synthesis. Master Thesis, Department of Computer Science and Technology，Nanjing University.，Saragih 的方法來自于文南犬 J. M. Saragih，S. Lucey，and J.F. Cohn. Face Alignment through Subspace Constrained Mean - Shifts. ICCVj 2009〇
【主權(quán)項(xiàng)】
1. 一種基于圖像的人眼角檢測的方法，其特征在于，包括以下步驟： 第一步：利用主動的外貌特征模型或主動形狀模型方法定位眼睛大致區(qū)域圖和眼角區(qū) 域圖，并使用固定模板對眼睛大致區(qū)域圖和眼角區(qū)域圖像進(jìn)行濾波； 第二步：對于濾波后的眼角區(qū)域圖像使用自定義閾值的方法進(jìn)行二值化，并取相同閾 值對濾波后的眼睛大致區(qū)域圖進(jìn)行二值化處理，從而分別獲得眼角區(qū)域二值圖和眼睛大致 區(qū)域二值圖； 第三步：提取第一步中濾波前的眼睛大致區(qū)域圖中的類眼角點(diǎn)圖和眼白圖，利用類眼 角點(diǎn)圖中最右側(cè)點(diǎn)的坐標(biāo)信息為邊界，濾除第二步得到的眼睛大致區(qū)域二值圖中對應(yīng)該邊 界右側(cè)的連通區(qū)，獲得一次修正的眼睛大致區(qū)域二值圖，再將其與所述眼白圖進(jìn)行并集操 作，獲得二次修正后的眼睛大致區(qū)域二值圖； 第四步：計(jì)算第二步得到的眼角區(qū)域二值圖內(nèi)最大兩個連通區(qū)與第二步得到的眼睛 大致區(qū)域二值圖的連通區(qū)關(guān)系，從而得到兩個連通區(qū)在眼睛大致區(qū)域二值圖中對應(yīng)的連通 區(qū)，再計(jì)算這兩個連通區(qū)與第三步獲得的二次修正后眼睛大致區(qū)域二值圖連通區(qū)關(guān)系，判 斷是否需要重新定位眼睛大致區(qū)域和眼角區(qū)域； 第五步：對眼角區(qū)域二值圖進(jìn)行修剪并輸出眼角點(diǎn)信息。2. 根據(jù)權(quán)利要求1所述的基于圖像的人眼角檢測的方法，其特征是，所述的固定模板3. 根據(jù)權(quán)利要求1所述的方法，其特征是，第三步中所述的眼睛大致區(qū)域的類眼角點(diǎn) 圖，通過以下方式提取得到： 1) 對眼睛大致區(qū)域的圖像提取灰度通道，然后建立3*3尺寸像素的掃描框進(jìn)行上下左 右掃描； 2) 對掃描框中的每一個像素，計(jì)算其梯度方向值0 (x，y) =arctan(Gv(x，y)/Gh(x， y))，其中：Gh(x，y)為該坐標(biāo)下水平方向的梯度值Ga(x，j〇 = /(x+1，j)-/(x-1，j)Vx,j， Gv(x，y)為該坐標(biāo)下豎直方向的梯度值Gv〇，j) = /(Xj+ 1) -/〇，j-I)Vx,j，I(x，y)為灰 度圖中在坐標(biāo)（x，y)的灰度值； 3) 計(jì)算掃描框中的所有像素的梯度方向值的標(biāo)準(zhǔn)差，替代該掃描框的中心位置像素的 灰度值，并重復(fù)步驟1和步驟2,直至完成整個眼睛大致區(qū)域的圖像的掃描以及對應(yīng)中心位 置像素值的更新； 4) 對更新后的圖片再次使用自定義閾值的方法進(jìn)行二值化，使用類眼角點(diǎn)圖中邊界 點(diǎn)的信息濾除眼睛大致區(qū)域二值圖中不必要的連通區(qū)，獲得一次修正的眼睛大致區(qū)域二值 圖，具體為：利用類眼角點(diǎn)圖中最右側(cè)點(diǎn)的坐標(biāo)信息為邊界，濾除第二步得到的眼睛大致 區(qū)域二值圖中對應(yīng)該邊界右側(cè)的連通區(qū)，使得后續(xù)修正眼睛大致區(qū)域二值圖效果進(jìn)一步優(yōu) 化。4. 根據(jù)權(quán)利要求1或3所述的方法，其特征是，所述的自定義閾值的方法進(jìn) 行二值化是指：對于單通道圖像中的每一個像素點(diǎn)的值為I(x，y)，對于m*n大后的圖像進(jìn)行二值化處理：當(dāng)像素值I(x，y)高于或等于閾值時，將像素值置為〇,反之置為 255 ； 當(dāng)?shù)玫缴鲜鲎远x閾值Ithrashcil^，進(jìn)一步使用該閾值對眼睛大致區(qū)域灰度圖像進(jìn)行 二值化操作。5. 根據(jù)權(quán)利要求1所述的方法，其特征是，第三步中所述的眼白圖，通過對眼睛大致區(qū) 域二值圖進(jìn)行RGB通道至HSV通道的轉(zhuǎn)換，并提取其S通道；對S通道進(jìn)行直方圖均衡，并 利用自定義閾值的方法對其進(jìn)行二值化處理，即可得到眼白大致區(qū)域圖像，將一次修正的 眼睛大致區(qū)域二值圖和眼白圖進(jìn)行并集操作，可以獲得二次修正的眼睛大致區(qū)域二值圖。6. 根據(jù)權(quán)利要求1所述的方法，其特征是，所述的第四步，具體包括： 4. 1)遍歷第二步中得到的眼睛大致區(qū)域二值圖和眼角區(qū)域二值圖最大面積的兩個連 通區(qū)，計(jì)算每一個區(qū)域，S卩眼睛大致區(qū)域二值圖中黑色連通區(qū)與眼角區(qū)域二值圖內(nèi)兩個連 通區(qū)，即眼角區(qū)域內(nèi)面積最大的兩個黑色連通區(qū)之間的連通區(qū)關(guān)系，分別取結(jié)果最大的作 為最相關(guān)連通區(qū)進(jìn)行輸出，得到眼角區(qū)域二值圖中最大兩個連通區(qū)在眼睛大致區(qū)域二值圖 中對應(yīng)的連通區(qū)； 4. 2)計(jì)算眼角區(qū)域二值圖中最大兩個連通區(qū)在眼睛大致區(qū)域二值圖中對應(yīng)的連通區(qū) 與第三步得到的二次修正后的眼睛大致區(qū)域二值圖的連通區(qū)關(guān)系，當(dāng)兩個連通區(qū)關(guān)系的值 同時小于50%時判定眼角區(qū)域內(nèi)信息不夠，并返回第一步，直至兩個連通區(qū)關(guān)系的值中至 少一個大于50 %，進(jìn)入第五步。7. 根據(jù)權(quán)利要求1或6所述的方法，其特征是，所述的連通區(qū)關(guān)系是指： 邊（Aarea,Barea) = (num(Aarea,Barea)/Size(Barea))* 100 %，其中：，Aarea,Barea分別是對應(yīng)8. 根據(jù)權(quán)利要求1所述的方法，其特征是，所述的第五步，具體包括： 5.1)對第四步中得到的眼角二值圖進(jìn)行修剪，設(shè)調(diào)節(jié)參量為n，在本方法中含兩個調(diào) 節(jié)參量njPn2，其對應(yīng)的值分別為〇. 1和1.2,將像素分為兩類，屬于每一類的像素值與 對應(yīng)的調(diào)節(jié)參量相乘作為新的像素值，使用所述的自定義閾值的方法進(jìn)行二值化； 5. 2)在修整后的二值圖中選取最大的連通區(qū)，取其最右側(cè)的點(diǎn)作為眼角點(diǎn)信息輸出， 即根據(jù)眼角區(qū)域在原視頻幀的相對位置，將眼角坐標(biāo)加上相對位置坐標(biāo)，從而可以得到眼 角點(diǎn)在原視頻幀的位置。9. 一種實(shí)現(xiàn)上述任一權(quán)利要求所述方法的系統(tǒng)，其特征在于，包括：濾波模塊、二值化 模塊、類眼角點(diǎn)圖提取模塊、眼白區(qū)域提取模塊、連通區(qū)關(guān)系計(jì)算模塊和二值圖修剪模塊， 其中：濾波模塊向二值化模塊輸出圖像的紋理特征，二值化模塊將眼睛大致區(qū)域二值圖和 眼角區(qū)域二值圖輸出至連通區(qū)關(guān)系計(jì)算模塊，類眼角點(diǎn)提取模塊將眼睛大致區(qū)域圖中符合 眼角點(diǎn)特征的點(diǎn)的幾何信息輸出至連通區(qū)關(guān)系計(jì)算模塊，眼白區(qū)域提取模塊將眼睛大致區(qū) 域圖中的眼白區(qū)域的幾何信息輸出至連通區(qū)關(guān)系計(jì)算模塊，連通區(qū)關(guān)系計(jì)算模塊綜合圖像 信息輸出連通區(qū)在不同模塊下的相互關(guān)系，二值圖修剪模塊根據(jù)相互關(guān)系對眼角區(qū)域二值 圖的眼角區(qū)域輪廓進(jìn)行修剪并提取得到眼角點(diǎn)信息。
【專利摘要】一種圖像處理領(lǐng)域的基于圖像的人眼角檢測的方法及系統(tǒng)，通過使用固定模板對眼睛大致區(qū)域圖和眼角區(qū)域圖像進(jìn)行濾波和自定義閾值的方法進(jìn)行二值化，然后另外提取眼睛大致區(qū)域圖中的類眼角點(diǎn)圖和眼白圖，利用類眼角點(diǎn)圖中最右側(cè)點(diǎn)的坐標(biāo)信息為邊界，濾除第二步得到的眼睛大致區(qū)域二值圖中對應(yīng)該邊界右側(cè)的連通區(qū)，獲得一次修正的眼睛大致區(qū)域二值圖，再將其與所述眼白圖進(jìn)行并集操作，獲得二次修正后的眼睛大致區(qū)域二值圖；然后計(jì)算眼角區(qū)域二值圖內(nèi)最大兩個連通區(qū)與眼睛大致區(qū)域二值圖的關(guān)系，從而得到兩個連通區(qū)在眼睛大致區(qū)域二值圖中對應(yīng)的連通區(qū)，再計(jì)算這兩個連通區(qū)與二次修正后眼睛大致區(qū)域二值圖連通區(qū)關(guān)系，判斷是否需要重新定位眼睛大致區(qū)域和眼角區(qū)域；最后對眼角區(qū)域二值圖進(jìn)行修剪并輸出眼角點(diǎn)信息。通過本發(fā)明能夠有效實(shí)現(xiàn)眼角檢測。
【IPC分類】G06K9/00
【公開號】CN105046230
【申請?zhí)枴緾N201510446547
【發(fā)明人】林巍峣, 張志宇
【申請人】上海交通大學(xué)
【公開日】2015年11月11日
【申請日】2015年7月27日