專利名稱：人眼檢測方法及系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及視頻監(jiān)控技術，特別是涉及一種用于駕駛員疲勞檢測的人眼檢測方法
及系統(tǒng)。
背景技術：
駕駛員疲勞、睡眠不足是引發(fā)嚴重交通事故的重要誘因之一。統(tǒng)計表明，由于疲勞 /瞌睡造成的交通事故在交通事故總數中占7%左右，在嚴重交通事故中占40%，而在重型 卡車和高速路上的交通事故中則占到35%左右。因此，有效地監(jiān)督和防止駕駛員疲勞，有著 十分重要的意義。 疲勞檢測是對駕駛員在行車中出現(xiàn)的疲勞現(xiàn)象實時檢測并施以適當警告的過程， 它有以下幾個要求1)必須是無干擾的；2)必須是實時的；3)必須受光照的影響較?。?) 不能有有害輻射，不能包括移動設備。 在各種檢測方法中能滿足以上要求且效果較為理想的是用攝像機進行實時拍攝， 通過圖像處理來檢測駕駛員眼部的物理反應。研究表明，眼睛的反應與駕駛員的疲勞有著 較高的相關性，能可靠地反映駕駛員是否疲勞。因此，通過眼睛的檢測和跟蹤可以有效地實 現(xiàn)駕駛員疲勞檢測。 人眼的檢測有一定的難度，它受到光照、表情、遮擋物等多方面因素的影響。目前 已有許多人眼檢測方法。Rizon等根據瞳孔明顯比眼睛周圍的區(qū)域顏色深，提出了檢測深色 區(qū)域的方法來確定眼睛的位置，這種方法需要引入增強圖像對比度和亮度的算法。Zhou等 提出了混合積分投影的方法，首先在人臉的圖像上確定眼睛的大致區(qū)域，然后計算眼睛大 致區(qū)域內計算圖像的混合投影積分，通過混合投影積分確定眼睛中心的位置，最后確定眼 睛的位置。這種算法非常簡單，且速度很快，但是嚴重受到光照的影響，而且眼睛區(qū)域的其 它干擾如眉毛、頭發(fā)等都會使實驗結果嚴重偏差。Kawaguchi等提出了基于Hough變換的人 眼檢測法，該方法需要一種魯棒性很好的邊緣檢測算法檢測出眼睛虹膜的邊緣，通過Hough 變換檢測出虹膜的位置，確定眼睛的位置。Huang等用一種最佳小波包來表示眼睛，并用徑 向基函數來區(qū)分人臉圖像中的眼睛區(qū)域與非眼睛區(qū)域。Rosenfeld等用Gabor小波濾波器 組在灰度圖像上檢測人眼，但是為了獲取多方位多尺度的Gabor濾波器組，需要很大的計 算量。另外還有模板匹配法、Kalman濾波法、紅外線外照法等多種人眼檢測方法，但提高檢 測的精度與魯棒性仍是人眼檢測研究的一個難點。
綜上所述，目前迫切需要提出更為有效的人眼檢測方案。
發(fā)明內容
有鑒于此，本發(fā)明的目的在于提供一個全新的人眼檢測方法。所述人眼檢測方法 可以在駕駛員的監(jiān)控圖像中快速準確地定位出駕駛員的人臉區(qū)域并精確地檢測出人眼特 征，同時該方法受光照的影響極小。 為達到上述目的，本發(fā)明的技術方案是這樣實現(xiàn)的
6
根據本發(fā)明的一方面，本發(fā)明提供了一種用于駕駛員疲勞檢測的人眼檢測方法， 所述人眼檢測方法包括 定位人臉區(qū)域，從輸入的駕駛員監(jiān)控圖像中定位駕駛員的人臉區(qū)域，以獲得駕駛 員的人臉區(qū)域的圖像； 提取人眼對，根據定位出的人臉區(qū)域的圖像，提取人臉區(qū)域中的人眼區(qū)域；
獲取人眼特征，根據所得的人眼區(qū)域提取人眼特征。
根據本發(fā)明，所述定位人臉區(qū)域包括如下步驟
預處理圖像，彩色圖像灰度化處理和降低圖像分辨率； 處理圖像，包括獲取連通區(qū)域和獲取積分圖像；所述獲取連通區(qū)域是通過對當前 幀圖像進行圖像二值化、邊緣圖像提取、人臉區(qū)域分裂和連通區(qū)域分析，獲取連通區(qū)域；所 述獲取積分圖像是通過對相鄰兩幀圖像進行圖像差分的處理，獲得積分圖像；
選定候選人臉區(qū)域，根據獲取的連通區(qū)域及積分圖像，選定候選人臉區(qū)域；
驗證候選人臉區(qū)域，通過判決條件濾除虛假的人臉區(qū)域，并輸出人臉區(qū)域。
其中，所述降低圖像的分辨率處理只在獲取的圖像尺寸大于閾值1時使用。所述 閾值1為100X100 200X200個像素位。 其中，所述人臉區(qū)域分裂是指對獲取的二值圖像和邊緣圖像中的每個像素的灰度 值進行常規(guī)的異或處理，然后對其結果進行常規(guī)的開運算，以得到分離的類似人臉區(qū)域，并 濾除噪聲；其中，異或處理是指每兩個相同灰度值的像素的灰度值取O，相異的像素的灰度 值取1 ;濾除噪聲是根據所計算類似人臉區(qū)域的長度與寬度的比值進行濾除，若該比值處 于閾值2范圍內，則保留，否則認為該類似人臉區(qū)域為噪聲區(qū)域，將該類似人臉區(qū)域濾除。 所述閾值2為0. 8 2. 2。 其中，所述獲取積分圖像是通過對相鄰兩幀人臉圖像的進行差分處理，得到這 兩幀人臉圖像的差分圖像，再根據式(I)計算差分圖像就獲得人臉圖像的積分圖像 "(;x:,>/)= S 《x',/) (I) 其中，設差分圖像為i(x' ，y')，對于圖像內一點A(x，y)，積分圖像為ii(x，y)。
其中，所述選定候選人臉區(qū)域是指濾除連通區(qū)域分析所獲取的連通區(qū)域中的小的 虛假區(qū)域后，再根據所述獲取積分圖像步驟中所得到的積分圖像從剩余的連通區(qū)域中選出 入臉區(qū)域。 其中，濾除連通區(qū)域中的小的虛假區(qū)域是根據所計算連通區(qū)域的總像素進行濾 除，若該總像素小于設定的閾值3值時，則認為是小的虛假區(qū)域并濾除該連通區(qū)域，否則保 留該連通區(qū)域。所述閾值3為250 350。 根據所述獲取積分圖像步驟中所得到的積分圖像從剩余的連通區(qū)域中選出人臉 區(qū)域的方法是 第一步計算剩余的連通區(qū)域的積分圖像，并對當前幀的積分圖像與前一幀積分 圖像的像素灰度值進行相減，得到差值圖像，統(tǒng)計該差值圖像中像素不為0的個數，該個數 為對應該剩余的連通區(qū)域的運動能量； 第二步根據各剩余的連通區(qū)域的運動能量，從中選出5個運動能量最大的剩余 連通區(qū)域，作為人臉區(qū)域。 所述剩余的連通區(qū)域是指經過所述濾除連通區(qū)域中的小的虛假區(qū)域處理后留下的連通區(qū)域。 其中，所述驗證候選人臉區(qū)域是指根據判決條件進行投票，符合判決條件即投贊 成票，不符合判決條件即投反對票，并對投票進行疊加，將投票疊加之和最高的候選人臉區(qū) 域作為人臉區(qū)域，然后輸出人臉區(qū)域，從而濾除一些虛假的人臉區(qū)域；其中，所述判決條件 包括人臉區(qū)域的長寬比為閾值2、人臉區(qū)域內屬于人臉的前景點與整個人臉區(qū)域內點的 比例為閾值4、和確定人臉區(qū)域內是否存在類似眼睛區(qū)域。所述閾值4優(yōu)選為0. 3 0. 75。
其中，確定人臉區(qū)域內是否存在類似眼睛區(qū)域包括如下步驟 水平灰度腐蝕處理，對輸入的圖像進行常規(guī)的水平灰度腐蝕處理，并輸出經水平 灰度腐蝕處理過的腐蝕圖像； 垂直閉處理，對輸入的腐蝕圖像先進行常規(guī)的垂直膨脹處理，然后進行常規(guī)的垂 直腐蝕處理，并輸出結果圖像； 差分處理，對腐蝕圖像與結果圖像各像素值進行相減取絕對值，并輸出結果差分 圖像； 計算分割閾值，計算差分圖像的均值和方差，并將該均值和方差作為圖像的分割 閾值；其中，差分圖像的均值通過計算差分圖像每個像素值(g卩，灰度值)的平均值實現(xiàn)，差 分圖像的方差通過計算差分圖像每個像素值的方差實現(xiàn)； 圖像二值化，根據所述所獲取的分割閾值對原始輸入圖像進行常規(guī)的二維閾值分 割，以獲取二值圖像； 去噪處理，對所述二值圖像進行去噪處理，然后輸出結果圖像；去噪處理是根據所
計算二值圖像中連通區(qū)域的總像素個數進行去噪，若該總像素小于設定的閾值3，則認為是
小的虛假區(qū)域并濾除該連通區(qū)域，否則保留該連通區(qū)域，然后輸出結果圖像。 所述去噪處理中的結果圖像為人臉檢測的圖像。 根據本發(fā)明，所述提取人眼對包括如下步驟 FRST法得到二值圖像，通過常規(guī)的FRST算法得到輸入的人臉圖像的映射圖像，并
獲取該映射圖像的最大像素值，然后將最大像素值的閾值5作為分割閾值，對輸入的人臉
區(qū)域圖像進行分割，以得到二值圖像并輸出。所述閾值5為0. 05 0. 15。 降維二值化，將輸入的人臉圖像縮小一倍，并用常規(guī)的二值化處理得到人臉模板
并輸出二值化圖像，將輸出的人臉模板與二值化圖像再作數學形態(tài)學中的常規(guī)并處理，以
濾除人臉模板中的耳朵區(qū)域； 去除不符合人眼規(guī)則的區(qū)域，濾除不符合人眼區(qū)域條件的區(qū)域，去除不符合人眼 規(guī)則的區(qū)域是根據計算每個人臉模板中區(qū)域的面積以及該區(qū)域高度與寬度的比值進行去 除，若該面積大于整個人臉模板面積的閾值6，或者高度與寬度的比值小于閾值7，則認為 該區(qū)域不符合人眼區(qū)域條件并濾除，否則保留。所述閾值6為0. 15 0. 35，所述閾值7為 0. 9 1. 1。 提取人眼對，就是找到兩個人眼區(qū)域之間距離與水平方向夾角滿足一定條件的人 眼對并輸出；其中，所述人眼區(qū)域是指去除不符合人眼規(guī)則的區(qū)域處理后所獲取的人臉模 板中的區(qū)域；確定人眼對區(qū)域的方法是在人臉模板內的所有區(qū)域中，搜索符合間距在人 臉區(qū)域寬度的閾值8范圍內的兩個區(qū)域，若這兩個區(qū)域的中心連線與水平方向夾角大于閾 值9并小于閾值IO，則認為兩個區(qū)域便是人眼對區(qū)域。其中，所述閾值8為0. 5 l，所述閾值9為0° 5° ，所述閾值10為40。 50° 。
根據本發(fā)明，所述獲取人眼特征包括如下步驟 獲取可靠人眼對，找到人眼對區(qū)域中的中心連線與水平方向夾角最小的作為可靠 人眼對； 畫出人眼區(qū)域，根據獲取可靠人眼對中得到的人眼對位置畫出兩個人眼區(qū)域；
人眼區(qū)域處理，用常規(guī)的FRST算法對每個人眼區(qū)域進行計算以得到相應的映射 圖像，并獲取該映射圖像的最大像素值，然后將最大像素值的閾值5作為分割閾值，對每個 人眼區(qū)域進行分割，以得到二值化的人眼區(qū)域。 根據本發(fā)明的另一方面，本發(fā)明提供了一種用于駕駛員疲勞檢測的人眼檢測系 統(tǒng)，所述人眼檢測系統(tǒng)包括 定位人臉模塊，用于從輸入的駕駛員監(jiān)控圖像中定位駕駛員的人臉區(qū)域，以獲得 駕駛員的人臉區(qū)域的圖像； 提取人眼對模塊，用于根據定位出的人臉區(qū)域的圖像，提取人臉區(qū)域中的人眼區(qū) 域； 獲取人眼特征模塊，用于根據所得的人眼區(qū)域提取人眼特征。
根據本發(fā)明，所述定位人臉模塊包括 預處理圖像模塊，用于彩色圖像灰度化處理和降低圖像分辨率； 處理圖像模塊，用于獲取連通區(qū)域和獲取積分圖像；所述獲取連通區(qū)域是通過對 當前幀圖像進行圖像二值化、邊緣圖像提取、人臉區(qū)域分裂和連通區(qū)域分析，獲取連通區(qū) 域；所述獲取積分圖像是通過對相鄰兩幀圖像進行圖像差分的處理，獲得積分圖像；
選定候選人臉區(qū)域模塊，用于根據獲取的連通區(qū)域及積分圖像，選定候選人臉區(qū) 域； 驗證候選人臉區(qū)域模塊，用于通過判決條件濾除虛假的人臉區(qū)域，并輸出人臉區(qū) 域。 根據本發(fā)明，所述提取人眼對模塊包括 FRST法得到二值圖像模塊，用于通過常規(guī)的FRST算法得到輸入的人臉圖像的映 射圖像，并獲取該映射圖像的最大像素值，然后將最大像素值的閾值5作為分割閾值，對輸 入的人臉區(qū)域圖像進行分割，以得到二值圖像并輸出； 降維二值化模塊，用于將輸入的人臉圖像縮小一倍，并用常規(guī)的二值化處理得到 人臉模板并輸出二值化圖像，將輸出的人臉模板與二值化圖像再作數學形態(tài)學中的常規(guī)并 處理，以濾除人臉模板中的耳朵區(qū)域； 去除不符合人眼規(guī)則的區(qū)域模塊，用于濾除不符合人眼區(qū)域條件的區(qū)域，去除不 符合人眼規(guī)則的區(qū)域是根據計算每個人臉模板中區(qū)域的面積以及該區(qū)域高度與寬度的比 值進行去除，若該面積大于整個人臉模板面積的閾值6，或者高度與寬度的比值小于閾值 7，則認為該區(qū)域不符合人眼區(qū)域條件并濾除，否則保留； 提取人眼對模塊，用于找到兩個人眼區(qū)域之間距離與水平方向夾角滿足一定條件 的人眼對并輸出；其中，所述人眼區(qū)域是指去除不符合人眼規(guī)則的區(qū)域處理后所獲取的人 臉模板中的區(qū)域；確定人眼對區(qū)域的方法是在人臉模板內的所有區(qū)域中，搜索符合間距 在人臉區(qū)域寬度的閾值8范圍內的兩個區(qū)域，若這兩個區(qū)域的中心連線與水平方向夾角大
9于閾值9并小于閾值IO，則認為兩個區(qū)域便是人眼對區(qū)域。
根據本發(fā)明，所述獲取人眼特征模塊包括 獲取可靠人眼對模塊，用于找到人眼對區(qū)域中的中心連線與水平方向夾角最小的 作為可靠人眼對； 畫出人眼區(qū)域模塊，用于根據獲取可靠人眼對中得到的人眼對位置畫出兩個人眼 區(qū)域； 人眼區(qū)域處理模塊，用于用常規(guī)的FRST算法對每個人眼區(qū)域進行計算以得到相 應的映射圖像，并獲取該映射圖像的最大像素值，然后將最大像素值的閾值5作為分割閾 值，對每個人眼區(qū)域進行分割，以得到二值化的人眼區(qū)域。 本發(fā)明的最大優(yōu)點是可用于駕駛員疲勞檢測，實現(xiàn)了駕駛員的人臉檢測、人眼檢 測，且檢測簡單、快速。
圖1為本發(fā)明的人眼檢測方法的流程示意圖； 圖2為本發(fā)明的人眼檢測方法中定位人臉區(qū)域的流程示意圖； 圖3為本發(fā)明的人眼檢測方法中提取人眼對的流程示意圖； 圖4為本發(fā)明的人眼檢測方法中獲取人眼特征的流程示意圖； 圖5為本發(fā)明人眼檢測系統(tǒng)的結構示意圖； 圖6為本發(fā)明人眼檢測系統(tǒng)中定位人臉區(qū)域模塊的結構示意圖； 圖7為本發(fā)明人眼檢測系統(tǒng)中提取人眼對模塊的結構示意圖； 圖8為本發(fā)明人眼檢測系統(tǒng)中獲取人眼特征模塊的結構示意圖。
具體實施例方式
圖1為本發(fā)明人眼檢測方法的流程示意圖，如圖1所示，所述人眼檢測方法具體包 括 步驟1 :定位人臉區(qū)域，從輸入的駕駛員監(jiān)控圖像中定位駕駛員的人臉區(qū)域，以獲 得駕駛員的人臉區(qū)域的圖像； 步驟2 :提取人眼對，根據檢測出的人臉區(qū)域，提取人臉區(qū)域中的人眼區(qū)域；
步驟3 :獲取人眼特征，根據所得的人眼區(qū)域提取人眼特征。 圖2為本發(fā)明的人眼檢測方法中定位人臉區(qū)域的流程示意圖，如圖2所示，定位人 臉區(qū)域的具體步驟包括 預處理圖像21，彩色圖像灰度化處理和降低圖像分辨率。 其中，圖像灰度化處理是指對獲取的彩色圖像進行常規(guī)灰度化處理，將其轉化為 灰度圖像，以便后期處理。這里，圖像灰度化處理只在獲取的圖像是彩色圖像時使用。降低 圖像的分辨率處理的方法是通過縮小灰度圖像的尺寸來降低圖像的分辨率，以得到降低 分辨率的圖像。這里，降低圖像的分辨率處理只在獲取的圖像尺寸大于閾值l時使用。所 述閾值l為100X100 200X200個像素位，優(yōu)選為176X144個像素位。
處理圖像22，包括獲取連通區(qū)域和獲取積分圖像；所述獲取連通區(qū)域是通過對當 前幀圖像進行圖像二值化、邊緣圖像提取、人臉區(qū)域分裂和連通區(qū)域分析，獲取連通區(qū)域；所述獲取積分圖像是通過對相鄰兩幀圖像進行圖像差分的處理，獲得積分圖像。
其中，獲取連通區(qū)域的具體過程包括如下 圖像二值化是指對處理后的灰度圖像進行常規(guī)閾值分割，以獲得擁有類似人臉區(qū) 域的二值圖像。閾值分割的方法是基于常規(guī)的二維最大類間方差的圖像分割算法，可以參 考文獻"一種基于二維最大類間方差的圖像分割算法.通信學報.2001,4(22)"。分割后將 類似人臉區(qū)域內像素的灰度值設置為l，其他像素的灰度值設置為0。 邊緣圖像提取通常是提取圖像二值化處理后的灰度圖像的邊緣。所謂邊緣圖像提
取的常規(guī)方法是將3X3中值濾波模板在圖像中漫游，并將模板中心與圖中某個像素位置
重合；讀取模板下各對應像素的灰度值；將這些灰度值從小到大排成一列；找出這些灰度
值中排在中間的一個值；將這個灰度值的中間值賦給對應模板中心的像素。 人臉區(qū)域分裂是指對獲取的二值圖像和邊緣圖像中的每個像素的灰度值進行常
規(guī)的異或處理，然后對其結果進行常規(guī)的開運算，以得到分離的類似人臉區(qū)域，并濾除噪
聲。其中，異或處理是指每兩個相同灰度值的像素的灰度值取O，相異的像素的灰度值取1 ;
濾除噪聲是根據所計算類似人臉區(qū)域的長度與寬度的比值進行濾除，若該比值處于閾值2
范圍內，則保留，否則認為該類似人臉區(qū)域為噪聲區(qū)域，將該類似人臉區(qū)域濾除。所述閾值
2為0. 8 2. 2。 連通區(qū)域分析是指通過四連通域或八連通域實現(xiàn)不同圖像區(qū)域的連通標記，以獲
取類似人臉的連通區(qū)域并輸出。四連通域/八連通域的連通標記的常規(guī)方法是首先，對人
臉區(qū)域分裂處理后的圖像施行逐行掃描，找到一個未標記區(qū)域的第一點，標記該點；檢查該
點的四連通域/八連通域的鄰域點并標記滿足連通性要求的，且尚未被標記的點，同時將
新增的標記點記錄下來作為"區(qū)域增長"的種子點。在后續(xù)的標記過程中，不斷地從記錄種
子點的數組中取出一個種子點，施行上述的操作，如此循環(huán)，直到記錄種子點的數組為空，
一個連通區(qū)域標記結束。接著再標記下一個未標記的連通區(qū)域，直到人臉區(qū)域分裂處理后
的圖像的所有連通區(qū)域都被標記。
獲取積分圖像具體過程包括如下 首先通過對相鄰兩幀人臉圖像進行差分處理，得到這兩幀人臉圖像的差分圖像， 再根據式(I)計算差分圖像就可以獲得人臉圖像的積分圖像。其中，差分處理是指對相鄰 兩幀圖像的灰度值進行相減，取其差值的絕對值，由此便可得到這兩幀圖像的差分圖像。積 分圖像的定義是設差分圖像為i(x' ，y')，對于圖像內一點A(x，y)，積分圖像ii(x，y) 根據式(I)計算如下 "0,力=S ! (>',:/) (I) 選定候選人臉區(qū)域23，是指濾除連通區(qū)域分析所獲取的連通區(qū)域中的小的虛假區(qū) 域后，再根據所述獲取積分圖像步驟中所得到的積分圖像從剩余的連通區(qū)域中選出人臉區(qū) 域； 其中，濾除連通區(qū)域中的小的虛假區(qū)域是根據所計算連通區(qū)域的總像素進行濾 除，若該總像素小于設定的閾值3時，則認為是小的虛假區(qū)域并濾除該連通區(qū)域，否則保留 該連通區(qū)域。所述閾值3為250 350，優(yōu)選為300。 根據所述獲取積分圖像步驟中所得到的積分圖像從剩余的連通區(qū)域中選出人臉 區(qū)域的方法是
11
第一步計算剩余的連通區(qū)域的積分圖像，并對當前幀的積分圖像與前一幀積分 圖像的像素灰度值進行相減，得到差值圖像，統(tǒng)計該差值圖像中像素不為0的個數，該個數 為對應該剩余的連通區(qū)域的運動能量； 第二步根據各剩余的連通區(qū)域的運動能量，從中選出5個運動能量最大的剩余 連通區(qū)域，作為人臉區(qū)域。 所述剩余的連通區(qū)域是指經過所述濾除連通區(qū)域中的小的虛假區(qū)域處理后留下 的連通區(qū)域。 驗證候選人臉區(qū)域24，是指根據判決條件進行投票，符合判決條件即投贊成票， 不符合判決條件即投反對票，并對投票進行疊加，將投票疊加之和最高的候選人臉區(qū)域作 為人臉區(qū)域，然后輸出人臉區(qū)域，從而濾除一些虛假的人臉區(qū)域；其中，所述判決條件包括 人臉區(qū)域的長寬比為閾值2、人臉區(qū)域內屬于人臉的前景點與整個人臉區(qū)域內點的比例為 閾值4、和確定人臉區(qū)域內是否存在類似眼睛區(qū)域。 其中，人臉區(qū)域的長寬比通常在閾值2范圍內，若候選區(qū)域的長寬比不在該范圍 內，則投以一負票；反之，則投以一正票，以便濾除一些不符合人臉區(qū)域長寬比的人臉區(qū)域。
人臉區(qū)域內屬于人臉的前景點與整個人臉區(qū)域內點的比例在閾值4范圍內，若該 比例不在該范圍內，則投以一負票；反之，則投以一正票，以濾除一些前景點過多或過少的 候選人臉區(qū)域。其中，前景點是指圖像進行分割后該區(qū)域所含像素個數不為O。所述閾值4 優(yōu)選為0. 3 0. 75。 人臉區(qū)域內是否存在類似眼睛區(qū)域是指根據類似眼睛的區(qū)域來投票，若存在類似 眼睛區(qū)域，則投以一正票；反之，則投以一負票，將投票疊加之和最高的區(qū)域確定為類似眼 睛區(qū)域。 確定人臉區(qū)域內是否存在類似眼睛區(qū)域的具體步驟為 水平灰度腐蝕處理，即對輸入的圖像進行常規(guī)的水平灰度腐蝕處理，并輸出經水 平灰度腐蝕處理過的腐蝕圖像。水平灰度腐蝕處理是指水平方向上的常規(guī)的腐蝕處理；水 平腐蝕處理的模板優(yōu)選為7X1模板； 垂直閉處理，對輸入的腐蝕圖像先進行常規(guī)的垂直膨脹處理，然后進行常規(guī)的垂 直腐蝕處理，并輸出結果圖像；垂直膨脹處理的模板優(yōu)選為1X11模板；垂直腐蝕處理的模 板優(yōu)選為1X11模板； 差分處理，對腐蝕圖像與結果圖像各像素值進行相減取絕對值，并輸出結果差分 圖像； 計算分割閾值，計算差分圖像的均值和方差，并將該均值和方差作為圖像的分割 閾值；其中，差分圖像的均值通過計算差分圖像每個像素值的平均值實現(xiàn)，差分圖像的方差
通過計算差分圖像每個像素值的方差實現(xiàn)； 圖像二值化，即根據上述所獲取的分割閾值(即差分圖像的均值和方差)對原始 輸入圖像進行常規(guī)的二維閾值分割，以獲取二值圖像。 去噪處理，對所述二值圖像進行去噪處理，然后輸出結果圖像；去噪處理是根據所 計算二值圖像中連通區(qū)域的總像素個數進行去噪，若該總像素小于設定的閾值3，則認為是 小的虛假區(qū)域并濾除該連通區(qū)域，否則保留該連通區(qū)域，然后輸出結果圖像。
所述去噪處理中的結果圖像即為人臉檢測的圖像。
圖3為本發(fā)明的人眼檢測方法中提取人眼對的流程示意圖。如圖3所示，提取人 眼對的步驟具體為 FRST法得到二值圖像31，利用快速輻射對稱變換(Fast Radial Symmetry Transform) FRST算法得到二值圖像，即首先通過常規(guī)的FRST得到輸入的人臉圖像的映射 圖像，并獲取該映射圖像的最大像素值(即，灰度值)，然后將最大像素值的閾值5作為分 割閾值，對輸入的人臉區(qū)域圖像進行分割，以得到二值圖像并輸出。其中，F(xiàn)RST算法可以 參考文獻，如"Gareth Loy and Alexander Zelinsky. AFast Radial Symmetry Transform for Detecting Points of Interest. IEEETRANSACTI0NS ON PATTERN ANALYSIS AND MACHINEINTELLIGENCE， VOL. 25， NO. 8， AUGUST 2003"。所述閾值5為0. 05 0. 15，優(yōu)選為 0. 1。 降維二值化32，以得到人臉模板。其中，降維二值化就是將輸入的人臉圖像縮小一 倍，并用常規(guī)的二值化處理得到人臉模板并輸出二值化圖像，將輸出的人臉模板與二值化 圖像再作數學形態(tài)學中的常規(guī)并處理，以濾除人臉模板中的耳朵區(qū)域。將輸入的人臉圖像 縮小的目的在于簡化后期處理的復雜度，濾除人臉模板中的耳朵區(qū)域可以減少其他部位的 存在給提取人眼帶來的負面影響。 去除不符合人眼規(guī)則的區(qū)域33，濾除不符合人眼區(qū)域條件的區(qū)域，去除不符合人 眼規(guī)則的區(qū)域是根據所計算每個人臉模板中區(qū)域的面積以及該區(qū)域高度與寬度的比值進 行去除，若該面積大于整個人臉模板面積的閾值6，或者高度與寬度的比值小于閾值7，則 認為該區(qū)域不符合人眼區(qū)域條件并濾除，否則保留。所述閾值6為0. 15 0. 35，優(yōu)選為 0. 25 ;所述閾值7為0. 9 1. l，優(yōu)選為1。 人眼對提取34，就是找到兩個人眼區(qū)域之間距離與水平方向夾角滿足一定條件的 人眼對并輸出。其中，所述人眼區(qū)域是指去除不符合人眼規(guī)則的區(qū)域33處理后獲取的人臉 模板中的區(qū)域。確定人眼對區(qū)域的方法是在人臉模板內的所有區(qū)域中，搜索符合間距在人 臉區(qū)域寬度的閾值8范圍內的兩個區(qū)域，若這兩個區(qū)域的中心連線與水平方向夾角大于閾 值9并小于閾值10，則認為兩個區(qū)域便是人眼對區(qū)域。所述閾值8優(yōu)選為0. 5 1 ;所述閾 值9為0° 5° ，優(yōu)選為0° ;所述閾值10為40。 50° ，優(yōu)選為45° 。
圖4為本發(fā)明的人眼檢測方法中獲取人眼特征的流程示意圖。如圖4所示，獲取 人眼特征的具體步驟包括 獲取可靠人眼對41，獲取可靠人眼對，找到人眼對區(qū)域中的中心連線與水平方向 夾角最小的作為可靠人眼對。即如果提取人眼對是多對時，找到人眼對區(qū)域中的中心連線 與水平方向夾角最小的作為可靠人眼對。提取多個候選人眼對，如3個，夾角為10。 、20° 、 0° ，我們選擇夾角為0。為最可靠人眼對； 畫出人眼區(qū)域42，即根據步驟41獲取可靠人眼對中得到的人眼對位置畫出兩個 人眼區(qū)域； 人眼區(qū)域處理43，即用常規(guī)的FRST算法對每個人眼區(qū)域進行計算以得到相應的 映射圖像，并獲取該映射圖像的最大像素值(即最大灰度值)，然后將最大像素值的閾值5 作為分割閾值，對每個人眼區(qū)域進行分割，以得到二值化的人眼區(qū)域。 圖5為本發(fā)明人眼檢測系統(tǒng)的結構示意圖。如圖5所示，人眼檢測系統(tǒng)5包括定 位人臉區(qū)域模塊51、提取人眼對模塊52、獲取人眼特征模塊53。其中，定位人臉區(qū)域模塊
1351，用于從輸入的駕駛員監(jiān)控圖像中定位駕駛員的人臉區(qū)域，以獲得駕駛員的人臉區(qū)域的 圖像；提取人眼對模塊52，用于根據定位出的人臉區(qū)域的圖像，提取人臉區(qū)域中的人眼區(qū) 域；獲取人眼特征模塊53，用于根據所得的人眼區(qū)域提取人眼特征。 圖6為本發(fā)明人眼檢測系統(tǒng)中定位人臉區(qū)域模塊的結構示意圖。如圖6所示，定 位人臉模塊51包括預處理圖像模塊511、處理圖像模塊512、選定候選人臉區(qū)域模塊513 和驗證候選人臉區(qū)域模塊514。其中，預處理圖像模塊511，用于彩色圖像灰度化處理和降 低圖像分辨率；處理圖像模塊512，用于獲取連通區(qū)域和獲取積分圖像，所述獲取連通區(qū)域 是通過對當前幀圖像進行圖像二值化、邊緣圖像提取、人臉區(qū)域分裂和連通區(qū)域分析，獲取 連通區(qū)域；所述獲取積分圖像是通過對相鄰兩幀圖像進行圖像差分的處理，獲得積分圖像； 選定候選人臉區(qū)域模塊513，用于根據獲取的連通區(qū)域及積分圖像，選定候選人臉區(qū)域；驗 證候選人臉區(qū)域模塊514，用于通過判決條件濾除虛假的人臉區(qū)域，并輸出人臉區(qū)域。
圖7為本發(fā)明人眼檢測系統(tǒng)中提取人眼對模塊的結構示意圖。如圖7所示，提取 人眼對模塊包括FRST法得到二值圖像模塊521、降維二值化模塊522、去除不符合人眼規(guī)則 的區(qū)域模塊523和提取人眼對模塊524。 其中FRST法得到二值圖像模塊521，用于通過常規(guī)的FRST算法得到輸入的人臉圖 像的映射圖像，并獲取該映射圖像的最大像素值，然后將最大像素值的閾值5作為分割閾 值，對輸入的人臉區(qū)域圖像進行分割，以得到二值圖像并輸出； 降維二值化模塊522，用于將輸入的人臉圖像縮小一倍，并用常規(guī)的二值化處理得 到人臉模板并輸出二值化圖像，將輸出的人臉模板與二值化圖像再作數學形態(tài)學中的常規(guī) 并處理，以濾除人臉模板中的耳朵區(qū)域； 去除不符合人眼規(guī)則的區(qū)域模塊523，用于濾除不符合人眼區(qū)域條件的區(qū)域，去除 不符合人眼規(guī)則的區(qū)域是根據所計算每個人臉模板中區(qū)域的面積以及該區(qū)域高度與寬度 的比值進行去除，若該面積大于整個人臉模板面積的閾值6，或者高度與寬度的比值小于閾 值7，則認為該區(qū)域不符合人眼區(qū)域條件并濾除，否則保留； 提取人眼對模塊524，就是找到兩個人眼區(qū)域之間距離與水平方向夾角滿足一定 條件的人眼對并輸出；其中，所述人眼區(qū)域是指去除不符合人眼規(guī)則的區(qū)域處理后所獲取 的人臉模板中的區(qū)域；確定人眼對區(qū)域的方法是在人臉模板內的所有區(qū)域中，搜索符合 間距在人臉區(qū)域寬度的閾值8范圍內的兩個區(qū)域，若這兩個區(qū)域的中心連線與水平方向夾 角大于閾值9并小于閾值10，則認為兩個區(qū)域便是人眼對區(qū)域。 圖8為本發(fā)明人眼檢測系統(tǒng)中獲取人眼特征模塊的結構示意圖。如圖8所示，獲 取人眼特征模塊53包括獲取可靠人眼對模塊531、畫出人眼區(qū)域模塊532和人眼區(qū)域處理 模塊533。其中，獲取可靠人眼對模塊531，用于獲取可靠人眼對模塊，用于找到人眼對區(qū)域 中的中心連線與水平方向夾角最小的作為可靠人眼對；畫出人眼區(qū)域模塊532，用于根據 獲取可靠人眼對中得到的人眼對位置畫出兩個人眼區(qū)域；人眼區(qū)域處理模塊533，用于用 常規(guī)的FRST算法對每個人眼區(qū)域進行計算以得到相應的映射圖像，并獲取該映射圖像的 最大像素值，然后將最大像素值的閾值5作為分割閾值，對每個人眼區(qū)域進行分割，以得到 二值化的人眼區(qū)域。 本發(fā)明人眼檢測法可用于駕駛員疲勞檢測，實現(xiàn)了駕駛員的人臉檢測、人眼檢測， 不僅能有效防止駕駛員疲勞駕駛，減少交通事故的發(fā)生，而且檢測簡單快速，非常方便。
以上所述，僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護范圍，應當理解，本發(fā)明并不限于這里所描述的實現(xiàn)方案，這些實現(xiàn)方案描述的目的在于幫助本領域
中的技術人員實踐本發(fā)明。任何本領域中的技術人員很容易在不脫離本發(fā)明精神和范圍的情況下進行進一步的改進和完善，因此本發(fā)明只受到本發(fā)明權利要求的內容和范圍的限制，其意圖涵蓋所有包括在由所附權利要求所限定的本發(fā)明精神和范圍內的備選方案和等同方案。
權利要求
一種用于駕駛員疲勞檢測的人眼檢測方法，其特征在于，所述人眼檢測方法包括如下步驟(1)定位人臉區(qū)域，從輸入的駕駛員監(jiān)控圖像中定位駕駛員的人臉區(qū)域，以獲得駕駛員的人臉區(qū)域的圖像；(2)提取人眼對，根據定位出的人臉區(qū)域的圖像，提取人臉區(qū)域中的人眼區(qū)域；和(3)獲取人眼特征，根據所得的人眼區(qū)域提取人眼特征。
2. 根據權利要求1所述的人眼檢測方法，其特征在于，所述定位人臉區(qū)域包括如下步驟預處理圖像，彩色圖像灰度化處理和降低圖像分辨率；處理圖像，包括獲取連通區(qū)域和獲取積分圖像；所述獲取連通區(qū)域是通過對當前幀圖 像進行圖像二值化、邊緣圖像提取、人臉區(qū)域分裂和連通區(qū)域分析，獲取連通區(qū)域；所述獲 取積分圖像是通過對相鄰兩幀圖像進行圖像差分的處理，獲得積分圖像；選定候選人臉區(qū)域，根據獲取的連通區(qū)域及積分圖像，選定候選人臉區(qū)域； 驗證候選人臉區(qū)域，通過判決條件濾除虛假的人臉區(qū)域，并輸出人臉區(qū)域。
3. 根據權利要求2所述的人眼檢測方法，其特征在于，所述降低圖像的分辨率處理只 在獲取的圖像尺寸大于閾值1時使用。
4. 根據權利要求2所述的人眼檢測方法，其特征在于，所述人臉區(qū)域分裂是指對獲取 的二值圖像和邊緣圖像中的每個像素的灰度值進行常規(guī)的異或處理，然后對其結果進行常 規(guī)的開運算，以得到分離的類似人臉區(qū)域，并濾除噪聲；其中，異或處理是指每兩個相同灰 度值的像素的灰度值取O，相異的像素的灰度值取1 ;濾除噪聲是根據所計算類似人臉區(qū)域 的長度與寬度的比值進行濾除，若該比值處于閾值2范圍內，則保留，否則認為該類似人臉 區(qū)域為噪聲區(qū)域，將該類似人臉區(qū)域濾除。
5. 根據權利要求2所述的人眼檢測方法，其特征在于，所述獲取積分圖像是通過對相 鄰兩幀人臉圖像進行差分處理，得到這兩幀人臉圖像的差分圖像，再根據式(I)計算差分 圖像就獲得人臉圖像的積分圖像 <formula>formula see original document page 2</formula>其中，設差分圖像為i(x' ，y')，對于圖像內一點A(x，y)，積分圖像為ii(x，y)。
6. 根據權利要求2所述的人眼檢測方法，其特征在于，所述選定候選人臉區(qū)域是指濾 除連通區(qū)域分析所獲取的連通區(qū)域中的小的虛假區(qū)域后，再根據所述獲取積分圖像步驟中 所得到的積分圖像從剩余的連通區(qū)域中選出人臉區(qū)域；其中，濾除連通區(qū)域中的小的虛假區(qū)域是根據所計算連通區(qū)域的總像素進行濾除，若 該總像素小于設定的閾值3時，則認為是小的虛假區(qū)域并濾除該連通區(qū)域，否則保留該連 通區(qū)域；根據所述獲取積分圖像步驟中所得到的積分圖像從剩余的連通區(qū)域中選出人臉區(qū)域 的方法是第一步計算剩余的連通區(qū)域的積分圖像，并對當前幀的積分圖像與前一幀積分圖像 的像素灰度值進行相減，得到差值圖像，統(tǒng)計該差值圖像中像素不為0的個數，該個數為對 應該剩余的連通區(qū)域的運動能量；第二步根據各剩余的連通區(qū)域的運動能量，從中選出5個運動能量最大的剩余連通 區(qū)域，作為人臉區(qū)域；所述剩余的連通區(qū)域是指經過所述濾除連通區(qū)域中的小的虛假區(qū)域處理后留下的連 通區(qū)域。
7. 根據權利要求2所述的人眼檢測方法，其特征在于，所述驗證候選人臉區(qū)域是指根 據判決條件進行投票，符合判決條件即投贊成票，不符合判決條件即投反對票，并對投票進 行疊加，將投票疊加之和最高的候選人臉區(qū)域作為人臉區(qū)域，然后輸出人臉區(qū)域，從而濾除 虛假的人臉區(qū)域；其中，所述判決條件包括人臉區(qū)域的長寬比為閾值2、人臉區(qū)域內屬于 人臉的前景點與整個人臉區(qū)域內點的比例為閾值4、和確定人臉區(qū)域內是否存在類似眼睛 區(qū)域。
8. 根據權利要求7所述的人眼檢測方法，其特征在于，所述確定人臉區(qū)域內是否存在 類似眼睛區(qū)域包括如下步驟水平灰度腐蝕處理，對輸入的圖像進行常規(guī)的水平灰度腐蝕處理，并輸出經水平灰度 腐蝕處理過的腐蝕圖像；垂直閉處理，對輸入的腐蝕圖像先進行常規(guī)的垂直膨脹處理，然后進行常規(guī)的垂直腐 蝕處理，并輸出結果圖像；差分處理，對腐蝕圖像與結果圖像各像素值進行相減取絕對值，并輸出結果差分圖像；計算分割閾值，計算差分圖像的均值和方差，并將該均值和方差作為圖像的分割閾值； 其中，差分圖像的均值通過計算差分圖像每個像素值的平均值實現(xiàn)，差分圖像的方差通過 計算差分圖像每個像素值的方差實現(xiàn)；圖像二值化，根據所獲取的分割閾值對原始輸入圖像進行常規(guī)的二維閾值分割，以獲 取二值圖像；去噪處理，對所述二值圖像進行去噪處理，然后輸出結果圖像；去噪處理是根據所計算 二值圖像中連通區(qū)域的總像素個數進行去噪，若該總像素小于設定的閾值3，則認為是小的 虛假區(qū)域并濾除該連通區(qū)域，否則保留該連通區(qū)域，然后輸出結果圖像；所述去噪處理中的 結果圖像為人臉檢測的圖像。
9. 根據權利要求1所述的人眼檢測方法，其特征在于，所述提取人眼對包括如下步驟 FRST法得到二值圖像，通過常規(guī)的FRST算法得到輸入的人臉圖像的映射圖像，并獲取該映射圖像的最大像素值，然后將最大像素值的閾值5作為分割閾值，對輸入的人臉區(qū)域 圖像進行分割，以得到二值圖像并輸出；降維二值化，將輸入的人臉圖像縮小一倍，并用常規(guī)的二值化處理得到人臉模板并輸 出二值化圖像，將輸出的人臉模板與二值化圖像再作數學形態(tài)學中的常規(guī)并處理，以濾除 人臉模板中的耳朵區(qū)域；去除不符合人眼規(guī)則的區(qū)域，濾除不符合人眼區(qū)域條件的區(qū)域，去除不符合人眼規(guī)則 的區(qū)域是根據計算每個人臉模板中區(qū)域的面積以及該區(qū)域高度與寬度的比值進行去除，若 該面積大于整個人臉模板面積的閾值6，或者高度與寬度的比值小于閾值7，則認為該區(qū)域 不符合人眼區(qū)域條件并濾除，否則保留；提取人眼對，就是找到兩個人眼區(qū)域之間距離與水平方向夾角滿足一定條件的人眼對并輸出；其中，所述人眼區(qū)域是指去除不符合人眼規(guī)則的區(qū)域處理后所獲取的人臉模板中 的區(qū)域；確定人眼對區(qū)域的方法是在人臉模板內的所有區(qū)域中，搜索符合間距在人臉區(qū) 域寬度的閾值8范圍內的兩個區(qū)域，若這兩個區(qū)域的中心連線與水平方向夾角大于閾值9并小于閾值io，則認為兩個區(qū)域便是人眼對區(qū)域。
10. 根據權利要求1所述的人眼檢測方法，其特征在于，所述獲取人眼特征包括如下步驟獲取可靠人眼對，找到人眼對區(qū)域中的中心連線與水平方向夾角最小的作為可靠人眼對；畫出人眼區(qū)域，根據獲取可靠人眼對中得到的人眼對位置畫出兩個人眼區(qū)域； 人眼區(qū)域處理，用常規(guī)的FRST算法對每個人眼區(qū)域進行計算以得到相應的映射圖像，并獲取該映射圖像的最大像素值，然后將最大像素值的閾值5作為分割閾值，對每個人眼區(qū)域進行分割，以得到二值化的人眼區(qū)域。
11. 一種用于駕駛員疲勞檢測的人眼檢測系統(tǒng)，其特征在于，所述人眼檢測系統(tǒng)包括 定位人臉區(qū)域模塊，用于從輸入的駕駛員監(jiān)控圖像中定位駕駛員的人臉區(qū)域，以獲得駕駛員的人臉區(qū)域的圖像；提取人眼對模塊，用于根據定位出的人臉區(qū)域的圖像，提取人臉區(qū)域中的人眼區(qū)域； 獲取人眼特征模塊，用于根據所得的人眼區(qū)域提取人眼特征。
12. 根據權利要求11所述的人眼檢測系統(tǒng)，其特征在于，所述定位人臉模塊包括 預處理圖像模塊，用于彩色圖像灰度化處理和降低圖像分辨率；處理圖像模塊，用于獲取連通區(qū)域和獲取積分圖像；所述獲取連通區(qū)域是通過對當前 幀圖像進行圖像二值化、邊緣圖像提取、人臉區(qū)域分裂和連通區(qū)域分析，獲取連通區(qū)域；所 述獲取積分圖像是通過對相鄰兩幀圖像進行圖像差分的處理，獲得積分圖像；選定候選人臉區(qū)域模塊，用于根據獲取的連通區(qū)域及積分圖像，選定候選人臉區(qū)域； 驗證候選人臉區(qū)域模塊，用于通過判決條件濾除虛假的人臉區(qū)域，并輸出人臉區(qū)域。
13. 根據權利要求11所述的人眼檢測系統(tǒng)，其特征在于，所述提取人眼對模塊包括 FRST法得到二值圖像模塊，用于通過常規(guī)的FRST算法得到輸入的人臉圖像的映射圖像，并獲取該映射圖像的最大像素值，然后將最大像素值的閾值5作為分割閾值，對輸入的 人臉區(qū)域圖像進行分割，以得到二值圖像并輸出；降維二值化模塊，用于將輸入的人臉圖像縮小一倍，并用常規(guī)的二值化處理得到人臉 模板并輸出二值化圖像，將輸出的人臉模板與二值化圖像再作數學形態(tài)學中的常規(guī)并處 理，以濾除人臉模板中的耳朵區(qū)域；去除不符合人眼規(guī)則的區(qū)域模塊，用于濾除不符合人眼區(qū)域條件的區(qū)域，去除不符合 人眼規(guī)則的區(qū)域是根據所計算每個人臉模板中區(qū)域的面積以及該區(qū)域高度與寬度的比值 進行去除，若該面積大于整個人臉模板面積的閾值6，或者高度與寬度的比值小于閾值7， 則認為該區(qū)域不符合人眼區(qū)域條件并濾除，否則保留；提取人眼對模塊，用于找到兩個人眼區(qū)域之間距離與水平方向夾角滿足一定條件的人 眼對并輸出；其中，所述人眼區(qū)域是指去除不符合人眼規(guī)則的區(qū)域處理后所獲取的人臉模 板中的區(qū)域；確定人眼對區(qū)域的方法是在人臉模板內的所有區(qū)域中，搜索符合間距在人 臉區(qū)域寬度的閾值8范圍內的兩個區(qū)域，若這兩個區(qū)域的中心連線與水平方向夾角大于閾值9并小于閾值IO，則認為兩個區(qū)域便是人眼對區(qū)域。
14.根據權利要求11所述的人眼檢測系統(tǒng)，其特征在于，所述獲取人眼特征模塊包括獲取可靠人眼對模塊，用于找到人眼對區(qū)域中的中心連線與水平方向夾角最小的作為可靠人眼對；畫出人眼區(qū)域模塊，用于根據獲取可靠人眼對中得到的人眼對位置畫出兩個人眼區(qū)域；人眼區(qū)域處理模塊，用于用常規(guī)的FRST算法對每個人眼區(qū)域進行計算以得到相應的 映射圖像，并獲取該映射圖像的最大像素值，然后將最大像素值的閾值5作為分割閾值，對 每個人眼區(qū)域進行分割，以得到二值化的人眼區(qū)域。
全文摘要
本發(fā)明公開了一種用于駕駛員疲勞檢測的人眼檢測方法及系統(tǒng)，該人眼檢測方法包括定位人臉區(qū)域，從輸入的駕駛員監(jiān)控圖像中定位駕駛員的人臉區(qū)域，以獲得駕駛員的人臉區(qū)域的圖像；提取人眼對，根據定位出的人臉區(qū)域的圖像，提取人臉區(qū)域中的人眼區(qū)域；獲取人眼特征，根據所得的人眼區(qū)域提取人眼特征。本發(fā)明人眼檢測法可用于駕駛員疲勞檢測，實現(xiàn)了駕駛員的人臉檢測、人眼檢測，不僅能有效防止駕駛員疲勞駕駛，減少交通事故的發(fā)生，而且檢測簡單快速，非常方便。
文檔編號G06K9/54GK101739548SQ200910077429
公開日2010年6月16日 申請日期2009年2月11日 優(yōu)先權日2009年2月11日
發(fā)明者楊學超, 王 華, 菅云峰, 袁雪庚 申請人:北京智安邦科技有限公司