基于眼部和嘴部狀態(tài)的疲勞駕駛檢測(cè)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬圖像處理和模式識(shí)別技術(shù)領(lǐng)域，具體涉及一種基于駕駛員的眼部和嘴部 狀態(tài)的疲勞檢測(cè)方法。
【背景技術(shù)】
[0002] 隨著經(jīng)濟(jì)的迅速發(fā)展，汽車的數(shù)量在不斷增加。汽車在給人類帶來交通快捷方便 的同時(shí)，也為交通安全埋下了隱患，駕駛員的疲勞駕駛是引發(fā)交通事故的一個(gè)重要因素。據(jù) 數(shù)據(jù)統(tǒng)計(jì)，有20%的交通事故發(fā)生原因是疲勞駕駛，因此對(duì)駕駛員做出實(shí)時(shí)準(zhǔn)確的疲勞警 告尤為重要。
[0003] 經(jīng)過專家學(xué)者近幾十年的研宄，目前對(duì)駕駛員疲勞的檢測(cè)方法主要有接觸式和非 接觸式兩類：
[0004] 一 .接觸式，基于駕駛員生理特征的檢測(cè)，這種方法需要在駕駛員的身體上加一 些測(cè)量設(shè)備，來檢測(cè)駕駛員的生理參數(shù)，比如心電圖、腦電圖、脈搏等。當(dāng)駕駛員疲勞時(shí)，這 些生理信號(hào)會(huì)發(fā)生變化，利用設(shè)備的測(cè)量值變化來判斷是否疲勞。
[0005] 二.非接觸式，分為基于車輛行為特征的檢測(cè)和基于駕駛員行為特征的檢測(cè)兩種 方法。其中，①基于車輛行為特征的檢測(cè)：駕駛員疲勞時(shí)，對(duì)車輛的駕駛控制能力就會(huì)降低。 比如，當(dāng)檢測(cè)到方向盤長時(shí)間不動(dòng)或變換頻繁、車輛速度和轉(zhuǎn)彎角度等異常時(shí)，駕駛員就很 有可能處于疲勞狀態(tài)。雖然這種方法不會(huì)干擾駕駛，但由于道路狀況、駕駛員的駕駛習(xí)慣等 不同，很難保證檢測(cè)結(jié)果的準(zhǔn)確性。②基于駕駛員行為特征的檢測(cè)：通過檢測(cè)駕駛員的眼睛 閉合度、眨眼頻率、頭部位置等來判斷駕駛員是否疲勞。當(dāng)駕駛員處于疲勞狀態(tài)時(shí)，最常見 的生理行為反應(yīng)就是眼睛長時(shí)間閉合、眨眼頻率降低、眨眼周期變長、打哈欠，以及頭部位 置異常等，利用機(jī)器視覺檢測(cè)上述生理反應(yīng)，經(jīng)處理識(shí)別就可判斷駕駛員是否疲勞。
[0006] 上述兩類方法中，接觸式的基于駕駛員生理特征的檢測(cè)方法對(duì)檢測(cè)設(shè)備的精度要 求高、成本高，而且直接與駕駛員接觸，會(huì)給駕駛帶來干擾。非接觸式類的基于車輛行為特 征的檢測(cè)方法雖然不會(huì)干擾駕駛，但由于道路狀況、駕駛員的駕駛習(xí)慣等不同，很難保證檢 測(cè)結(jié)果的準(zhǔn)確性?；隈{駛員行為特征的檢測(cè)方法具有對(duì)駕駛員無干擾，準(zhǔn)確性高而且成 本低的優(yōu)勢(shì)，是應(yīng)用最廣泛的。這種方法通常是借助圖像處理技術(shù)檢測(cè)出人臉，然后提取眼 睛，基于PERCL0S原理計(jì)算出單位時(shí)間內(nèi)眼睛閉合時(shí)間所占的比例，通過與閾值比較來判 斷駕駛員是否疲勞。這種方法對(duì)眼睛的檢測(cè)要求高，鑒于在人臉上眼睛所占的比例相對(duì)比 較小，人眼的大小也有區(qū)別，而且判斷元素單一，會(huì)造成疲勞判斷結(jié)果不理想的情況。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的在于提供一種基于眼部和嘴部狀態(tài)的疲勞駕駛檢測(cè)方法，在以往疲 勞檢測(cè)方法的基礎(chǔ)上加以改進(jìn)和創(chuàng)新，使疲勞檢測(cè)結(jié)果更為理想。
[0008] 本發(fā)明的基于眼部和嘴部狀態(tài)的疲勞駕駛檢測(cè)方法，包括下列步驟：
[0009] 1.采集駕駛員視頻流，將視頻流轉(zhuǎn)換為幀圖像；
[0010] 2.進(jìn)行圖像的光照補(bǔ)償預(yù)處理：用"參考白"算法首先檢測(cè)圖像中像素點(diǎn)的亮度， 得到亮度值在前5 %的像素，設(shè)置亮度值在前5 %的像素點(diǎn)的灰度值均為255,然后依比例 對(duì)圖像的RGB三個(gè)分量進(jìn)行線性調(diào)整，得到光照補(bǔ)償后的圖像；
[0011] 3.檢測(cè)人臉區(qū)域：對(duì)步驟2得到的光照補(bǔ)償后的圖像，基于膚色特征區(qū)分膚色點(diǎn) 和非膚色點(diǎn)，得到膚色區(qū)域的二值圖像，并對(duì)二值圖像進(jìn)行連通性分析的數(shù)學(xué)形態(tài)學(xué)處理； 用投影法提取人臉區(qū)域；
[0012] 4.設(shè)定眼部和嘴部特征初始標(biāo)準(zhǔn)值：假設(shè)駕駛員在進(jìn)入駕駛室時(shí)處于清醒狀態(tài)， 對(duì)此刻獲得的圖像進(jìn)行處理，將所得到的眼部狀態(tài)和嘴部狀態(tài)的初始值作為標(biāo)準(zhǔn)值并保 存；
[0013] 5.進(jìn)行眼部區(qū)域的提取及特征分析：對(duì)步驟3得到的人臉區(qū)域二值圖像進(jìn)行水平 和垂直投影，分割出包括眉毛在內(nèi)的眼部區(qū)域，然后用此眼部區(qū)域特征進(jìn)行狀態(tài)分析，具體 包括下列步驟：
[0014] 5. 1對(duì)步驟5得到的包括眉毛在內(nèi)的眼部區(qū)域進(jìn)行灰度處理，得到眼部區(qū)域的灰 度圖像，對(duì)此灰度圖像像素點(diǎn)的x坐標(biāo)求均值，得到圖像像素點(diǎn)的水平平均強(qiáng)度，在均值圖 像上會(huì)出現(xiàn)兩個(gè)明顯的波谷，根據(jù)兩個(gè)波谷之間距離差d的不同，來判斷眼睛是睜開還是 閉合，將初始圖像處理得到的兩個(gè)波谷之間的距離差屯作為參考標(biāo)準(zhǔn)，若d-d^大于所設(shè)定 的閾值，則將眼睛判為閉合狀態(tài)，否則為正常狀態(tài)；
[0015] 5. 2眼睛疲勞判斷：用k記錄眼睛連續(xù)閉合的圖像幀數(shù)，每檢測(cè)到眼睛閉合時(shí)k加 1，在k小于閾值的情況下，若檢測(cè)到眼睛睜開，則將k初始化為0 ;在k大于閾值的情況下， 說明此時(shí)不是眨眼，是眼睛疲勞，其中：k是整數(shù)型變量，用k來計(jì)數(shù)，k的初始值為0 ;
[0016] 6.進(jìn)行嘴部區(qū)域的提取及特征分析：對(duì)步驟3得到的人臉區(qū)域取下半部分，用下 列數(shù)學(xué)表達(dá)式提取嘴部區(qū)域，然后用此嘴部區(qū)域特征進(jìn)行狀態(tài)分析，具體包括下列步驟：
【主權(quán)項(xiàng)】
1. 一種基于眼部和嘴部狀態(tài)的疲勞駕駛檢測(cè)方法，其特征在于包括下列步驟： 1.1采集駕駛員視頻流，將視頻流轉(zhuǎn)換為幀圖像； 1.2進(jìn)行圖像的光照補(bǔ)償預(yù)處理：用"參考白"算法首先檢測(cè)圖像中像素點(diǎn)的亮度，得 到亮度值在前5 %的像素，設(shè)置亮度值在前5 %的像素點(diǎn)的灰度值均為255,然后依比例對(duì) 圖像的RGB三個(gè)分量進(jìn)行線性調(diào)整，得到光照補(bǔ)償后的圖像； 1. 3檢測(cè)人臉區(qū)域：對(duì)步驟1. 2得到的光照補(bǔ)償后的圖像，基于膚色特征區(qū)分膚色點(diǎn)和 非膚色點(diǎn)，得到膚色區(qū)域的二值圖像，并對(duì)二值圖像進(jìn)行連通性分析的數(shù)學(xué)形態(tài)學(xué)處理；用 投影法提取人臉區(qū)域； 1. 4設(shè)定眼部和嘴部特征初始標(biāo)準(zhǔn)值：假設(shè)駕駛員在進(jìn)入駕駛室時(shí)處于清醒狀態(tài)，對(duì) 此刻獲得的圖像進(jìn)行處理，將所得到的眼部狀態(tài)和嘴部狀態(tài)的初始值作為標(biāo)準(zhǔn)值并保存； 1. 5進(jìn)行眼部區(qū)域的提取及特征分析：對(duì)步驟1. 3得到的人臉區(qū)域二值圖像進(jìn)行水平 和垂直投影，分割出包括眉毛在內(nèi)的眼部區(qū)域，然后用此眼部區(qū)域特征進(jìn)行狀態(tài)分析，具體 包括下列步驟： 1. 5. 1對(duì)步驟1. 5得到的包括眉毛在內(nèi)的眼部區(qū)域進(jìn)行灰度處理，得到眼部區(qū)域的灰 度圖像，對(duì)此灰度圖像像素點(diǎn)的x坐標(biāo)求均值，得到圖像像素點(diǎn)的水平平均強(qiáng)度，在均值圖 像上會(huì)出現(xiàn)兩個(gè)明顯的波谷，根據(jù)兩個(gè)波谷之間距離差d的不同，來判斷眼睛是睜開還是 閉合，將初始圖像處理得到的兩個(gè)波谷之間的距離差屯作為參考標(biāo)準(zhǔn)，若d-d^大于所設(shè)定 的閾值，則將眼睛判為閉合狀態(tài)，否則為正常狀態(tài)； 1. 5. 2眼睛疲勞判斷：用k記錄眼睛連續(xù)閉合的圖像幀數(shù)，每檢測(cè)到眼睛閉合時(shí)k加1， 在k小于閾值的情況下，若檢測(cè)到眼睛睜開，則將k初始化為0 ;在k大于閾值的情況下，說 明此時(shí)不是眨眼，是眼睛疲勞，其中：k是整數(shù)型變量，用k來計(jì)數(shù)，k的初始值為0 ; 1. 6進(jìn)行嘴部區(qū)域的提取及特征分析：對(duì)步驟1. 3得到的人臉區(qū)域取下半部分，用下列 數(shù)學(xué)表達(dá)式提取嘴部區(qū)域，然后用此嘴部區(qū)域特征進(jìn)行狀態(tài)分析，具體包括下列步驟：
其4
(；是紅色色度分量，Cb是藍(lán)色色度分量，n是人臉區(qū) 域圖像像素點(diǎn)個(gè)數(shù)，n是(；(x，y)2的平均值與^4的平均值的估測(cè)比值； 1. 6. 1用嘴部區(qū)域的二值圖像，計(jì)算嘴部區(qū)域的面積s;以初始圖像得到的嘴部區(qū)域面 積％作為參考標(biāo)準(zhǔn)值，計(jì)算嘴部區(qū)域面積s與初始圖像得到的嘴部區(qū)域面積s^的比值f， 若比值大于所設(shè)定的閾值，則判斷為嘴巴張開，否則判為正常；其中：嘴部區(qū)域面積S與初 s fl 始圖像得到的嘴部區(qū)域面積S(l的比值；^可以用像素點(diǎn)數(shù)目的比值7來代替，％為初始嘴 ^0 flQ 部區(qū)域像素點(diǎn)個(gè)數(shù)，n為當(dāng)前幀圖像的嘴部區(qū)域像素點(diǎn)個(gè)數(shù)； 1. 6. 2打哈欠判斷：用p值記錄嘴巴連續(xù)張開的圖像幀數(shù)，每檢測(cè)到嘴巴張開時(shí)p加1 ; 在P小于閾值的情況下，若檢測(cè)到嘴巴正常，則將P初始化為〇 ;在P大于閾值的情況下，說 明此時(shí)是在打哈欠，駕駛員處于疲勞狀態(tài)，其中：P是整數(shù)型變量，用P來計(jì)數(shù)，P的初始值為 〇 ； 1. 7綜合疲勞判斷：根據(jù)步驟1. 5. 2和步驟1. 6. 2,當(dāng)檢測(cè)到眼睛疲勞，或打哈欠，或兩 者同時(shí)發(fā)生時(shí)，給出疲勞警報(bào)，使駕駛員停車休息或更換駕駛員。
2. 按權(quán)利要求1所述的基于眼部和嘴部狀態(tài)的疲勞駕駛檢測(cè)方法，其特征在于所述的 步驟1. 5和步驟1. 6是同步進(jìn)行。
【專利摘要】基于眼部和嘴部狀態(tài)的疲勞駕駛檢測(cè)方法屬圖像處理和模式識(shí)別技術(shù)領(lǐng)域，本發(fā)明包括下列步驟：駕駛員視頻圖像采集，光照補(bǔ)償預(yù)處理，人臉區(qū)域檢測(cè)，綜合疲勞判斷，發(fā)出疲勞警報(bào)；其中人臉區(qū)域檢測(cè)包括眼部檢測(cè)和嘴部檢測(cè)；眼部檢測(cè)包括用投影法獲取眼部區(qū)域，作眼部特征分析，與標(biāo)準(zhǔn)特征比較，進(jìn)行k值計(jì)算和眼部疲勞的判斷；嘴部檢測(cè)包括用mouth-map法獲取嘴部區(qū)域，作嘴部特征分析，與標(biāo)準(zhǔn)特征比較，進(jìn)行p值計(jì)算和打哈欠的判斷；本發(fā)明結(jié)合眼部和嘴部兩個(gè)特征參數(shù)進(jìn)行判斷，與單一參數(shù)相比對(duì)疲勞判斷的準(zhǔn)確率和可靠性更高，本發(fā)明的實(shí)施可大幅降低由于駕駛員疲勞駕駛而引發(fā)的交通事故，為保證駕駛員的生命財(cái)產(chǎn)安全，提供了一種新的防范措施。
【IPC分類】G06K9-00
【公開號(hào)】CN104809445
【申請(qǐng)?zhí)枴緾N201510229231
【發(fā)明人】王世剛, 趙曉琳, 趙文婷, 魯奉軍, 盧洋
【申請(qǐng)人】吉林大學(xué)
【公開日】2015年7月29日
【申請(qǐng)日】2015年5月7日