一種基于嘴巴特征的疲勞駕駛檢測方法
【技術領域】
[0001] 本發(fā)明涉及安全駕駛技術領域，具體涉及一種基于嘴巴特征的疲勞駕駛檢測方 法。
【背景技術】
[0002] 疲勞駕駛是引發(fā)交通事故的重要原因之一，由于它無法像飲酒駕駛或者接打電話 駕駛那樣，使用交通法規(guī)來明令禁止，所以它很容易被人們所忽視，然而，當駕駛員處于疲 勞狀態(tài)時，會出現(xiàn)注意力分散，應變能力下降，對路面情況和周邊環(huán)境的觀察不及時，甚至 出現(xiàn)短時間睡眠，完全失去駕駛能力，極易造成交通事故。
[0003] 對于因疲勞駕駛引起的交通事故，由于無法實時檢測駕駛員的疲勞駕駛狀態(tài)，一 些客運和貨運企業(yè)的監(jiān)管部門無法進行事前的監(jiān)控和預防。因此，實時的檢測駕駛員的疲 勞駕駛狀態(tài)，及時提醒駕駛員或反饋給運輸企業(yè)監(jiān)管部門進行預防，對于避免重大交通事 故，起著重要的作用。
[0004] 目前，對于疲勞駕駛的檢測主要有以下幾類方法：
[0005] 1、基于生理信號的檢測方法，主要基于駕駛員的脈搏、腦電圖、心電圖、肌電圖等 的異常情況來檢測疲勞駕駛狀態(tài)。該類方法的檢測結(jié)果很準確，但是其必須通過直接接觸 駕駛員身體來采集相關數(shù)據(jù)，會導致駕駛員的不適，影響駕駛效果，不適合實際的應用。
[0006] 2、基于駕駛行為的檢測方法，主要基于方向盤轉(zhuǎn)動、車輛行駛速度、車道偏移量、 油門的控制力度等的異常情況來檢測疲勞駕駛狀態(tài)。該類方法的優(yōu)點是不需要接觸駕駛員 身體，檢測結(jié)果能直接反應駕駛狀態(tài)，其缺點是判斷依據(jù)無法確定，對于不同的駕駛員，無 法給出明確的臨界判斷閾值。
[0007] 3、基于機器視覺的檢測方法，主要通過視頻圖像處理技術，實時監(jiān)控駕駛員的嘴 巴開閉狀態(tài)、點頭頻率、打哈欠等情況，綜合判斷是否處于疲勞駕駛狀態(tài)。該類方法的優(yōu)點 是不需要接觸駕駛員身體，不會影響駕駛效果，設備更容易被人們接受，更具發(fā)展?jié)摿Α?br>
【發(fā)明內(nèi)容】

[0008] 本發(fā)明的目的在于提供一種基于嘴巴特征的疲勞駕駛檢測方法，該檢測方法通過 監(jiān)控駕駛員的嘴巴張開特征，并依據(jù)打哈欠行為來判斷駕駛員是否處于疲勞駕駛狀態(tài)，具 有監(jiān)控準確度高，漏檢誤檢少，受環(huán)境影響小，速度快，成本低等特點。
[0009] 本發(fā)明的技術方案為：
[0010] 一種基于嘴巴特征的疲勞駕駛檢測方法，該檢測方法包括以下步驟：
[0011] (1)建立人臉檢測分類器。
[0012] (2)實時采集駕駛員的駕駛狀態(tài)圖像。
[0013] (3)在駕駛狀態(tài)圖像中精確定位駕駛員的嘴巴位置。
[0014] (4)在連續(xù)視頻圖像中，根據(jù)上一幀圖像中嘴巴位置，準確預測當前幀圖像中的嘴 巴位置。
[0015] (5)根據(jù)預測的嘴巴位置，精確定位嘴巴位置，并用新的嘴巴位置替換上一幀中的 嘴巴位置；同時，判斷駕駛員嘴巴的張開程度，并根據(jù)單位時間內(nèi)，嘴巴張開程度較大的幀 數(shù)所占比例，判斷駕駛員是否處于疲勞駕駛狀態(tài)。
[0016] (6)若駕駛員處于疲勞駕駛狀態(tài)，則進行報警提示或向遠程服務器發(fā)送處于疲勞 駕駛狀態(tài)時的實時視頻并接收遠程命令。
[0017] 步驟（3)中，所述的在駕駛狀態(tài)圖像中精確定位駕駛員的嘴巴位置，具體包括以 下步驟：
[0018] (31)基于harr特征和adaboost分類器，進行人臉定位。
[0019] (32)基于人臉的三庭五眼布局規(guī)律，粗定位嘴巴位置。
[0020] (33)精確定位嘴巴的位置。
[0021] (34)判斷嘴巴是否定位成功；若是，則執(zhí)行步驟（35);若否，則返回執(zhí)行步驟 (31)〇
[0022] (35)利用以下公式，獲取正樣本采集區(qū)域rect_pos和負樣本采集區(qū)域rect_neg， 其中，rect_neg區(qū)域不包括內(nèi)部區(qū)域rect_center;
【主權項】
1. 一種基于嘴巴特征的疲勞駕駛檢測方法，其特征在于：該檢測方法包括以下步驟： (1) 建立人臉檢測分類器； (2) 實時采集駕駛員的駕駛狀態(tài)圖像； (3) 在駕駛狀態(tài)圖像中精確定位駕駛員的嘴巴位置； (4) 在連續(xù)視頻圖像中，根據(jù)上一幀圖像中嘴巴位置，準確預測當前幀圖像中的嘴巴位 置； (5) 根據(jù)預測的嘴巴位置，精確定位嘴巴位置，并用新的嘴巴位置替換上一幀中的嘴巴 位置；同時，判斷駕駛員嘴巴的張開程度，并根據(jù)單位時間內(nèi)，嘴巴張開程度較大的幀數(shù)所 占比例，判斷駕駛員是否處于疲勞駕駛狀態(tài)； (6) 若駕駛員處于疲勞駕駛狀態(tài)，則進行報警提示或向遠程服務器發(fā)送處于疲勞駕駛 狀態(tài)時的實時視頻并接收遠程命令。
2. 根據(jù)權利要求1所述的一種基于嘴巴特征的疲勞駕駛檢測方法，其特征在于：步驟 (3)中，所述的在駕駛狀態(tài)圖像中精確定位駕駛員的嘴巴位置，具體包括以下步驟： (31) 基于harr特征和adaboost分類器，進行人臉定位； (32) 基于人臉的三庭五眼布局規(guī)律，粗定位嘴巴位置； (33) 精確定位嘴巴的位置； (34) 判斷嘴巴是否定位成功；若是，則執(zhí)行步驟（35);若否，則返回執(zhí)行步驟（31); (35) 利用以下公式，獲取正樣本采集區(qū)域rect_pos和負樣本采集區(qū)域rect_neg，其 中，rect_neg區(qū)域不包括內(nèi)部區(qū)域rect_center;
(36) 在正樣本采集區(qū)域內(nèi)，選取30個寬高分別為rect_mouth.width和rect_mouth. heigh的隨機矩形區(qū)域，作為訓練正樣本集simple_pos;在負樣本采集區(qū)域內(nèi)，選取90個和 正樣本寬高相同的隨機矩形區(qū)域，作為訓練負樣本集simple_neg; (37) 在rectjnouth大小的矩形區(qū)域內(nèi)，選取30個隨機寬高的子矩形區(qū)域，作為矩形特 征集：rect_child_set〇
3. 根據(jù)權利要求1所述的一種基于嘴巴特征的疲勞駕駛檢測方法，其特征在于：步驟 ⑷中，所述的在連續(xù)視頻圖像中，根據(jù)上一幀圖像中嘴巴位置，準確預測當前幀圖像中的 嘴巴位置；具體包括以下步驟： (41) 更新系統(tǒng)的學習參數(shù)，具體包括以下步驟： (411) 基于上一幀圖像，獲取正負樣本采集區(qū)域rect_pos和rect_neg，并按照集合 simple_pos和simple_neg，分別獲取正負樣本集； (412) 對于每一個正負樣本simple_pos[i]和simple_neg[i]，在每一個特征矩形 rect_child_set[i]區(qū)域內(nèi)，利用以下公式，計算特征值c_value，并將所有的特征值順序 排列，作為當前樣本的特征向量sample_vector[i]; c_value=sum(sl)+sum(s3)-2*sum(s2) 其中，sum〇函數(shù)表示求當前區(qū)域內(nèi)所有像素的灰度值和； (413) 計算特征向量sample_vector[i]的均值sample_ti[i]和方差sample_〇 [i]; (414) 利用以下公式，更新系統(tǒng)的學習參數(shù)pos_u[i]、pos_〇 [i]、neg_u[i]、neg_ 〇 [i];
其中，p〇S_u[i]、p〇S_〇 [i]分別表示用于嘴巴區(qū)域檢測的均值和方差，neg_U[i]、neg_ 〇 [i]分別表示用于非嘴巴區(qū)域檢測的均值和方差； (42) 嘴巴區(qū)域檢測，具體包括以下步驟： (421) 利用以下公式，獲取嘴巴檢測區(qū)域reddetect;
其中，rect_mouth表示上一幀中嘴巴的位置區(qū)域矩形； (422) 按一定步長遍歷rect_detect區(qū)域，計算每一個像素位置處矩形區(qū)域的特征向 量detect_vector[i]； (423) 基于改進的貝葉斯后驗概率公式，計算每一個矩形區(qū)域?qū)儆谧彀蛥^(qū)域的概率 P[i];所述的改進的貝葉斯后驗概率公式為：
(424)選擇最大概率對應的矩形區(qū)域，作為當前幀中的嘴巴區(qū)域矩形位置。
4. 根據(jù)權利要求1所述的一種基于嘴巴特征的疲勞駕駛檢測方法，其特征在于：步驟 (5)中，根據(jù)預測的嘴巴位置，精確定位嘴巴位置，并用新的嘴巴位置替換上一幀中的嘴巴 位置；同時，判斷駕駛員嘴巴的張開程度，并根據(jù)單位時間內(nèi)，嘴巴張開程度較大的幀數(shù)所 占比例，判斷駕駛員是否處于疲勞駕駛狀態(tài)；具體包括以下步驟： (51) 精確定位嘴巴的矩形區(qū)域位置； (52) 基于最大類間距算法，獲取嘴巴區(qū)域的全局二值化圖像，并進行反色處理； (53) 獲取嘴巴區(qū)域的高度，具體方法是對嘴巴連通區(qū)域進行垂直投影，選取最大投影 值作為整個區(qū)域的高度，并把該高度值放入高度列表H中； (54) 判斷駕駛員是否處于疲勞駕駛狀態(tài)，具體包括以下步驟： (541) 在單位時間T內(nèi)，利用以下公式，統(tǒng)計駕駛員張大嘴巴的幀數(shù)；
其中，No表示單位時間T內(nèi)處于嘴巴張開狀態(tài)的幀數(shù)，h[i]表示高度列表H內(nèi)第i幀 的嘴巴區(qū)域高度，To表示正常情況下嘴巴區(qū)域的高度，Tc表示打哈欠時嘴巴區(qū)域的高度； (542) 利用以下公式，判斷駕駛員是否處于疲勞駕駛狀態(tài)；
其中，exist= 1表示駕駛員處于疲勞駕駛狀態(tài)，N表示單位時間T內(nèi)的總幀數(shù)，p表示 單位時間T內(nèi)的哈欠率； (55) 根據(jù)當前幀的嘴巴位置和疲勞駕駛狀態(tài)判斷情況，更新相關狀態(tài)參數(shù)值。
5. 根據(jù)權利要求2所述的一種基于嘴巴特征的疲勞駕駛檢測方法，其特征在于：步驟 (33)中，所述的精確定位嘴巴的位置，具體包括以下步驟： (331) 對圖像進行模糊處理，具體采用以下公式的模板進行均值濾波；
(332) 利用以下公式，對嘴巴灰度圖像進行增強；
其中，f(x，y)表示原圖的灰度值，g(x，y)表示增強圖像的灰度值，tmin表示原圖灰度最 小值，力_表示原圖灰度最大值； (333) 基于canny邊緣檢測算子，進行嘴巴邊緣檢測； (334) 基于結(jié)構元素模板式，進行3次形態(tài)學閉運算；所述的結(jié)構元素模板式為：
(335) 獲取嘴巴區(qū)域的形心center_mouth; (336) 利用以下公式，獲取嘴巴位置區(qū)域矩形rectjnouth;
其中，center_mouth表示嘴巴區(qū)域的開$心，rect表示人臉的位置矩形。
【專利摘要】本發(fā)明涉及一種基于嘴巴特征的疲勞駕駛檢測方法，包括以下步驟：建立人臉檢測分類器；實時采集駕駛員的駕駛狀態(tài)圖像；在駕駛狀態(tài)圖像中精確定位駕駛員的嘴巴位置；在連續(xù)視頻圖像中，根據(jù)上一幀圖像中嘴巴位置，準確預測當前幀圖像中的嘴巴位置；根據(jù)預測的嘴巴位置，精確定位嘴巴位置；判斷駕駛員嘴巴的張開程度，根據(jù)單位時間內(nèi)，嘴巴張開程度較大的幀數(shù)所占比例，判斷駕駛員是否處于疲勞駕駛狀態(tài)；若駕駛員處于疲勞駕駛狀態(tài)，則進行報警提示或向遠程服務器發(fā)送處于疲勞駕駛狀態(tài)時的實時視頻并接收遠程命令。本發(fā)明具有監(jiān)控準確度高，漏檢誤檢少，受環(huán)境影響小，速度快，成本低等特點。
【IPC分類】G08B21-06, G06K9-62
【公開號】CN104574819
【申請?zhí)枴緾N201510013007
【發(fā)明人】張卡, 尼秀明, 何佳, 黃健
【申請人】安徽清新互聯(lián)信息科技有限公司
【公開日】2015年4月29日
【申請日】2015年1月9日