本發(fā)明涉及面部圖像識別處理，具體涉及一種物流運輸司機疲勞駕駛檢測方法。

背景技術(shù)：

1、疲勞駕駛是指駕駛員在長時間連續(xù)駕駛或者缺乏充分休息的情況下，由于精神和身體疲勞所導致的駕駛危險行為。疲勞駕駛會導致駕駛員注意力不集中、反映遲鈍、判斷力下降，進而影響駕駛技能和交通安全。據(jù)統(tǒng)計，疲勞駕駛是造成交通事故的主要原因之一，不容忽視。

2、在物流運輸行業(yè)，每年也會因為疲勞駕駛發(fā)生一些交通事故，造成嚴重的人員傷亡和經(jīng)濟損失。

3、為了預防疲勞駕駛行為，物流運輸企業(yè)一般會在駕駛室內(nèi)安裝視頻監(jiān)控設備，在駕駛過程中拍攝采集駕駛員的面部圖像，通過人臉識別技術(shù)對駕駛員的眼部、嘴部動作以及面部表情進行識別來判斷駕駛員是否有疲勞駕駛的行為，在判斷出有疲勞駕駛行為時，監(jiān)控設備發(fā)出聲音提示或是由后方管理人員電話提醒駕駛員停車休息。通過這種方式可以有效預防疲勞駕駛的情況出現(xiàn)。

4、但是視頻監(jiān)控設備也存在明顯的缺陷，就是當駕駛員佩戴口罩時，無法識別出駕駛員是否有張嘴的動作，進而會影響到疲勞判斷的準確性，該缺陷有待改進。

技術(shù)實現(xiàn)思路

1、基于上述表述，本發(fā)明提供了一種物流運輸司機疲勞駕駛檢測方法，可以在司機戴口罩的情況下檢測司機是否疲勞駕駛。

2、本發(fā)明解決上述技術(shù)問題的技術(shù)方案如下：

3、一種物流運輸司機疲勞駕駛檢測方法，在行駛過程中實時拍攝獲取司機圖像，對司機圖像中的面部圖像進行識別和跟蹤，并對面部圖像中的眼睛和嘴巴特征進行識別；

4、當同時識別到眼睛和嘴巴特征時，對t周期內(nèi)司機的眼睛開閉次數(shù)和張嘴次數(shù)進行識別和統(tǒng)計，當一個周期內(nèi)司機閉眼的次數(shù)達到預設閉眼次數(shù)或是張嘴次數(shù)達到預設張嘴次數(shù)時，認為司機為疲勞狀態(tài)，此時向后方管理人員發(fā)送提醒信息；

5、當只能識別到眼睛特征而識別不到嘴巴特征時，截取司機眼部區(qū)域一定范圍內(nèi)的矩形圖像區(qū)域s1，其中口罩的上部進入到s1區(qū)域內(nèi)；對s1區(qū)域圖像內(nèi)的眼部表情進行識別并根據(jù)識別結(jié)果為其匹配對應的面部表情圖像；預先將各種不同面部表情與標準面部表情進行比對，并據(jù)此對各種面部表情的變化區(qū)域進行標定；獲取當前匹配的面部表情圖像后自動選定對應的變化區(qū)域；隨后依據(jù)選定的變化區(qū)域的中心點坐標及覆蓋范圍在司機實時面部圖像中劃定檢測框；將檢測框內(nèi)的口罩圖像截取出來獲得口罩圖塊，隨后對口罩圖塊進行處理以識別圖塊中的條紋特征，并通過比對條紋特征判斷條紋形狀是否發(fā)生變化，在判斷出條紋形狀發(fā)生變化時，認為司機在打哈欠，此時向后方管理人員發(fā)送預警信息。

6、作為優(yōu)選方案：處理口罩圖塊時先是對口罩圖塊進行灰度處理，以體現(xiàn)出口罩圖塊的條紋，再提取口罩圖塊內(nèi)的條紋線段，從提取到的條紋線段中選取其中一條作為目標條紋線段；在目標條紋線段上均勻選取a、b、c三個點位并獲取各個點位的坐標位置，接著計算出a、b兩點之間的斜率k1以及計算出b、c兩點之間的斜率k2，即得到當前幀司機面部圖像中口罩的條紋特征；將前后兩幀圖像中目標條紋線段的斜率k1進行比對、以及將前后兩幀圖像中目標條紋線段的斜率k2進行比對，當斜率k1或k2的變化率超過其預設的參考值時，認為目標條紋形狀有變化。

7、作為優(yōu)選方案：還對s1區(qū)域圖像進行灰度處理以體現(xiàn)口罩上邊緣的輪廓；隨后提取口罩上邊緣輪廓線條，定義輪廓線條上位置最高的點為口罩的位置點x0并獲取x0點的坐標；同理可以計算得到司機兩眼的內(nèi)端點p1和p2的坐標，進而計算出p1和p2之間中心點p0的坐標，定義p0為基準點；然后計算單元計算出位置點x0與基準點p0之間的豎直距離l；比對單元將前后兩幀s1區(qū)域圖像中的l值進行比對，當l值的變化率超過其預設的參考值時，認為口罩的高度位置有明顯變化，此時判斷司機在打哈欠，向后方管理人員發(fā)送預警信息。

8、作為優(yōu)選方案：識別眼睛開閉狀態(tài)和是否張嘴前預先搭建的識別模型，搭建好識別模型后提供大量的眼睛圖像樣本，根據(jù)眼睛張開程度將這些樣本劃分為睜開和閉合兩類，將分類后的眼睛圖像樣本輸入至識別模型，對識別模型完成訓練，經(jīng)過訓練后的識別模型可以準確識別出眼睛的開合狀態(tài)；提供大量的嘴巴圖像樣本，根據(jù)嘴巴的張開程度將這些樣本劃分為張開和閉合兩類，將分類后的嘴巴圖像輸入至識別模型完成模型的訓練，經(jīng)過訓練后的識別模型可以準確識別出嘴巴的開合狀態(tài)。

9、作為優(yōu)選方案，匹配面部表情具體實現(xiàn)過程為：預先搭建表情匹配模型，表情匹配模型根據(jù)大量面部圖像數(shù)據(jù)建立有眼部區(qū)域表情與面部表情的匹配庫，當s1區(qū)域圖像被輸入至表情匹配模型時，表情匹配模型對s1區(qū)域內(nèi)的眼部表情進行識別并根據(jù)識別結(jié)果自動選取匹配對最高的面部表情圖像。

10、作為優(yōu)選方案，在司機實時面部圖像中劃定檢測框的實現(xiàn)過程為：預先將各種不同面部表情與標準狀態(tài)下的面部表情即標準面部表情進行比對，并據(jù)此對各種面部表情下面部形狀有明顯變化的區(qū)域即變化區(qū)域進行標定，標定的內(nèi)容包括變化區(qū)域的中心點坐標以及覆蓋范圍，獲得匹配的面部表情圖像后即可自動選定對應的變化區(qū)域；隨后依據(jù)選定的變化區(qū)域的中心點坐標及覆蓋范圍在司機實時面部圖像中劃定檢測框，檢測框的中心點坐標和覆蓋范圍即為變化區(qū)域的中心點坐標及覆蓋范圍。

11、與現(xiàn)有技術(shù)相比，本申請的技術(shù)方案具有以下有益技術(shù)效果：本申請將司機分為戴口罩和不戴口罩兩者情況。在司機不戴口罩的情況下直接通過識別和統(tǒng)計閉眼頻次、張嘴頻次判斷司機是否疲勞駕駛。而在司機戴口罩面部被遮擋時，通過截取眼部區(qū)域圖像，并根據(jù)眼部表情自動為眼部區(qū)域圖像匹配面部表情圖像，再根據(jù)匹配的面部表情圖像的臉部形狀變化區(qū)域確定司機實時面部圖像中可能會造成口罩形狀變化的區(qū)域即檢測區(qū)域，再根據(jù)檢測區(qū)域內(nèi)口罩條紋形狀的變化判斷司機是否打哈欠；另外本申請還通過檢測口罩位置的變化判斷司機是否打哈欠，通過本申請可以在司機佩戴口罩的情況下檢測司機是否疲勞駕駛。

技術(shù)特征：

1.一種物流運輸司機疲勞駕駛檢測方法，其特征是：在行駛過程中實時拍攝獲取司機圖像，對司機圖像中的面部圖像進行識別和跟蹤，并對面部圖像中的眼睛和嘴巴特征進行識別；

2.根據(jù)權(quán)利要求1所述的物流運輸司機疲勞駕駛檢測方法，其特征是：處理口罩圖塊時先是對口罩圖塊進行灰度處理，以體現(xiàn)出口罩圖塊的條紋，再提取口罩圖塊內(nèi)的條紋線段，從提取到的條紋線段中選取其中一條作為目標條紋線段；在目標條紋線段上均勻選取a、b、c三個點位并獲取各個點位的坐標位置，接著計算出a、b兩點之間的斜率k1以及計算出b、c兩點之間的斜率k2，即得到當前幀司機面部圖像中口罩的條紋特征；將前后兩幀圖像中目標條紋線段的斜率k1進行比對、以及將前后兩幀圖像中目標條紋線段的斜率k2進行比對，當斜率k1或k2的變化率超過其預設的參考值時，認為目標條紋形狀有變化。

3.根據(jù)權(quán)利要求1所述的物流運輸司機疲勞駕駛檢測方法，其特征是：還對s1區(qū)域圖像進行灰度處理以體現(xiàn)口罩上邊緣的輪廓；隨后提取口罩上邊緣輪廓線條，定義輪廓線條上位置最高的點為口罩的位置點x0并獲取x0點的坐標；同理可以計算得到司機兩眼的內(nèi)端點p1和p2的坐標，進而計算出p1和p2之間中心點p0的坐標，定義p0為基準點；然后計算單元計算出位置點x0與基準點p0之間的豎直距離l；比對單元將前后兩幀s1區(qū)域圖像中的l值進行比對，當l值的變化率超過其預設的參考值時，認為口罩的高度位置有明顯變化，此時判斷司機在打哈欠，向后方管理人員發(fā)送預警信息。

4.根據(jù)權(quán)利要求1所述的物流運輸司機疲勞駕駛檢測方法，其特征是：識別眼睛開閉狀態(tài)和是否張嘴前預先搭建的識別模型，搭建好識別模型后提供大量的眼睛圖像樣本，根據(jù)眼睛張開程度將這些樣本劃分為睜開和閉合兩類，將分類后的眼睛圖像樣本輸入至識別模型，對識別模型完成訓練，經(jīng)過訓練后的識別模型可以準確識別出眼睛的開合狀態(tài)；提供大量的嘴巴圖像樣本，根據(jù)嘴巴的張開程度將這些樣本劃分為張開和閉合兩類，將分類后的嘴巴圖像輸入至識別模型完成模型的訓練，經(jīng)過訓練后的識別模型可以準確識別出嘴巴的開合狀態(tài)。

5.根據(jù)權(quán)利要求1所述的物流運輸司機疲勞駕駛檢測方法，其特征是，匹配面部表情具體實現(xiàn)過程為：預先搭建表情匹配模型，表情匹配模型根據(jù)大量面部圖像數(shù)據(jù)建立有眼部區(qū)域表情與面部表情的匹配庫，當s1區(qū)域圖像被輸入至表情匹配模型時，表情匹配模型對s1區(qū)域內(nèi)的眼部表情進行識別并根據(jù)識別結(jié)果自動選取匹配對最高的面部表情圖像。

6.根據(jù)權(quán)利要求5所述的物流運輸司機疲勞駕駛檢測方法，其特征是，在司機實時面部圖像中劃定檢測框的實現(xiàn)過程為：預先將各種不同面部表情與標準狀態(tài)下的面部表情即標準面部表情進行比對，并據(jù)此對各種面部表情下面部形狀有明顯變化的區(qū)域即變化區(qū)域進行標定，標定的內(nèi)容包括變化區(qū)域的中心點坐標以及覆蓋范圍，獲得匹配的面部表情圖像后即可自動選定對應的變化區(qū)域；隨后依據(jù)選定的變化區(qū)域的中心點坐標及覆蓋范圍在司機實時面部圖像中劃定檢測框，檢測框的中心點坐標和覆蓋范圍即為變化區(qū)域的中心點坐標及覆蓋范圍。

技術(shù)總結(jié)
本發(fā)明涉及一種物流運輸司機疲勞駕駛檢測方法，在行駛過程中實時拍攝獲取司機圖像，當同時識別到眼睛和嘴巴特征時，對T周期內(nèi)司機的眼睛閉合次數(shù)和張嘴次數(shù)進行識別和統(tǒng)計，當一個周期內(nèi)司機閉眼的次數(shù)達到預設閉眼次數(shù)或是張嘴次數(shù)達到預設張嘴次數(shù)時，認為司機為疲勞狀態(tài)；當只能識別到眼睛特征而識別不到嘴巴特征時，通過截取眼部區(qū)域圖像，并根據(jù)眼部表情自動為眼部區(qū)域圖像匹配面部表情圖像，再根據(jù)匹配的面部表情圖像的臉部形狀變化區(qū)域確定司機實時面部圖像中可能會造成口罩形狀變化的區(qū)域即檢測區(qū)域，再根據(jù)檢測區(qū)域內(nèi)口罩條紋形狀的變化判斷司機是否打哈欠；認為司機為疲勞駕駛。

技術(shù)研發(fā)人員：郭鵬,羅泉,柳祥
受保護的技術(shù)使用者：武漢展為物聯(lián)科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23