專利名稱：一種疲勞駕駛檢測(cè)裝置及汽車的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及車輛的主動(dòng)安全技術(shù)領(lǐng)域，尤其涉及疲勞駕駛的檢測(cè)技術(shù) 領(lǐng)域。背景技術(shù)：
疲勞駕駛是當(dāng)今交通安全的重要隱患之一。駕駛員處于疲勞狀態(tài)時(shí)， 對(duì)周圍環(huán)境的感知能力、形勢(shì)判斷能力和對(duì)車輛的操控能力都有不同程度 的下降，容易發(fā)生交通事故。因此，研究開(kāi)發(fā)高性能的駕駛員疲勞狀態(tài)實(shí) 時(shí)檢測(cè)及預(yù)警技術(shù)，能夠有效減少疲勞駕駛帶來(lái)的隱患，從而達(dá)到保障駕 駛員人身安全和周邊相關(guān)人員安全的目的。
駕駛員疲勞檢測(cè)系統(tǒng)是指，通過(guò)車內(nèi)和車外的附加設(shè)備對(duì)駕駛員生理 信號(hào)、駕駛員生理反應(yīng)特征、駕駛員操作行為或者車輛狀態(tài)等信息進(jìn)行采 樣，可以單一對(duì)一種信息進(jìn)行評(píng)估也可以對(duì)多種參數(shù)綜合評(píng)估，最后運(yùn)用 可靠的疲勞模型來(lái)判斷駕駛員是否處于疲勞狀態(tài)。如果駕駛員處于疲勞駕 駛狀態(tài)，系統(tǒng)發(fā)出報(bào)警信息提示駕駛員危險(xiǎn)狀態(tài)或者直接通過(guò)車載電控接 口對(duì)車輛進(jìn)行控制，從而減少由于疲勞駕駛而產(chǎn)生交通事故發(fā)生率。
目前，疲勞駕駛檢測(cè)裝置及相關(guān)技術(shù)主要依據(jù)以下三種參數(shù)指標(biāo)
1生理指標(biāo)呼吸脈搏、腦電波、眨眼頻率、瞳孔凝視的周期、手 的握力；
2形態(tài)指標(biāo)身體姿態(tài)、頭部位置、嘴巴形狀、眼開(kāi)合狀態(tài)； 3車輛指標(biāo)反映駕駛?cè)藸顟B(tài)的汽車操作參數(shù)。
各種系統(tǒng)和方法都是通過(guò)能與上述參數(shù)指標(biāo)建立關(guān)聯(lián)的傳感器實(shí)現(xiàn) 信息采集。所有參數(shù)指標(biāo)中，腦電波對(duì)疲勞狀態(tài)的判斷最為穩(wěn)定、準(zhǔn)確。 因?yàn)橐陬^部佩戴采集信號(hào)的導(dǎo)線，從能被推廣并為大眾所接受的角度上 講，這種方式并不實(shí)際。所以，在準(zhǔn)確性和穩(wěn)定性的前提下，"實(shí)用性"、
"易用性"是考量疲勞駕駛檢測(cè)裝置是否成功的一個(gè)關(guān)鍵標(biāo)準(zhǔn)。

發(fā)明內(nèi)容
本發(fā)明要解決的主要技術(shù)問(wèn)題是，提供一種疲勞駕駛檢測(cè)裝置，該裝 置可消除個(gè)體性差異，提高了疲勞判斷的準(zhǔn)確性，實(shí)用性強(qiáng)，體積小并且
4使用方便。
根據(jù)本發(fā)明的一方面，提供一種疲勞駕駛檢測(cè)裝置，包括圖像采集模 塊、圖像處理模塊和報(bào)警模塊，所述圖像處理模塊接收?qǐng)D像采集模塊輸出 的視頻信號(hào)，根據(jù)預(yù)先訓(xùn)練的人臉特征分類器定位人臉區(qū)域，根據(jù)預(yù)先訓(xùn) 練的人眼特征分類器定位人眼區(qū)域，在人眼區(qū)域中獲取虹膜圖像，基于虹 膜圖像分析眼睛閉合狀態(tài)，將眼睛閉合狀態(tài)和疲勞標(biāo)準(zhǔn)比較，判斷駕駛員 是否處于疲勞狀態(tài)，并在判斷駕駛員處于疲勞狀態(tài)時(shí)輸出報(bào)警控制命令給 所述報(bào)警模塊，所述報(bào)警模塊響應(yīng)報(bào)警控制命令并進(jìn)行報(bào)警。
根據(jù)本發(fā)明的另一方面，提供一種汽車，包括上述疲勞駕駛檢測(cè)裝置。
本發(fā)明通過(guò)采用人臉?lè)诸惼骱腿搜鄯诸惼鞣謩e檢測(cè)人臉和人眼，減少 了個(gè)體性差異對(duì)檢測(cè)結(jié)果的影響，減少了光照和人臉姿態(tài)對(duì)檢測(cè)結(jié)果的影 響，提高了駕駛者眼部定位的準(zhǔn)確性和眼睛閉合判斷的準(zhǔn)確性，從而提高 了疲勞判斷的準(zhǔn)確性，具有較好的實(shí)用性。同時(shí)本實(shí)施例采用嵌入式系統(tǒng)， 體積小，使用方便。

圖1為本發(fā)明一種實(shí)施例的結(jié)構(gòu)示意圖2為顯示的人眼定位效果示意圖3為本發(fā)明另一種實(shí)施例的流程圖4為本發(fā)明一種具體實(shí)例的結(jié)構(gòu)示意圖。
具體實(shí)施方式
下面通過(guò)具體實(shí)施方式
結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。
請(qǐng)參考圖l，疲勞駕駛檢測(cè)裝置包括圖像采集模塊10、圖像處理模塊 20和報(bào)警模塊30。圖像處理模塊20接收?qǐng)D像采集模塊10輸出的視頻信號(hào)， 根據(jù)預(yù)先訓(xùn)練的人臉特征分類器定位人臉區(qū)域，根據(jù)預(yù)先訓(xùn)練的人眼特征 分類器定位人眼區(qū)域，在人眼區(qū)域中獲取虹膜圖像，基于虹膜圖像分析眼 睛閉合狀態(tài)，將眼睛閉合狀態(tài)和疲勞標(biāo)準(zhǔn)比較，判斷駕駛員是否處于疲勞 狀態(tài)，并在判斷駕駛員處于疲勞狀態(tài)時(shí)輸出報(bào)警控制命令給所述報(bào)警模塊 30，所述報(bào)警模塊30響應(yīng)報(bào)警控制命令并進(jìn)行報(bào)警。
其中，圖像采集模塊10通常包括攝像頭，例如CCD紅外攝像頭或CMOS 攝像頭。
在本實(shí)施例的一個(gè)實(shí)例中，圖像處理模塊20包括編解碼器21 (例如 音視頻編解碼芯片)和微處理器23 (例如DSP微處理器)，編解碼器21的 輸入端與圖像采集模塊10的輸出端連接，編解碼器21的輸出端與微處理器23連接。微處理器23用于對(duì)圖像進(jìn)行處理并判斷駕駛員是否處于疲勞 狀態(tài)，在判斷駕駛員處于疲勞狀態(tài)時(shí)輸出報(bào)警控制命令，報(bào)警模塊30響應(yīng) 報(bào)警控制命令進(jìn)行相應(yīng)的報(bào)警。
編解碼器21接收?qǐng)D像采集模塊10輸出的模擬視頻信號(hào)，將信號(hào)進(jìn)行 A/D轉(zhuǎn)換和解碼，有些情況下還需要將采集的圖像進(jìn)行輸出格式轉(zhuǎn)換，例 如將獲取的UYVY格式圖像轉(zhuǎn)換成YUV格式，以符合數(shù)據(jù)庫(kù)格式的要求。
在本實(shí)施例的一種實(shí)例中，微處理器23接收編解碼器21輸出的圖像 數(shù)據(jù)，對(duì)圖像進(jìn)行灰度化和歸一化處理，確定人臉檢測(cè)感興趣區(qū)域，當(dāng)采 集的圖像為攝像頭初始化后的第一幀圖像時(shí)，在全圖像上搜索人臉并定位 人臉區(qū)域，當(dāng)采集的圖像為第一幀之后的圖像時(shí)，提取前一幀圖像的人臉 區(qū)域并進(jìn)行設(shè)定數(shù)值的擴(kuò)大后作為人臉檢測(cè)感興趣區(qū)域，并根據(jù)預(yù)先訓(xùn)練 的人臉特征分類器中記錄的人臉特征分析所述人臉檢測(cè)感興趣區(qū)域的圖 像，從而定位人臉區(qū)域。
在定位人臉時(shí)根據(jù)預(yù)先訓(xùn)練的人臉特征分類器定位人臉區(qū)域。為制作 人臉特征分類器，采用AdaBoost算法對(duì)大量的人臉樣本進(jìn)行檢測(cè)， AdaBoost算法使用一種基于Harr-like特征的訓(xùn)練算法訓(xùn)練出人臉特征分 類器文件(haarcascade一faces.xml)，該分類器在大量人臉樣本數(shù)據(jù)基礎(chǔ)上 訓(xùn)練出來(lái)，具有較強(qiáng)的普適性。在讀取每幀視頻圖像后，根據(jù)人臉特征分 類器文件中所記錄的人臉Harr特征來(lái)分析圖像信息，然后再采用AdaBoost 算法及相關(guān)人臉特征分類器對(duì)圖像進(jìn)行模式識(shí)別，對(duì)圖像中的人臉區(qū)域進(jìn) 行標(biāo)定。
'采用圖像灰度化和直方圖歸一化對(duì)圖像進(jìn)行預(yù)處理，為人臉檢測(cè)提供 可靠圖像信息。灰度化可以將原圖像由YUV的三通道圖像轉(zhuǎn)化成為單通 道灰度圖像；直方圖歸一化的目的是增強(qiáng)灰度圖像亮度對(duì)比，通過(guò)直方圖 變換可使圖像的灰度間距拉開(kāi)，從而增大反差，使圖像細(xì)節(jié)清晰、特征突 出，同時(shí)減少亮度不平均而造成的干擾。
在定位人臉區(qū)域前先確定人臉檢測(cè)感興趣區(qū)域，只在較小范圍內(nèi)搜索 人臉，減少圖像處理面積，從而減少數(shù)據(jù)處理量。
當(dāng)采集的圖像為攝像頭初始化后的第一幀圖像時(shí)，在全圖像上搜索人 臉，并根據(jù)人臉特征分類器定位人臉區(qū)域，當(dāng)采集的圖像為第一幀之后的 圖像時(shí)，基于前一幀圖像的人臉區(qū)域確定人臉檢測(cè)感興趣區(qū)域，例如將前 一幀圖像的人臉區(qū)域向外擴(kuò)展1厘米后作為人臉檢測(cè)感興趣區(qū)域。在另外的實(shí)施例中，微處理器23在定位人臉區(qū)域前還將人臉檢測(cè)感 興趣區(qū)域的圖像按照設(shè)定比例縮小，進(jìn)一步減少數(shù)據(jù)處理量。
為提高人眼的檢測(cè)速度，微處理器還在人臉區(qū)域中確定人眼檢測(cè)感興 趣區(qū)域，然后根據(jù)預(yù)先訓(xùn)練的人眼特征分類器中記錄的人眼特征分析人眼 檢測(cè)感興趣區(qū)域的圖像，從而定位人眼區(qū)域。
可以采用多種方案來(lái)確定人眼檢測(cè)感興趣區(qū)域。
人眼檢測(cè)的目的是精確定位到人眼區(qū)域，盡量去除眉毛和頭發(fā)的影
響。人眼檢測(cè)采用與人臉檢測(cè)一樣的方法。為制作人眼特征分類器，采用 AdaBoost算法對(duì)大量的人眼樣本進(jìn)行檢測(cè)，使用基于Harr-like特征的訓(xùn)練 算法訓(xùn)練出人眼特征分類器文件，該分類器在大量人眼樣本數(shù)據(jù)基礎(chǔ)上訓(xùn) 練出來(lái)，具有較強(qiáng)的普適性。
微處理器23在獲得人眼區(qū)域后將人眼區(qū)域的圖像進(jìn)行亮度增強(qiáng)，并 采用自適應(yīng)閾值的二值化處理得到虹膜圖像。
在本實(shí)施例的一種實(shí)例中，報(bào)警模塊30包括燈(例如LED燈)，當(dāng)微 處理器23判斷駕駛員處于疲勞狀態(tài)時(shí)，控制報(bào)警模塊采用燈光方式進(jìn)行報(bào) 警，此種情況下，微處理器23與報(bào)警模塊30電連接，當(dāng)需要報(bào)警時(shí)，微 處理器23向報(bào)警模塊30輸出控制信號(hào)，或通過(guò)GPIO (即通用輸入輸出) 向報(bào)警模塊30輸出控制信號(hào)，控制LED燈點(diǎn)亮或閃爍。
在另一種實(shí)例中，報(bào)警模塊30包括揚(yáng)聲器，當(dāng)微處理器23判斷駕駛 員處于疲勞狀態(tài)時(shí)，控制報(bào)警模塊采用聲音方式進(jìn)行報(bào)警，此種情況下， 編解碼器21與報(bào)警模塊30電連接，當(dāng)需要報(bào)警時(shí)，微處理器23將聲音信 號(hào)輸出到編解碼器21，經(jīng)編解碼器21處理后輸出到報(bào)警模塊30，將聲音 信號(hào)放大后驅(qū)動(dòng)揚(yáng)聲器發(fā)出聲音。
本實(shí)施例中采用AdaBoost檢測(cè)算法和人臉特征分類器、人眼特征分 類器分別定位人臉和人眼，具有較強(qiáng)的普適性，減少了個(gè)體性差異對(duì)檢測(cè) 結(jié)果的影響，同時(shí)AdaBoost算法受光照和人臉姿態(tài)影響住較小，檢測(cè)準(zhǔn)確 度較高，因此提高了人臉和人眼定位的準(zhǔn)確性，從而也提高了對(duì)駕駛者疲 勞狀態(tài)判斷的準(zhǔn)確性，具有很強(qiáng)的實(shí)用性。同時(shí)本實(shí)施例釆用嵌入式系統(tǒng)， 體積小，使用方便。
本實(shí)施例中還采用先確定人臉和人眼檢測(cè)感興趣區(qū)域的方案減少了 圖像數(shù)據(jù)的處理量，使每幀圖像的處理時(shí)間減少，單位時(shí)間內(nèi)處理的圖像 幀數(shù)增加，有利于疲勞駕駛監(jiān)控技術(shù)的產(chǎn)業(yè)化。在另一實(shí)施例中，如圖1所示，疲勞駕駛檢測(cè)裝置還包括顯示模塊40， 所述微處理器23與顯示模塊40連接，顯示模塊40可以是LCD (液晶顯示 器)，微處理器23將視頻圖像輸出給顯示模塊40進(jìn)行顯示，同時(shí)在視頻圖 像上標(biāo)記檢測(cè)出的人眼區(qū)域，即顯示模塊40顯示的圖像帶有人眼區(qū)域定位 標(biāo)記。還可進(jìn)一步顯示檢測(cè)出的人臉區(qū)域，如圖2所示，方框l表示檢測(cè) 出的人臉區(qū)域，方框2為人眼區(qū)域定位標(biāo)記，表示檢測(cè)出的人眼區(qū)域，另 外人臉或人眼區(qū)域定位標(biāo)記也可采用其它標(biāo)記。該人眼區(qū)域定位標(biāo)記是微 處理器23根據(jù)設(shè)定的算法檢測(cè)出的人眼區(qū)域的位置,并不一定和實(shí)際的圖 像中的人眼區(qū)域相符合，因此當(dāng)駕駛員將攝像頭初始化后看到人眼區(qū)域定 位標(biāo)記和實(shí)際的圖像中的人眼區(qū)域不相符合時(shí)，可調(diào)整攝像頭的位置或方 向，以便攝像頭對(duì)準(zhǔn)人臉。
在又一實(shí)施例中，針對(duì)夜間檢測(cè)方案，圖像采集模塊包括紅外攝像頭， 紅外攝像頭用于設(shè)置在駕駛位前方，拍攝駕駛員臉部圖像，圖像采集模塊 還包括分布于所述攝像頭兩側(cè)的紅外光源，所述攝像頭上設(shè)有紅外濾波片。 攝像頭上設(shè)置的特定波長(zhǎng)的紅外濾波片實(shí)現(xiàn)不同光線條件下圖像的穩(wěn)定 性，本實(shí)施例采用940nm紅外光源并通過(guò)940nm濾波片濾波的方式，實(shí)現(xiàn)
白晝圖像的穩(wěn)定性。
在有些實(shí)施例中，疲勞駕駛檢測(cè)裝置還存儲(chǔ)模塊50，如圖1所示，存 儲(chǔ)模塊50與微處理器23連接，專門用于存儲(chǔ)最近一段時(shí)間內(nèi)的圖像視頻 信息，可將存儲(chǔ)的圖像讀出顯示在顯示模塊上。
如圖3所示為本發(fā)明一種具體實(shí)施例的處理流程圖，包括以下步驟
步驟301，初始化攝像頭。
步驟302，初始化人臉特征分類器參數(shù)，初始化圖像位置信息。 步驟303，通過(guò)設(shè)置在駕駛者前方的攝像頭獲取圖像，并將圖像轉(zhuǎn)換
為適合的圖像格式，例如如果拍攝的圖像是UYVY格式圖像，則轉(zhuǎn)換成
YUV格式。
步驟304，根據(jù)上一幀的檢測(cè)結(jié)果確定人臉檢測(cè)感興趣區(qū)域。
步驟305，將YUV圖像轉(zhuǎn)換為單通道灰度圖像并歸一化處理，然后
將圖像按照設(shè)定比例縮小，例如將圖像縮小到原圖像的1/2。將圖像縮小
進(jìn)一步減少了數(shù)據(jù)處理量。
步驟306，采用AdaBoost檢測(cè)算法和人臉特征分類器定位人臉區(qū)域，
當(dāng)檢測(cè)到人臉時(shí)執(zhí)行步驟307，當(dāng)檢測(cè)不到人臉時(shí)執(zhí)行步驟308。步驟307，根據(jù)人臉區(qū)域確定人眼檢測(cè)感興趣區(qū)域。 人臉區(qū)域的定位能夠給人眼的定位提供基礎(chǔ)圖像，同時(shí)還能夠驗(yàn)證人 眼區(qū)域的正確位置。確定人臉位置后，在人臉區(qū)域上定位人眼區(qū)域可以大 大節(jié)省直接在整幅圖像上尋找人眼的幵銷，減少算法執(zhí)行時(shí)間，提高算法 效率。
采用簡(jiǎn)單算法可以很快確定人眼檢測(cè)感興趣區(qū)域，然后在較小的人眼 檢測(cè)感興趣區(qū)域內(nèi)檢測(cè)人眼，這使檢測(cè)人眼的準(zhǔn)確性和效率更高。 在確定人眼檢測(cè)感興趣區(qū)域后執(zhí)行步驟309。 步驟308，初始化圖像位置參數(shù)，從全圖像搜索人臉區(qū)域。 步驟309,使用人眼特征分類器中記錄的人眼Haar特征對(duì)人眼檢測(cè)感 興趣區(qū)域進(jìn)行檢測(cè)和定位，從而獲取最匹配的人眼區(qū)域。
通過(guò)AdaBoost算法，在讀取每幀視頻圖像后，選定人臉區(qū)域中的局 部范圍作為人眼檢測(cè)感興趣區(qū)域，根據(jù)人眼特征分類器文件中所記錄的人 眼Harr特征在人眼檢測(cè)感興趣區(qū)域中進(jìn)行圖像信息分析，從而精確定位人 眼區(qū)域。
如果在人眼檢測(cè)感興趣區(qū)域成功檢測(cè)到了人眼區(qū)域，則執(zhí)行步驟311。 在當(dāng)前幀無(wú)法通過(guò)人眼特征分類器匹配檢測(cè)到人眼區(qū)域時(shí)，則執(zhí)行步 驟303，檢測(cè)下一幀圖像。如果檢測(cè)到了人臉而未檢測(cè)到人眼時(shí)，則執(zhí)行 步驟310，利用上一幀確定的人眼位置提取人眼區(qū)域，如果成功提取到人 眼區(qū)域，則執(zhí)行步驟311，如果仍然不能提取到人眼區(qū)域，則執(zhí)行步驟303， 檢測(cè)下一幀圖像。
通過(guò)上述步驟，圖像處理速度從現(xiàn)有技術(shù)的幾秒鐘處理一幀圖像提高 到了可l秒內(nèi)處理12幀圖像。
步驟3U，將眼部圖像的亮度增強(qiáng)，突出人眼虹膜區(qū)域。
步驟312，圖像高斯平滑去除噪音。高斯去噪是為了消除圖像存在的 噪聲和干擾，并平滑輪廓。
步驟313，自適應(yīng)閾值的二值化處理。當(dāng)車輛處于光線較暗的環(huán)境中 時(shí)，紅外攝像頭可能拍攝不到清楚的人臉或人眼，采用自適應(yīng)閾值的二值 變換是為了得到人眼虹膜的信息，例如采用自適應(yīng)閾值的OTSU圖像分割 法對(duì)人眼圖像進(jìn)行處理，動(dòng)態(tài)確定二值圖像的閾值，利用人眼圖像的灰度 明顯區(qū)別于其他人臉部位的特征(特別是在紅外光照射情況下)，使人眼圖 像中灰度大于或等于閾值的部分顯示白色，人眼圖像中灰度小于閾值的部分顯示黑色，通過(guò)邊緣檢測(cè)、自適應(yīng)的二值圖像處理得到人眼擬合橢圓， 從而消除眉毛、眼袋、眼角對(duì)于圖像的干擾，獲得虹膜的二值圖像及其邊 緣信息，包括上下眼瞼點(diǎn)、虹膜中心等。
自適應(yīng)閾值的二值化處理能自適應(yīng)光線變化，如夜間、隧道等特殊環(huán) 境，因此經(jīng)過(guò)自適應(yīng)闞值的二值化處理后能夠得到輪廓較分明的虹膜圖像。
步驟314，找到二值圖像最大輪廓，為檢測(cè)人眼狀態(tài)做最后的準(zhǔn)備。 在本步驟中，還可以通過(guò)圖像求反(及白色變?yōu)楹谏谏優(yōu)榘咨?來(lái) 突出虹膜的輪廓。
通過(guò)以上步驟，可以比較準(zhǔn)確地將駕駛員眼部信息提取出來(lái)。該方案 的適應(yīng)性較強(qiáng)，配合紅外攝像頭左右兩邊的紅外光源，可以在強(qiáng)光、昏暗 等環(huán)境下得到人眼狀態(tài)信息，從而自適應(yīng)不同環(huán)境的要求。
步驟315，提取虹膜輪廓并依據(jù)改進(jìn)的PERCLOS判斷眼睛閉合狀態(tài)。 依據(jù)人眼的虹膜輪廓，計(jì)算眼睛的上下眼瞼點(diǎn)及上下眼瞼間的距離，分析 眼睛閉合狀態(tài)，包括閉合程度和閉合時(shí)間等，并將各參數(shù)值與疲勞標(biāo)準(zhǔn)進(jìn) 行對(duì)比。
現(xiàn)有技術(shù)中，疲勞標(biāo)準(zhǔn)通常采用PERCLOS標(biāo)準(zhǔn)。PERCLOS標(biāo)準(zhǔn)以 瞳孔為判斷對(duì)象，由于瞳孔的成像效果受攝像頭分辨率影響較大，并且在 紅外光照射情況下，瞳孔周圍容易產(chǎn)生噪點(diǎn)，本實(shí)施例中疲勞標(biāo)準(zhǔn)采用改 進(jìn)的PERCLOS標(biāo)準(zhǔn)，即以虹膜為判斷對(duì)象，將虹膜被上下眼瞼遮住的區(qū) 域作為眼睛閉合區(qū)域，由此計(jì)算閉合程度和閉合時(shí)間，從而判斷疲勞狀態(tài)。
上下眼瞼點(diǎn)是指通過(guò)虹膜中心的上下方向的中心軸線與虹膜輪廓的 交點(diǎn)。檢測(cè)出上下眼瞼點(diǎn)后即可計(jì)算出兩者之間的距離。通過(guò)檢測(cè)，可知 眼睛正常睜開(kāi)狀態(tài)下的上下眼瞼點(diǎn)之間的距離，計(jì)算實(shí)時(shí)檢測(cè)的上下眼瞼 點(diǎn)之間的距離與眼睛正常睜開(kāi)狀態(tài)下的上下眼瞼點(diǎn)之間的距離的比值，即 可知眼睛閉合程度。當(dāng)眼睛閉合程度小于設(shè)定閾值時(shí)，認(rèn)為眼睛閉合。例 如，正常情況下，人眼可見(jiàn)虹膜約為80%，當(dāng)眼睛閉合程度為80% (即可 見(jiàn)虹膜為20%)時(shí)認(rèn)為眼睛閉合。統(tǒng)計(jì)一段時(shí)間內(nèi)眼睛閉合的總時(shí)間和/ 或駕駛著眨眼一次中眼睛閉合所占時(shí)間。
本實(shí)施例的疲勞標(biāo)準(zhǔn)為將眼睛閉合百分比f(wàn)和設(shè)定的臨界值相比較， 當(dāng)眼睛閉合百分比f(wàn)大于臨界值時(shí)，認(rèn)為駕駛者處于疲勞狀態(tài)。眼睛閉合 百分比f(wàn)為眨眼一次的過(guò)程中眼睛閉合程度大于或等于80%的時(shí)間占眼睛 閉合程度小于或等于20%的時(shí)間的百分比，艮h/ = ^~^xl00%
其中，tl、 t4為眼睛張開(kāi)為80% (即可見(jiàn)虹膜為80%，眼睛閉合程 度為20%)的時(shí)間點(diǎn)，t2、 t3為眼睛張開(kāi)為20%的時(shí)間點(diǎn)。/越接近1， 則代表駕駛員越接近疲勞狀態(tài)。如果選定0.8為判斷駕駛員疲勞與否臨界 值，即眼睛閉合百分比f(wàn)大于0.8時(shí)認(rèn)為駕駛者處于疲勞狀態(tài)。
根據(jù)上述疲勞標(biāo)準(zhǔn)，如果檢測(cè)每一幀圖像中眼睛是閉合還是睜開(kāi)，則 只需要檢測(cè)上下眼瞼點(diǎn)之間的距離與眼睛正常睜開(kāi)狀態(tài)下的上下眼瞼點(diǎn)之 間的距離的比值是否大于或等于80%，如果是，則判斷該幀圖像中眼睛處 于睜開(kāi)狀態(tài)，否則判斷該幀圖像中眼睛處于閉合狀態(tài)。在單位時(shí)間內(nèi)，如 果眼睛閉合的連續(xù)圖像幀數(shù)大于或等于80%，則判斷駕駛員此時(shí)處于疲勞 狀態(tài)。例如，如果按照每秒10幀計(jì)算，若連續(xù)8幀的可見(jiàn)虹膜為20%或 以下，則駕駛員處于疲勞狀態(tài)。
如果判斷駕駛員處于疲勞狀態(tài)，則執(zhí)行步驟316，發(fā)出報(bào)警信號(hào)，例 如通過(guò)聲音或燈光閃爍等方式提醒駕駛員。
上述實(shí)施例中，在檢測(cè)人臉和人眼之前先確定人臉檢測(cè)感興趣區(qū)域和 人眼檢測(cè)感興趣區(qū)域的技術(shù)方案除了可應(yīng)用在采用人臉?lè)诸惼骱腿搜鄯诸?器檢測(cè)人臉和人眼的實(shí)施例中，還可以應(yīng)用在通過(guò)其它方式檢測(cè)人臉和人 眼的實(shí)施例中。
如圖4所示為實(shí)現(xiàn)本發(fā)明的一種具體裝置的結(jié)構(gòu)，該裝置包括圖像采 集模塊、圖像處理模塊、存儲(chǔ)模塊、報(bào)警模塊和輸出模塊。以下對(duì)各模塊 詳細(xì)說(shuō)明。
1、圖像處理模塊
圖像處理模塊中的微處理器包括嵌入式DSP (數(shù)字信號(hào)處理器)和 DDR2、 NOR Flash (N0R型閃存)以及時(shí)鐘、復(fù)位電路等。DSP作為主處理 單元，不僅要處理大量的圖像數(shù)據(jù)，實(shí)時(shí)地進(jìn)行智能判斷，還要兼做MCU 工作，要對(duì)外圍各芯片進(jìn)行控制。DDR2是內(nèi)存，NOR Flash是程序存儲(chǔ)器。 每次系統(tǒng)加電或復(fù)位時(shí)，DSP執(zhí)行內(nèi)部ROM里的BIOS程序?qū)静考凹?存器進(jìn)行初始化然后將程序存儲(chǔ)器里的程序調(diào)入DDR2，調(diào)完以后就跳到 DDR2上程序的起始地址開(kāi)始執(zhí)行，完成系統(tǒng)的BootLoader過(guò)程，系統(tǒng)可 以通過(guò)設(shè)置DSP的相關(guān)引腳的電平狀態(tài)來(lái)選擇不同的BootMode。圖像處理模塊中的編解碼器包括音視頻編解碼器和SDRAM。音視頻編 解碼器主要是負(fù)責(zé)視頻解碼工作，可以同時(shí)支持多路的視頻采拳，它還可 以對(duì)圖像作一定的視頻處理操作，如PIP、 P0P等，還可兼具音頻編解碼功 能，負(fù)責(zé)聲音的采集與輸出。在這些過(guò)程中SDRAM是作為圖像或聲音緩存， 以支持強(qiáng)大的大量的數(shù)據(jù)處理操作。在音頻輸入過(guò)程中，麥克風(fēng)負(fù)責(zé)聲音 的采集。輸出過(guò)程中，需要一個(gè)功率放大器來(lái)對(duì)比較小的聲音信號(hào)進(jìn)行放 大，達(dá)到足夠的功率以驅(qū)動(dòng)后面的較大的負(fù)載喇叭。
例如音視頻編解碼器可以采用音視頻編解碼芯片。采用多路視頻編解 碼芯片構(gòu)架，除車內(nèi)駕駛者圖像信息采集外，可同時(shí)采集多路車內(nèi)外或前 后等方位的視頻信息。例如可采用TW2835音視頻解碼芯片，但不限于該種 芯片。TW2835最多可采集4路視頻信息。
2、 存儲(chǔ)模塊
在系統(tǒng)中除了內(nèi)存DDR2、程序存儲(chǔ)器NOR Flash和圖像數(shù)據(jù)緩存單元 SDRAM外還加入了一個(gè)存儲(chǔ)模塊以實(shí)現(xiàn)壓縮圖像的存儲(chǔ)，專門用于存儲(chǔ)最 近幾分鐘的圖像視頻信息，也可以用來(lái)存一些聲音信息，并通過(guò)485串口 在PC機(jī)上實(shí)現(xiàn)存儲(chǔ)數(shù)據(jù)的讀取。存儲(chǔ)模塊包括但不限于NAND型閃存、硬 盤或SD卡。
3、 顯示模塊
主要是由LCD組成，因?yàn)檫x取的LCD內(nèi)部帶有LCD驅(qū)動(dòng)電路，不需要 編寫顯示驅(qū)動(dòng)程序，只需要將要顯示的圖像變成PAL/NTSC等格式的模擬信 號(hào)輸給LCD即可進(jìn)行圖像顯示。
4、 報(bào)警模塊
報(bào)警部分主要是聲音報(bào)警單元和燈光報(bào)警單元，聲音報(bào)警單元包括功 放和揚(yáng)聲器(或喇叭)。燈光報(bào)警單元主要包括發(fā)光二極管(LED)。如果微 處理器判斷出駕駛員疲勞就會(huì)使揚(yáng)聲器發(fā)聲，同時(shí)使LED點(diǎn)亮或閃爍。另 外，報(bào)警的聲音是可以選擇，可以根據(jù)疲勞程度的不同而發(fā)出不同級(jí)別的 報(bào)警聲。
5、 圖像采集模塊
圖像采集模塊除包括用于拍攝駕駛員臉部圖像的攝像頭外，還可以包 括多個(gè)設(shè)置在車外的攝像頭，可通過(guò)視頻輸入/輸出接口與圖像處理模塊相 連。
6、 接口可包括多個(gè)接口，除視頻輸入輸出接口外還可包括其它接口，例如調(diào)
試J-TAG接口 、連接PC的485串口 、與車載ECU進(jìn)行通信的CAN-BUS接口 、 可外接報(bào)警器的GPIO接口等。其中，JATG接口和CAN總線接口與RS485
總線串口屬于內(nèi)部接口。
1) JATG接口
在調(diào)試階段PC機(jī)通過(guò)JTAG接口對(duì)DSP進(jìn)行調(diào)試。本發(fā)明采用開(kāi)發(fā) 板上的JTAG接口電路，便于用原有開(kāi)發(fā)環(huán)境來(lái)調(diào)試系統(tǒng)。
2) CAN總線與RS485總線。
CAN總線是用于和汽車上其它電子部件進(jìn)行通訊的接口，它是汽車電 子部件(ECU)比較通用的接口。 RS485是用于和電腦或者其他有接口的設(shè) 備進(jìn)行通訊的預(yù)留接口。
3) 外部I/0接口
通過(guò)I2C總線擴(kuò)展芯片PCF8574APWRG4和DSP的I2C總線相連，從而 擴(kuò)展出了一個(gè)8位的外部I/O并行接口，可以很方便的與外部的并行設(shè)備 通信，這是作為系統(tǒng)的預(yù)留接口來(lái)使用的。另外系統(tǒng)還可直接通過(guò)上拉電 阻從DSP的GPIO引腳引出了 6路外部輸入輸出接口，可用于外部輸入輸出 和中斷輸入。
本實(shí)施例的運(yùn)行過(guò)程如下
攝像頭拍攝到圖像信息，輸出PAL/NSTL格式的模擬信號(hào)，接口為RCA， 視頻解碼器從RCA接口獲得模擬圖像信號(hào)，并進(jìn)行A/D轉(zhuǎn)換、解碼，經(jīng)過(guò) 一系列處理后，輸出八位YUV格式的圖像信息給DSP處理器，此時(shí)DSP將 要做三件事情
對(duì)圖像做智能分析，判斷是否疲勞，如果疲勞就輸出報(bào)警信號(hào)給喇叭 發(fā)聲報(bào)警，同時(shí)點(diǎn)亮報(bào)警指示燈。在DSP做智能處理的同時(shí)，DSP還要把 圖像做一定的加工(如在眼睛處加一個(gè)框等)后輸出給LCD屏顯示拍攝 到的圖像信息。這個(gè)作用主要是便于調(diào)整攝像頭以對(duì)準(zhǔn)人臉。DSP將發(fā)生 疲勞駕駛時(shí)的視頻片段存進(jìn)NAND Flash (NAND型閃存)。
上面主要是視頻信息流的情況，另外，還有音頻信息流和控制信息流 等。DSP將數(shù)字音頻數(shù)據(jù)存入NOR Flash中，作為以后報(bào)警用的聲音輸出 信號(hào)。NOR FLASH中實(shí)際存儲(chǔ)的是未加特殊編碼與壓縮的聲音原始波形文 件。這個(gè)過(guò)程是在系統(tǒng)裝好以后，正式應(yīng)用于智能判斷之前完成。DSP判 斷出駕駛員疲勞后就調(diào)用報(bào)警模塊，即將先前存儲(chǔ)在NOR Flash中的聲音波形數(shù)據(jù)通過(guò)i2c總線給音視頻編解碼芯片，音視頻編解碼芯片將數(shù)據(jù)整 理后，然后經(jīng)過(guò)D/A轉(zhuǎn)換輸出給后端的功放，由功放驅(qū)動(dòng)喇叭發(fā)聲報(bào)警。
控制信息流比較少，主要是DSP通過(guò)I2C總線對(duì)音視頻編解碼芯片進(jìn) 行控制，如初始化，配置等。另外就是對(duì)各個(gè)存儲(chǔ)器(如DDR2、 NAND、 N0R) 的讀寫控制等。
上述實(shí)施例可應(yīng)用在汽車上，通過(guò)監(jiān)控駕駛員是否處于疲勞狀態(tài)，并 在駕駛員疲勞時(shí)進(jìn)行報(bào)警提醒，從而提高了汽車駕駛的安全性。
以上內(nèi)容是結(jié)合具體的實(shí)施方式對(duì)本發(fā)明所作的進(jìn)一步詳細(xì)說(shuō)明，不 能認(rèn)定本發(fā)明的具體實(shí)施只局限于這些說(shuō)明。對(duì)于本發(fā)明所屬技術(shù)領(lǐng)域的 普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡(jiǎn)單 推演或替換，都應(yīng)當(dāng)視為屬于本發(fā)明的保護(hù)范圍。
權(quán)利要求
1.一種疲勞駕駛檢測(cè)裝置，包括圖像采集模塊、圖像處理模塊和報(bào)警模塊，其特征在于，所述圖像處理模塊接收?qǐng)D像采集模塊輸出的視頻信號(hào)，根據(jù)預(yù)先訓(xùn)練的人臉特征分類器定位人臉區(qū)域，根據(jù)預(yù)先訓(xùn)練的人眼特征分類器定位人眼區(qū)域，在人眼區(qū)域中獲取虹膜圖像，基于虹膜圖像分析眼睛閉合狀態(tài)，將眼睛閉合狀態(tài)和疲勞標(biāo)準(zhǔn)比較，判斷駕駛員是否處于疲勞狀態(tài)，并在判斷駕駛員處于疲勞狀態(tài)時(shí)輸出報(bào)警控制命令給所述報(bào)警模塊，所述報(bào)警模塊響應(yīng)報(bào)警控制命令并進(jìn)行報(bào)警。
2. 如權(quán)利要求1所述的疲勞駕駛檢測(cè)裝置，其特征在于，所述圖像 處理模塊包括編解碼器和微處理器，所述編解碼器的輸入端與所述圖像采 集模塊的輸出端連接，所述編解碼器的輸出端與所述微處理器連接，所述 微處理器和/或編解碼器與報(bào)警模塊連接，所述微處理器用于在判斷駕駛 員處于疲勞狀態(tài)時(shí)將光電報(bào)警信號(hào)輸出給報(bào)警模塊或通過(guò)編解碼器輸出 聲音報(bào)警信號(hào)給報(bào)警模塊。
3. 如權(quán)利要求2所述的疲勞駕駛檢測(cè)裝置，其特征在于，所述編解 碼器接收?qǐng)D像采集模塊輸出的視頻模擬信號(hào)，進(jìn)行A/D轉(zhuǎn)換和解碼。
4. 如權(quán)利要求2或3所述的疲勞駕駛檢測(cè)裝置，其特征在于，所述 微處理器接收編解碼器輸出的圖像數(shù)據(jù)，并對(duì)圖像進(jìn)行灰度化和歸一化處 理，確定人臉檢測(cè)感興趣區(qū)域，當(dāng)采集的圖像為攝像頭初始化后的第一幀 圖像時(shí)，在全圖像上搜索人臉并定位人臉區(qū)域，當(dāng)采集的圖像為第一幀之 后的圖像時(shí)，提取前一幀圖像的人臉區(qū)域并進(jìn)行設(shè)定數(shù)值的擴(kuò)大后作為人 臉檢測(cè)感興趣區(qū)域，并根據(jù)預(yù)先訓(xùn)練的人臉特征分類器中記錄的人臉特征 分析所述人臉檢測(cè)感興趣區(qū)域的圖像，從而定位人臉區(qū)域。
5. 如權(quán)利要求4所述的疲勞駕駛檢測(cè)裝置，其特征在于，所述微處 理器在定位人臉區(qū)域前將人臉檢測(cè)感興趣區(qū)域的圖像按照設(shè)定比例縮小。
6. 如權(quán)利要求4所述的疲勞駕駛檢測(cè)裝置，其特征在于，所述微處 理器還在人臉區(qū)域中確定人眼檢測(cè)感興趣區(qū)域，然后根據(jù)預(yù)先訓(xùn)練的人眼 特征分類器中記錄的人眼特征分析人眼檢測(cè)感興趣區(qū)域的圖像，從而定位 人眼區(qū)域。
7. 如權(quán)利要求6所述的疲勞駕駛檢測(cè)裝置，其特征在于，所述微處 理器在獲得人眼區(qū)域后將人眼區(qū)域的圖像進(jìn)行亮度增強(qiáng)，并采用自適應(yīng)閾值的二值化處理得到虹膜圖像。
8. 如權(quán)利要求6所述的疲勞駕駛檢測(cè)裝置，其特征在于，還包括顯 示模塊，所述微處理器與顯示模塊連接，用于將帶有人眼區(qū)域定位標(biāo)記的 視頻圖像數(shù)據(jù)輸出到顯示模塊。
9. 如權(quán)利要求1至8中任一項(xiàng)所述的疲勞駕駛檢測(cè)裝置，其特征在 于，所述圖像采集模塊包括用于設(shè)置在駕駛位前方、拍攝駕駛員臉部圖像 的紅外攝像頭和分布于所述攝像頭兩側(cè)的紅外光源，所述攝像頭上設(shè)有紅 外濾波片。
10. —種汽車，其特征在于包括權(quán)利要求1至9中任一項(xiàng)所述的疲勞 駕駛檢測(cè)裝置。
全文摘要
本發(fā)明公開(kāi)了一種疲勞駕駛檢測(cè)裝置及汽車，包括圖像采集模塊、圖像處理模塊和報(bào)警模塊，所述圖像處理模塊接收?qǐng)D像采集模塊輸出的視頻信號(hào)，根據(jù)預(yù)先訓(xùn)練的人臉特征分類器定位人臉區(qū)域，根據(jù)預(yù)先訓(xùn)練的人眼特征分類器定位人眼區(qū)域，在人眼區(qū)域中獲取虹膜圖像，基于虹膜圖像分析眼睛閉合狀態(tài)，將眼睛閉合狀態(tài)和疲勞標(biāo)準(zhǔn)比較，并在判斷駕駛員處于疲勞狀態(tài)時(shí)輸出報(bào)警控制命令給所述報(bào)警模塊，所述報(bào)警模塊響應(yīng)報(bào)警控制命令并進(jìn)行報(bào)警。本發(fā)明減少了個(gè)體性差異對(duì)檢測(cè)結(jié)果的影響，提高了疲勞判斷的準(zhǔn)確性，具有較好的實(shí)用性。同時(shí)本實(shí)施例采用嵌入式系統(tǒng)，體積小，使用方便。
文檔編號(hào)G08B21/06GK101599207SQ200910107179
公開(kāi)日2009年12月9日 申請(qǐng)日期2009年5月6日 優(yōu)先權(quán)日2009年5月6日
發(fā)明者卿云立, 吳澤俊, 強(qiáng) 王, 程如中, 勇 趙 申請(qǐng)人:深圳市漢華安道科技有限責(zé)任公司