專利名稱：駕駛員疲勞監(jiān)測方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及交通運輸工程，特指一種駕駛員疲勞監(jiān)測方法及裝置。
背景技術(shù)：
目前針對駕駛員眼部疲勞特征的識別監(jiān)測技術(shù)主要基于監(jiān)控駕駛員的嘴部狀態(tài)來了解其行為狀態(tài)，為安全駕駛提供必要的輔助信息。相關(guān)文獻有施樹名，金本生，王榮本，童兵亮，吉林大學(xué)學(xué)報(工學(xué)版)第34卷第2期，2004年4月，“基于機器視覺的駕駛員嘴部狀態(tài)檢測方法”，由于駕駛員在正常駕駛、說話及打哈欠(瞌睡)三種狀態(tài)下的嘴部張開程度有一定的區(qū)別。根據(jù)這一特點，作者利用Fisher分類器提取嘴唇的輪廓和位置，然后利用嘴唇區(qū)域的幾何特征作為特征值，組成特征矢量，作為三層BP神經(jīng)網(wǎng)絡(luò)的輸入，將正常駕駛、說話及打哈欠(瞌睡)三種不同精神狀態(tài)作為輸出。
但是，由于方法本身的限制，首先，受光照亮度等的影響，不能滿足全天候的要求，其次，在背景技術(shù)中是針對嘴部的單幀圖像進行識別，由于疲勞特征不明顯，易與駕駛員的其它動作混淆，識別率不高。

發(fā)明內(nèi)容
針對上述不足，本發(fā)明提出了針對駕駛員眼部疲勞特征的駕駛員疲勞監(jiān)測方法及裝置。利用紅外光線對駕駛員眼部的照射，滿足了全天候的要求，同時又不會影響駕駛員正常的駕駛；采用PERCLOS(Percentage of Eyelid Closure Over the Pupil Over Time)指標(biāo)作為判斷標(biāo)準(zhǔn)，并采用BP網(wǎng)絡(luò)分類器作為評價標(biāo)準(zhǔn)的輔助，進一步提高評價的準(zhǔn)確性，彌補了實驗數(shù)據(jù)的局限性，從而可以更好的適應(yīng)不同人群。
實現(xiàn)上述目的的技術(shù)方案基于紅外光源、差分圖像、KALMAN濾波器的方法，并設(shè)計出系統(tǒng)原型，試驗表明，完全可以滿足實時、全天候、高識別率的要求。
主要技術(shù)方案①圖像采集利用紅外光線對駕駛員眼部的照射，通過多個CMOS攝像頭得到多幅在同一時刻只有視網(wǎng)膜圖像不同的多幅圖像。
實現(xiàn)上述方法的裝置主要由紅外光源，CMOS攝像頭，控制主板及相應(yīng)軟件部分組成。其利用2個分離的攝像頭，90°交叉。當(dāng)圖像經(jīng)過一個光束分離器，分成2束分別進入2個攝像頭的鏡頭中，然后，2個鏡頭分別用850nm和950nm波長的濾波器得到相應(yīng)的紅外圖像。結(jié)果就得到2幅在同一時刻只有視網(wǎng)膜圖像不同的2幅圖像。
②圖像處理、實時跟蹤采集到的圖像信號由控制主板中內(nèi)置的圖像處理程序進行差分處理，得到瞳孔圖像。同時利用神經(jīng)網(wǎng)絡(luò)輔助的Kalman濾波器對瞳孔進行實時跟蹤預(yù)測。
③計算匹配獲得的瞳孔的特征參數(shù)交由控制單元進行處理，通過統(tǒng)計處理得到瞳孔大小的最大值和實時的瞳孔閉合百分比，計算出PERCLOS值f，繼而進行判斷駕駛員的疲勞程度。
PERCLOS是指眼睛閉合時間占某一特定時間的百分率，且PERCLOS的P80(單位時間內(nèi)眼睛閉合程度超過80％以上的時間占總時間的百分比)與駕駛疲勞程度的相關(guān)性最好。
只要測量出t1～t4值就可以計算ff=t3-t2t4-t1]]>其中，f為眼睛閉合超過80％的時間占某一特定時間的百分率。
④疲勞評價系統(tǒng)采用的評價標(biāo)準(zhǔn)是PERCLOS(Percentage of Eyelid Closure Over the Pupil OverTime)的P80標(biāo)準(zhǔn)。并同時利用BP網(wǎng)絡(luò)分類器作為評價標(biāo)準(zhǔn)的輔助。基于區(qū)域幾何特征神經(jīng)網(wǎng)絡(luò)算法的BP網(wǎng)絡(luò)為3層結(jié)構(gòu)，輸入層有4個神經(jīng)元，分別代表PERCLOS中的特征值t1～t4。隱層有10個神經(jīng)元，輸出層有3個神經(jīng)元，代表PERCLOS中的特征值f的3種不同狀態(tài)，隱層的傳遞函數(shù)為Sigmoid函數(shù)。網(wǎng)絡(luò)的輸出向量為Y1＝[1，0，0]，Y2＝
，Y3＝
。其中X1～X4代表t1～t4，Y1代表f值偏小，Y2代表f值合適Y3代表f值偏大。
本發(fā)明的有益效果是①采用了機器視覺的方法來對駕駛員的眼部進行跟蹤、監(jiān)測，避免了與駕駛員的直接身體接觸；②在目前通過檢測瞳孔從而監(jiān)測疲勞的研究中，采用了與Pearson相關(guān)性最好的一種的PERCLOS方法；
③利用紅外成像，大大提高了裝置的適用性，滿足任何駕駛情況下對駕駛員狀態(tài)的監(jiān)測要求；④利用神經(jīng)網(wǎng)絡(luò)輔助Kalman濾波器對采集的眼部特征參數(shù)進行處理，能夠很好的實現(xiàn)對駕駛員眼部的跟蹤和預(yù)測，有效地解決在駕駛員頭部晃動的情況下識別眼部的問題；⑤系統(tǒng)采用了集成度高的CMOS攝像傳感器和基于DSP處理器的控制主板，便于與車內(nèi)原有電路集成；⑥BP網(wǎng)絡(luò)分類器作為評價標(biāo)準(zhǔn)的輔助，可以進一步提高評價的準(zhǔn)確性，彌補了實驗數(shù)據(jù)的局限性，從而可以更好的適應(yīng)不同人群。


圖1 裝置組成及檢測流程框2 PERCLOS攝像頭的結(jié)構(gòu)3 BP網(wǎng)絡(luò)分類器結(jié)構(gòu)4 PERCLOS值f的測量原理示意圖1-風(fēng)扇；2-控制主板；3-950nm濾鏡；4-950nm濾鏡；5-分光器具體實施方式
如圖所示，本實施例主要由紅外光源，CMOS攝像頭，控制主板及相應(yīng)軟件部分組成。其中攝像頭安裝在駕駛員的前方，以不影響司機的視野為準(zhǔn)。攝像頭采用CMOS互補金屬氧化物半導(dǎo)體(Complementary Metal-Oxide-Semiconductor)作為傳感器。
考慮到適用性，利用人眼的基本生理特點，即視網(wǎng)膜對不同波長的紅外光能夠反射量的不同。在850nm波長，能夠反射90％的入射光，在950nm視網(wǎng)膜只能反射40％的入射光。在同樣照度的情況下，2個攝像頭同時測量人眼的圖像，一個是850nm波長的圖像，另一個是950nm的圖像，2幅圖像相減的結(jié)果，就只留下視網(wǎng)膜的位置的圖像，然后再分析視網(wǎng)膜的大小和位置。
為了能夠得到2幅不同波長光源而相同的圖像，利用2個分離的攝像頭，90°交叉。當(dāng)圖像經(jīng)過一個光束分離器，分成2束分別進入2個攝像頭的鏡頭中，然后，2個鏡頭分別用850nm和950nm波長的濾波器得到相應(yīng)的紅外圖像。結(jié)果就得到2幅在同一時刻只有視網(wǎng)膜圖像不同的2幅圖像。攝像頭的結(jié)構(gòu)見圖2。
由于采用的是紅外光源，一方面不會影響到駕駛員的駕駛操作，另一方面，可以有效地滿足全天候的要求。
采集到的圖像信號由控制主板中內(nèi)置的圖像處理程序進行差分處理，得到瞳孔圖像。同時利用神經(jīng)網(wǎng)絡(luò)輔助的Kalman濾波器對瞳孔進行實時跟蹤預(yù)測。
獲得的瞳孔的特征參數(shù)交由控制單元進行處理，通過統(tǒng)計處理得到瞳孔大小的最大值和實時的瞳孔閉合百分比，計算出PERCLOS值f，繼而進行判斷駕駛員的疲勞程度。PERCLOS值f的測量原理如圖4。
只要測量出t1～t4值就可以計算ff=t3-t2t4-t1]]>其中，f為眼睛閉合超過80％的時間占某一特定時間的百分率。
系統(tǒng)采用的評價標(biāo)準(zhǔn)是PERCLOS(Percentage of Eyelid Closure Over the Pupil OverTime)的P80標(biāo)準(zhǔn)。并同時利用BP網(wǎng)絡(luò)分類器作為評價標(biāo)準(zhǔn)的輔助。基于區(qū)域幾何特征神經(jīng)網(wǎng)絡(luò)算法的BP網(wǎng)絡(luò)為3層結(jié)構(gòu)，輸入層有4個神經(jīng)元，分別代表PERCLOS中的特征值t1～t4。隱層有10個神經(jīng)元，輸出層有3個神經(jīng)元，代表PERCLOS中的特征值f的3種不同狀態(tài)，隱層的傳遞函數(shù)為Sigmoid函數(shù)。網(wǎng)絡(luò)的輸出向量為Y1＝[1，0，0]，Y2＝
，Y3＝
。其中X1~X4代表t1～t4，Y1代表f值偏小，Y2代表f值合適Y3代表f值偏大，該神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖3所示。
系統(tǒng)采集波長為850nm/950nm的紅外圖像及眼部的差分圖像。
權(quán)利要求
1.一種駕駛員疲勞監(jiān)測方法，其特征在于利用紅外光線對駕駛員眼部的照射，通過多個CMOS攝像頭得到多幅在同一時刻只有視網(wǎng)膜圖像不同的圖像；采集到的圖像信號由控制主板中內(nèi)置的圖像處理程序進行差分處理，得到瞳孔圖像；同時利用神經(jīng)網(wǎng)絡(luò)輔助的Kalman濾波器對瞳孔進行實時跟蹤預(yù)測；獲得的瞳孔的特征參數(shù)由控制單元進行處理，通過統(tǒng)計處理得到瞳孔大小的最大值和實時的瞳孔閉合百分比，計算出PERCLOS值f，并同時利用BP網(wǎng)絡(luò)分類器作為評價標(biāo)準(zhǔn)的輔助手段，來判斷駕駛員的疲勞程度。
2.實現(xiàn)權(quán)利要求1所述的駕駛員疲勞監(jiān)測方法的裝置，其特征在于裝置由紅外光源、CMOS攝像頭、控制主板組成，2個分離的CMOS攝像頭，90°交叉，安裝在駕駛員的前方，CMOS攝像頭通過信號線與主板相連。
全文摘要
本發(fā)明提出了針對駕駛員眼部疲勞特征的駕駛員疲勞監(jiān)測方法及裝置。利用紅外光線對駕駛員眼部的照射，通過多個CMOS攝像頭得到多幅在同一時刻只有視網(wǎng)膜圖像不同的圖像；采集到的圖像信號由控制主板中內(nèi)置的圖像處理程序進行差分處理，得到瞳孔圖像；同時利用神經(jīng)網(wǎng)絡(luò)輔助的Kalman濾波器對瞳孔進行實時跟蹤預(yù)測，獲得的瞳孔的特征參數(shù)由控制單元進行處理，通過統(tǒng)計處理得到瞳孔大小的最大值和實時的瞳孔閉合百分比，計算出PERCLOS值f，并同時利用BP網(wǎng)絡(luò)分類器作為評價標(biāo)準(zhǔn)的輔助手段，來判斷駕駛員的疲勞程度。
文檔編號G06T7/20GK1680779SQ20051003777
公開日2005年10月12日 申請日期2005年2月4日 優(yōu)先權(quán)日2005年2月4日
發(fā)明者劉志強, 汪旸 申請人:江蘇大學(xué)