本發(fā)明屬于模式識(shí)別中駕駛者疲勞狀態(tài)識(shí)別
技術(shù)領(lǐng)域：
，具體設(shè)計(jì)了一種基于特征選擇和分類器集成技術(shù)，利用人臉多區(qū)域精簡特征進(jìn)行駕駛者疲勞狀態(tài)識(shí)別的方法與裝置。
背景技術(shù)：
：對(duì)駕駛者疲勞狀態(tài)進(jìn)行識(shí)別是一個(gè)具有挑戰(zhàn)性的模式識(shí)別問題，現(xiàn)有的技術(shù)主要是針對(duì)發(fā)生疲勞時(shí)兩個(gè)比較明顯的表現(xiàn)，即眨眼頻率變慢，開度變小以及出現(xiàn)打哈欠的特征來進(jìn)行識(shí)別。僅關(guān)注這兩種顯著的特征來判定駕駛者的狀態(tài)存在一定的不足，首先，這種識(shí)別技術(shù)往往不能夠在駕駛者發(fā)生疲勞的早期進(jìn)行預(yù)警，往往只有當(dāng)駕駛者幾乎打瞌睡的時(shí)候才能給出預(yù)警，事實(shí)上，此時(shí)駕駛者已經(jīng)處于危險(xiǎn)之中了。其次，雖然這兩種特征比較顯著，但是沒有證據(jù)表示這是判定疲勞的最優(yōu)特征，而且，通過眨眼開度與頻率來識(shí)別疲勞，需要非常清晰并且焦距固定的圖像才能進(jìn)行準(zhǔn)確的識(shí)別，這在實(shí)際使用中很難做到；而打哈欠有些時(shí)候并不一定表示真正疲勞。往往在這些表現(xiàn)前后的一些面部特征對(duì)于辨識(shí)疲勞狀態(tài)會(huì)產(chǎn)生啟發(fā)作用。如何對(duì)與疲勞相關(guān)的特征進(jìn)行評(píng)價(jià)和選擇，以及如何將面部不同區(qū)域的特征有效聯(lián)系起來，是有效進(jìn)行疲勞狀態(tài)識(shí)別的關(guān)鍵。但是，一直以來沒有基于類似思路的駕駛者疲勞狀態(tài)識(shí)別方法和裝置公開出來。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的目的是要克服現(xiàn)有技術(shù)僅能對(duì)于
背景技術(shù)：
提到的兩種與疲勞相關(guān)的表現(xiàn)進(jìn)行識(shí)別的不足，提供一種更具一般性的疲勞狀態(tài)識(shí)別方法，能夠通過學(xué)習(xí)出一些不易被觀察得到的有效的特征描述，結(jié)合人臉各個(gè)區(qū)域的綜合表現(xiàn)，給出一個(gè)更加穩(wěn)定可靠的識(shí)別結(jié)果，從而能夠更加及時(shí)的偵測到疲勞表現(xiàn)并對(duì)駕駛者進(jìn)行更早預(yù)警。具體地，該方法首先對(duì)于人臉與疲勞相關(guān)的特征進(jìn)行特征評(píng)價(jià)與選擇，從而獲得對(duì)于疲勞表征更加相關(guān)與高效的精簡特征子集，基于這些在各個(gè)人臉子區(qū)域上的有效特征集合合理地選用一組分類器進(jìn)行分類并對(duì)識(shí)別結(jié)果進(jìn)行集成，與現(xiàn)有方法對(duì)比，該方法所提取的特征兼顧面部狀態(tài)以及狀態(tài)變化的時(shí)序描述特征，并且經(jīng)過特征選擇后，得到的特征對(duì)于疲勞狀態(tài)的表征更具相關(guān)性，不同區(qū)域的多個(gè)分類器具有良好的互補(bǔ)性，對(duì)于疲勞狀態(tài)的平均識(shí)別率顯著提高。同時(shí)，該方法亦可視為一個(gè)應(yīng)用框架，如果有更好的特征描述手段以及更好的分類器，都可以輕易進(jìn)行替換，或可進(jìn)一步提高分類性能。本發(fā)明為解決上述技術(shù)問題采取的技術(shù)方案是：一種基于特征選擇和面部多區(qū)域分類器集成的駕駛者疲勞狀態(tài)識(shí)別方法，所述駕駛者疲勞狀態(tài)識(shí)別方法的實(shí)現(xiàn)過程為：一、訓(xùn)練過程：步驟1：通過視頻攝錄獲取人臉視頻幀，用幀差法初步定位人臉區(qū)域，捕獲新的視頻幀；步驟2：通過Haar-like特征結(jié)合AdaBoost算法框架，進(jìn)行人臉區(qū)域定位；步驟3：對(duì)人臉區(qū)域進(jìn)行區(qū)域劃分，提取人臉各區(qū)域與疲勞表情相關(guān)的靜態(tài)特征與序列描述特征(序列描述特征也即動(dòng)態(tài)特征)；基于每幅人臉視頻幀中人臉的狀態(tài)，對(duì)每幀圖像進(jìn)行類別標(biāo)注；步驟4：對(duì)各個(gè)區(qū)域得到的特征進(jìn)行評(píng)價(jià)和選擇，對(duì)應(yīng)生成各區(qū)域的精簡特征描述子集；步驟5：用各個(gè)區(qū)域所得到的特征子集訓(xùn)練一組C4.5分類器，所述分類器將用于識(shí)別過程中；二、識(shí)別過程：步驟1、捕獲駕駛者面部視頻并獲取視頻幀；步驟2、應(yīng)用AdaBoost算法框架基于Haar-like特征對(duì)人臉區(qū)域進(jìn)行檢測與定位：步驟3、對(duì)人臉區(qū)域進(jìn)行劃分，對(duì)面部與疲勞表現(xiàn)相關(guān)的全局以及各子區(qū)域進(jìn)行靜態(tài)和動(dòng)態(tài)特征提取，在不同區(qū)域提取相應(yīng)的精簡特征，所提取的特征根據(jù)訓(xùn)練過程決定；步驟4、利用一組學(xué)習(xí)好的C4.5決策樹分類器對(duì)各個(gè)區(qū)域特征給出一個(gè)分類判別結(jié)果，然后對(duì)不同區(qū)域上對(duì)應(yīng)的分類器進(jìn)行投票表決，最終給出綜合判別結(jié)果，從而決定是否對(duì)駕駛者進(jìn)行疲勞預(yù)警；每個(gè)C4.5決策樹分類器是通過訓(xùn)練過程得到的。在訓(xùn)練過程的步驟3中，提取特征時(shí)，整個(gè)人臉區(qū)域作為一個(gè)全局區(qū)域，另外再分割出8個(gè)子區(qū)域分別計(jì)算特征；提取序列描述特征時(shí)，設(shè)定的滑動(dòng)時(shí)間窗大小為23；全局區(qū)域所提取的是5維LLE低維嵌入特征，每個(gè)子區(qū)域基于灰度共生矩陣提取4個(gè)紋理統(tǒng)計(jì)特征：角二階矩(ASM)，熵(EN)，對(duì)比度(CON)以及反差分矩(IDM)；基于上述靜態(tài)特征，分別各自計(jì)算出9個(gè)序列特征：峰值(PV)，均值(M)，標(biāo)準(zhǔn)偏差(STD)，均方根(RMS)，波形因子(SF)，偏斜度(S)，峰度(K)，波峰因子(CF)以及脈沖指數(shù)(PI)，從而形成動(dòng)態(tài)特征。在訓(xùn)練過程的步驟4中，基于模糊粗糙集技術(shù)對(duì)各個(gè)區(qū)域得到的特征進(jìn)行評(píng)價(jià)和選擇，得到各區(qū)域的精簡特征描述子集，具體過程如下：首先給出依賴度的定義：采用高斯核函數(shù)進(jìn)行下近似計(jì)算：式中，Rθdi(x)表示樣本x必然屬于決策di的程度，進(jìn)一步給出決策D對(duì)屬性子空間B的依賴度定義：式中，U為樣本集合；表示計(jì)算集合基數(shù)；然后基于依賴度的定義，給出特征選擇算法，步驟如下：輸入：<U,A,D>，U為樣本集合，A為條件屬性集合，D為決策屬性。輸出：精簡的特征子集F；1)要選擇特征的特征子集F，最初特征子集是空集合2)當(dāng)通過一個(gè)循環(huán)來選，最大循環(huán)次數(shù)就是全部特征的個(gè)數(shù)；3)遍歷搜索ai∈A-F；4)計(jì)算F中加入這個(gè)特征后的依賴度5)搜索結(jié)束；6)選擇a∈A-F，每輪循環(huán)選擇加入該特征后依賴度提升最大的那個(gè)特征7)如果剩下的特征加入后對(duì)于依賴度提升不大，即γFUa(D)-γF(D)≤ε，8)則循環(huán)中止；9)結(jié)束循環(huán)；10)每次把選擇出來的特征放到F中，F(xiàn)Ua→F，最終F就是選取的特征子集，最終每個(gè)區(qū)域保留15個(gè)特征；11)結(jié)束特征選擇；12)返回最終的F這個(gè)精簡特征子集。在識(shí)別過程的步驟2中，檢測過程會(huì)對(duì)每一幀圖像的不同位置以及不同大小的矩形窗口依次進(jìn)行檢測，找到一個(gè)合理的人臉區(qū)域；每一個(gè)檢測窗口是否具備的Haar-like特征就是級(jí)聯(lián)結(jié)構(gòu)中的一個(gè)弱分類器，通過弱分類器級(jí)聯(lián)結(jié)構(gòu)可快速排除非人臉區(qū)域，準(zhǔn)確地定位出人臉區(qū)域。對(duì)應(yīng)的，本發(fā)明還提供了一種基于特征選擇和面部多區(qū)域分類器集成的駕駛者疲勞狀態(tài)識(shí)別裝置，所述駕駛者疲勞狀態(tài)識(shí)別裝置包括：圖像獲取模塊，用于對(duì)檢測對(duì)象的視頻捕獲以及視頻幀提??；ROI區(qū)域定位模塊，用于觸發(fā)基于Haar-like特征的級(jí)聯(lián)結(jié)構(gòu)分類器在提取幀中的不同位置進(jìn)行可變窗口大小的人臉檢測，并對(duì)檢測到的人臉進(jìn)行子區(qū)域劃分；ROI區(qū)域特征提取模塊，用于對(duì)得到的人臉全局部分以及各個(gè)子區(qū)域部分進(jìn)行特征提取，并同時(shí)能根據(jù)訓(xùn)練階段特征選擇的結(jié)果僅提取相應(yīng)的特征；疲勞狀態(tài)集成判別模塊，用于對(duì)當(dāng)前被監(jiān)控的駕駛者的駕駛狀態(tài)進(jìn)行評(píng)估，它由一組針對(duì)不同區(qū)域的C4.5分類器構(gòu)成，其判別函數(shù)可以描述為：y*＝argmax[count(C(Xk,I)＝＝y(tǒng))]其中，C(Xk,I)表示一個(gè)對(duì)應(yīng)人臉圖像I的第k個(gè)區(qū)域的特征子集Xk的C4.5分類器的分類結(jié)果，結(jié)果有兩種，1為疲勞狀態(tài)，0為非疲勞狀態(tài)；count(·)是一個(gè)計(jì)數(shù)函數(shù)。所述駕駛者疲勞狀態(tài)識(shí)別裝置還包括：人臉狀態(tài)標(biāo)注模塊，用于通過人機(jī)交互界面獲取用戶基于人臉狀態(tài)對(duì)每幀視頻圖像的標(biāo)注結(jié)果，以及“基于每幅人臉視頻幀中人臉的狀態(tài)，對(duì)每幀圖像進(jìn)行類別標(biāo)注。由上述技術(shù)方案可獲得本發(fā)明具有如下技術(shù)效果：(1)本發(fā)明通過對(duì)人臉區(qū)域進(jìn)行劃分并針對(duì)不同區(qū)域提取包含靜態(tài)與序列的不同描述特征，使得對(duì)于駕駛者狀態(tài)的面部描述信息更加全面和豐富，通過構(gòu)造一組分別對(duì)應(yīng)不同區(qū)域的C4.5分類器，使得每個(gè)區(qū)域?qū)τ隈{駛者的狀態(tài)都給出一個(gè)分類結(jié)論，通過將這些分類器的判別結(jié)果進(jìn)行集成，最終給出駕駛者狀態(tài)的判定，這樣更加可靠和穩(wěn)定，從而有效提高對(duì)于駕駛者疲勞狀態(tài)的識(shí)別性能。(2)以這種方式將能夠在一定程度上檢測出非典型的駕駛者的疲勞狀態(tài)，并且對(duì)于疲勞駕駛的行為給出更早的預(yù)警，這些都是基于對(duì)疲勞發(fā)生早期序列特征信息的學(xué)習(xí)得到的。通過實(shí)驗(yàn)發(fā)現(xiàn)，本方法可以通過精簡的特征集合獲得對(duì)駕駛者疲勞狀態(tài)平均更高的識(shí)別率。所采用的技術(shù)PCA_SVMRBFGaborLBP_AdaBoostGentle本發(fā)明方法識(shí)別準(zhǔn)確率0.7244±0.00040.8534±0.03690.9755±0.0048注：這里對(duì)比的方法為文獻(xiàn)X.Fan,Y.F.Sun,B.C.Yin,andX.M.Guo,"Gabor-baseddynamicrepresentationforhumanfatiguemonitoringinfacialimagesequences,"PatternRecognitionLetters.31,(3)234-243(2010)中所使用和對(duì)比的方法。附圖說明以下附圖僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域具有相關(guān)知識(shí)的技術(shù)人員，可以在不付出創(chuàng)造性勞動(dòng)的前提下，根據(jù)這些附圖獲得其他附圖。圖1為本發(fā)明所述的基于特征選擇和面部多區(qū)域分類器集成的駕駛者疲勞狀態(tài)識(shí)別方法的處理過程示意圖(識(shí)別過程)；圖2為本發(fā)明所述的基于特征選擇和面部多區(qū)域分類器集成的駕駛者疲勞狀態(tài)識(shí)別方法的流程圖(包含訓(xùn)練過程和識(shí)別過程)；圖3為本發(fā)明所述基于特征選擇和面部多區(qū)域分類器集成的駕駛者疲勞狀態(tài)識(shí)別裝置的結(jié)構(gòu)框圖。具體實(shí)施方式下面結(jié)合附圖1至3，對(duì)發(fā)明的具體實(shí)施方式作進(jìn)一步描述，以下僅用于更加清楚和詳細(xì)地說明本發(fā)明的技術(shù)方案的實(shí)施方法，而不能以此來限制本發(fā)明的保護(hù)范圍。參照?qǐng)D2，本發(fā)明實(shí)現(xiàn)對(duì)駕駛者疲勞狀態(tài)預(yù)警，包括訓(xùn)練和識(shí)別兩個(gè)過程，其中訓(xùn)練過程需要對(duì)每個(gè)區(qū)域所提取的特征進(jìn)行評(píng)價(jià)與選擇，從而生成對(duì)應(yīng)每個(gè)區(qū)域的精簡特征集，并基于這些精簡特征集合訓(xùn)練一組C4.5分類器，而在識(shí)別過程只需提取這些特征來進(jìn)行分類。具體地，訓(xùn)練過程包含以下步驟：步驟1：通過視頻攝錄裝置通過程序獲取人臉視頻幀。步驟2：通過Haar-like特征結(jié)合AdaBoost算法框架，檢測出人臉核心區(qū)域。步驟3：對(duì)人臉區(qū)域進(jìn)行區(qū)域劃分，并提取靜態(tài)與序列描述特征。提取序列特征時(shí)，本發(fā)明設(shè)定的滑動(dòng)時(shí)間窗大小為23。提取特征時(shí)，整個(gè)人臉區(qū)域作為一個(gè)全局區(qū)域，另外再分割出8個(gè)子區(qū)域分別計(jì)算特征。全局區(qū)域所提取的是5維LLE低維嵌入特征，每個(gè)子區(qū)域基于灰度共生矩陣提取4個(gè)紋理統(tǒng)計(jì)特征：角二階矩(ASM)，熵(EN)，對(duì)比度(CON)以及反差分矩(IDM)。上述靜態(tài)特征，分別又可以各自計(jì)算出9個(gè)序列特征來，它們是峰值(PV)，均值(M)，標(biāo)準(zhǔn)偏差(STD)，均方根(RMS)，波形因子(SF)，偏斜度(S)，峰度(K)，波峰因子(CF)以及脈沖指數(shù)(PI)。這些特征在對(duì)于駕駛者狀態(tài)分類時(shí)，由于所處的區(qū)域不同其分類能力必然會(huì)有較大差異，很多特征對(duì)于該區(qū)域的描述能力是不夠強(qiáng)的，或者說這個(gè)特征是冗余的，因此，需要一個(gè)特征評(píng)價(jià)算法來對(duì)上述提取的靜態(tài)和序列特征進(jìn)行評(píng)價(jià)，從而得到對(duì)應(yīng)各個(gè)區(qū)域的精簡且高效的特征子集。步驟4：基于模糊粗糙集技術(shù)，對(duì)各個(gè)區(qū)域得到的特征進(jìn)行評(píng)價(jià)和選擇。注意，此過程可能耗時(shí)較長，但只需要在訓(xùn)練階段實(shí)施一次，識(shí)別過程不需要進(jìn)行。具體的算法步驟如下：首先，給出一些相關(guān)概念?；谀：扑阕应?，樣本x隸屬于決策dk的下近似定義為：這里，Rθdk(x)表示x必然屬于決策dk的程度。其中，θ具體以θcos模糊算子給出定理：如果任一值域在單元區(qū)間的核函數(shù)k:U×U→[0,1]且滿足k(x,x)＝1，那么，它至少滿足Tcos-傳遞性。因?yàn)楦咚购藵M足上述定理?xiàng)l件，在實(shí)際進(jìn)行下近似計(jì)算時(shí)，可以采用高斯核函數(shù)，從而使計(jì)算過程得以簡化：進(jìn)一步，可以給出決策D對(duì)屬性子空間B的依賴度定義：基于依賴度的定義，下面可以給出特征選擇算法，步驟如下：輸入：<U,A,D>，U為樣本集合，A為條件屬性集合，D為決策屬性。輸出：精簡的特征子集F。步驟5：用各個(gè)區(qū)域所得到的特征子集訓(xùn)練一組C4.5分類器，這組分類器將用于識(shí)別過程中。注意，這一步驟也僅在訓(xùn)練過程實(shí)施，在識(shí)別過程直接使用即可。步驟6：集成各個(gè)分類器的判別結(jié)果，從而決定是否對(duì)該駕駛者進(jìn)行預(yù)警。這里對(duì)分類器集成可以采用不同的策略或?qū)W習(xí)方法，本發(fā)明僅以投票方式作為實(shí)施例。識(shí)別過程的步驟如下：步驟1：通過視頻攝錄裝置通過程序獲取人臉視頻幀。步驟2：通過Haar-like特征結(jié)合AdaBoost算法框架，檢測出人臉核心區(qū)域。步驟3：對(duì)人臉區(qū)域進(jìn)行區(qū)域劃分，在不同區(qū)域提取相應(yīng)的精簡特征。步驟4：用訓(xùn)練過程得到的各個(gè)C4.5分類器對(duì)對(duì)應(yīng)的人臉區(qū)域特征進(jìn)行分類，然后給出集成分類結(jié)果，從而決定是否對(duì)駕駛者進(jìn)行疲勞預(yù)警。本發(fā)明說明書中，說明了大量的具體細(xì)節(jié)，具有相關(guān)知識(shí)的技術(shù)人員能夠理解并可以進(jìn)行實(shí)踐。在實(shí)施例中，并未詳細(xì)示出公知的方法、結(jié)構(gòu)和技術(shù)，以便不模糊對(duì)本說明書的理解。以上所述，僅為本發(fā)明一個(gè)具體的實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本
技術(shù)領(lǐng)域：
的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求的保護(hù)范圍為準(zhǔn)。當(dāng)前第1頁1 2 3