本發(fā)明涉及圖像識(shí)別領(lǐng)域，特別涉及一種基于高斯金字塔特征的疲勞駕駛檢測(cè)方法。

背景技術(shù)：

隨著社會(huì)經(jīng)濟(jì)的發(fā)展，汽車在人們的日常生活中成為運(yùn)輸物品和交通的核心力量，不幸的是隨著汽車使用量的增長(zhǎng)，造成因交通事故導(dǎo)致死亡和嚴(yán)重傷害的人數(shù)逐年增加。因此，道路交通安全問(wèn)題日益引起人們的重視，提高汽車安全性能、減少道路交通事故是值得關(guān)注的社會(huì)問(wèn)題和迫切需要通過(guò)科技手段解決的重要課題。主動(dòng)安全駕駛跟人的行為和習(xí)慣緊密相關(guān)。對(duì)駕駛動(dòng)作進(jìn)行監(jiān)視和識(shí)別，可以預(yù)先分析駕駛行為的安全性，提醒不安全行為以避免事故的發(fā)生。在駕駛過(guò)程中，操作汽車的手腳部動(dòng)作以及駕駛?cè)藛T頭部動(dòng)作是駕駛行為的直接表達(dá)，如查看儀表盤(pán)，觀察后視鏡等；但也存在某些與駕駛無(wú)關(guān)的動(dòng)作如看變速器檔位、長(zhǎng)時(shí)間注視側(cè)窗外部、長(zhǎng)時(shí)間操作車載電子設(shè)備、開(kāi)車過(guò)程中打手機(jī)和埋頭拾物等，這類行為對(duì)行駛安全產(chǎn)生了極大的隱患。因此，開(kāi)發(fā)一種盡可能保證算法實(shí)時(shí)性條件下，少量犧牲識(shí)別率的快速動(dòng)作識(shí)別算法，成為動(dòng)作識(shí)別研究的另一思路。運(yùn)動(dòng)是檢測(cè)場(chǎng)景中目標(biāo)與背景分割的重要信息，此類方法首先假設(shè)行人動(dòng)作的周期性，根據(jù)這一假設(shè)將行人與背景分離開(kāi)來(lái)。人體動(dòng)作識(shí)別是計(jì)算機(jī)視覺(jué)領(lǐng)域中具有挑戰(zhàn)性的課題，不同人外觀的差別、不穩(wěn)定的背景、移動(dòng)的攝像機(jī)以及場(chǎng)景光照變化都給動(dòng)作識(shí)別增添了難度。傳統(tǒng)的視覺(jué)傳感器條件下，人動(dòng)作可以用視頻序列中相鄰幀之間的連續(xù)變化來(lái)表現(xiàn)。分析方法主要分為三類：第一類是基于時(shí)空的特征分析如MHI(Motion Histogram Image，運(yùn)動(dòng)直方圖)、SI(Silhouette Histogram輪廓直方圖)以及光流分析和時(shí)空特征體等；第二類對(duì)人體軀干與四肢進(jìn)行建模，然后對(duì)視頻序列中每一幀圖像中人體進(jìn)行檢測(cè)并得到模型參數(shù)以描述動(dòng)作變化；第三類用圖像統(tǒng)計(jì)的方法對(duì)視頻幀底層信息進(jìn)行統(tǒng)計(jì)識(shí)別，如Ke Yan的研究中，將視頻序列中圖像進(jìn)行顏色分割，然后利用連續(xù)圖像中相同顏色塊的統(tǒng)計(jì)信息進(jìn)行動(dòng)作識(shí)別。

然而，第一類基于時(shí)空的特征分析這類方法運(yùn)算復(fù)雜度低、易于實(shí)現(xiàn)，但對(duì)圖像噪聲較敏感；第二類對(duì)人體軀干與四肢進(jìn)行建模該方法實(shí)現(xiàn)的動(dòng)作描述準(zhǔn)確性好，但計(jì)算量大，實(shí)時(shí)性較低；第三類用圖像統(tǒng)計(jì)的方法對(duì)視頻幀底層信息進(jìn)行統(tǒng)計(jì)識(shí)別,不能滿足實(shí)時(shí)性及易于實(shí)現(xiàn)的要求。綜上所述，傳統(tǒng)的識(shí)別算法運(yùn)算復(fù)雜度高、效率低；識(shí)別準(zhǔn)確度低。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明在于克服現(xiàn)有技術(shù)的上述不足，提供一種能夠減小算法復(fù)雜度、計(jì)算效率高、識(shí)別準(zhǔn)確度高的基于高斯金字塔特征的疲勞駕駛檢測(cè)方法。

為了實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明采用的技術(shù)方案是：

一種基于高斯金字塔特征的疲勞駕駛檢測(cè)方法，包括以下步驟：

S1、對(duì)拍攝的駕駛員駕駛圖像進(jìn)行預(yù)處理；

S2、對(duì)所述預(yù)處理后的圖像數(shù)據(jù)進(jìn)行降采樣，得到多分辨率高斯金字塔特征；

S3、將所述特征進(jìn)行與預(yù)先存儲(chǔ)的特征數(shù)據(jù)庫(kù)進(jìn)行匹配，判斷駕駛員是否為疲勞駕駛。

進(jìn)一步地，所述步驟S1包括，對(duì)所述圖像一次進(jìn)行光流、高斯平滑、歸一化計(jì)算。

進(jìn)一步地，所述步驟S1具體包括，將原始視頻序列當(dāng)前幀圖像f(i,j,t)和前一幀圖像f(i,j,t-1)進(jìn)行光流計(jì)算得到X方向速度{u(x,y),(x,y)∈I}用U表示，Y方向速度{v(x,y),(x,y)∈I}用V表示，分離速度的方向得到四個(gè)特征分別為：向右U₊、向左U_-、向下V₊和向上V_-，并對(duì)所有特征進(jìn)行高斯平滑：

對(duì)上述公式進(jìn)行并歸一化：

從視頻序列得到的光流特征進(jìn)行相似度S(i,j)計(jì)算：

其中，和分別表示兩組待比較相似度的光流特征序列中像素點(diǎn)對(duì)應(yīng)特征計(jì)算結(jié)果，c表示和高斯平滑并歸一化后的四個(gè)方向，i,j分別為對(duì)應(yīng)序列中的幀編號(hào)；

對(duì)S(i,j)進(jìn)行單位矩陣的卷積核，得到：

進(jìn)一步地，所述步驟S2包括，

S21、對(duì)視頻序列進(jìn)行多級(jí)降采樣，形成L個(gè)層次的視頻序列金字塔，對(duì)給定分辨率為M×N的初始化視頻序列f₀(i,j,t)，每一層f_l(i,j,t)以下公式遞推計(jì)算：

其中，f_l(i,j,t)表示每幀圖像f(i,j)在金字塔層次l(0≤l≤L)第t幀，r(m,n)為高斯濾波器，

其中，

r(m,n)＝r(m)r(n)

r(0)＝a,r(1)＝r(-1)＝1/4,r(2)＝r(-2)＝1/4-2/a；

S22、從分辨率最低的層次開(kāi)始，計(jì)算第l層運(yùn)動(dòng)特征序列f_l，在層次上計(jì)算測(cè)試樣本和訓(xùn)練集中各樣本的相似度，結(jié)果按K近鄰選取k個(gè)候選；然后在l-1層計(jì)算f_l-1(i,j,t)對(duì)應(yīng)運(yùn)動(dòng)特征與先前在l層中選出的k個(gè)候選之間的相似度，K近鄰的結(jié)果用于分辨率更高的l-2層的比較，直到分辨率最高的l＝0層為止。

進(jìn)一步地，所述預(yù)先存儲(chǔ)的特征數(shù)據(jù)庫(kù)中存儲(chǔ)有異常駕駛行為特征。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果

本發(fā)明的基于高斯金字塔特征的疲勞駕駛檢測(cè)方法采用高斯金字塔特征分析方法，相比現(xiàn)有技術(shù)算法復(fù)雜度低、計(jì)算效率高、識(shí)別準(zhǔn)確度高。

附圖說(shuō)明

圖1所示為本發(fā)明的基于高斯金字塔特征的疲勞駕駛檢測(cè)方法流程圖。

圖2所示為一個(gè)具體實(shí)施例中的檢測(cè)結(jié)果圖示。

具體實(shí)施方式

下面結(jié)合具體實(shí)施方式對(duì)本發(fā)明作進(jìn)一步的詳細(xì)描述。但不應(yīng)將此理解為本發(fā)明上述主題的范圍僅限于以下的實(shí)施例，凡基于本發(fā)明內(nèi)容所實(shí)現(xiàn)的技術(shù)均屬于本發(fā)明的范圍。

實(shí)施例1：

一種基于高斯金字塔特征的疲勞駕駛檢測(cè)方法，包括以下步驟：

S1、對(duì)拍攝的駕駛員駕駛圖像進(jìn)行預(yù)處理；

S2、對(duì)所述預(yù)處理后的圖像數(shù)據(jù)進(jìn)行降采樣，得到多分辨率高斯金字塔特征；

S3、將所述特征進(jìn)行與預(yù)先存儲(chǔ)的特征數(shù)據(jù)庫(kù)進(jìn)行匹配，判斷駕駛員是否為疲勞駕駛。

本發(fā)明的基于高斯金字塔特征的疲勞駕駛檢測(cè)方法采用高斯金字塔特征分析方法，相比現(xiàn)有技術(shù)算法復(fù)雜度低、計(jì)算效率高、識(shí)別準(zhǔn)確度高。

在一個(gè)具體實(shí)施方式中，所述步驟S1包括，對(duì)所述圖像一次進(jìn)行光流、高斯平滑、歸一化計(jì)算。

在一個(gè)具體實(shí)施方式中，所述步驟S1具體包括，將原始視頻序列當(dāng)前幀圖像f(i,j,t)和前一幀圖像f(i,j,t-1)進(jìn)行光流計(jì)算得到X方向速度{u(x,y),(x,y)∈I}用U表示，Y方向速度{v(x,y),(x,y)∈I}用V表示，分離速度的方向得到四個(gè)特征分別為：向右U₊、向左U_-、向下V₊和向上V_-，并對(duì)所有特征進(jìn)行高斯平滑：

對(duì)上述公式進(jìn)行并歸一化：

從視頻序列得到的光流特征進(jìn)行相似度S(i,j)計(jì)算：

其中，和分別表示兩組待比較相似度的光流特征序列中像素點(diǎn)對(duì)應(yīng)特征計(jì)算結(jié)果，c表示和高斯平滑并歸一化后的四個(gè)方向，i,j分別為對(duì)應(yīng)序列中的幀編號(hào)；

對(duì)S(i,j)進(jìn)行單位矩陣的卷積核，得到：

在一個(gè)具體實(shí)施方式中，所述步驟S2包括，

S21、對(duì)視頻序列進(jìn)行多級(jí)降采樣，形成L個(gè)層次的視頻序列金字塔，對(duì)給定分辨率為M×N的初始化視頻序列f₀(i,j,t)，每一層f_l(i,j,t)以下公式遞推計(jì)算：

其中，f_l(i,j,t)表示每幀圖像f(i,j)在金字塔層次l(0≤l≤L)第t幀，r(m,n)為高斯濾波器，

其中，

r(m,n)＝r(m)r(n)

r(0)＝a,r(1)＝r(-1)＝1/4,r(2)＝r(-2)＝1/4-2/a；

S22、從分辨率最低的層次開(kāi)始，計(jì)算第l層運(yùn)動(dòng)特征序列f_l，在層次上計(jì)算測(cè)試樣本和訓(xùn)練集中各樣本的相似度，結(jié)果按K近鄰選取k個(gè)候選；然后在l-1層計(jì)算f_l-1(i,j,t)對(duì)應(yīng)運(yùn)動(dòng)特征與先前在l層中選出的k個(gè)候選之間的相似度，K近鄰的結(jié)果用于分辨率更高的l-2層的比較，直到分辨率最高的l＝0層為止。

為了實(shí)時(shí)識(shí)別駕駛動(dòng)作，對(duì)與駕駛無(wú)關(guān)動(dòng)作進(jìn)行識(shí)別和告警，為了克服駕車動(dòng)作識(shí)別的固有難點(diǎn)，更準(zhǔn)確的識(shí)別異常駕駛行為，提出了一種基于光流的動(dòng)作特征金字塔特征，并實(shí)現(xiàn)了通過(guò)coarse-to-fine的DTW(Dynamic Time Warping)約束的快速動(dòng)作識(shí)別算法：首先對(duì)圖像依次進(jìn)行光流、高斯平滑和歸一化計(jì)算，然后以提高整體識(shí)別速度為目標(biāo)，將動(dòng)作視頻序列產(chǎn)生的光流序列數(shù)據(jù)進(jìn)行多次降采樣并形成多分辨率高斯金字塔特征，最后在多層金字塔特征的基礎(chǔ)上進(jìn)行動(dòng)作的分類識(shí)別。從動(dòng)作識(shí)別研究常用數(shù)據(jù)庫(kù)的識(shí)別為基礎(chǔ)，討論動(dòng)作特征提取、動(dòng)作識(shí)別以及算法的整體框架，最后應(yīng)用到駕駛動(dòng)作識(shí)別的實(shí)際問(wèn)題中，進(jìn)行異常駕駛行為的判斷。本發(fā)明提出的DTW算法可以在計(jì)算中無(wú)需考慮動(dòng)作的啟示而自動(dòng)配準(zhǔn)兩個(gè)序列并將配準(zhǔn)路徑進(jìn)行還原，在實(shí)時(shí)性要求下獲得更準(zhǔn)確的檢測(cè)結(jié)果。方法如下：在相似矩陣中尋找一條路徑，使得路徑上的點(diǎn)都由兩個(gè)動(dòng)作之間最相似的幀計(jì)算出來(lái)，路徑計(jì)算過(guò)程中，保存各點(diǎn)坐標(biāo)以及上一點(diǎn)方向，一趟DTW計(jì)算完成以后，按原路返回并去掉邊界上的點(diǎn)得到真實(shí)的匹配路徑。

本發(fā)明方法使相似度計(jì)算的速度相比現(xiàn)有技術(shù)大幅提高，同時(shí)因金字塔相鄰兩層特征序列相似度較高，方法也保持了識(shí)別率不會(huì)大量下降。選取層次數(shù)及K近鄰的k值得當(dāng)，可保證識(shí)別率基本不變的情況下計(jì)算量的大幅降低，實(shí)現(xiàn)合理高效的對(duì)駕駛異常動(dòng)作進(jìn)行識(shí)別；具體的，本發(fā)明的算法解決了傳統(tǒng)DTW方法中序列起點(diǎn)和終點(diǎn)不容易確定的問(wèn)題，能夠在計(jì)算過(guò)程中自動(dòng)配齊動(dòng)作開(kāi)始點(diǎn)和結(jié)束點(diǎn)，從而提高了識(shí)別率，同時(shí)，本發(fā)明對(duì)光流特征的預(yù)處理方法也減小了噪聲對(duì)識(shí)別結(jié)果的影響，提高識(shí)別率。

在一個(gè)具體實(shí)施方式中，所述預(yù)先存儲(chǔ)的特征數(shù)據(jù)庫(kù)中存儲(chǔ)有異常駕駛行為特征。

常見(jiàn)的不良駕駛行為，包括：(1)長(zhǎng)時(shí)間注視非行駛方向，如注視兩側(cè)窗外景象；(2)換擋時(shí)查看變速桿；(3)接聽(tīng)手機(jī)；(4)長(zhǎng)時(shí)間操作電子設(shè)備或長(zhǎng)時(shí)間查看儀表等。

本發(fā)明的一個(gè)實(shí)施例提供一種樣例，對(duì)以下七種不良駕駛行為進(jìn)行了識(shí)別檢測(cè)，包括：埋頭拾物、轉(zhuǎn)頭后看、看左后視鏡、看中后視鏡、看右后視鏡、接手機(jī)、低頭看檔位。

預(yù)先對(duì)上述七種行為進(jìn)行樣本庫(kù)訓(xùn)練，并將訓(xùn)練好的樣本進(jìn)行存儲(chǔ)，形成特征數(shù)據(jù)庫(kù)。接下來(lái)利用本發(fā)明的算法對(duì)實(shí)際駕駛中的行為相似度計(jì)算，選擇相似度最大的對(duì)應(yīng)序列所對(duì)應(yīng)的行為作為其識(shí)別結(jié)果。圖2所示為本實(shí)例的126個(gè)動(dòng)作序列測(cè)試后得到的結(jié)果，其中完全正確識(shí)別120個(gè)動(dòng)作，占比95.2％，其中，6次錯(cuò)誤識(shí)別分別為：埋頭拾物，被識(shí)別為看左后視鏡；轉(zhuǎn)頭后看，被識(shí)別為看中后視鏡；低頭看檔位，被識(shí)別為看右后視鏡；看右后視鏡，被識(shí)別為轉(zhuǎn)頭后看；接手機(jī)，被識(shí)別為看右后視鏡；轉(zhuǎn)頭后看，被識(shí)別為看右后視鏡。對(duì)上述錯(cuò)誤動(dòng)作進(jìn)行分析，錯(cuò)誤識(shí)別的前后動(dòng)作都是相互關(guān)聯(lián)的，在動(dòng)作幅度過(guò)小時(shí)，其光流特征就比較接近，會(huì)被錯(cuò)誤識(shí)別，因此本發(fā)明的方法的可信度比較高，上述算法在一般配置的CPU(本實(shí)施例使用內(nèi)存2G的2.5GHZ雙核CPU)上能實(shí)現(xiàn)在3秒內(nèi)完成識(shí)別。

在識(shí)別出異常駕駛動(dòng)作后，即對(duì)駕駛員進(jìn)行語(yǔ)音提醒，提醒其停止危險(xiǎn)駕駛動(dòng)作。

上面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式進(jìn)行了詳細(xì)說(shuō)明，但本發(fā)明并不限制于上述實(shí)施方式，在不脫離本申請(qǐng)的權(quán)利要求的精神和范圍情況下，本領(lǐng)域的技術(shù)人員可以作出各種修改或改型。