本發(fā)明屬于深度特征的視頻檢測技術(shù)領(lǐng)域，涉及路面事件的檢測，基于Deep-CNN路面反向識別模型進(jìn)行路面遺留物檢測，以及對檢測結(jié)果的數(shù)據(jù)分析與數(shù)據(jù)挖掘，為一種基于深度卷積神經(jīng)網(wǎng)絡(luò)(Deep-CNN)的路面遺留物檢測方法。

背景技術(shù)：

道路事故，交通擁堵，環(huán)境污染是當(dāng)今公路交通發(fā)展面臨的普遍性難題。道路交通安全狀況令人堪憂，道路信息化與智能交通系統(tǒng)(Intelligent Transportation System，ITS)是提升道路設(shè)施利用效率，緩解交通堵塞，降低交通事故發(fā)生率的有效手段。通過計算機視覺技術(shù)實時感知道路車速、流量等交通流參數(shù)，提供實時路況，并結(jié)合歷史數(shù)據(jù)對路網(wǎng)通行狀態(tài)和出行時間進(jìn)行預(yù)測，以自動視頻分析代替人工監(jiān)看，從海量視頻中檢測道路異常事件，包括路面遺留物檢測、高速公路違法停檢測等高危事件，對提高公路信息化水平和公眾服務(wù)能力都具有非常重要的意義。

技術(shù)實現(xiàn)要素：

本發(fā)明要解決的問題是：隨著道路監(jiān)控視頻數(shù)量大幅攀升，僅依靠人工無法實現(xiàn)既有視頻資源有效管理。通過計算機視頻分析自動分析交通監(jiān)控視頻，提取交通參數(shù)，自動發(fā)現(xiàn)并主動上報異常事件，可大幅減少交通管理的人力成本，提高管理水平與事件應(yīng)急響應(yīng)能力。

本發(fā)明的技術(shù)方案為：基于深度卷積神經(jīng)網(wǎng)絡(luò)的路面反向識別方法，基于深度卷積神經(jīng)網(wǎng)絡(luò)Deep-CNN網(wǎng)絡(luò)模型，Deep-CNN網(wǎng)絡(luò)模型將路面感興趣區(qū)域劃分為多個網(wǎng)絡(luò)，構(gòu)建路面—非路面識別模型，通過非路面網(wǎng)格反向識別方法反向識別高速公路路面遺留物，包括以下步驟：

Step1：路面模型訓(xùn)練，采集道路攝像頭的視頻圖像，將視頻窗口中路面的感興趣區(qū)域ROI_路面網(wǎng)格化分割成多個小塊，標(biāo)準(zhǔn)化后作為Deep-CNN網(wǎng)絡(luò)模型的訓(xùn)練集，訓(xùn)練時首先采用無監(jiān)督方法訓(xùn)練獲取圖像特征，聚類后再設(shè)置標(biāo)簽，人工方式標(biāo)記路面類型，區(qū)分路面與非路面，得到路面—非路面識別模型；

Step2：非路面前景模型訓(xùn)練，將被分為非路面的網(wǎng)格圖片按連通區(qū)域組合成候選目標(biāo)加入訓(xùn)練庫，再次采用Deep-CNN網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，分級訓(xùn)練路面目標(biāo)，所述路面目標(biāo)包括車輛、路面遺留物和行人，得到前景識別模型；

Step3：前景目標(biāo)檢測，在step1及step2的識別模型基礎(chǔ)上，對實時視頻圖像使用Deep-CNN網(wǎng)絡(luò)模型和SVM分類器實現(xiàn)前景目標(biāo)的檢測與分類，先識別路面非路面，再識別出前景目標(biāo)的類型；

Step4：行為分析，在前景目標(biāo)分類識別基礎(chǔ)上，根據(jù)前景目標(biāo)在視頻圖像序列中的上下文信息，進(jìn)行路面遺留物檢測。

所述的路面遺留物檢測具體為：

Step1.1：對實時視頻圖像中路面設(shè)置關(guān)注區(qū)域ROI_{關(guān)注}，視頻窗口圖像網(wǎng)格化后，根據(jù)路面—非路面識別模型分類；

Step1.2：連通ROI_{關(guān)注}區(qū)域內(nèi)非路面網(wǎng)格圖片I_m,n，生成候選目標(biāo)O_h；

Step1.3：對候選目標(biāo)O_h分類識別，判定候選目標(biāo)不屬于車輛或行人目標(biāo)類型；

Step1.4：計算時刻T₀與時刻T_0+t時候選目標(biāo)的位移，確定目標(biāo)是否靜止；

Step1.5：確定并輸出路面遺留物信息。

進(jìn)一步的，Step1和Step2具體為：

1)設(shè)置感興趣區(qū)域ROI_路面：采集道路或街景監(jiān)控器的視頻圖像，獲得道路或街景視頻幀圖像，根據(jù)實際的道路或街景狀況，在當(dāng)前幀圖像上提取關(guān)注區(qū)域的邊界對角4個點，對所提取的點進(jìn)行直線擬合計算，形成叉形結(jié)構(gòu)，叉形結(jié)構(gòu)內(nèi)作為檢測的興趣域ROI_路面，也就是有效檢測區(qū)域；

2)非檢測區(qū)域漫水填充：非ROI_路面為非監(jiān)測區(qū)域，進(jìn)行漫水填充處理，填充后，落在ROI_路面區(qū)域外的網(wǎng)格圖片像素均值為0，直接濾除不再進(jìn)行后續(xù)處理；

3)檢測區(qū)域ROI_路面網(wǎng)格化分塊，網(wǎng)格圖片經(jīng)Deep-CNN分類結(jié)果為路面或非路面，將ROI_路面的分塊中非路面的網(wǎng)格圖片連起來，記為I_p,q，即路面，I_p,q組成候選目標(biāo)，送入分類器，分類為車輛、行人或路面遺留物。

本發(fā)明充分利用現(xiàn)有視頻監(jiān)控設(shè)施和海量視頻數(shù)據(jù)，可最大限度節(jié)省硬件投入，獲得更豐富直觀的交通數(shù)據(jù)，滿足交通管理與公眾服務(wù)的數(shù)據(jù)/信息需求。

考慮到傳統(tǒng)背景建模方法不適用于靜態(tài)目標(biāo)檢測，以及路面遺留物難以使用先驗?zāi)Ｐ蜆?gòu)造訓(xùn)練集的情況，前饋式的深度卷積神經(jīng)網(wǎng)絡(luò)Deep-CNN更易于訓(xùn)練且泛化性能良好。本發(fā)明建立了基于Deep-CNN的反向路面識別模型，利用Deep-CNN路面模型解決移動攝像機與靜止圖像目標(biāo)檢測，主要應(yīng)用于路面遺留物、拋灑物等非實時性任務(wù)。與地感線圈、雷達(dá)等傳統(tǒng)技術(shù)相比，監(jiān)控視頻含有路面、車輛、路面遺留物等圖像信息，通過CNN神經(jīng)網(wǎng)絡(luò)提取上述特征并基于Deep-CNN路面反向識別模型分析路面遺留物、拋灑物等異常事件信息，識別道路事故并及時發(fā)送圖文報警，提供比傳統(tǒng)車檢設(shè)備更豐富的道路事件信息。

本發(fā)明在監(jiān)測區(qū)域大范圍部署移動終端，形成移動終端檢測點，通過移動通信設(shè)備或道路監(jiān)控進(jìn)行交互式標(biāo)定，確定攝像頭參數(shù)后，使用攝像頭采集圖像，利用CNN神經(jīng)網(wǎng)絡(luò)對采集的圖像作進(jìn)一步分析，獲得當(dāng)前每個圖像的ROI數(shù)據(jù)，將路面ROI區(qū)域劃分為多個網(wǎng)絡(luò)，構(gòu)建路面—非路面識別模型，通過非路面網(wǎng)格反向識別高速公路路面遺留物、路面拋灑物等靜態(tài)目標(biāo)。

本發(fā)明移動終端檢測點為道路攝像頭，自身價格低廉，充分利用移動互聯(lián)網(wǎng)優(yōu)勢，不需要昂貴的監(jiān)測儀器設(shè)備，只需道路上現(xiàn)成的攝像頭，可大范圍部署，現(xiàn)場檢測路面信息通過移動互聯(lián)網(wǎng)傳輸至服務(wù)器。充分利用移動互聯(lián)網(wǎng)的特點與優(yōu)勢，以低成本實現(xiàn)區(qū)域高覆蓋率路面事件檢測。

附圖說明

圖1為本發(fā)明基于Deep-CNN反向識別路面事件檢測流程圖

圖2為本發(fā)明使用的Deep-CNN模型原理。(a)Softplus與ReLU激活函數(shù)(b)Deep-CNN網(wǎng)絡(luò)結(jié)構(gòu)。

圖3為本發(fā)明Deep-CNN路面識別模型檢測圖。(a)ROI檢測區(qū)域劃分(b)漫水法填充清除非ROI區(qū)域像素(c)網(wǎng)格化Deep-CNN輸入及目標(biāo)檢測。

圖4為本發(fā)明移動終端單幀照片路面檢測訓(xùn)練圖。(a)手持移動終端照片(b)車道ROI區(qū)域路面檢測效果。

圖5為本發(fā)明實施的選取江蘇省寧連高速公路場景進(jìn)行路面遺留物測試效果圖。

具體實施方式

本發(fā)明將深度學(xué)習(xí)引入路面事件識別并加以改進(jìn)，可顯著提高道路事件識別準(zhǔn)確度?？紤]到背景建模方法不適用于靜態(tài)目標(biāo)檢測，以及路面遺留物難以使用先驗?zāi)Ｐ蜆?gòu)造訓(xùn)練集的情況。本發(fā)明建立了基于深度卷積神經(jīng)網(wǎng)絡(luò)Deep-CNN的路面遺留物檢測，移動終端檢測點為道路攝像頭，移動終端檢測點通過攝像頭獲取圖像信息，利用CNN神經(jīng)網(wǎng)絡(luò)對獲取的圖像進(jìn)行分析，本發(fā)明將路面ROI區(qū)域劃分為多個網(wǎng)絡(luò)，構(gòu)建路面—非路面識別模型，通過非路面網(wǎng)格反向識別高速公路路面遺留物、路面拋灑物等靜態(tài)目標(biāo)。

本發(fā)明構(gòu)建了基于Deep-CNN網(wǎng)絡(luò)的分層道路事件識別框架：

其基本思想是分層識別，通過路面—非路面識別，進(jìn)而反向識別路面目標(biāo)物，路面反向識別過程為：

首先進(jìn)行路面模型訓(xùn)練，將視頻窗口的感興趣區(qū)域(Region of Interest,ROI)網(wǎng)格化分割成多個小塊，標(biāo)準(zhǔn)化后作為Deep-CNN網(wǎng)絡(luò)的訓(xùn)練集，考慮到路面模型由路面瀝青、路面車道、護欄等組成，圖像外觀差異較大，強制標(biāo)注為單獨一類容易引起過擬合，故而采用無監(jiān)督方法訓(xùn)練獲取圖像特征，聚類后再以多類標(biāo)簽人工方式標(biāo)記路面，保證準(zhǔn)確區(qū)分路面與非路面。

然后進(jìn)行非路面前景模型訓(xùn)練，將被分為非路面的網(wǎng)格圖片塊按連通區(qū)域組合成候選目標(biāo)加入訓(xùn)練庫，再次Deep-CNN網(wǎng)絡(luò)訓(xùn)練，分級訓(xùn)練路面目標(biāo)，包括車輛、路面遺留物、行人等。

對道路進(jìn)行實時檢測時，首先進(jìn)行前景目標(biāo)檢測，在之前的路面識別模型基礎(chǔ)上實現(xiàn)運動與靜態(tài)前景目標(biāo)檢測與分類。

最后進(jìn)行行為分析，在前景目標(biāo)檢測基礎(chǔ)上，根據(jù)目標(biāo)在視頻圖像序列中的上下文信息，進(jìn)行路面遺留物檢測。

所述的路面遺留物檢測具體實現(xiàn)于以下步驟：

Step1.1：對實時視頻圖像中路面設(shè)置關(guān)注區(qū)域ROI_{關(guān)注}，視頻窗口圖像網(wǎng)格化后，根據(jù)路面—非路面識別模型分類；

Step1.2：連通ROI_{關(guān)注}區(qū)域內(nèi)非路面網(wǎng)格圖片I_m,n，生成候選目標(biāo)O_h；

Step1.3：對候選目標(biāo)O_h分類識別，判定候選目標(biāo)不屬于車輛或行人目標(biāo)類型；

Step1.4：計算時刻T₀與時刻T_0+t時候選目標(biāo)的位移，確定目標(biāo)是否靜止；

Step1.5：確定并輸出路面遺留物信息。

下面通過具體實施例進(jìn)一步說明本發(fā)明的實施。

本發(fā)明的流程示意圖如圖1所示，通過移動終端道路攝像機獲取視頻圖片，進(jìn)行CNN處理訓(xùn)練分類進(jìn)行路面事件檢測：

Step1：路面模型訓(xùn)練，將視頻窗口的感興趣區(qū)域(Region of Interest,ROI)分割成多個小塊，標(biāo)準(zhǔn)化后作為Deep-CNN網(wǎng)絡(luò)的訓(xùn)練集，考慮到路面模型由路面瀝青、路面車道、護欄等組成，圖像外觀差異較大，強制標(biāo)注為單獨一類容易引起過擬合，故而采用無監(jiān)督方法訓(xùn)練獲取圖像特征，聚類后再以多類標(biāo)簽人工方式標(biāo)記路面，保證準(zhǔn)確區(qū)分路面與非路面；

Step2：非路面前景模型訓(xùn)練，將被分為非路面的分割小塊按連通區(qū)域組合成候選目標(biāo)加入訓(xùn)練庫，再次Deep-CNN網(wǎng)絡(luò)訓(xùn)練，分級訓(xùn)練路面目標(biāo)，包括車輛、路面遺留物、行人等；

Step3：前景目標(biāo)檢測，在step1、step2路面識別模型基礎(chǔ)上實現(xiàn)運動與靜態(tài)前景目標(biāo)檢測與分類；

Step4：行為分析，在前景目標(biāo)分類識別基礎(chǔ)上，根據(jù)上下文信息，進(jìn)行路面遺留物檢測。

深度卷積神經(jīng)網(wǎng)絡(luò)Deep-CNN的網(wǎng)絡(luò)模型原理如圖2所示，包括：

1)類生物神經(jīng)激活函數(shù)：

神經(jīng)科學(xué)家認(rèn)為人腦信號接收過程實質(zhì)上是神經(jīng)觸突對外界輸入信號的激活響應(yīng)，神經(jīng)元結(jié)點興奮可以看作一次函數(shù)激活，對外界刺激做出反映結(jié)點值為1，否則為0。對腦電波受輸入刺激的能量測量實驗發(fā)現(xiàn)，外界刺激與神經(jīng)元結(jié)點響應(yīng)的模式是稀疏的，即大量刺激信號下只有一部分神經(jīng)元結(jié)點是激活的，接收到外界信息同一時間只有約1％～4％的神經(jīng)元處于活躍狀態(tài)。2001年，神經(jīng)科學(xué)家Dayan和Abott從生物學(xué)角度，提出模擬出了腦神經(jīng)元信號接受與激活響應(yīng)模型。為了便于計算，Glorot等人提出了適應(yīng)于機器學(xué)習(xí)多層神經(jīng)網(wǎng)絡(luò)的校正非線性激活函數(shù)Softplus，近似替代神經(jīng)元模型。

Softplus函數(shù)定義為：

SortPlus(x)＝log(1+exp(x)) (1)

校正線性激活函數(shù)(Rectified Linear Units，ReLU)是Softplus的線性簡化版本，定義為：

ReLU(x)＝max(0,x) (2)

ReLU函數(shù)求導(dǎo)非常簡單，當(dāng)x>0時導(dǎo)數(shù)為1，否則為0，求導(dǎo)公式為可表示為：

Softplus與ReLU激活函數(shù)的曲線分布如圖2(a)

2)網(wǎng)絡(luò)結(jié)構(gòu)

圖2(b)為多層CNN網(wǎng)絡(luò)結(jié)構(gòu)包含輸入層、隱含層和輸出層等基本層次，隱含層由多個卷積—池化子層疊加而成，上一層的輸出作為下一層的輸入。每次卷積計算后使用ReLU函數(shù)激活結(jié)點，由于ReLU函數(shù)的求導(dǎo)特征，初始值經(jīng)過ReLU梯度計算后部分結(jié)點的權(quán)值被置為0，這被分0值權(quán)重的部分結(jié)點不被激活，使得網(wǎng)絡(luò)結(jié)構(gòu)具有稀疏性。稀疏性網(wǎng)絡(luò)結(jié)構(gòu)符合生物神經(jīng)的本質(zhì)，在數(shù)學(xué)計算中也具有實際優(yōu)勢，如減少參數(shù)復(fù)雜度，提高運算效率，并可以有效防止過擬合現(xiàn)象發(fā)生。

整個過程包括以下具體操作：

基于Caffe實現(xiàn)提出的Deep-CNN路面識別模型，以路面模型反向提取候選目標(biāo)，分類后用于實現(xiàn)路面遺留物、拋灑物檢測。

假設(shè)輸入圖像尺寸為w×h，使用步長s將圖像網(wǎng)格化為(w/s)×(h/s)個小塊，表示成矩陣序列A_ij(i＝1,2,3…w/s；j＝1,2,3…h(huán)/s)，步長s的像素寬度約為車道的1/4寬度。

檢測興趣區(qū)域ROI_路面為點{x1，y1；x2，y2；x3，y3；x4，y4；x1，y1}圍成的封閉檢測區(qū)域，則A_ROI∈ROI_路面為檢測區(qū)域內(nèi)矩陣網(wǎng)格。

將路面模型的A_ROI圖像塊送入Deep-CNN訓(xùn)練，使用無監(jiān)督方法，提取路面模塊特征后進(jìn)行聚類，將路面聚類為瀝青表面、車道線標(biāo)記、護欄等子類型，標(biāo)記為“路面1”～“路面n”(n<4)。為提高路面模型樣本覆蓋，網(wǎng)格化圖像過程采用向下、向右偏移部分像素采樣方法，共得到3×(w/s)×(h/s)個路面樣本。

輸入圖像網(wǎng)格化后，構(gòu)造對應(yīng)分類矩陣，位于路面非檢測區(qū)域的網(wǎng)格圖片直接使用漫水法將像素置為0，非覆沒區(qū)網(wǎng)格矩陣初始化為-1，檢測區(qū)域網(wǎng)格圖像塊由Deep-CNN路面模型分類后，輸出分類結(jié)果矩陣

由于難以使用先驗知識構(gòu)建路面遺留物經(jīng)驗?zāi)Ｐ停景l(fā)明采用路面—非路識別，反向?qū)崿F(xiàn)前景檢測與分類。提取前景由C_ROI＝1的連通矩陣子塊構(gòu)成候選目標(biāo)，使用Deep-CNN目標(biāo)網(wǎng)絡(luò)將前景聚類為車輛、行人、其他目標(biāo)(可能為路面遺留物)。

圖3演示了Deep-CNN路面模型實現(xiàn)過程，圖3(a)中標(biāo)注了興趣域，即檢測區(qū)域，使用4個頂點生成封閉的ROI檢測區(qū)，圖3(b)為非檢測區(qū)漫水填充，漫水法填充后，網(wǎng)格圖片塊I_i,j落在ROI區(qū)域外的網(wǎng)格圖片像素均值為0，可在送入Deep-CNN前直接過濾。檢測區(qū)ROI圖片塊經(jīng)Deep-CNN分類結(jié)果為路面或非路面。將ROI_路面的分塊中非路面的網(wǎng)格圖片連起來，記為I_p,q，即路面，如圖3(c)加粗標(biāo)記區(qū)域所示，I_p,q組成候選目標(biāo)，送入分類器，分類為車輛、行人或其他不明確目標(biāo)(即路面遺留物)。

圖4演示了手持終端移動照片路面檢測情況，圖4(a)為原始照片，使用車道線直線檢測提取ROI檢測區(qū)域，并將非ROI區(qū)域使用漫水法填充為黑色，以減輕分類器負(fù)擔(dān)，如圖4(b)所示，路面下水井蓋，立錐路障，減速帶都被檢測成非路面。對常規(guī)路面設(shè)施，如井蓋、路障等，可提取前景圖像至訓(xùn)練樣本集中直接訓(xùn)練檢測模型。

根據(jù)上述路面遺留物檢測流程，使用Deep-CNN檢測出非路面前景目標(biāo)路面，前景目標(biāo)二次分類結(jié)果為其他，即非車輛、非行人。取時間間隔t＝3S(75幀)，設(shè)目標(biāo)移動閾值路面路面|＜3，計算在網(wǎng)格矩陣中的位移距離，判定路面模型中檢測出前景為靜止?fàn)顟B(tài)，確定前景目標(biāo)為道路遺留物，如圖5所示。