技術(shù)特征：

1.一種基于深度學(xué)習(xí)的交叉口車輛違章檢測(cè)與辨識(shí)方法，其特征在于，所述方法包括如下步驟：

步驟一、采集交叉口視頻檢測(cè)圖像

利用在交叉路口的視頻采集設(shè)備采集視頻圖像；

步驟二、交通標(biāo)志和車輛的識(shí)別

在本步驟中，對(duì)于交通標(biāo)志和車輛的識(shí)別其過(guò)程包括：

步驟S201對(duì)輸入圖像進(jìn)行特征提取

使用卷積神經(jīng)網(wǎng)絡(luò)利對(duì)輸入圖像進(jìn)行特征自動(dòng)提??；所述卷積神經(jīng)網(wǎng)絡(luò)包括特征提取和特征圖級(jí)聯(lián)兩部分；

1)特征提取，所述卷積神經(jīng)網(wǎng)絡(luò)包括五層個(gè)卷積層，其中第一卷積層包括1_1卷積層；第二卷積層包括2_1卷積層、2_2卷積層和2_3卷積層；第三卷積層包括3_1卷積層、3_2卷積層、3_3卷積層和3_4卷積層；第四卷積層包括4_1卷積層、C4_2卷積層、4_3卷積層和4_4卷積層；第五卷積層包括5_1卷積層、5_2卷積層、5_3卷積層和5_4卷積層；其中第一卷積層的操作類型采用C.ReLU，感受野大小為7*7像素，輸出通道數(shù)為32。第二卷積層的操作類型采用C.ReLU，感受野大小為3*3像素，輸出通道數(shù)為64；第三卷積層的操作類型采用C.ReLU，感受野大小為3*3像素，輸出通道數(shù)為128；第四卷積層和第五卷積層的操作類型采用Inception；

2)特征圖級(jí)聯(lián)，將不同卷積階段的不同尺度的卷積特征層級(jí)聯(lián)起來(lái)，利用了高層特征的語(yǔ)義信息的同時(shí)還考慮到低層特征的細(xì)節(jié)紋理信息，將第3_4卷積層進(jìn)行使用最大池化，5_4卷積層使用雙線性插值算法進(jìn)行上采樣，然后將兩者與4_4卷積層結(jié)合經(jīng)過(guò)1x1的卷積后生成512通道的多尺度輸出特征作為接下來(lái)候選區(qū)域網(wǎng)絡(luò)的輸入；

S202交通標(biāo)志和車輛的定位檢測(cè)

從特征提取后的圖像中從定位包含交通標(biāo)志和車輛的候選區(qū)域，之后將候選區(qū)域輸出到交通標(biāo)志和車輛的分類識(shí)別模塊；其中包括：

1)采用候選區(qū)域網(wǎng)絡(luò)提取候選區(qū)域，輸入圖像經(jīng)過(guò)特征提取網(wǎng)絡(luò)后，在最后一個(gè)卷積層輸出的卷積特征映射上滑動(dòng)小網(wǎng)絡(luò)，所述滑動(dòng)小網(wǎng)絡(luò)全連接到輸入卷積特征映射的n*n的空間窗口上，以生成候選區(qū)域框。

2)候選區(qū)域網(wǎng)絡(luò)的損失函數(shù)

為了訓(xùn)練候選區(qū)域網(wǎng)絡(luò)，在本步驟中給每個(gè)候選框分配一個(gè)二進(jìn)制的標(biāo)簽(分別對(duì)應(yīng)的情況為：是目標(biāo)、不是目標(biāo))。給兩類候選框分配正標(biāo)簽：(1)與某個(gè)真實(shí)區(qū)域包圍盒有最大IoU(兩個(gè)區(qū)域的交集面積與并集面積之比)值；(2)與任意真實(shí)區(qū)域包圍盒的IoU值大于0.7的候選框。為所有與真實(shí)區(qū)域IoU值低于0.3的候選框分配負(fù)標(biāo)簽。候選區(qū)域網(wǎng)絡(luò)的損失函數(shù)定義為：

$C\left\{p_i\right\},\left\{t_i\right\}=\frac{1}{N_{cls}}\underset{i}{\Σ}{C}_{cls}(p_i,{p_i}^{*})+\mathrm{\λ}\frac{1}{N_{reg}}\underset{i}{\Σ}{p_i}^{*}{C}_{reg}(t_i,{t_i}^{*})$

其中，i是一次批量迭代中選取的候選框索引；p_i為候選框?yàn)槟繕?biāo)的概率，如果候選框是正標(biāo)簽，其對(duì)應(yīng)的真實(shí)區(qū)域標(biāo)簽p_i^*為1，否則，p_i^*為0；t_i表示預(yù)測(cè)的包圍盒的4個(gè)參數(shù)化坐標(biāo)向量，t_i^*是相對(duì)應(yīng)的真實(shí)區(qū)域包圍盒的坐標(biāo)向量；

分類損失C_cls是針對(duì)目標(biāo)和非目標(biāo)兩個(gè)類別的對(duì)數(shù)損失：

$C_{cls}(p_i,p_i^{*})=-log\[p_i{p}_i^{*}+(1-p_i)(1-p_i^{*})\]$

其中，i是一次批量迭代中選取的候選框索引；p_i為候選框?yàn)槟繕?biāo)的概率，如果候選框是正標(biāo)簽，其對(duì)應(yīng)的真實(shí)區(qū)域標(biāo)簽p_i^*為1，否則，p_i^*為0；

對(duì)于回歸損失，用來(lái)計(jì)算，其中S(x)為：

$S\left(x\right)=\left\{\begin{array}{c}0.5x^2,if\left|x\right|\<1\\ \left|x\right|-0.5,others\end{array}\right.$

對(duì)于回歸，本步驟采用4個(gè)坐標(biāo)的參數(shù)：

t_x＝(x-x_a)/w_a t_y＝(y-y_a)/h_a

t_w＝log(w/w_a) t_h＝log(h/h_a)

$\begin{array}{cc}{t}_x^{*}=(x^{*}-x_a)/w_a& t_y^{*}=(y^{*}-y_a)/h_a\end{array}$

$\begin{array}{cc}{t}_w^{*}=log(w^{*}/w_a)& t_h^{*}=log(h^{*}/h_a)\end{array}$

其中，x,y,w,h指的是包圍盒中心的(x,y)坐標(biāo)、寬、高，變量x,x_a,x^*分別為預(yù)測(cè)的包圍盒、候選框、真實(shí)區(qū)域包圍盒的x坐標(biāo),變量y,y_a,y^*分別為預(yù)測(cè)的包圍盒、候選框、真實(shí)區(qū)域包圍盒的y坐標(biāo)；變量w,w_a,w^*分別為預(yù)測(cè)的包圍盒、候選框、真實(shí)區(qū)域包圍盒的w坐標(biāo)；變量h,h_a,h^*分別為預(yù)測(cè)的包圍盒、候選框、真實(shí)區(qū)域包圍盒的h坐標(biāo)；N_cls取256，N_reg取2400，λ取10；t_x,t_y,t_w,t_h表示預(yù)測(cè)的包圍盒的4個(gè)參數(shù)化坐標(biāo)向量，t_x^*,t_y^*,t_w^*,t_h^*是相對(duì)應(yīng)的真實(shí)區(qū)域包圍盒的坐標(biāo)向量；

S203交通標(biāo)志和車輛的分類識(shí)別

交通標(biāo)志和車輛的分類識(shí)別的主要任務(wù)是對(duì)于上一步最終定位到的交通標(biāo)志和車輛的候選區(qū)域進(jìn)行特征提取和分類識(shí)別，從而得到交通標(biāo)志和車輛的的類型信息，其中包括：

1)利用區(qū)域卷積網(wǎng)絡(luò)進(jìn)行交通標(biāo)志和車輛的識(shí)別，針對(duì)S202中得到的含有交通標(biāo)志的候選區(qū)域，采用一種與候選區(qū)域網(wǎng)絡(luò)共享卷積的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)算法進(jìn)行交通標(biāo)志的識(shí)別；

2)奇異值分解，利用奇異值分解來(lái)加快交通標(biāo)志識(shí)別系統(tǒng)的識(shí)別速度；設(shè)W是一個(gè)大小為u×v的權(quán)重矩陣，可以利用奇異值分解得到，如公式：

W≈U∑_tV^T

式中：U：大小為u×t的一個(gè)向量；∑_t：大小為t×t的對(duì)角矩陣；V^T：大小為t×v的向量；由|W^TW-λI|＝0求得W^TW的特征值λ；設(shè)矩陣W的轉(zhuǎn)置為W^T，由公式(W^TW)v_i＝λ_iv_i求得W^TW的特征向量v；根據(jù)公式得到奇異值σ，而U則可根據(jù)公式得到：U，∑_t，V^T三個(gè)矩陣相乘接近于矩陣W；

3)區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù),區(qū)域卷積神經(jīng)網(wǎng)絡(luò)可以對(duì)輸入?yún)^(qū)域輸出K+1類目標(biāo),包含背景,的概率以及回歸后的包圍盒坐標(biāo)。對(duì)于每一個(gè)訓(xùn)練候選區(qū)域定義損失函數(shù)為：

L(p,u,t^u,t^*)＝L_cls(p,u)+[u≥1]L_loc(t^u,t^*)

其中，L_cls(p,u)＝-lg p_u是對(duì)候選區(qū)域?qū)?yīng)的真實(shí)目標(biāo)類別u的對(duì)數(shù)損失；對(duì)于k+1類目標(biāo)有p＝(p₀,p₁,....,p_k)；[u≥1]為示性函數(shù)，當(dāng)候選區(qū)域?yàn)楸尘皶r(shí)，u＝0；L_loc(t^u,t^*)為包圍盒坐標(biāo)的回歸損失，

式中的函數(shù)S為：其中對(duì)于k類目標(biāo)中的每一個(gè)都有t^*為候選區(qū)域?qū)?yīng)的真實(shí)目標(biāo)包圍盒的參數(shù)坐標(biāo)向量；為k類目標(biāo)中的預(yù)測(cè)包圍盒的x坐標(biāo)；為k類目標(biāo)中的預(yù)測(cè)包圍盒的y坐標(biāo)；為k類目標(biāo)中的預(yù)測(cè)包圍盒的w坐標(biāo)；為k類目標(biāo)中的預(yù)測(cè)包圍盒的h坐標(biāo)；

步驟三，車輛的跟蹤

在對(duì)圖像中的交通標(biāo)志和車輛的識(shí)別后，通過(guò)對(duì)識(shí)別到的車輛使用跟蹤算法來(lái)繪制出車輛的行使軌跡；利用誤差最小平方和濾波器使其在目標(biāo)上的響應(yīng)最大，其中g(shù)表示響應(yīng)輸出，f表示輸入圖像，h表示濾波模板，表示卷積操作；對(duì)上式進(jìn)行快速傅里葉變換將卷積操作變成了點(diǎn)乘操作，即變成：簡(jiǎn)寫成：G＝F·H^*因此，跟蹤的任務(wù)就是找到H^*，H^*為H的共軛，即：在跟蹤的過(guò)程中，使用模型公式為：其中，⊙表示Hadamard乘積，

得到其中w和v是H中每個(gè)元素的索引；對(duì)其求偏導(dǎo)，并使偏導(dǎo)為0，即：得到

最后得到H為：即為濾波器的模型公式；如下的模板更新方式：

$H_t=\frac{A_t}{B_t}$

$A_t={\mathrm{\ηF}}_t\·G_t^{*}+(1-\mathrm{\η})A_{t-1}$

$B_t={\mathrm{\ηF}}_t\·{F_t}^{*}+(1-\mathrm{\η})B_{t-1}$

將濾波器的模型公式分為分子和分母兩個(gè)部分分別進(jìn)行更新，更的參數(shù)為經(jīng)驗(yàn)常數(shù)η。其中A_t和A_t-1分別表示的是當(dāng)前幀和上一幀的分子；其中B_t和B_t-1分別表示的是當(dāng)前幀和上一幀的分母；在跟蹤過(guò)程中，把以上模板與當(dāng)前幀的圖像做相關(guān)操作，將得到的相應(yīng)結(jié)果中最大的那點(diǎn)對(duì)應(yīng)的坐標(biāo)作為目標(biāo)在當(dāng)前幀的位置；其中，H_t為t時(shí)刻濾波器的模版，G_t表示t時(shí)刻響應(yīng)輸出，G_t*為G_t的共軛；F_t表示t時(shí)刻輸入圖像，F(xiàn)_t*為F_t的共軛。

步驟四、車輛違章檢測(cè)與辨識(shí)系統(tǒng)

由交通標(biāo)志牌的識(shí)別得到該交叉口處合法行駛的規(guī)范，再由車輛識(shí)別與跟蹤處理后得到該交叉口中各個(gè)車輛的行駛軌跡；通過(guò)比較交通標(biāo)志牌代表的信息與車輛的行駛軌跡能夠清晰地辨識(shí)出哪些車輛違章行駛，并可以將這段記錄車輛違章的視頻保存下來(lái)作為違章罰款等交通管理部門執(zhí)法的依據(jù)。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的交叉口車輛違章檢測(cè)與辨識(shí)方法，其特征在于，

每個(gè)滑動(dòng)窗口映射到一個(gè)低維向量上；這個(gè)向量輸出給兩個(gè)同級(jí)的全連接的層：包圍盒回歸層和包圍盒分類層；

在特征映射層滑動(dòng)小窗口建立一個(gè)小網(wǎng)絡(luò)；分類：目標(biāo)和非目標(biāo)；回歸：包圍盒的位置?；瑒?dòng)窗口的位置提供了相對(duì)圖片的定位信息；包圍盒的回歸提供了相對(duì)滑動(dòng)窗口的調(diào)整后的定位信息；在每一個(gè)滑動(dòng)窗口的位置，同時(shí)采用多尺度的候選框機(jī)制，對(duì)應(yīng)了多種尺度和多種長(zhǎng)寬比，預(yù)測(cè)出k個(gè)候選框。所以回歸層有4k個(gè)輸出，即k個(gè)候選框的坐標(biāo)編碼；

分類層通過(guò)對(duì)每k個(gè)候選框使用softmax函數(shù)進(jìn)行目標(biāo)與非目標(biāo)的概率估計(jì)輸出2k個(gè)得分；分類給出了每個(gè)候選框包含目標(biāo)的可能性大?。换貧w層給出了的k個(gè)候選框坐標(biāo)偏移量，通過(guò)包圍盒回歸得到預(yù)測(cè)的目標(biāo)區(qū)域坐標(biāo)位置；

其中，soft max函數(shù)是將多個(gè)標(biāo)量映射為一個(gè)概率分布。對(duì)于k個(gè)標(biāo)量x₁,x₂,...,x_k,soft max函數(shù)定義為：最終，得到一系列被框選的、帶有目標(biāo)得分的候選區(qū)域。