本專利屬于智能交通技術(shù)領(lǐng)域，具體而言涉及一種基于深度學(xué)習(xí)的交叉口車輛違章檢車與辨識系統(tǒng)。

技術(shù)背景

違章停車的處罰在現(xiàn)有技術(shù)中可以通過人工現(xiàn)場處罰，以及通過攝像頭非現(xiàn)場處罰的方式來進行。在現(xiàn)有技術(shù)中，通過設(shè)置在道路邊的攝像頭拍取道路上的圖像，通過智能識別的方式識別圖像中違章行駛的情況，并截取相應(yīng)的證據(jù)是一種常見的手段。

但是，現(xiàn)有技術(shù)中對于道路交叉口的違章行駛，例如禁止掉頭處掉頭，不按規(guī)定的車道行駛等，在現(xiàn)場的執(zhí)法中容易發(fā)現(xiàn)，但是很難通過智能識別的方式實現(xiàn)。

因為，不同的道路其設(shè)置的通行規(guī)則是不同的，而且同一個交叉口有時候通行規(guī)則是會根據(jù)各種因素的考慮改變的。而位于道路交叉口的攝像頭對于簡單的道路情況，例如闖紅燈等的識別是較為準確的；而對于復(fù)雜的道路情況，例如馬路交叉口的未按照規(guī)定車道行駛、違章停車、禁止掉頭處掉頭等的識別并不準確，或者識別程度不高，給行駛?cè)嘶蛘呤墙煌ü芾聿块T帶來困擾。

技術(shù)實現(xiàn)要素：

本專利正是基于現(xiàn)有技術(shù)中的上述需求而提出的，本專利要解決的技術(shù)問題是提供一種基于深度學(xué)習(xí)的交叉口車輛違章檢測與辨識系統(tǒng)，以便于智能檢測在道路交叉口的車輛違章情況。

為了解決上述問題，本專利提供的技術(shù)方案包括：

一種基于深度學(xué)習(xí)的交叉口車輛違章檢測與辨識方法，所述方法包括如下步驟：

步驟一、采集交叉口視頻檢測圖像

利用在交叉路口的視頻采集設(shè)備采集視頻圖像；

步驟二、交通標(biāo)志和車輛的識別

在本步驟中，對于交通標(biāo)志和車輛的識別其過程包括：

步驟S201對輸入圖像進行特征提取

使用卷積神經(jīng)網(wǎng)絡(luò)利對輸入圖像進行特征自動提取；所述卷積神經(jīng)網(wǎng)絡(luò)包括特征提取和特征圖級聯(lián)兩部分；

1)特征提取，所述卷積神經(jīng)網(wǎng)絡(luò)包括五層個卷積層，其中第一卷積層包括1_1卷積層；第二卷積層包括2_1卷積層、2_2卷積層和2_3卷積層；第三卷積層包括3_1卷積層、3_2卷積層、3_3卷積層和3_4卷積層；第四卷積層包括4_1卷積層、C4_2卷積層、4_3卷積層和4_4卷積層；第五卷積層包括5_1卷積層、5_2卷積層、5_3卷積層和5_4卷積層；其中第一卷積層的操作類型采用C.ReLU，感受野大小為7*7像素，輸出通道數(shù)為32。第二卷積層的操作類型采用C.ReLU，感受野大小為3*3像素，輸出通道數(shù)為64；第三卷積層的操作類型采用C.ReLU，感受野大小為3*3像素，輸出通道數(shù)為128；第四卷積層和第五卷積層的操作類型采用Inception；

2)特征圖級聯(lián)，將不同卷積階段的不同尺度的卷積特征層級聯(lián)起來，利用了高層特征的語義信息的同時還考慮到低層特征的細節(jié)紋理信息，將第3_4卷積層進行使用最大池化，5_4卷積層使用雙線性插值算法進行上采樣，然后將兩者與4_4卷積層結(jié)合經(jīng)過1x1的卷積后生成512通道的多尺度輸出特征作為接下來候選區(qū)域網(wǎng)絡(luò)的輸入；

S202交通標(biāo)志和車輛的定位檢測

從特征提取后的圖像中從定位包含交通標(biāo)志和車輛的候選區(qū)域，之后將候選區(qū)域輸出到交通標(biāo)志和車輛的分類識別模塊；其中包括：

1)采用候選區(qū)域網(wǎng)絡(luò)提取候選區(qū)域，輸入圖像經(jīng)過特征提取網(wǎng)絡(luò)后，在最后一個卷積層輸出的卷積特征映射上滑動小網(wǎng)絡(luò)，所述滑動小網(wǎng)絡(luò)全連接到輸入卷積特征映射的n*n的空間窗口上，以生成候選區(qū)域框。

2)候選區(qū)域網(wǎng)絡(luò)的損失函數(shù)

為了訓(xùn)練候選區(qū)域網(wǎng)絡(luò)，在本步驟中給每個候選框分配一個二進制的標(biāo)簽(分別對應(yīng)的情況為：是目標(biāo)、不是目標(biāo))。給兩類候選框分配正標(biāo)簽：(1)與某個真實區(qū)域包圍盒有最大IoU(兩個區(qū)域的交集面積與并集面積之比)值；(2)與任意真實區(qū)域包圍盒的IoU值大于0.7的候選框。為所有與真實區(qū)域IoU值低于0.3的候選框分配負標(biāo)簽。候選區(qū)域網(wǎng)絡(luò)的損失函數(shù)定義為：

其中，i是一次批量迭代中選取的候選框索引；p_i為候選框為目標(biāo)的概率，如果候選框是正標(biāo)簽，其對應(yīng)的真實區(qū)域標(biāo)簽p_i^*為1，否則，p_i^*為0；t_i表示預(yù)測的包圍盒的4個參數(shù)化坐標(biāo)向量，t_i^*是相對應(yīng)的真實區(qū)域包圍盒的坐標(biāo)向量。

分類損失C_cls是針對目標(biāo)和非目標(biāo)兩個類別的對數(shù)損失：

對于回歸損失，用來計算，其中S(x)為：

對于回歸，本步驟采用4個坐標(biāo)的參數(shù)：

t_x＝(x-x_a)/w_a t_y＝(y-y_a)/h_a

t_w＝log(w/w_a) t_h＝log(h/h_a)

其中，x,y,w,h指的是包圍盒中心的(x,y)坐標(biāo)、寬、高，變量x,x_a,x^*分別為預(yù)測的包圍盒、候選框、真實區(qū)域包圍盒的x坐標(biāo),變量y,y_a,y^*分別為預(yù)測的包圍盒、候選框、真實區(qū)域包圍盒的y坐標(biāo)；變量w,w_a,w^*分別為預(yù)測的包圍盒、候選框、真實區(qū)域包圍盒的w坐標(biāo)；變量h,h_a,h^*分別為預(yù)測的包圍盒、候選框、真實區(qū)域包圍盒的h坐標(biāo)；N_cls取256，N_reg取2400，λ取10；t_x,t_y,t_w,t_h表示預(yù)測的包圍盒的4個參數(shù)化坐標(biāo)向量，t_x^*,t_y^*,t_w^*,t_h^*是相對應(yīng)的真實區(qū)域包圍盒的坐標(biāo)向量。

S203交通標(biāo)志和車輛的分類識別

交通標(biāo)志和車輛的分類識別的主要任務(wù)是對于上一步最終定位到的交通標(biāo)志和車輛的候選區(qū)域進行特征提取和分類識別，從而得到交通標(biāo)志和車輛的的類型信息，其中包括：

1)利用區(qū)域卷積網(wǎng)絡(luò)進行交通標(biāo)志和車輛的識別，針對S202中得到的含有交通標(biāo)志的候選區(qū)域，采用一種與候選區(qū)域網(wǎng)絡(luò)共享卷積的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)算法進行交通標(biāo)志的識別；

2)奇異值分解，利用奇異值分解來加快交通標(biāo)志識別系統(tǒng)的識別速度；設(shè)W是一個大小為u×v的權(quán)重矩陣，可以利用奇異值分解得到，如公式：

W≈U∑_tV^T

式中：U：大小為u×t的一個向量；∑_t：大小為t×t的對角矩陣；V^T：大小為t×v的向量；由|W^TW-λI|＝0求得W^TW的特征值λ；設(shè)矩陣W的轉(zhuǎn)置為W^T，由公式(W^TW)v_i＝λ_iv_i求得W^TW的特征向量v；根據(jù)公式得到奇異值σ，而U則可根據(jù)公式得到：U，∑_t，V^T三個矩陣相乘接近于矩陣W；

3)區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù),區(qū)域卷積神經(jīng)網(wǎng)絡(luò)可以對輸入?yún)^(qū)域輸出K+1類目標(biāo),包含背景,的概率以及回歸后的包圍盒坐標(biāo)。對于每一個訓(xùn)練候選區(qū)域定義損失函數(shù)為：

L(p,u,t^u,t^*)＝L_cls(p,u)+[u≥1]L_loc(t^u,t^*)

其中，L_cls(p,u)＝-lgp_u是對候選區(qū)域?qū)?yīng)的真實目標(biāo)類別u的對數(shù)損失；對于k+1類目標(biāo)有p＝(p₀,p₁,....,p_k)；[u≥1]為示性函數(shù)，當(dāng)候選區(qū)域為背景時，u＝0；L_loc(t^u,t^*)為包圍盒坐標(biāo)的回歸損失，

式中的函數(shù)S為：其中對于k類目標(biāo)中的每一個都有t^*為候選區(qū)域?qū)?yīng)的真實目標(biāo)包圍盒的參數(shù)坐標(biāo)向量；為k類目標(biāo)中的預(yù)測包圍盒的x坐標(biāo)；為k類目標(biāo)中的預(yù)測包圍盒的y坐標(biāo)；為k類目標(biāo)中的預(yù)測包圍盒的w坐標(biāo)；為k類目標(biāo)中的預(yù)測包圍盒的h坐標(biāo)；

步驟三，車輛的跟蹤

在對圖像中的交通標(biāo)志和車輛的識別后，通過對識別到的車輛使用跟蹤算法來繪制出車輛的行使軌跡；利用誤差最小平方和濾波器使其在目標(biāo)上的響應(yīng)最大，其中g(shù)表示響應(yīng)輸出，f表示輸入圖像，h表示濾波模板，表示卷積操作；對上式進行快速傅里葉變換將卷積操作變成了點乘操作，即變成：簡寫成：G＝F·H^*因此，跟蹤的任務(wù)就是找到H^*，H^*為H的共軛，即：在跟蹤的過程中，使用模型公式為：其中，⊙表示Hadamard乘積，

得到其中w和v是H中每個元素的索引；對其求偏導(dǎo)，并使偏導(dǎo)為0，即：得到

最后得到H為：即為濾波器的模型公式；如下的模板更新方式：

B_t＝ηF_t·F_t^*+(1-η)B_t-1

將濾波器的模型公式分為分子和分母兩個部分分別進行更新，更的參數(shù)為經(jīng)驗常數(shù)η。其中A_t和A_t-1分別表示的是當(dāng)前幀和上一幀的分子；其中B_t和B_t+1分別表示的是當(dāng)前幀和上一幀的分母；在跟蹤過程中，把以上模板與當(dāng)前幀的圖像做相關(guān)操作，將得到的相應(yīng)結(jié)果中最大的那點對應(yīng)的坐標(biāo)作為目標(biāo)在當(dāng)前幀的位置；其中，H_t為t時刻濾波器的模版，G_t表示t時刻響應(yīng)輸出，G_t*為G_t的共軛；F_t表示t時刻輸入圖像，F(xiàn)_t*為F_t的共軛。

步驟四、車輛違章檢測與辨識系統(tǒng)

由交通標(biāo)志牌的識別得到該交叉口處合法行駛的規(guī)范，再由車輛識別與跟蹤處理后得到該交叉口中各個車輛的行駛軌跡；通過比較交通標(biāo)志牌代表的信息與車輛的行駛軌跡能夠清晰地辨識出哪些車輛違章行駛，并可以將這段記錄車輛違章的視頻保存下來作為違章罰款等交通管理部門執(zhí)法的依據(jù)。

本發(fā)明的優(yōu)點在于：

1、本發(fā)明通過基于交叉口監(jiān)控視頻中的交通標(biāo)志牌和車輛的自動識別與跟蹤，進而能夠自動辨識出交叉口處車輛的違章情況，該系統(tǒng)誤檢少、效率高，無需再設(shè)置專用的攝像頭，適用范圍廣，可以避免耗費大量的人力、物力財力。

2、本發(fā)明充分利用圖像卷積的優(yōu)勢，降低了光照變化、顏色褪色、運動造成的模糊、復(fù)雜的背景、部分遮擋等因素對圖像識別的影響，提高了抗干擾能力，識別準確率高，誤識別率低。

3.本發(fā)明中應(yīng)用C.ReLu(x)激活函數(shù)在低層的卷積，可以減少網(wǎng)絡(luò)參數(shù)，使通道數(shù)減少一半，將神經(jīng)元激活前的輸出和其相反數(shù)進行級聯(lián)使輸出變成雙倍，即達到原來輸出的數(shù)量，這使得在沒有損失正確率的情況下，計算速度提升一倍。

4.本發(fā)明中應(yīng)用Inception在高層的網(wǎng)絡(luò)中，主要是通過控制卷積核尺寸來提升對小目標(biāo)識別的性能，同時可以降低輸入的通道數(shù)，起到降維的作用，運算復(fù)雜度大大降低。

5.本發(fā)明中的特征圖級聯(lián)優(yōu)勢為多層抽象圖像特征，其分辨率適于定位檢測，計算效率高。

附圖說明

圖1為本具體實施方式中方法的整體流程圖；

圖2為交通標(biāo)志識別和車輛系統(tǒng)框架；

圖3識別算法的整體結(jié)構(gòu)圖；

圖4為本具體實施方式中C.ReLu(x)和標(biāo)準化的操作流程圖；

圖5為本具體實施方式中Inception的構(gòu)成圖；

圖6本具體實施方式中卷積特征映射上滑動小網(wǎng)絡(luò)原理示意圖。

具體實施方式

下面結(jié)合附圖和實施例對本發(fā)明進行詳細陳述。需要指出的是，該具體實施方式僅僅是對本專利優(yōu)選技術(shù)方案的舉例，并不能理解為對本專利保護范圍的限制。

本具體實施方式中提供了一種基于深度學(xué)習(xí)的交叉口車輛違章檢測與辨識方法，所述方法主要分為：交叉口監(jiān)控視頻的采集，交通標(biāo)志和車輛的識別，車輛的跟蹤，車輛違章檢測與辨識。其流程如圖1所示。

步驟一、采集交叉口視頻檢測圖像

在本步驟中可以利用設(shè)置在城市道路中的各個交叉口的已有攝像設(shè)備采集監(jiān)控視頻，通常在道路的交叉口都會設(shè)置攝像頭等視頻采集設(shè)備。通過既有的視頻采集設(shè)備避免了成本的增加。但是既有的視頻檢測設(shè)備并不能直接智能地檢測到路口的違章停車情況。因此還需要對交叉口采集到的視頻進行處理。在交叉口檢測到的視頻圖像中包括車輛信息，道路信息，交通信號信息等等。

步驟二、交通標(biāo)志和車輛的識別

采集到的視頻圖像中并不能夠直接給出車輛的違章停車信息，為了檢測違章停車信息，需要將車輛的位置和車輛的種類，以及道路中的交通標(biāo)志位置和交通標(biāo)志的種類進行識別。獲得這些識別信息，能夠便于計算機或者類似的設(shè)備智能地獲取相關(guān)的交通信息，為違章停車的智能識別提供基礎(chǔ)。

交通標(biāo)志和車輛的識別算法的關(guān)鍵在于一種更有效的感興趣區(qū)域提取方法及一種更快速、精準的識別方法，它能夠快速檢測和識別出高分辨率圖片中的交通標(biāo)志和車輛。實施方式中交通標(biāo)志和車輛的識別系統(tǒng)框架如圖2所示。

在本步驟中，對于交通標(biāo)志和車輛的識別主要包含以下三個部分：輸入圖像的特征提取、交通標(biāo)志和車輛的定位檢測、交通標(biāo)志和車輛的分類識別。上述識別通過如下具體的步驟來實現(xiàn)：在本步驟中主要采用卷積神經(jīng)網(wǎng)絡(luò)來實現(xiàn)對于輸入圖像的特征提取、交通標(biāo)志和車輛的定位檢測、交通標(biāo)志和車輛的分類識別。在本實施例中，所述卷積神經(jīng)網(wǎng)絡(luò)包括多個卷積層與池化層組建，可以從圖像中提取更有效的特征，用于接下來的候選區(qū)域檢測與分類識別，其工作過程如圖3所示。由于卷積操作具有平移不變形，卷積生成的特征圖里不僅包含了物體的特征信息，還包含著物體的位置信息。

步驟S201對輸入圖像進行特征提取

在本步驟中使用卷積神經(jīng)網(wǎng)絡(luò)利對輸入圖像進行特征自動提取。避免了人工提取特征的麻煩，同時由于卷積的平移不變特性，卷積生成的特征圖中不僅包含了物體的特征信息，還包含著物體的位置信息。在本步驟中使用的特征提取網(wǎng)絡(luò)包括特征提取和特征圖級聯(lián)兩部分。

1)特征提取

對于特征提取，在本步驟中，使用的的特征提取的卷積神經(jīng)網(wǎng)絡(luò)的前五層的網(wǎng)絡(luò)結(jié)果如下表1所示。

表1前5層卷積層網(wǎng)絡(luò)設(shè)置

其中第一卷積層的操作類型采用C.ReLU，感受野大小為7*7(像素)，輸出通道數(shù)為32。第二卷積層的操作類型采用C.ReLU，感受野大小為3*3(像素)，輸出通道數(shù)為64；第三卷積層的操作類型采用C.ReLU，感受野大小為3*3(像素)，輸出通道數(shù)為128。所述C.ReLU操作類型中采用C.ReLu(x)激活函數(shù)，C.ReLu(x)激活函數(shù)用于低層的卷積，可減少網(wǎng)絡(luò)參數(shù)，使通道數(shù)減少一半，將神經(jīng)元激活前的輸出和其相反數(shù)進行級聯(lián)使輸出變成雙倍，即達到原來輸出的數(shù)量，這使得在沒有損失正確率的情況下，提升計算速度。C.ReLu的數(shù)學(xué)表達式如下：

C.ReLu(wx+b)＝ReLU(wx+b)+ReLU(-(wx+b))

其中w為權(quán)重，x為神經(jīng)元的輸入，b為神經(jīng)元的偏置。

在本步驟中，優(yōu)選地，所述激活函數(shù)處于激活層，在激活層前使用標(biāo)準化(batch normalization，BN)加速網(wǎng)絡(luò)收斂，提高模型精度。在本具體實施方式的卷積神經(jīng)網(wǎng)絡(luò)中，BN應(yīng)作用在非線性映射前，即對卷積層的輸出wx+b做規(guī)范化。即在本具體實施方式的卷積神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元的輸入為x,然后得到(wx+b),再使用BN，然后用激活函數(shù)，得到該神經(jīng)元的輸出。BN通過歸一化讓激活函數(shù)在線性區(qū)間，降低了對輸入的敏感程度，加大了梯度，有利于模型進行梯度下降，防止梯度彌散。

BN的輸入是x＝{x₁,x₂,...,x_m}以及給定參數(shù)γ、β，所以有：

μ為均值，σ²為方差，為處理成標(biāo)準正態(tài)分布的結(jié)果

其中，ε為大于0的常量。BN的最終輸出為：

所以，使用C.ReLu(x)和標(biāo)準化的操作流程如圖4所示。

在本步驟中的4-5卷積層中，使用Inception操作類型，在4-5層Inception操作類型通過控制卷積核尺寸來提升對小目標(biāo)識別的性能。Inception中的1x1卷積核不僅能夠增加網(wǎng)絡(luò)的非線性，同時能夠保持前一層的感受野(即不損失分辨率)，因此對小物體的檢測有很好的作用。加入1x1卷積后可以降低輸入的通道數(shù)，起到降維的作用，運算復(fù)雜度大大降低。在本具體實施方式中的Inception的構(gòu)成如圖5所示。

2)特征圖級聯(lián)

為了將不同卷積階段的不同尺度的卷積特征層級聯(lián)起來，利用了高層特征的語義信息的同時還考慮到低層特征的細節(jié)紋理信息，在本步驟中將第3_4卷積層進行使用最大池化，5_4卷積層使用雙線性插值算法進行上采樣，然后將兩者與4_4卷積層結(jié)合經(jīng)過1x1的卷積后生成512通道的多尺度輸出特征作為接下來候選區(qū)域網(wǎng)絡(luò)的輸入。這種方法對目標(biāo)檢測的正確率和定位精度都有益處，交通標(biāo)志和車輛的識別系統(tǒng)恰恰是目標(biāo)定位與分類識別相結(jié)合。特征圖級聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)如表2。級聯(lián)后的特征優(yōu)勢為多層抽象，分辨率適于檢測，計算效率高。表2特征圖級聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)表

S202交通標(biāo)志和車輛的定位檢測

交通標(biāo)志和車輛的定位檢測作為整個識別系統(tǒng)的關(guān)鍵步驟之一，它的主要任務(wù)是從輸入圖像中定位包含交通標(biāo)志和車輛的候選區(qū)域，之后將候選區(qū)域輸出到交通標(biāo)志和車輛的分類識別模塊。

(1)采用候選區(qū)域網(wǎng)絡(luò)提取候選區(qū)域

輸入圖像經(jīng)過特征提取網(wǎng)絡(luò)后，為了生成候選區(qū)域框，在最后一個卷積層輸出的卷積特征映射上滑動小網(wǎng)絡(luò)，所述滑動小網(wǎng)絡(luò)全連接到輸入卷積特征映射的nxn的空間窗口上?；瑒哟翱诓僮魇窃诰矸e層特征圖上進行的，維度與在原始圖像上使用滑動窗口相比降低了。每個滑動窗口映射到一個低維向量上。這個向量輸出給兩個同級的全連接的層：包圍盒回歸層和包圍盒分類層。在特征映射層滑動小窗口建立一個小網(wǎng)絡(luò)；分類：目標(biāo)和非目標(biāo)；回歸：包圍盒的位置?；瑒哟翱诘奈恢锰峁┝讼鄬D片的定位信息。包圍盒的回歸提供了相對滑動窗口的調(diào)整后的定位信息，其原理如圖6所示。

在每一個滑動窗口的位置，同時采用多尺度的候選框機制，對應(yīng)了多種尺度和多種長寬比，預(yù)測出k個候選框。所以回歸層有4k個輸出，即k個候選框的坐標(biāo)編碼。分類層通過對每k個候選框使用softmax函數(shù)進行目標(biāo)與非目標(biāo)的概率估計輸出2k個得分。分類給出了每個候選框包含目標(biāo)的可能性大小?；貧w層給出了的k個候選框坐標(biāo)偏移量，通過包圍盒回歸得到預(yù)測的目標(biāo)區(qū)域坐標(biāo)位置。

其中，softmax函數(shù)是將多個標(biāo)量映射為一個概率分布。對于k個標(biāo)量x₁,x₂,...,x_k,softmax函數(shù)定義為：

最終，得到一系列被框選的、帶有目標(biāo)得分的候選區(qū)域。

(2)候選區(qū)域網(wǎng)絡(luò)的損失函數(shù)

為了訓(xùn)練候選區(qū)域網(wǎng)絡(luò)，在本步驟中給每個候選框分配一個二進制的標(biāo)簽(分別對應(yīng)的情況為：是目標(biāo)、不是目標(biāo))。給兩類候選框分配正標(biāo)簽：(1)與某個真實區(qū)域包圍盒有最大IoU(兩個區(qū)域的交集面積與并集面積之比)值；(2)與任意真實區(qū)域包圍盒的IoU值大于0.7的候選框。為所有與真實區(qū)域IoU值低于0.3的候選框分配負標(biāo)簽。候選區(qū)域網(wǎng)絡(luò)的損失函數(shù)定義為：

其中，i是一次批量迭代中選取的候選框索引；p_i為候選框為目標(biāo)的概率，如果候選框是正標(biāo)簽，其對應(yīng)的真實區(qū)域標(biāo)簽p_i^*為1，否則，p_i^*為0；t_i表示預(yù)測的包圍盒的4個參數(shù)化坐標(biāo)向量，t_i^*是相對應(yīng)的真實區(qū)域包圍盒的坐標(biāo)向量；

分類損失C_cls是針對目標(biāo)和非目標(biāo)兩個類別的對數(shù)損失：

其中，i是一次批量迭代中選取的候選框索引；p_i為候選框為目標(biāo)的概率，如果候選框是正標(biāo)簽，其對應(yīng)的真實區(qū)域標(biāo)簽p_i^*為1，否則，p_i^*為0；

對于回歸損失，用來計算，其中S(x)為：

對于回歸，本步驟采用4個坐標(biāo)的參數(shù)：

t_x＝(x-x_a)/w_a t_y＝(y-y_a)/h_a

t_w＝log(w/w_a) t_h＝log(h/h_a)

其中，x,y,w,h指的是包圍盒中心的(x,y)坐標(biāo)、寬、高，變量x,x_a,x^*分別為預(yù)測的包圍盒、候選框、真實區(qū)域包圍盒的x坐標(biāo),變量y,y_a,y^*分別為預(yù)測的包圍盒、候選框、真實區(qū)域包圍盒的y坐標(biāo)；變量w,w_a,w^*分別為預(yù)測的包圍盒、候選框、真實區(qū)域包圍盒的w坐標(biāo)；變量h,h_a,h^*分別為預(yù)測的包圍盒、候選框、真實區(qū)域包圍盒的h坐標(biāo)；N_cls取256，N_reg取2400，λ取10；t_x,t_y,t_w,t_h表示預(yù)測的包圍盒的4個參數(shù)化坐標(biāo)向量，t_x^*，t_y^*，t_w^*，t_h^*是相對應(yīng)的真實區(qū)域包圍盒的坐標(biāo)向量。

S203交通標(biāo)志和車輛的分類識別

交通標(biāo)志和車輛的分類識別的主要任務(wù)是對于上一步最終定位到的交通標(biāo)志和車輛的候選區(qū)域進行特征提取和分類識別，從而得到交通標(biāo)志和車輛的的類型信息，這是識別系統(tǒng)的最后一步，也是算法中最重要的任務(wù)之一。

(1)利用區(qū)域卷積網(wǎng)絡(luò)進行交通標(biāo)志和車輛的識別

針對S202中得到的含有交通標(biāo)志的候選區(qū)域，在交通標(biāo)志的分類識別階段，本發(fā)明采用一種與候選區(qū)域網(wǎng)絡(luò)共享卷積的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)算法進行交通標(biāo)志的識別。訓(xùn)練時，首先將帶有標(biāo)注的數(shù)據(jù)集輸入網(wǎng)絡(luò)中，生成卷積特征圖。隨后將候選區(qū)域映射到該共享的特征圖中，獲取相應(yīng)的特征信息。隨后，對該特征信息進行雙線性插值算法，得到一個大小為7*7的區(qū)域特征池化圖。緊接著，進一步通過全連接獲取一個4096維的特征向量，該向量就是卷積網(wǎng)絡(luò)所提出的每個候選區(qū)域的最終特征。最后，將此特征向量分別輸入到softmax分類與包圍盒回歸中，利用非極大值抑制法判斷出候選區(qū)域的目標(biāo)類別與位置。之后，利用判斷值與實際標(biāo)注值之間的差別得到損失函數(shù)，然后利用反向傳播算法與隨機梯度下降法對網(wǎng)絡(luò)參數(shù)結(jié)構(gòu)進行優(yōu)化，最終得到輸出網(wǎng)絡(luò)。在實驗時，將待測圖像輸入到網(wǎng)絡(luò)中，直接輸出交通標(biāo)志的類別并進行定位。

(2)奇異值分解

快速區(qū)域網(wǎng)絡(luò)中的全連接層會消耗大量時間。而在數(shù)學(xué)中特征值分解非常適合用于提取方陣的特征。由于全連接層中矩陣并不是方陣，此時可使用奇異值分解來獲取矩陣本身的特征。因此本文選擇利用奇異值分解來加快交通標(biāo)志識別系統(tǒng)的識別速度。

設(shè)W是一個大小為u×v的權(quán)重矩陣，可以利用奇異值分解得到，如公式：

W≈U∑_tV^T

式中：U：大小為u×t的一個向量

∑_t：大小為t×t的對角矩陣

V^T：大小為t×v的向量

由|W^TW-λI|＝0求得W^TW的特征值λ。

設(shè)矩陣W的轉(zhuǎn)置為W^T，由如下公式求得W^TW的特征向量v。

(W^TW)v_i＝λ_iv_i

除此之外，還可以根據(jù)公式(3-36)得到奇異值σ，而U則可根據(jù)如下公式得到：

U，∑_t，V^T三個矩陣相乘接近于矩陣W，而這三個矩陣的面積之和要遠遠小于原始的矩陣W，從存儲觀點來看，矩陣面積越小，存儲量就越小。若要壓縮空間來表示原矩陣W，我們存下三個矩陣：U，∑_t，V^T即可。本文利用奇異值分解的方法減少了30％的識別計算耗時。

(3)區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù)

區(qū)域卷積神經(jīng)網(wǎng)絡(luò)可以對輸入?yún)^(qū)域輸出K+1類目標(biāo)(包含背景)的概率以及回歸后的包圍盒坐標(biāo)。對于每一個訓(xùn)練候選區(qū)域定義損失函數(shù)為：

L(p,u,t^u,t^*)＝L_cls(p,u)+[u≥1]L_loc(t^u,t^*)

其中，L_cls(p,u)＝-lgp_u是對候選區(qū)域?qū)?yīng)的真實目標(biāo)類別u的對數(shù)損失。

對于k+1類目標(biāo)有p＝(p₀,p₁,....,p_k)。[u≥1]為示性函數(shù)，當(dāng)候選區(qū)域為背景時，u＝0。L_loc(t^u,t^*)為包圍盒坐標(biāo)的回歸損失，

式中的函數(shù)S為：

其中對于k類目標(biāo)中的每一個都有t^*為候選區(qū)域?qū)?yīng)的真實目標(biāo)包圍盒的參數(shù)坐標(biāo)向量；為k類目標(biāo)中的預(yù)測包圍盒的x坐標(biāo)；為k類目標(biāo)中的預(yù)測包圍盒的y坐標(biāo)；為k類目標(biāo)中的預(yù)測包圍盒的w坐標(biāo)；為k類目標(biāo)中的預(yù)測包圍盒的h坐標(biāo)。

步驟三，車輛的跟蹤

在對圖像中的交通標(biāo)志和車輛的識別后，通過對識別到的車輛使用跟蹤算法來繪制出車輛的行使軌跡。

本發(fā)明利用誤差最小平方和濾波器(Minimum Output Sum of Squared Error filter，MOSSE)，使其在目標(biāo)上的響應(yīng)最大，則如下公式：

其中g(shù)表示響應(yīng)輸出，f表示輸入圖像，h表示濾波模板，表示卷積操作。獲得響應(yīng)輸出g，只需確定濾波器模板h。上式的計算是進行卷積計算，這在計算機中的計算消耗時很大的，因此本文對上式進行快速傅里葉變換(FFT)。如此一來，卷積操作經(jīng)過快速傅里葉變換后就變成了點乘操作，極大的減少了計算量。上式變成如下形式：

為了方便描述，將上式寫成如下形式：H＝F·H^*因此，跟蹤的任務(wù)就是找到H^*，H^*為H的共軛，即：

在實際跟蹤的過程中，考慮到目標(biāo)的外觀變換等因素的影響，同時考慮目標(biāo)的m個圖像作為參考，從而提高濾波器模板的魯棒性，本專利中提出了MOSSE這個模型，其模型公式入下：

其中，⊙表示Hadamard乘積，用于矩陣或向量之間點對點的乘法運算，上式的操作都是元素級別的，只需要使其中的每個元素(w和v是H中每個元素的索引)的MOSSE都最小即可。因此上式可轉(zhuǎn)換為如下形式：

要想得到最小的只需要對上式求偏導(dǎo)，并使偏導(dǎo)為0，即：

得到：

最后得到H為：

上式即為濾波器的模型公式。

為了讓濾波器對與形變、光照等外界影響具有更好的魯棒性，采取了如下的模板更新方式：

B_t＝ηF_t·F_t^*+(1-η)B_t-1

其中，H_t為t時刻濾波器的模版，G_t表示t時刻響應(yīng)輸出，G_t*為G_t的共軛；F_t表示t時刻輸入圖像，F(xiàn)_t*為F_t的共軛。

將濾波器的模型公式分為分子和分母兩個部分分別進行更新，更的參數(shù)為經(jīng)驗常數(shù)η。其中A_t和A_t-1分別表示的是當(dāng)前幀和上一幀的分子；其中B_t和B_t-1分別表示的是當(dāng)前幀和上一幀的分母。

在跟蹤過程中，只需要把以上模板與當(dāng)前幀的圖像做相關(guān)操作，將得到的相應(yīng)結(jié)果中最大的那點對應(yīng)的坐標(biāo)作為目標(biāo)在當(dāng)前幀的位置即可。這相當(dāng)于是在二維平面上平移我們的濾波器模板。

步驟四、車輛違章檢測與辨識系統(tǒng)

由交通標(biāo)志牌的識別得到該交叉口處合法行駛的規(guī)范，再由車輛識別與跟蹤處理后得到該交叉口中各個車輛的行駛軌跡。通過比較交通標(biāo)志牌代表的信息與車輛的行駛軌跡能夠清晰地辨識出哪些車輛違章行駛，并可以將這段記錄車輛違章的視頻保存下來作為違章罰款等交通管理部門執(zhí)法的依據(jù)。例如，識別出代表禁止掉頭(no_turn)的交通標(biāo)志牌的同時，如果該交叉口處某個車輛的行駛軌跡顯示了該車輛是掉頭行駛，則表明該車輛在違章行駛。

本發(fā)明通過基于交叉口監(jiān)控視頻中的交通標(biāo)志牌和車輛的自動識別與跟蹤，進而能夠自動辨識出交叉口處車輛的違章情況，該系統(tǒng)誤檢少、效率高，無需再設(shè)置專用的攝像頭，適用范圍廣，可以避免耗費大量的人力、物力財力。