本發(fā)明屬于圖像識別技術(shù)領(lǐng)域，特別是涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)模型的交通道路標(biāo)志的圖像識別方法。

背景技術(shù)：

隨著經(jīng)濟的發(fā)展，現(xiàn)代交通已經(jīng)非常發(fā)達，而道路交通仍占據(jù)主導(dǎo)地位。但是，交通安全和交通阻塞隨之成了日益嚴重的社會問題，同時也造成了驚人的經(jīng)濟損失。再加上環(huán)境污染和能源等問題，就使得道路交通問題的解決不得不求助于智能技術(shù)。智能交通系統(tǒng)這一研究領(lǐng)域便應(yīng)運而生，并迅速發(fā)展起來。

道路交通標(biāo)志識別是智能交通系統(tǒng)研究領(lǐng)域中尚未解決的難題之一，也是難度較大的實景圖形識別問題之一。雖然道路交通標(biāo)志識別的研究工作已經(jīng)取得了一定的成果，但還存在不少問題和缺陷。主要有：

1、偏重理論研究的比較多，面向應(yīng)用研究的少。許多理論與方法的提出都是建立在標(biāo)準(zhǔn)圖或某種局部情況的基礎(chǔ)上，而沒有考慮到更多實際應(yīng)用中的需求。

2、處理方法比較單一，智能方法少，智能方法與其他方法的結(jié)合很少。目前采用的處理方法也主要使用了神經(jīng)網(wǎng)絡(luò)和遺傳算法等智能方法，許多方法都是對傳統(tǒng)方法的改進或應(yīng)用，但是很少會將智能方法與其他方法相結(jié)合。

3、大多數(shù)實驗對象都是基于標(biāo)準(zhǔn)圖的，針對實景圖的研究較少。判別環(huán)節(jié)以灰度圖為對象的多，以彩色圖為對象的少。

技術(shù)實現(xiàn)要素：

本發(fā)明的主要目的在于克服現(xiàn)有技術(shù)的缺點與不足，提供一種基于圖像顯著性和深度學(xué)習(xí)的交通道路標(biāo)志識別方法，本發(fā)明采用圖像顯著性提取算法對檢測圖像進行處理，高效地提取交通道路標(biāo)志這一顯著性區(qū)域，抑制了非顯著區(qū)域的干擾，更能突出復(fù)雜背景下的顯著目標(biāo)，提高處理效率和準(zhǔn)確率，具有更好的魯棒性，更適用于實際的智能交通道路系統(tǒng)中。

為了達到上述目的，本發(fā)明采用以下技術(shù)方案：

一種基于圖像顯著性和深度學(xué)習(xí)的交通道路標(biāo)志識別方法本發(fā)明的工作過程，包括下述步驟：

s1、下載訓(xùn)練數(shù)據(jù)集；

s2、預(yù)處理，對步驟s1中數(shù)據(jù)集中的圖像進行預(yù)處理；

s3、訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型；

s4、顯著性提取；采用了區(qū)域?qū)Ρ榷确椒?，提取測試圖片中的道路交通標(biāo)志；

s5、將步驟s4中提取到的道路交通標(biāo)志圖片輸入到步驟s3中訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型中，通過卷積神經(jīng)網(wǎng)絡(luò)模型識別出交通道路標(biāo)志圖像的類別。

優(yōu)選的，步驟s1中下載訓(xùn)練數(shù)據(jù)集，數(shù)據(jù)集來自2015年全國模糊圖像處理競賽與內(nèi)容分析競賽中的交通標(biāo)志識別訓(xùn)練集，涉及到的交通標(biāo)識分為警告標(biāo)識、禁令標(biāo)識、指示標(biāo)識、指路標(biāo)識、旅游區(qū)標(biāo)識、道路施工安全標(biāo)識和輔助標(biāo)識7個大類，一共包含72種交通標(biāo)識，標(biāo)識名稱來自國家和公安部的相關(guān)標(biāo)準(zhǔn)，如t型交叉。圖像中標(biāo)識的質(zhì)量包括清晰、模糊、遮擋、陰影和傾斜等5種類型。

優(yōu)選的，步驟s2預(yù)處理如下：

每一張圖像，將圖像縮放到256×256大小，然后從圖像上中下左右5處截取5張大小為224×224的標(biāo)準(zhǔn)尺寸圖像，并將標(biāo)準(zhǔn)尺寸圖像與其相對應(yīng)的類別成對保存，一個“標(biāo)準(zhǔn)尺寸圖像-類別”對作為一個數(shù)據(jù)。

優(yōu)選的，步驟s3卷積神經(jīng)網(wǎng)絡(luò)工作流程如下，輸入層由32×32個感知節(jié)點組成，接收原始圖像a，然后，計算流程在卷積和子抽樣之間交替進行，具體如下所述：

第一隱藏層進行卷積，它由8個特征映射組成，每個特征映射由28×28個神經(jīng)元組成，每個神經(jīng)元指定一個5×5的接受；

第二隱藏層實現(xiàn)子抽樣和局部平均，它同樣由8個特征映射組成，但其每個特征映射由14×14個神經(jīng)元組成。每個神經(jīng)元具有一個2×2的接受域，一個可訓(xùn)練偏置和一個sigmoid激活函數(shù)；可訓(xùn)練系數(shù)和偏置控制神經(jīng)元的操作點；

第三隱藏層進行第二次卷積，它由20個特征映射組成，每個特征映射由10×10個神經(jīng)元組成；該隱藏層中的每個神經(jīng)元可能具有和下一個隱藏層幾個特征映射相連的突觸連接，它以與第一個卷積層相似的方式操作；

第四隱藏層進行第二次子抽樣和局部平均計算；它由20個特征映射組成，但每個特征映射由5×5個神經(jīng)元組成，它以與第一次抽樣相似的方式操作；

第五隱藏層實現(xiàn)卷積的最后階段，它由120個神經(jīng)元組成，每個神經(jīng)元指定一個5×5的接受域；

最后是個全連接層，得到輸出向量；

相繼的計算層在卷積和抽樣之間的連接交替，我們得到一個“雙尖塔”的效果，也就是在每個卷積或抽樣層，隨著空間分辨率下降，與相應(yīng)的前一層相比特征映射數(shù)量增加。卷積之后進行子抽樣的思想是受動物視覺系統(tǒng)中的“簡單的”細胞后面跟著“復(fù)雜的”細胞的想法的啟發(fā)而產(chǎn)生的。

優(yōu)選的，步驟s4對測試圖片進行顯著性處理，采用了區(qū)域?qū)Ρ榷确椒?，即rc方法，將空間關(guān)系整合到區(qū)域等級對比度計算當(dāng)中；用rc方法進行顯著性提取步驟如下：

s4.1、首先將輸入原始圖像a分割成數(shù)個目標(biāo)區(qū)域，再計算區(qū)域等級上的顏色對比度；使用一種基于圖形的圖像分割方法把輸入圖像分割為數(shù)個區(qū)域，為每個區(qū)域建立顏色直方圖，對于一個區(qū)域rk,通過測量其與圖像中的其他區(qū)域的顏色對比度來計算其顯著性，如下：

其中w(ri)是區(qū)域ri的權(quán)值，dr(rk,ri)是兩個區(qū)域間的顏色度量；ri中的像素數(shù)目w(ri)來強調(diào)與更大區(qū)域的顏色對比度；區(qū)域r1和r2之間的顏色距離被定義如下：

為了更好的反映一個顏色與主要顏色之間的差別，我們使用這個顏色出現(xiàn)在這個區(qū)域中的頻率作為這個顏色的權(quán)值，其中f(ck,i)是第i個顏色ck,i在第k個區(qū)域rk中的所有的nk個顏色中的出現(xiàn)頻率。

s4.2、在步驟s4.1的基礎(chǔ)上再引入空間加權(quán)的區(qū)域?qū)Ρ榷龋灰胍粋€包含空間信息的權(quán)重，權(quán)值的設(shè)置是按照區(qū)域空間距離來定義的，空間距離較遠的目標(biāo)區(qū)域被賦予較小的權(quán)值，空間距離較近的目標(biāo)區(qū)域被賦予較大的權(quán)值；以此來增加較近區(qū)域的影響并減少較遠區(qū)域的影響；對于任何區(qū)域rk，基于空間加權(quán)區(qū)域?qū)Ρ榷鹊娘@著性定義如下：

其中，ds(rk,ri)是區(qū)域rk和ri之間的空間距離，σs控制空間權(quán)值的強度；較大的σs值更能減少空間權(quán)值的影響，使得較遠的區(qū)域更有助于當(dāng)前區(qū)域的顯著性，處理之后得到灰度圖像b；

s4.3、提取測試圖像的顯著性區(qū)域，得到包含有交通道路標(biāo)識區(qū)域的灰度圖像b，接下來對灰度圖像b進行二值化得到二值圖像c。

s4.4、將步驟s4.3得到的二值化圖像c中的孔洞填充，得到圖像d，再以圖像d作為掩模，在原始圖像a中保留d對應(yīng)位置為1的部分，其他置為0，得到包含有交通道路標(biāo)志區(qū)域的顯著性圖像。

優(yōu)選的，步驟s4.3中二值化圖像采用全局閾值算法，otsu法對圖像進行二值化處理；otsu是基于整幅圖像的統(tǒng)計特性，實現(xiàn)閾值的自動選取；設(shè)圖像有m個灰度值，取值范圍在0～m-1，在此范圍內(nèi)選取灰度值t，將圖像分成兩組g0和g1，g0包含的像素的灰度值在0～t,g1的灰度值在t+1～m-1，用n表示圖像像素總數(shù)，ni表示灰度值為i的像素的個數(shù)，則每一個灰度值i出現(xiàn)的概率pi為：

g0類出現(xiàn)的概率及均值為：

其中w0為g0類出現(xiàn)的概率，u0為g0類的均值；

g1類出現(xiàn)的概率及均值為：

其中w1為g1類出現(xiàn)的概率，u1為g1類的均值；

則類間方差δ(t)²＝w0w1(u0-u1)²

全局閾值t即是使類間方差最大的t的取值，為：

t＝argmaxδ(t),t∈[0,m-1]

將閾值t將整幅圖像分成前景和背景兩部分，凡是像素的灰度值大于這個閾值的設(shè)成225，小于這個閾值的設(shè)成0；將灰度圖像處理成只有黑白兩色的二值化圖像，最終得到二值化圖像c。

優(yōu)選的，步驟s5根據(jù)訓(xùn)練好模型測試圖像識別效果：將s4中顯著性提取之后包含有道路交通標(biāo)志區(qū)域的圖片輸入s3中訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)中進行測試實驗。

本發(fā)明與現(xiàn)有技術(shù)相比，具有如下優(yōu)點和有益效果：

1、本發(fā)明采用圖像顯著性提取算法對檢測圖像進行處理，高效地提取交通道路標(biāo)志這一顯著性區(qū)域，抑制了非顯著區(qū)域的干擾，更能突出復(fù)雜背景下的顯著目標(biāo)，提高處理效率和準(zhǔn)確率，具有更好的魯棒性，更適用于實際的智能交通道路系統(tǒng)中。

2、本發(fā)明采用卷積神經(jīng)網(wǎng)絡(luò)模型，卷積神經(jīng)網(wǎng)絡(luò)以其局部權(quán)值共享的特殊結(jié)構(gòu)在語音識別和圖像處理方面有著獨特的優(yōu)越性，其布局更接近于實際的生物神經(jīng)網(wǎng)絡(luò)，權(quán)值共享降低了網(wǎng)絡(luò)的復(fù)雜性，特別是多維輸入向量的圖像可以直接輸入網(wǎng)絡(luò)這一特點避免了特征提取和分類過程數(shù)據(jù)重建的復(fù)雜度。

3、本發(fā)明打破現(xiàn)有技術(shù)方法單一，智能方法少的局限，結(jié)合圖像處理方法和深度學(xué)習(xí)方法。

附圖說明

圖1為本發(fā)明實施例具體流程圖；

圖2為本發(fā)明實施例的卷積神經(jīng)網(wǎng)絡(luò)的具體結(jié)構(gòu)；

圖3為本發(fā)明實施例的顯著性提取交通道路標(biāo)志的流程圖。

具體實施方式

下面結(jié)合實施例及附圖對本發(fā)明作進一步詳細的描述，但本發(fā)明的實施方式不限于此。

實施例

如圖1所示為本發(fā)明的方法流程圖，包括圖像顯著性提取，歸一化處理，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型和測試卷積網(wǎng)絡(luò)模型等四部分。具體步驟如下：

1、下載訓(xùn)練數(shù)據(jù)集，數(shù)據(jù)集來自2015年全國模糊圖像處理競賽與內(nèi)容分析競賽中的交通標(biāo)志識別訓(xùn)練集，涉及到的交通標(biāo)識分為警告標(biāo)識、禁令標(biāo)識、指示標(biāo)識、指路標(biāo)識、旅游區(qū)標(biāo)識、道路施工安全標(biāo)識和輔助標(biāo)識7個大類，一共包含72種交通標(biāo)識，標(biāo)識名稱來自國家和公安部的相關(guān)標(biāo)準(zhǔn)，如t型交叉。圖像中標(biāo)識的質(zhì)量包括清晰、模糊、遮擋、陰影和傾斜等5種類型。

2、預(yù)處理，每一張圖像，將圖像縮放到256×256大小，然后從圖像上中下左右5處截取5張大小為224×224的標(biāo)準(zhǔn)尺寸圖像，并將標(biāo)準(zhǔn)尺寸圖像與其相對應(yīng)的類別成對保存，一個“標(biāo)準(zhǔn)尺寸圖像-類別”對作為一個數(shù)據(jù)。

3、訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，卷積神經(jīng)網(wǎng)絡(luò)的輸入層由32×32個感知節(jié)點組成，接收原始圖像a，然后，計算流程在卷積和子抽樣之間交替進行，如圖2所示為本實施例的卷積神經(jīng)網(wǎng)絡(luò)的具體結(jié)構(gòu)，具體結(jié)構(gòu)如下所述：

第一隱藏層進行卷積，它由8個特征映射組成，每個特征映射由28×28個神經(jīng)元組成，每個神經(jīng)元指定一個5×5的接受；

第二隱藏層實現(xiàn)子抽樣和局部平均，它同樣由8個特征映射組成，但其每個特征映射由14×14個神經(jīng)元組成。每個神經(jīng)元具有一個2×2的接受域，一個可訓(xùn)練偏置和一個sigmoid激活函數(shù)；可訓(xùn)練系數(shù)和偏置控制神經(jīng)元的操作點；

第三隱藏層進行第二次卷積，它由20個特征映射組成，每個特征映射由10×10個神經(jīng)元組成；該隱藏層中的每個神經(jīng)元可能具有和下一個隱藏層幾個特征映射相連的突觸連接，它以與第一個卷積層相似的方式操作；

第四隱藏層進行第二次子抽樣和局部平均計算；它由20個特征映射組成，但每個特征映射由5×5個神經(jīng)元組成，它以與第一次抽樣相似的方式操作；

第五隱藏層實現(xiàn)卷積的最后階段，它由120個神經(jīng)元組成，每個神經(jīng)元指定一個5×5的接受域；

最后是個全連接層，得到輸出向量；

相繼的計算層在卷積和抽樣之間的連接交替，我們得到一個“雙尖塔”的效果，也就是在每個卷積或抽樣層，隨著空間分辨率下降，與相應(yīng)的前一層相比特征映射數(shù)量增加。卷積之后進行子抽樣的思想是受動物視覺系統(tǒng)中的“簡單的”細胞后面跟著“復(fù)雜的”細胞的想法的啟發(fā)而產(chǎn)生的。

4、顯著性提取，引用了對比度分析方法：區(qū)域?qū)Ρ榷燃磖c方法，將空間關(guān)系整合到區(qū)域等級對比度計算當(dāng)中。如圖3所示為本實施例的顯著性提取交通道路標(biāo)志的流程圖，顯著性提取具體過程如下如下：

4.1、首先將輸入圖像a分割成數(shù)個目標(biāo)區(qū)域，再計算區(qū)域等級上的顏色對比度。使用一種基于圖形的圖像分割方法把輸入圖像分割為數(shù)個區(qū)域，為每個區(qū)域建立顏色直方圖，對于一個區(qū)域rk,通過測量其與圖像中的其他區(qū)域的顏色對比度來計算其顯著性，如下：

其中s(rk)為圖像r中的區(qū)域rk的顯著值，dr(rk,ri)是空間lab中的區(qū)域rk和區(qū)域ri兩個區(qū)域間的顏色度量，w(ri)是ri中的像素數(shù)目，用以強調(diào)與更大區(qū)域的顏色對比度。

區(qū)域r1和r2之間的顏色距離被定義如下：

為了更好的反映一個顏色與主要顏色之間的差別，我們使用這個顏色出現(xiàn)在這個區(qū)域中的頻率作為這個顏色的權(quán)值，其中f(ck,i)是第i個顏色ck,i在第k個區(qū)域rk中的所有的nk個顏色中的出現(xiàn)頻率,為了提高區(qū)域存儲和計算效率本發(fā)明使用一個稀疏直方圖表示法來高效的存儲和計算。

4.2、在步驟4.1的基礎(chǔ)上再引入空間加權(quán)的區(qū)域?qū)Ρ榷取Ｎ覀円胍粋€包含空間信息的權(quán)重，權(quán)值的設(shè)置是按照區(qū)域空間距離來定義的，空間距離較遠的目標(biāo)區(qū)域被賦予較小的權(quán)值，空間距離較近的目標(biāo)區(qū)域被賦予較大的權(quán)值。以此來增加較近區(qū)域的影響并減少較遠區(qū)域的影響。對于任何區(qū)域rk，基于空間加權(quán)區(qū)域?qū)Ρ榷鹊娘@著性定義如下：

其中，ds(rk,ri)是區(qū)域rk和ri之間的空間距離，兩個區(qū)域之間的空間距離被定義為與各自區(qū)域的重心之間的歐幾里得距離。σs控制空間權(quán)值的強度。較大的σs值更能減少空間權(quán)值的影響，使得較遠的區(qū)域更有助于當(dāng)前區(qū)域的顯著性。在本發(fā)明中我們使用處理之后得到灰度圖像b。

4.3、提取測試圖像的顯著性區(qū)域，得到包含有交通道路標(biāo)識區(qū)域的灰度圖像b，接下來對灰度圖像b進行二值化得到二值圖像c。具體如下：

二值化圖像采用全局閾值算法，otsu法對圖像進行二值化處理；otsu是基于整幅圖像的統(tǒng)計特性，實現(xiàn)閾值的自動選?。辉O(shè)圖像有m個灰度值，取值范圍在0～m-1，在此范圍內(nèi)選取灰度值t，將圖像分成兩組g0和g1，g0包含的像素的灰度值在0～t,g1的灰度值在t+1～m-1，用n表示圖像像素總數(shù)，ni表示灰度值為i的像素的個數(shù)，則每一個灰度值i出現(xiàn)的概率pi為：

g0類出現(xiàn)的概率及均值為：

其中w0為g0類出現(xiàn)的概率，u0為g0類的均值；

g1類出現(xiàn)的概率及均值為：

其中w1為g1類出現(xiàn)的概率，u1為g1類的均值；

則類間方差δ(t)²＝w0w1(u0-u1)²

全局閾值t即是使類間方差最大的t的取值，為：

t＝argmaxδ(t),t∈[0,m-1]

將閾值t將整幅圖像分成前景和背景兩部分，凡是像素的灰度值大于這個閾值的設(shè)成225，小于這個閾值的設(shè)成0；將灰度圖像處理成只有黑白兩色的二值化圖像，最終得到二值化圖像c。

4.4、將步驟4.3得到的二值化圖像c中的孔洞填充，得到圖像d，再以圖像d作為掩模，在原始圖像a中保留d對應(yīng)位置為1的部分，其他置為0，得到包含有交通道路標(biāo)志區(qū)域的顯著性圖像。

5、根據(jù)訓(xùn)練好模型測試圖像識別效果：將步驟4中顯著性提取之后包含有道路交通標(biāo)志區(qū)域的圖片輸入步驟3中訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)中進行測試實驗。

上述實施例為本發(fā)明較佳的實施方式，但本發(fā)明的實施方式并不受上述實施例的限制，其他的任何未背離本發(fā)明的精神實質(zhì)與原理下所作的改變、修飾、替代、組合、簡化，均應(yīng)為等效的置換方式，都包含在本發(fā)明的保護范圍之內(nèi)。