一種基于視覺的交通信號燈自動檢測識別方法
【專利摘要】一種基于視覺的交通信號燈自動檢測識別方法，它是一種利用顏色空間線性濾波和梯度方向直方圖特征相結(jié)合的層級架構(gòu)，通過訓(xùn)練來構(gòu)建我國典型交通信號燈的檢測識別模型。該方法包括訓(xùn)練和測試兩個階段，訓(xùn)練階段完成訓(xùn)練數(shù)據(jù)集的收集、目標(biāo)顏色光譜的確定以及分類模型參數(shù)的確定；測試階段利用訓(xùn)練階段獲得的模型實(shí)現(xiàn)交通信號燈的檢測識別，其包括交通信號燈候選區(qū)域篩選、連通域?yàn)V波、交通信號燈形狀確認(rèn)和交通信號燈指示方向確認(rèn)。本發(fā)明克服了現(xiàn)有技術(shù)中交通信號燈檢測識別實(shí)時性不好、識別精度對光照和模板敏感的缺點(diǎn)，取得了較好的檢測識別效果，其技術(shù)成果在無人駕駛車輛智能決策和輔助駕駛系統(tǒng)領(lǐng)域具有廣闊的應(yīng)用前景。
【專利說明】一種基于視覺的交通信號燈自動檢測識別方法

【技術(shù)領(lǐng)域】：
[0001] 本發(fā)明提供一種基于視覺的交通信號燈自動檢測識別方法，它涉及一種利用顏色 空間線性濾波和梯度方向直方圖特征相結(jié)合的層級架構(gòu)，通過訓(xùn)練來構(gòu)建我國典型交通信 號燈的自動檢測識別方法。屬于特定目標(biāo)檢測識別【技術(shù)領(lǐng)域】。

【背景技術(shù)】：
[0002] 智能交通系統(tǒng)（Intelligent Transportation System,簡稱ITS)作為未來交通系 統(tǒng)的發(fā)展方向，是一種將先進(jìn)的信息技術(shù)、數(shù)據(jù)通訊傳輸技術(shù)、控制技術(shù)、電子傳感技術(shù)及 計(jì)算機(jī)技術(shù)等有效地集成運(yùn)用于整個交通運(yùn)輸管理體系，而建立起的一種在大范圍內(nèi)、全 方位發(fā)揮作用的，實(shí)時、準(zhǔn)確、高效的綜合的運(yùn)輸和管理系統(tǒng)。而無人駕駛車輛作為智能交 通系統(tǒng)中的重要分支，其在提高交通系統(tǒng)的方便性、快捷性和智能性方面的前景之廣闊不 言而喻。而要想無人駕駛車輛在復(fù)雜的城市交通環(huán)境中安全平穩(wěn)行駛，那么交通場景中交 通信號的感知與理解就顯得至關(guān)重要。在城市環(huán)境的交通信號中，交通信號燈為車輛的安 全、高效行駛提供了基本保障。因此，只有為無人駕駛車輛提供魯棒的交通信號燈的檢測和 識別信息，以供中央決策單元的邏輯判斷，才能真正實(shí)現(xiàn)無人駕駛車輛的安全上路，從而做 到無人駕駛車輛與有人駕駛車輛和行人和諧有序通行。
[0003] 交通信號燈的檢測與識別作為圖像處理、計(jì)算機(jī)視覺、模式識別與機(jī)器學(xué)習(xí)等學(xué) 科的典型應(yīng)用，在國內(nèi)外引起了一些學(xué)者的關(guān)注。在目前的基于視覺的交通信號燈的檢測 與識別中，為了滿足實(shí)時性的要求，一股都采用層級檢測思路：即首先通過顏色閾值分割 或形態(tài)學(xué)濾波得到交通信號燈的候選區(qū)域，再在候選區(qū)域中做交通信號燈形狀信息的確認(rèn) 以識別。在候選區(qū)域篩選階段，由于交通信號燈是主動發(fā)光單元，通過相機(jī)得到的視頻圖 像中交通信號燈的發(fā)光單元經(jīng)常顏色失真，因此普通的顏色空間閾值分割方法或者顏色查 表法不但閾值難以確定，而且對光照變化和顏色失真等情況的魯棒性也不好，而形態(tài)學(xué)濾 波方法又只能針對圓形發(fā)光單元，且實(shí)時性不好；在形狀確認(rèn)階段，目前主要采用的為模 板匹配的方法，該方法對模板的選擇具有很大依賴性，且要想做到通用性，模板空間較大， 因此在實(shí)時性和通用性方面均很難達(dá)到較高精度。本發(fā)明針對上述情況，提出一種利用顏 色空間線性濾波篩選交通信號燈候選區(qū)域，利用顏色梯度方向直方圖特征與支持向量機(jī) (SupportVector Machine, SVM)進(jìn)行交通信號燈檢測識別的層級方法。該方法針對我國典 型交通信號燈而設(shè)計(jì)，達(dá)到了較高的檢測識別精度。


【發(fā)明內(nèi)容】
：
[0004] 1、目的：本發(fā)明的目的是提供一種基于視覺的交通信號燈自動檢測識別方法，該 方法利用約束能量最小化（Constrained Energy Minimization, CEM)方法來對交通圖像的 顏色空間進(jìn)行線性濾波，從而得到交通信號燈的候選區(qū)域，再在候選區(qū)域上提取圖像的多 層梯度方向直方圖（Multi-layer Histogram ofGradient，MHoG)特征和梯度方向直方圖 (Histogram ofGradient，HoG)特征，利用SVM線性分類器進(jìn)行交通信號燈的檢測識別工作。
[0005] 2、技術(shù)方案：本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的：
[0006] 本發(fā)明一種基于視覺的交通信號燈自動檢測識別方法，它包括如下兩個階段：訓(xùn) 練階段和測試階段。
[0007] 階段1 :訓(xùn)練階段，該階段包括如下三個步驟：
[0008] 步驟1 :訓(xùn)練數(shù)據(jù)準(zhǔn)備：訓(xùn)練階段是測試階段的基礎(chǔ)，訓(xùn)練階段需要準(zhǔn)備訓(xùn)練數(shù)據(jù) 集。本訓(xùn)練數(shù)據(jù)集來自無人駕駛車輛在城市交通環(huán)境中收集得到。典型交通信號燈按顏 色可分為紅燈、綠燈和黃燈3種。由于黃燈停留時間短，且對無人駕駛車意義不大，故不考 慮黃燈。因此，根據(jù)我國交通法規(guī)對交通信號燈的規(guī)定，對無人駕駛車輛有重要意義的典型 交通信號燈可分為：機(jī)動車信號燈紅燈（圓形發(fā)光單元）、機(jī)動車信號燈綠燈（圓形發(fā)光單 元）、左轉(zhuǎn)方向信號燈紅燈（左箭頭發(fā)光單元）、左轉(zhuǎn)方向信號燈綠燈（左箭頭發(fā)光單元）、 右轉(zhuǎn)方向信號燈紅燈（右箭頭發(fā)光單元）、右轉(zhuǎn)方向信號燈綠燈（右箭頭發(fā)光單元）、直行 信號燈紅燈（上箭頭發(fā)光單元）、直行信號燈綠燈（上箭頭發(fā)光單元）8個類別。
[0009] ⑴訓(xùn)練集S
[0010] 由于本發(fā)明采用顏色空間濾波方法實(shí)現(xiàn)交通信號燈的候選區(qū)域篩選。故在訓(xùn)練階 段的交通信號燈形狀確認(rèn)中，本發(fā)明采用將所有的紅燈歸為一類作為正樣本集SPR，所有綠 燈歸為一類，作為正樣本集SPG，再在交通圖像上隨機(jī)采取非交通信號燈圖像塊作為負(fù)樣本 集SN，并將樣本集SPR、SPG和SN標(biāo)記為訓(xùn)練集S。
[0011] ⑵訓(xùn)練集D
[0012]為了分辨交通信號燈指示的方向信息，在方向確認(rèn)中，本發(fā)明采用將交通信號燈 發(fā)光單元人工截取出來，并去色彩化，將圓形發(fā)光單元作為樣本集DRD，左箭頭發(fā)光單元作 為樣本集DLT，右箭頭發(fā)光單元作為樣本集DRT，上箭頭發(fā)光單元作為樣本集DUP，并將樣本 集DRD、DLT、DRT和DUP標(biāo)記為訓(xùn)練集D。
[0013] 步驟2 :目標(biāo)顏色光譜收集：收集交通信號燈中紅燈、綠燈的發(fā)光單元在圖像中的 RGB值若干，進(jìn)行RGB歸一化，并分別求取其平均值，得到紅燈和綠燈的目標(biāo)顏色向量4 = [drt，drt，火3]和dg = [dgl，dg2, dg3]，以備測試階段求取交通信號燈的候選區(qū)域。
[0014] 步驟3 :特征提取與線性SVM分類器訓(xùn)練
[0015] (1)交通信號燈形狀確認(rèn)
[0016] H0G特征被廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域，由于交通信號燈發(fā)光單元具有強(qiáng)烈的顏 色信息，而燈框與周圍環(huán)境和發(fā)光單元又形成強(qiáng)烈的結(jié)構(gòu)邊緣信息，因此采用MH0G特征能 提取出較豐富的，與負(fù)樣本具有高區(qū)分度的交通信號燈特征。交通信號燈形狀確認(rèn)階段的 訓(xùn)練在訓(xùn)練集S上進(jìn)行。具體提取過程如下：
[0017] 首先將訓(xùn)練集S中的每一個樣本規(guī)范化到WwinXHwin大小的矩形檢測窗口 (Detection Window，DW)，并將RGB圖像轉(zhuǎn)化為灰度圖像產(chǎn)生灰度層Gray，同時將其RGB三 個通道分離出來，從而產(chǎn)生具有四層（Gray，R，G，B)的合成圖像。然后在每一個通道的DW 上劃分Wbl(K;kX Hbl(K;k大小的塊（Block)，再在每一個塊上以步長為stride劃分Weell X Heell大 小的胞元（Cell)，并在每一個胞元上統(tǒng)計(jì)出nbins個方向上的梯度方向直方圖，且在每一 個塊上做歸一化，從而將每一個通道的每一個胞元中的梯度方向直方圖向量串聯(lián)起來形成 MHoG特征。
[0018] 在訓(xùn)練集S上的每一個樣本得到MH0G特征之后，將SPR上提取的所有MH0G特征 向量作為正樣本并標(biāo)記為+1，將SN上提取的所有MHOG特征向量作為負(fù)樣本并標(biāo)記為-1, 輸送至線性SVM分類器中，調(diào)節(jié)參數(shù)，訓(xùn)練出交通信號燈紅燈的分類器。同理，將SPG上提 取的所有MH0G特征向量作為正樣本并標(biāo)記為+1，將SN上提取的所有MH0G特征向量作為負(fù) 樣本并標(biāo)記為-1，輸送至線性SVM分類器中，調(diào)節(jié)參數(shù)，訓(xùn)練出交通信號燈綠燈的分類器。 從而完成交通信號燈形狀確認(rèn)的訓(xùn)練過程。
[0019] ⑵交通信號燈指示方向確認(rèn)
[0020] 交通信號燈指示方向確認(rèn)是在交通信號燈形狀確認(rèn)的基礎(chǔ)上完成的，其特征提取 采用灰度圖像上的H0G特征，分類器的訓(xùn)練采用One Vs All的方案。所有訓(xùn)練工作在訓(xùn)練 集D上完成。具體流程如下：
[0021] 首先將樣本集DRD上的所有H0G特征向量作為正樣本并標(biāo)記為+1，將樣本集DLT、 DRT和DUP上的所有H0G特征向量作為負(fù)樣本并標(biāo)記為-1，輸送至線性SVM分類器中，調(diào)節(jié) 參數(shù)，訓(xùn)練出圓形發(fā)光單元的分類器；然后將樣本集DUP上的所有H0G特征向量作為正樣本 并標(biāo)記為+1，將樣本集DLT和DRT上的所有H0G特征向量作為負(fù)樣本并標(biāo)記為-1，輸送至 線性SVM分類器中，調(diào)節(jié)參數(shù)，訓(xùn)練出上箭頭發(fā)光單元的分類器；最后將樣本集DLT上的所 有H0G特征向量作為正樣本并標(biāo)記為+1，將樣本集DRT上的所有H0G特征向量作為負(fù)樣本 并標(biāo)記為-1，輸送至線性SVM分類器中，調(diào)節(jié)參數(shù)，訓(xùn)練出左箭頭發(fā)光單元和右箭頭發(fā)光單 元的分類器。
[0022] 階段2 :測試階段
[0023] 測試階段即是利用訓(xùn)練階段得到的模型進(jìn)行交通信號燈檢測識別階段，該階段包 括如下五個步驟：
[0024] 步驟1 :計(jì)算機(jī)讀取數(shù)據(jù)。首先將相機(jī)拍攝的具有3通道的RGB視頻數(shù)據(jù)利用 OpenCV開源庫逐幀讀入計(jì)算機(jī)內(nèi)存中，為后續(xù)算法提供數(shù)據(jù)源。本實(shí)驗(yàn)采用的測試數(shù)據(jù)是 無人駕駛測試車輛采集到的與訓(xùn)練數(shù)據(jù)集不相同的幀率為25fps，圖像大小為1000*1000 的RGB三通道視頻數(shù)據(jù)。
[0025] 步驟2 :交通信號燈候選區(qū)域篩選。對每一幅待檢測的交通圖像，設(shè)其寬和高分別 為w和H,則該圖像具有N = WXH個像素，并設(shè)每個像素為Pi = (ι> gp h), i = 1,2,.., N,其中g(shù)p h分別為該像素的R, G, B通道的值。
[0026] (1)圖像RGB歸一化。首先將采集到原始RGB圖像進(jìn)行RGB歸一化，得到歸一化的 RGB圖像，即對每個像素口1= (;^4，131)，1 = 1，2，..，1實(shí)施以下計(jì)算得到口/=^/, Pi2 ，Pi3 )

【權(quán)利要求】
1. 一種基于視覺的交通信號燈自動檢測識別方法，其特征在于：它包括如下兩個階 段：訓(xùn)練階段和測試階段； 訓(xùn)練階段包括如下三個步驟： 步驟1 :訓(xùn)練數(shù)據(jù)準(zhǔn)備：訓(xùn)練階段需要準(zhǔn)備訓(xùn)練數(shù)據(jù)集，該訓(xùn)練數(shù)據(jù)集來自無人駕駛車 輛在城市交通環(huán)境中收集得到；典型交通信號燈按顏色分為紅燈、綠燈和黃燈3種，由于黃 燈停留時間短，且對無人駕駛車意義不大，故不考慮黃燈；根據(jù)我國交通法規(guī)對交通信號燈 的規(guī)定，對無人駕駛車輛有重要意義的典型交通信號燈分為：機(jī)動車信號燈紅燈即圓形發(fā) 光單元、機(jī)動車信號燈綠燈即圓形發(fā)光單元、左轉(zhuǎn)方向信號燈紅燈即左箭頭發(fā)光單元、左轉(zhuǎn) 方向信號燈綠燈即左箭頭發(fā)光單元、右轉(zhuǎn)方向信號燈紅燈即右箭頭發(fā)光單元、右轉(zhuǎn)方向信 號燈綠燈即右箭頭發(fā)光單元、直行信號燈紅燈即上箭頭發(fā)光單元、直行信號燈綠燈即上箭 頭發(fā)光單元8個類別； ⑴訓(xùn)練集S 采用顏色空間濾波方法實(shí)現(xiàn)交通信號燈的候選區(qū)域篩選，故在訓(xùn)練階段的交通信號 燈形狀確認(rèn)中，采用將所有的紅燈歸為一類作為正樣本集SPR，所有綠燈歸為一類，作為正 樣本集SPG，再在交通圖像上隨機(jī)采取非交通信號燈圖像塊作為負(fù)樣本集SN，并將樣本集 SPR、SPG和SN標(biāo)記為訓(xùn)練集S ; ⑵訓(xùn)練集D 為了分辨交通信號燈指示的方向信息，在方向確認(rèn)中，采用將交通信號燈發(fā)光單元人 工截取出來，并去色彩化，將圓形發(fā)光單元作為樣本集DRD，左箭頭發(fā)光單元作為樣本集 DLT，右箭頭發(fā)光單元作為樣本集DRT，上箭頭發(fā)光單元作為樣本集DUP，并將樣本集DRD、 DLT、DRT和DUP標(biāo)記為訓(xùn)練集D ; 步驟2 :目標(biāo)顏色光譜收集：收集交通信號燈中紅燈、綠燈的發(fā)光單元在圖像中的RGB 值復(fù)數(shù)個，進(jìn)行RGB歸一化，并分別求取其平均值，得到紅燈和綠燈的目標(biāo)顏色向量4 = [drt，drt，火3]和dg = [dgl，dg2, dg3]，以備測試階段求取交通信號燈的候選區(qū)域； 步驟3 :特征提取與線性SVM分類器訓(xùn)練 (1)交通信號燈形狀確認(rèn) HOG特征被廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域，由于交通信號燈發(fā)光單元具有強(qiáng)烈的顏色信 息，而燈框與周圍環(huán)境和發(fā)光單元又形成強(qiáng)烈的結(jié)構(gòu)邊緣信息，因此采用MH0G特征能提取 出與負(fù)樣本具有高區(qū)分度的交通信號燈特征；交通信號燈形狀確認(rèn)階段的訓(xùn)練在訓(xùn)練集 S 上進(jìn)行，具體提取過程如下： 首先將訓(xùn)練集S中的每一個樣本規(guī)范化到WwinXHwin大小的矩形檢測窗口即Detection Window，DW，并將RGB圖像轉(zhuǎn)化為灰度圖像產(chǎn)生灰度層Gray，同時將其RGB三個通道分離出 來，從而產(chǎn)生具有四層Gray，R，G，B的合成圖像，然后在每一個通道的DW上劃分W bl(K;kXHbl()ck 大小的塊Block，再在每一個塊上以步長為stride劃分WeellXHeell大小的胞元Cell，并在 每一個胞元上統(tǒng)計(jì)出nbins個方向上的梯度方向直方圖，且在每一個塊上做歸一化，從而 將每一個通道的每一個胞元中的梯度方向直方圖向量串聯(lián)起來形成MHoG特征； 在訓(xùn)練集S上的每一個樣本得到MH0G特征之后，將SPR上提取的所有MH0G特征向量 作為正樣本并標(biāo)記為+1，將SN上提取的所有MH0G特征向量作為負(fù)樣本并標(biāo)記為-1，輸送 至線性SVM分類器中，調(diào)節(jié)參數(shù)，訓(xùn)練出交通信號燈紅燈的分類器；同理，將SPG上提取的所 有MHOG特征向量作為正樣本并標(biāo)記為+1，將SN上提取的所有MHOG特征向量作為負(fù)樣本并 標(biāo)記為-1，輸送至線性SVM分類器中，調(diào)節(jié)參數(shù)，訓(xùn)練出交通信號燈綠燈的分類器，從而完 成交通信號燈形狀確認(rèn)的訓(xùn)練過程； (2)交通信號燈指示方向確認(rèn) 交通信號燈指示方向確認(rèn)是在交通信號燈形狀確認(rèn)的基礎(chǔ)上完成的，其特征提取采用 灰度圖像上的HOG特征，分類器的訓(xùn)練采用One Vs All的方案，所有訓(xùn)練工作在訓(xùn)練集D上 完成；具體流程如下： 首先將樣本集DRD上的所有HOG特征向量作為正樣本并標(biāo)記為+1，將樣本集DLT、DRT 和DUP上的所有HOG特征向量作為負(fù)樣本并標(biāo)記為-1，輸送至線性SVM分類器中，調(diào)節(jié)參 數(shù)，訓(xùn)練出圓形發(fā)光單元的分類器；然后將樣本集DUP上的所有HOG特征向量作為正樣本并 標(biāo)記為+1，將樣本集DLT和DRT上的所有HOG特征向量作為負(fù)樣本并標(biāo)記為-1，輸送至線 性SVM分類器中，調(diào)節(jié)參數(shù)，訓(xùn)練出上箭頭發(fā)光單元的分類器；最后將樣本集DLT上的所有 HOG特征向量作為正樣本并標(biāo)記為+1，將樣本集DRT上的所有HOG特征向量作為負(fù)樣本并 標(biāo)記為-1，輸送至線性SVM分類器中，調(diào)節(jié)參數(shù)，訓(xùn)練出左箭頭發(fā)光單元和右箭頭發(fā)光單元 的分類器； 測試階段包括如下五個步驟： 步驟1 :計(jì)算機(jī)讀取數(shù)據(jù)；首先將相機(jī)拍攝的具有3通道的RGB視頻數(shù)據(jù)利用OpenCV 開源庫逐幀讀入計(jì)算機(jī)內(nèi)存中，為后續(xù)算法提供數(shù)據(jù)源，實(shí)驗(yàn)采用的測試數(shù)據(jù)是無人駕駛 測試車輛采集到的與訓(xùn)練數(shù)據(jù)集不相同的幀率為25fps，圖像大小為1000*1000的RGB三通 道視頻數(shù)據(jù)； 步驟2 :交通信號燈候選區(qū)域篩選；對每一幅待檢測的交通圖像，設(shè)其寬和高分別為w 和H，則該圖像具有N = WXH個像素，并設(shè)每個像素為Pi = (i^gpbi)，i = 1，2，..，N，其 中A, gp h分別為該像素的R, G, B通道的值； (1) 圖像RGB歸一化；首先將采集到原始RGB圖像進(jìn)行RGB歸一化，得到歸一化的RGB 圖像，即對每個像素口1=(1>8?，1 = 1，2，..，1實(shí)施以下計(jì)算得到口/=^/412/， Pi3，)
(2) 利用CEM算法計(jì)算顏色空間濾波向量；設(shè)待求三維濾波向量為w，事先收集的目標(biāo) 顏色向量為d，圖像中每一個像素 p/ =(Pi/，pj，pj )經(jīng)過濾波之后的能量輸出為：
于是，整幅圖像經(jīng)過濾波之后的平均能量輸出為：
其中，
為歸一化RGB圖像的自相關(guān)矩陣，于是，通過求解如下最優(yōu) 化問題來得到待求濾波向量w : min wTRw s. ?. d w - 1 于是得到w的封閉最優(yōu)解：
(3)對歸一化RGB圖像濾波，得到候選區(qū)域；通過（2)求得該圖像的之后，對歸一 化RGB圖像中每一個像素 p/用進(jìn)行線性濾波，從而得到交通信號燈發(fā)光區(qū)域的候選區(qū) 域； 步驟3 :連通域?yàn)V波；在經(jīng)過顏色空間濾波得到初步候選區(qū)域之后，對候選連通域進(jìn) 行連通域分析，實(shí)現(xiàn)連通域?yàn)V波，該步驟主要完成對于連通域面積和連通域長寬比例的濾 波； 步驟4 :交通信號燈形狀確認(rèn)；在得到連通域?yàn)V波之后，將候選區(qū)域在不同尺度上進(jìn)行 與訓(xùn)練階段同樣的大小歸一化之后，采用與訓(xùn)練階段同樣的參數(shù)提取MHOG特征，并用訓(xùn)練 階段得到的SVM分類器系數(shù)對候選區(qū)域進(jìn)行交通信號燈的形狀確認(rèn)，以完成交通信號燈的 檢測工作； 步驟5 :交通信號燈指示方向信息確認(rèn)；在步驟4的基礎(chǔ)上，根據(jù)顏色空間濾波得到的 發(fā)光單元位置確定的矩形區(qū)域上完成與訓(xùn)練階段同樣的交通信號燈方向確認(rèn)部分的HOG 特征提取，并用訓(xùn)練得到的SVM分類器系數(shù)得到交通信號燈的指示方向信息，以完成交通 信號燈的識別工作。
【文檔編號】G08G1/0967GK104050827SQ201410250147
【公開日】2014年9月17日 申請日期:2014年6月6日 優(yōu)先權(quán)日:2014年6月6日
【發(fā)明者】史振威, 陳權(quán), 鄒征夏, 于新然, 張長水 申請人:北京航空航天大學(xué)