基于多重視覺信息的車輛特征定位及匹配方法
【專利摘要】本發(fā)明提供一種基于多重視覺信息的車輛特征定位及匹配方法，包括以下部分：S01、根據(jù)車牌中字高比例建立測試車輛圖像特征初步區(qū)域；S02、根據(jù)顏色紋理信息建立測試車輛圖像中特征的二次定位；S03、根據(jù)局部特征匹配建立測試車輛圖像中特征的最終定位：提取主車圖像特征區(qū)域與測試車輛圖像中特征的二次定位區(qū)域中的局部特征算子，完成最近鄰匹配，并建立匹配點(diǎn)之間的空間幾何限制，刪除錯誤匹配，再根據(jù)匹配結(jié)果完成測試車輛圖像中特征的最終定位；S04、通過融合局部特征相似性和全局有向梯度直方圖特征相似性，獲取主車與測試車輛的特征相似度。本發(fā)明能夠準(zhǔn)確的進(jìn)行車輛特征的定位及匹配，為公安部門通過信息化技術(shù)抓取嫌疑車輛提供技術(shù)支持。
【專利說明】基于多重視覺信息的車輛特征定位及匹配方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像識別【技術(shù)領(lǐng)域】，尤其是一種基于多重視覺信息的車輛特征定位及 匹配方法。

【背景技術(shù)】
[0002] 隨著人工智能、自動控制和模式識別等領(lǐng)域的發(fā)展，公安交通部門的信息化電子 監(jiān)測系統(tǒng)應(yīng)運(yùn)而生，并取得巨大發(fā)展。但目前嫌疑車輛的判別工作主要依靠人工排查，費(fèi)時 費(fèi)力且效果不佳。
[0003] 通過在嫌疑車主車圖像中框定嫌疑車輛的某區(qū)域特征，通過圖像分析技術(shù)在卡口 圖像中不斷定位及匹配該特征是進(jìn)行自動嫌疑車輛判別的有效手段，但由于樣本的單一性 和實(shí)際檢測環(huán)境的多變性，傳統(tǒng)的基于視覺分析的算法難以完成高精度判別。因此，本發(fā)明 提供一種基于多重視覺信息的特征定位及匹配方法，解決樣本單一與環(huán)境多變的矛盾，提 高嫌疑車輛檢測精度。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于提供一種基于多重視覺信息的車輛特征定位及匹配方法，在嫌 疑車輛區(qū)域特征已知的條件下，通過獲取交通卡口圖像，利用多重圖像分析技術(shù)，逐步細(xì)化 特征定位信息，建立局部特征匹配與全局特征匹配及融合機(jī)制，實(shí)時完成通過各交通卡口 的嫌疑車輛判別工作，為交通管理及刑偵系統(tǒng)提供技術(shù)支持。本發(fā)明采用的技術(shù)方案是：
[0005] -種基于多重視覺信息的車輛特征定位及匹配方法，包括以下部分：
[0006] S01、根據(jù)車牌中字高比例建立測試車輛圖像特征初步區(qū)域：在車牌定位的基礎(chǔ) 上，提取車牌中字符的高度，在已知主車圖像特征區(qū)域的基礎(chǔ)上，通過計(jì)算測試車輛圖像車 牌字符高度與主車圖像車牌字符高度的比例，獲得測試車輛圖像特征初步區(qū)域；
[0007] S02、根據(jù)顏色紋理信息建立測試車輛圖像中特征的二次定位：在測試車輛圖像特 征初步區(qū)域內(nèi)進(jìn)行區(qū)域圖像的紋理分析，獲取顏色紋理區(qū)域作為測試車輛圖像中特征區(qū)域 的二次定位結(jié)果；
[0008] S03、根據(jù)局部特征匹配建立測試車輛圖像中特征的最終定位：提取主車圖像特征 區(qū)域與測試車輛圖像中特征的二次定位區(qū)域中的局部特征算子，完成最近鄰匹配，并建立 匹配點(diǎn)之間的空間幾何限制，刪除錯誤匹配，再根據(jù)匹配結(jié)果完成測試車輛圖像中特征的 最終定位；
[0009] S04、通過融合局部特征相似性和全局有向梯度直方圖特征相似性，獲取主車圖像 與測試車輛圖像的特征相似度。
[0010] 本發(fā)明的優(yōu)點(diǎn)在于，本發(fā)明提出的方法，對于捕獲的交通卡口圖像，可以快速定位 指定區(qū)域特征，并且能夠準(zhǔn)確的進(jìn)行特征的匹配，大大提高了嫌疑車輛判別的準(zhǔn)確度和快 速性。

【專利附圖】

【附圖說明】
[0011] 圖1為本發(fā)明的主要流程圖。

【具體實(shí)施方式】
[0012] 下面結(jié)合具體附圖和實(shí)施例對本發(fā)明作進(jìn)一步說明。
[0013] 如圖1所示：
[0014] 本發(fā)明所提出的基于前臉特征的車型識別方法，包括以下部分：
[0015] S01、根據(jù)車牌中字高比例建立測試車輛圖像特征初步區(qū)域：在車牌定位的基礎(chǔ) 上，提取車牌中字符的高度，在已知主車圖像特征區(qū)域的基礎(chǔ)上，通過計(jì)算測試車輛圖像車 牌字符高度與主車圖像車牌字符高度的比例，獲得測試車輛圖像特征初步區(qū)域；
[0016] 所述S01具體為：
[0017] (1)對主車車牌圖像ΙΗ。采用自適應(yīng)閾值進(jìn)行二值化，獲得主車車牌二值圖像 BW^ ;
[0018] ⑵采用車牌定位方法從測試車輛圖像中獲取測試車牌圖像。，對測試車牌圖像 Jii。采用自適應(yīng)閾值進(jìn)行二值化，獲得測試車牌二值圖像，因?yàn)榻厝≤嚺茀^(qū)域的方法 不是本發(fā)明的重點(diǎn)，本發(fā)明介紹從略；
[0019] (3)提取主車車牌二值圖像忍好怎1中每一列白色像素的個數(shù)，取出現(xiàn)次數(shù)最多的 個數(shù)作為主車車牌字符高度;
[0020] (4)提取測試車牌二值圖像中每一列白色像素的個數(shù)，取出現(xiàn)次數(shù)最多的 個數(shù)作為測試車牌字符高度;
[0021] (5)計(jì)算測試車輛圖像車牌字符高度與主車圖像車牌字符高度的比例 ratio, =Η^/Η\!：;
[0022] (6)已知主車圖像車牌區(qū)域左上角點(diǎn)坐標(biāo)為（4，地），特征區(qū)域左 上角坐標(biāo)為（X(l，^)，區(qū)域高度為tv長度為W(l，測試車輛圖像車牌區(qū)域左上角 點(diǎn)坐標(biāo)為C4,，34·)，則測試車輛圖像特征初步區(qū)域（Xp Wp h)計(jì)算如下： χι = x)ic + ratio,； (.ν? - ) , yi = yjic + ratioh(y〇 - yt) , = ratioh ?Ψο，^ = ratioh *h〇, xp yu wp h分別為測試車輛圖像特征初步區(qū)域左上角坐標(biāo)、長度和高度；
[0023] (7)根據(jù)測試車輛圖像特征初步區(qū)域坐標(biāo)及尺寸，在測試車輛圖像中進(jìn)行截取，獲 得測試車輛圖像特征初步區(qū)域圖像Λ;
[0024] S02、根據(jù)顏色紋理信息建立測試車輛圖像中特征的二次定位：在測試車輛圖像特 征初步區(qū)域內(nèi)進(jìn)行區(qū)域圖像的紋理分析，獲取顏色紋理區(qū)域作為測試車輛圖像中特征區(qū)域 的二次定位結(jié)果；
[0025] 在本實(shí)施方式中，所述步驟S02具體為：
[0026] (1)針對測試車輛圖像特征初步區(qū)域圖像Λ，將其從RGB顏色空間轉(zhuǎn)化到Y(jié)CbCr顏 色空間，得到Y(jié)分量圖像，Cb分量圖像/產(chǎn)>和Cr分量圖像 ；
[0027] (2)對Y分量圖像·7Γ}進(jìn)行閾值為0. 5的二值化處理，得到Y(jié)分量二值圖像 BW{{Y) 1
[0028] (3)對Cb分量圖像才&)中的元素進(jìn)行從小到大的排序，取前（h'W/2個值的平 均值作為Cb分量圖像的二值化閾值，并做二值化處理，得到Cb分量二值圖像;
[0029] (4)對Cr分量圖像中的元素進(jìn)行從小到大的排序，取前（hiXW/2個值的平 均值作為Cr分量圖像的二值化閾值，并做二值化處理，得到Cr分量二值圖像;
[0030] (5)融合Y分量、Cb分量和Cr分量二值化圖像，得到融合二值圖像 BW = BWX(Y) Π (BW^ UBW^);
[0031] (6)對融合二值圖像BW中的每一個斑點(diǎn)ki，若其面積和長寬比與主車圖像區(qū)域相 似，則記錄該斑點(diǎn)區(qū)域roi = [X y W H],其中（x，y)為該斑點(diǎn)左上角點(diǎn)的坐標(biāo)，（W，H)為斑 點(diǎn)的長和高，并退出斑點(diǎn)循環(huán)。
[0032] (7)將roi作為測試車輛圖像中特征區(qū)域的二次定位結(jié)果，獲得測試車輛特征區(qū) 域圖像J 2;
[0033] S03、根據(jù)局部特征匹配建立測試車輛圖像中特征的最終定位：提取主車圖像特征 區(qū)域與測試車輛圖像中特征的二次定位區(qū)域中的局部特征算子，完成最近鄰匹配，并建立 匹配點(diǎn)之間的空間幾何限制，刪除錯誤匹配，再根據(jù)匹配結(jié)果完成測試車輛圖像中特征的 最終定位；
[0034] 在本實(shí)施方式中，所述步驟S03具體為：
[0035] (1)從主車特征區(qū)域圖像I中提取局部特征點(diǎn)集合L:;
[0036] (2)從測試車輛特征區(qū)域圖像J2中提取局部特征點(diǎn)集合b ;
[0037] (3)利用SIFT匹配法獲取h和LT的初始匹配集合A = {(ai，a '山1 = 1，2,…，qA}，其中qA為初始匹配個數(shù)；
[0038] (4)建立匹配間的空間幾何約束，消除初始匹配集合A中的錯誤匹配，得到h和b 的最終匹配B = {(byb'.)，j = 1，2，···，％}，其中qB為最終匹配個數(shù)；
[0039] (5)根據(jù)最終匹配獲取測試車輛圖像中特征的最終定位區(qū)域圖像J3 ;
[0040] 其中所述S03的步驟（5)的具體實(shí)現(xiàn)步驟如下：
[0041] (a)計(jì)算pw = w'/w, ph = h'/h，其中h表示bp /?兩點(diǎn)在y方向上的距離，w表示 心心,兩點(diǎn)在X方向上的距離，h'表示V 兩點(diǎn)在y方向上的距離，w'表示V 兩點(diǎn)在X方向上的距離，其中辦如)是主車特征區(qū)域圖像I中的兩點(diǎn)，(?Λ,)是與(A A,)相 對應(yīng)的測試車輛特征區(qū)域圖像J2中的兩點(diǎn)；
[0042] (b)計(jì)算測試車輛圖像中特征的最終定位區(qū)域（xt, yt, wt, ht)，其中 Xi =x'bl + pw(x〇-xbi),乃=A + pA(y。- 3? )，wt = pw · w。，ht = ph · h。；xt，yt，wt，ht 分別為 最終定位區(qū)域的左上角坐標(biāo)、長度和商度；
[0043] (c)獲得測試車輛圖像中特征的最終定位區(qū)域圖像J3。
[0044] S04、通過融合局部特征相似性和全局有向梯度直方圖特征相似性，獲取主車圖像 與測試車輛圖像的特征相似度。
[0045] 在本實(shí)施方式中，所述步驟S04具體為：
[0046] (1)計(jì)算局部特征匹配度

【權(quán)利要求】
1. 一種基于多重視覺信息的車輛特征定位及匹配方法，其特征在于，包括以下部分： 501、 根據(jù)車牌中字高比例建立測試車輛圖像特征初步區(qū)域：在車牌定位的基礎(chǔ)上，提 取車牌中字符的高度，在已知主車圖像特征區(qū)域的基礎(chǔ)上，通過計(jì)算測試車輛圖像車牌字 符高度與主車圖像車牌字符高度的比例，獲得測試車輛圖像特征初步區(qū)域； 502、 根據(jù)顏色紋理信息建立測試車輛圖像中特征的二次定位：在測試車輛圖像特征初 步區(qū)域內(nèi)進(jìn)行區(qū)域圖像的紋理分析，獲取顏色紋理區(qū)域作為測試車輛圖像中特征區(qū)域的二 次定位結(jié)果； 503、 根據(jù)局部特征匹配建立測試車輛圖像中特征的最終定位：提取主車圖像特征區(qū)域 與測試車輛圖像中特征的二次定位區(qū)域中的局部特征算子，完成最近鄰匹配，并建立匹配 點(diǎn)之間的空間幾何限制，刪除錯誤匹配，再根據(jù)匹配結(jié)果完成測試車輛圖像中特征的最終 定位； 504、 通過融合局部特征相似性和全局有向梯度直方圖特征相似性，獲取主車圖像與測 試車輛圖像的特征相似度。
2. 如權(quán)利要求1所述的基于多重視覺信息的車輛特征定位及匹配方法，其特征在于， 所述S01具體包括下述步驟： (1) 對主車車牌圖像Iu。采用自適應(yīng)閾值進(jìn)行二值化，獲得主車車牌二值圖像; (2) 對測試車牌圖像Ju。采用自適應(yīng)閾值進(jìn)行二值化，獲得測試車牌二值圖像; (3) 提取主車車牌二值圖像5%[;)中每一列白色像素的個數(shù)，取出現(xiàn)次數(shù)最多的個數(shù) 作為主車車牌字符高度//以； (4) 提取測試車牌二值圖像中每一列白色像素的個數(shù)，取出現(xiàn)次數(shù)最多的個數(shù) 作為測試車牌字符高度; (5) 計(jì)算測試車輛圖像車牌字符高度與主車圖像車牌字符高度的比例 ratio, = II)!：; (6) 已知主車圖像車牌區(qū)域左上角點(diǎn)坐標(biāo)為?,尨），特征區(qū)域左上角 坐標(biāo)為（χ〇, y。)，區(qū)域高度為k長度為^，測試車輛圖像車牌區(qū)域左上角點(diǎn) 坐標(biāo)為，則測試車輛圖像特征初步區(qū)域Up y:，Wp h)計(jì)算如下： Xi =x}ic + ratioi,(x〇 ^ yi = yjic +ratioh(y〇 - v&) ? = ratiOh^Wgjh! = ratioh*h〇, Xp yu Wp hi分別為測試車輛圖像特征初步區(qū)域左上角坐標(biāo)、長度和高度； (7) 根據(jù)測試車輛圖像特征初步區(qū)域坐標(biāo)及尺寸，在測試車輛圖像中進(jìn)行截取，獲得測 試車輛圖像特征初步區(qū)域圖像Λ。
3. 如權(quán)利要求2所述的基于多重視覺信息的車輛特征定位及匹配方法，其特征在于， 所述S02具體包括下述步驟： (1) 針對測試車輛圖像特征初步區(qū)域圖像Λ，將其從RGB顏色空間轉(zhuǎn)化到Y(jié)CbCr顏色 空間，得到Y(jié)分量圖像，Cb分量圖像片和Cr分量圖像片"； (2) 對Y分量圖像進(jìn)行閾值為0. 5的二值化處理，得到Y(jié)分量二值圖像BfF尸> ; (3) 對Cb分量圖像刀?中的元素進(jìn)行從小到大的排序，取前（hiXWi)/2個值的平均值 作為Cb分量圖像的二值化閾值，并做二值化處理，得到Cb分量二值圖像; (4) 對Cr分量圖像J廣1中的元素進(jìn)行從小到大的排序，取前（hiXWi)/2個值的平均值 作為Cr分量圖像的二值化閾值，并做二值化處理，得到Cr分量二值圖像； (5) 融合Υ分量、Cb分量和Cr分量二值化圖像，得到融合二值圖像 β妒=門（忍灰/⑶ ; (6) 對融合二值圖像BW中的每一個斑點(diǎn)ki，若其面積和長寬比與主車圖像區(qū)域相似， 則記錄該斑點(diǎn)區(qū)域roi = [X y W H],其中（x，y)為該斑點(diǎn)左上角點(diǎn)的坐標(biāo)，（W，H)為斑點(diǎn) 的長和高，并退出斑點(diǎn)循環(huán)。 (7) 將roi作為測試車輛圖像中特征區(qū)域的二次定位結(jié)果，獲得測試車輛特征區(qū)域圖 像J2。
4. 如權(quán)利要求3所述的基于多重視覺信息的車輛特征定位及匹配方法，其特征在于， 所述S03具體包括下述步驟： (1) 從主車特征區(qū)域圖像I中提取局部特征點(diǎn)集合L:; (2) 從測試車輛特征區(qū)域圖像J2中提取局部特征點(diǎn)集合"； ⑶利用SIFT匹配法獲取h和LT的初始匹配集合A = {(ai，a' J，i = 1，2,…，qA}， 其中qA為初始匹配個數(shù)； (4) 建立匹配間的空間幾何約束，消除初始匹配集合A中的錯誤匹配，得到h和"的 最終匹配B = {(bj，b' p，j = 1，2,…，qB}，其中qB為最終匹配個數(shù)； (5) 根據(jù)最終匹配獲取測試車輛圖像中特征的最終定位區(qū)域圖像J3。
5. 如權(quán)利要求4所述的基于多重視覺信息的車輛特征定位及匹配方法，其特征在于， 所述S04具體包括下述步驟： ⑴計(jì)算局部特征匹配度&| -《），其中norm為取二范數(shù)操作符； qs /=ι (2) 計(jì)算主車特征區(qū)域圖像I的有向梯度直方圖特征氏和測試車輛特征區(qū)域圖像叉的 有向梯度直方圖特征Ητ; (3) 計(jì)算全局有向梯度直方圖特征相似度Siv2 znorm^-Hj); (4) 利用加權(quán)融合獲取主車圖像與測試車輛圖像的特征相似度Siv = 0· eXSiVi+0. 4XSiv2。
6. 如權(quán)利要求4所述的基于多重視覺信息的車輛特征定位及匹配方法，其特征在于： 所述S03的步驟（5)的具體實(shí)現(xiàn)步驟如下： (3)計(jì)算口￥ = '\￥'/\^11 = 11'/11，其中11表示131，_^兩點(diǎn)在7方向上的距離，￥表示131，^^ 兩點(diǎn)在X方向上的距離，h'表示b' ub、兩點(diǎn)在y方向上的距離,w'表示b' ub、兩點(diǎn) 在X方向上的距離，其中汍，&)是主車特征區(qū)域圖像I中的兩點(diǎn)，濟(jì),?)是與(Λ,心)相對 應(yīng)的測試車輛特征區(qū)域圖像J 2中的兩點(diǎn)； (b)計(jì)算測試車輛圖像中特征的最終定位區(qū)域（xt, yt, wt, ht)，其中 A = + 外，(為-為,），乃=+ 外(>，。-凡），wt = pw · w0, ht = ph · h0 ;xt，yt，wt，ht 分別為 最終定位區(qū)域的左上角坐標(biāo)、長度和商度； (c)獲得測試車輛圖像中特征的最終定位區(qū)域圖像J3。
【文檔編號】G06K9/62GK104102909SQ201410354245
【公開日】2014年10月15日 申請日期:2014年7月23日 優(yōu)先權(quán)日:2014年7月23日
【發(fā)明者】陳瑩, 化春健, 梅俊琪 申請人:中科聯(lián)合自動化科技無錫有限公司