一種多尺度特征融合的行人比對方法
【專利摘要】本發(fā)明公開一種計算機視頻處理【技術(shù)領(lǐng)域】的多尺度特征融合的行人比對方法，本發(fā)明融合多種行人特征，增強比對特征在多攝像頭環(huán)境下的穩(wěn)定性和獨特性；同時根據(jù)特征在不同圖像尺度上的表現(xiàn)，不同的行人特征將在不同尺度上進行比對：先在小尺度上進行比對過濾，而后對篩選后的行人在較大尺度上進行匹配，在保證各特征比對性能的前提下，降低方法復(fù)雜度；并針對現(xiàn)有紋理特征進行改進，采用一種新的基于顯著特征點的比對方法；本方法引入半監(jiān)督的距離學(xué)習(xí)方法進行距離函數(shù)學(xué)習(xí)，以降低傳統(tǒng)距離學(xué)習(xí)算法訓(xùn)練標定過程的復(fù)雜度，提高匹配準確率。
【專利說明】一種多尺度特征融合的行人比對方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計算機視頻處理【技術(shù)領(lǐng)域】，具體為一種融合多種行人特征，先在小尺 度上進行比對過濾，然后在較大尺度上匹配出目標行人的比對方法。

【背景技術(shù)】
[0002] 目前，行人比對技術(shù)在視頻監(jiān)控中發(fā)揮著越來越重要的作用，尤其在城市公共 安全領(lǐng)域有著廣泛的應(yīng)用。由于不同行人在攝像機下表現(xiàn)相似的特征以及多相機網(wǎng)絡(luò) 環(huán)境的多樣性（視角變化，光照變化和相互遮擋等），使得多相機下的行人比對面臨著 嚴峻的挑戰(zhàn)?；诙嘞鄼C下行人分析已經(jīng)成為計算機視覺領(lǐng)域的研究熱點。研究思 路一般包括基于統(tǒng)計特征、基于局部特征點和基于距離學(xué)習(xí)的比對算法。基于統(tǒng)計特 征的行人比對方法（參見：Kviatkovsky, I. ;Adam, A. ;Rivlin, E.，"Color Invariants for Person Reidentification, ^Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol. 35, no. 7, pp. 1622, 1634, July 2013)所采用的特征通常較為簡 單、穩(wěn)定、方法復(fù)雜度較低，在簡單場景下能夠取得明顯效果，但由于采用直方圖進行 特征統(tǒng)計，因而局部差異性特征較難體現(xiàn)?；诰植刻卣鼽c的行人比對方法（參見： C.Varytimidis,K. Rapantzikos,Y. Avrithis.W a SH:ffeighted a-Shapes for Local Feature Detection. In Proceedings of European Conference on Computer Vision(ECCV 2012) ,Florence, Italy, October 2012.)則通過對行人進行局部特征點提取，通過特征點 匹配算法進行比對，該方法需要通過對行人所有特征點或特征區(qū)域進行匹配計算才能得到 行人之間的相似度，因而方法復(fù)雜度通常較高，無法滿足實時需求。基于距離學(xué)習(xí)的比對 方法（參見：Wei_Shi Zheng, Shaogang Gong, Tao Xiang. Reidentification by Relative Distance Comparison, PAMI2013, 2013, 35(3) :653-668)通過對特定場景進行標定訓(xùn)練，會 對比對效果有較大提升，但普適性不強，針對新的場景需要進行重新訓(xùn)練，訓(xùn)練標定過程較 為復(fù)雜，且方法的空間復(fù)雜度都較高，目前還很難應(yīng)用到實際系統(tǒng)中。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)的不足之處，提出了一種新的行人比對方 法---基于多尺度特征融合的行人比對方法（Multi-Scaled Feature Fusion, MSFF)。
[0004] 本發(fā)明中所述尺度即為對圖像放大的比例程度，放大的程度用尺度的高低來形 容；低尺度體現(xiàn)了圖像的整體特征，高尺度更多體現(xiàn)的是圖像中的細節(jié)特征。本發(fā)明融合多 種行人特征，增強比對特征在多攝像頭環(huán)境下的穩(wěn)定性和獨特性；同時根據(jù)特征在不同圖 像尺度上的表現(xiàn)，不同的行人特征將在不同尺度上進行比對：先在小尺度上進行比對過濾， 而后對篩選后的行人在較大尺度上進行匹配，在保證各特征比對性能的前提下，降低方法 復(fù)雜度；并針對現(xiàn)有紋理特征進行改進，采用一種新的基于顯著特征點的比對方法；本方 法引入半監(jiān)督的距離學(xué)習(xí)方法進行距離函數(shù)學(xué)習(xí)，以降低傳統(tǒng)距離學(xué)習(xí)算法訓(xùn)練標定過程 的復(fù)雜度。
[0005] 本發(fā)明是通過以下技術(shù)方案實現(xiàn)的，所述方法包括以下幾個步驟：
[0006] 第一步：設(shè)P = {p」1彡i彡N}為相機A下的行人圖像集合，Q = {q」1彡i彡N} 為相機B下的行人集合，N為一個相機下的行人總數(shù)。
[0007] 第二步：在低尺度下，應(yīng)用顏色和輪廓的比對方法，進行第一次行人篩選，得到候 選行人集Qff。
[0008] 所述第二步的具體實現(xiàn)步驟為：
[0009] 1)選取K = e N組行人進行距離函數(shù)模型標定訓(xùn)練（式中K為選取的行人組數(shù)， N為整個行人組數(shù)，3為行人組的選取率），提取行人的顏色特征向量和輪廓特征向量，分 別進行直方圖歸一化；
[0010] 2)將歸一化后的兩類特征向量進行級聯(lián)，得到行人在低尺度上的融合特征，利用 此融合特征進行半監(jiān)督SVM訓(xùn)練得到相似度函數(shù)；
[0011] 3)在低尺度上采用顏色和輪廓特征進行行人比對，對于行人P e P，計算P與集合 Q中各行人的相似度后，歸一化至[0, 1];
[0012] 4)將集合Q以相似度降序排列，即可得到集合Q中與P最相似的行人集合，記為 Pfs，選取氈 1中排名前r %的行人進行下一尺度上的比對，記為集合Af。
[0013] 第三步：在高尺度上采用基于顯著特征點的比對方法，針對行人P，對行人集 合中的各行人進行相似度計算。顯著特征點是一種改進的基于紋理特征的比對方法，具體 步驟為：
[0014] a)首先對行人圖像進行SURF特征點提取，對每個特征點進行紋理特征提取，并在 特征點附近范圍提取顏色特征，綜合特征點的紋理和顏色特征，進一步提高局部特征點的 顯著性。
[0015] b)并在進行特征點匹配時，進行空間約束，限定匹配特征點的空間范圍，提高匹配 準確率，
[0016] c)同時采用KNN(K Neatest Neighbor)方法計算每個特征點的權(quán)重，突出顯著特 征點的權(quán)重，提高行人比對的準確率。
[0017] 第四步：對低尺度和高尺度上的行人相似度進行疊加，按降序排列，得到Q中與p 最相似的行人集合。
[0018] 與現(xiàn)有技術(shù)相比，本發(fā)明的具有以下有益效果：
[0019] 1)提高了行人特征的獨特性和穩(wěn)定性，進而提高比對性能；2)同時采用基于多尺 度的比對方法框架，在保證各特征比對性能的基礎(chǔ)上，盡可能降低系統(tǒng)運算復(fù)雜度；3)針 對傳統(tǒng)距離學(xué)習(xí)算法訓(xùn)練標定過程復(fù)雜度較高的缺點，本發(fā)明引入半監(jiān)督的距離學(xué)習(xí)方法 進行距離函數(shù)學(xué)習(xí)，以降低訓(xùn)練標定過程的復(fù)雜度，增強基于距離學(xué)習(xí)比對方法的實用性。 4)采用了一種改進的基于顯著特征點的比對方法，增加了進行空間約束，提高匹配準確率， 同時計算每個特征點的權(quán)重，突出顯著特征點的權(quán)重，提高行人比對的準確率。

【專利附圖】

【附圖說明】
[0020] 通過閱讀參照以下附圖對非限制性實施例所作的詳細描述，本發(fā)明的其它特征、 目的和優(yōu)點將會變得更明顯：
[0021] 圖1為本發(fā)明一實施例中基于多尺度特征融合的比對方法框架。
[0022] 圖2為基于顯著特征點的行人比對方法流程圖；
[0023] 圖3為本發(fā)明一實施例中行人比對場景圖。
[0024] 圖4為本發(fā)明一實施例中廣場行人比對結(jié)果圖。
[0025] 圖5為本發(fā)明一實施例中道路行人比對結(jié)果圖。

【具體實施方式】
[0026] 下面結(jié)合具體實施例對本發(fā)明進行詳細說明。以下實施例將有助于本領(lǐng)域的技術(shù) 人員進一步理解本發(fā)明，但不以任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是，對本領(lǐng)域的普通技術(shù) 人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進。這些都屬于本發(fā)明 的保護范圍。
[0027] 如圖1所示，為一種多尺度融合的對比方法的實施例框架：在低尺度下，提取顏色 和輪廓特征級聯(lián)后得到融合特征；對融合特征進行半監(jiān)督svm學(xué)習(xí)，進行第一次行人篩選， 得到候選行人集；在高尺度下，采用基于局部特征點的比對算法，針對目標行人，對篩選出 的行人集合中的各行人進行相似度計算；對兩個尺度上的行人相似度進行疊加，按降序排 列，得到與目標行人最相似的行人集合。
[0028] 本實施采用的行人圖片集應(yīng)用了廣場比對數(shù)據(jù)集和道路比對數(shù)據(jù)集。廣場比對數(shù) 據(jù)集是來自上海一個行人密集的廣場上相鄰兩個相機下的兩組行人集，在其中一個相機下 的行人都對應(yīng)另一個相機下唯一一個相同的行人，共1〇1對。
[0029] 道路比對數(shù)據(jù)集是來自上海一個步行街，行人流動量較大，也為101對。
[0030] 本實施例涉及的多尺度特征融合行人比對方法，對兩組數(shù)據(jù)集分別進行行人比 對，包括如下具體步驟：
[0031] 第一步：設(shè)P = {Pi I 1彡i彡101}為相機A下的行人圖像集合，Q = {qi I 1彡i彡101}為相機B下的行人集合；
[0032] 第二步：選取K = P N組行人進行距離函數(shù)模型標定訓(xùn)練，本例中選取P = 0. 3。 在提取完行人的顏色特征向量和輪廓特征向量后，分別進行直方圖歸一化，將歸一化后的 兩類特征向量進行級聯(lián)，得到行人在低尺度上的融合特征。利用此融合特征進行半監(jiān)督SVM 訓(xùn)練得到相似度函數(shù)。
[0033] 第三步：在低尺度上采用顏色和輪廓特征進行行人比對，對于行人p E P，計算p 與集合Q中各行人的相似度后，歸一化至[0, 1]，將集合Q以相似度降序排列，即可得到集 合Q中與P最相似的行人集合，記為免f，選取中排名前r%的行人進行下一尺度上的 比對，記為集合r的選擇涉及到方法性能和復(fù)雜度的取舍，若r太小，則下一尺度比對 中行人樣本少，會導(dǎo)致比對性能降低；若r太大，則下一尺度比對中比對次數(shù)會過多，導(dǎo)致 時間復(fù)雜度增加。綜合性能和復(fù)雜度，本例中選擇r = 30。
[0034] 第四步：在高尺度上采用基于顯著特征點的比對方法，針對行人p，對行人集 合中的各行人進行相似度計算。具體流程如圖2,首先對行人圖像進行SURF特征點提取，對 每個特征點進行紋理特征提取，并在特征點附近范圍提取顏色特征，綜合特征點的紋理和 顏色特征，之后進行空間約束，進而計算每個特征點的權(quán)重，進行距離計算。對兩個尺度上 的行人相似度進行疊加，按降序排列，得到Q中與P最相似的行人集合。
[0035] 通過實驗證明，本實施例較之前方法能取得更好的比對效果。圖3是廣場行人比 對結(jié)果，通過分別與基于顏色、輪廓和局部特征點傳統(tǒng)比對方法的比對，我們可以看出多尺 度特征融合比對方法的準確率更高；通過圖4可以看出該方法也適用在道路行人場景。在 兩個場景下，采用多特征融合的比對方法要優(yōu)于基于單一特征的比對方法。單一特征僅能 描述行人某一方面的特征，僅靠一種特征來進行比對很難達到理想效果，融合多種特征，增 強比對特征的穩(wěn)定性和獨特性，有利于提高比對性能。
[0036] 本發(fā)明綜合特征點的紋理和顏色特征，提高局部特征點的顯著性，并在進行特征 點匹配時，進行空間約束，限定匹配特征點的空間范圍，提高匹配準確率。
[0037] 以上對本發(fā)明的具體實施例進行了描述。需要理解的是，本發(fā)明并不局限于上述 特定實施方式，本領(lǐng)域技術(shù)人員可以在權(quán)利要求的范圍內(nèi)做出各種變形或修改，這并不影 響本發(fā)明的實質(zhì)內(nèi)容。
【權(quán)利要求】
1. 一種多尺度特征融合的行人比對方法，其特征在于，包括以下步驟： 第一步：設(shè)P = {Pill彡i彡N}為相機A下的行人圖像集合，Q = {qi|l彡i彡N}為 相機B下的行人集合； 第二步：在低尺度下，應(yīng)用顏色和輪廓的比對方法，進行第一次行人篩選，得到候選行 人集免了； 第三步：在高尺度上采用基于顯著特征點的比對方法，針對行人P，對行人集合中 的各行人進行相似度計算； 第四步：對低尺度和高尺度上的行人相似度進行疊加，按降序排列，得到Q中與P最相 似的行人集合。
2. 根據(jù)權(quán)利要求1所述的一種多尺度特征融合的行人比對方法，其特征是：所述第二 步的具體實現(xiàn)步驟為： 1) 選取K = β N組行人進行距離函數(shù)模型標定訓(xùn)練，式中K為選取的行人組數(shù)，N為 整個行人組數(shù)，β為行人組的選取率，提取行人的顏色特征向量和輪廓特征向量，分別進行 直方圖歸一化； 2) 將歸一化后的兩類特征向量進行級聯(lián)，得到行人在低尺度上的融合特征，利用此融 合特征進行半監(jiān)督SVM訓(xùn)練得到相似度函數(shù)； 3) 在低尺度上采用顏色和輪廓特征進行行人比對，對于行人ρ e Ρ，計算ρ與集合Q中 各行人的相似度后，歸一化至[〇, 1]; 4) 將集合Q以相似度降序排列，即可得到集合Q中與p最相似的行人集合，記為，選 取C中排名前以的行人進行下一尺度上的比對，記為集合·如、！的選擇與復(fù)雜度有關(guān)。
3. 根據(jù)權(quán)利要求1或2所述的一種多尺度特征融合的行人比對方法，其特征是：所述 顯著特征點是一種改進的基于紋理特征的比對方法，具體步驟為： a) 首先對行人圖像進行SURF特征點提取，對每個特征點進行紋理特征提取，并在特征 點附近范圍提取顏色特征，綜合特征點的紋理和顏色特征，進一步提高局部特征點的顯著 性； b) 并在進行特征點匹配時，進行空間約束，限定匹配特征點的空間范圍，提高匹配準確 率； c) 同時采用KNN方法計算每個特征點的權(quán)重，突出顯著特征點的權(quán)重，提高行人比對 的準確率。
【文檔編號】G06K9/46GK104376334SQ201410635897
【公開日】2015年2月25日 申請日期:2014年11月12日 優(yōu)先權(quán)日:2014年11月12日
【發(fā)明者】楊華, 吳佳俊, 董莉莉 申請人:上海交通大學(xué)