一種基于部件關(guān)聯(lián)的行人檢索方法
【專利摘要】一種基于部件關(guān)聯(lián)的行人檢索方法是通過提取行人圖像中關(guān)聯(lián)的部件并結(jié)合部件之間的關(guān)系進(jìn)行分析，然后對(duì)比輸入檢索圖特征點(diǎn)與提取分析的關(guān)聯(lián)部件特征點(diǎn)的相似性形成相似性序列表達(dá)到檢索行人的目的。本發(fā)明的優(yōu)點(diǎn)在于：通過對(duì)行人提取用頭部、軀干、左臂、右臂、左腿和右腿六個(gè)部件，并對(duì)所述六個(gè)部件進(jìn)行特征分析，通過提取行人圖像中關(guān)聯(lián)的部件，結(jié)合部件之間的關(guān)系進(jìn)行行人的檢索，以解決現(xiàn)有技術(shù)中無法通過行人的部件屬性在海量視頻中進(jìn)行檢索的問題，達(dá)到快速定位的目的，有效的在海量視頻中檢索到相似的行人，適用于刑偵、智能監(jiān)控等領(lǐng)域。
【專利說明】一種基于部件關(guān)聯(lián)的行人檢索方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及智能監(jiān)控領(lǐng)域，尤其涉及一種基于部件關(guān)聯(lián)的行人檢索方法。
【背景技術(shù)】
[0002]隨著監(jiān)控?cái)z像頭的廣泛安裝，每天產(chǎn)生數(shù)以萬計(jì)的監(jiān)控視頻數(shù)據(jù)，如何在海量的數(shù)據(jù)中找到需要的內(nèi)容和目標(biāo)是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。傳統(tǒng)的基于內(nèi)容的視頻檢索的一個(gè)前提就是:建立以視頻幀中視覺內(nèi)容為單位的索引，以便于在海量視頻中快速查找與定位。這就要求將視頻幀中待檢索內(nèi)容在視頻背景中完美的分割出來并提取其特征，而分割效果的好壞將直接影響檢索的精度，因此，得到一個(gè)好的目標(biāo)前景與背景的分割非常重要。
[0003]對(duì)于監(jiān)控視頻來說，由于其具有低分辨率、高噪聲、光照變化大等特點(diǎn)，對(duì)于視頻庫中在不同時(shí)間、不同場(chǎng)景下出現(xiàn)的同一物體來說，它的尺度、方向、光照甚至分辨率都會(huì)發(fā)生變化，在這種情況下，如何選取合適的視覺特征描述子來對(duì)視頻內(nèi)容進(jìn)行描述，就顯得尤為重要。目前常用的基于視覺描述的特征主要包括顏色、形狀和紋理，這些特征在圖片檢索領(lǐng)域得到了廣泛的應(yīng)用，取得了良好的效果。然而，由于監(jiān)控視頻具有上述特點(diǎn)，必須找到一種能夠?qū)Τ叨?、方向、光照變化等具有較好魯棒性的視覺特征描述子。
[0004]現(xiàn)有的特征描述方法主要是針對(duì)局部特征來描述的，忽略了視覺內(nèi)容上下文之間的關(guān)系。比如，視頻監(jiān)控中的行人由頭部、軀干和下肢三部分組成，局部描述只能局部的描述各個(gè)部分自身的特征，然后將這些特征拼接用于檢索。這種方法對(duì)于具有復(fù)雜形狀的視覺內(nèi)容，不能得到令人滿意的效果。
[0005]由于監(jiān)控視頻通常是海量的，一般都以TB為單位來度量，而其中所包含的待檢索內(nèi)容也是海量的。當(dāng)對(duì)監(jiān)控視頻中的視覺內(nèi)容提取特征之后，如何存儲(chǔ)這些特征使得基于內(nèi)容的檢索能夠快速、高效的進(jìn)行，依然是一個(gè)值得探索的問題。目前常用的索引方法是建立倒排表。把包含同一特征的視覺內(nèi)容列成一個(gè)表，表的開頭是某個(gè)視覺特征向量，表的后面依次連接著包含該特征向量的視覺內(nèi)容的位置。當(dāng)我們得到一個(gè)待檢索視覺內(nèi)容時(shí)，可以先提取其特征向量，然后利用這些特征向量在倒排表中快速定位視覺內(nèi)容的位置。該方法在視頻規(guī)模較小的時(shí)候計(jì)算效率很高，但是當(dāng)視頻規(guī)模擴(kuò)大時(shí)，特征向量的個(gè)數(shù)就會(huì)快速增長(zhǎng)。在海量的特征向量中尋找匹配項(xiàng)，將會(huì)耗費(fèi)大量時(shí)間。因此，亟需一種快速、高效的索引定位方法。

【發(fā)明內(nèi)容】

[0006]本發(fā)明是針對(duì)現(xiàn)有技術(shù)的不足，提出的一種基于部件關(guān)聯(lián)的行人檢索方法，用以解決現(xiàn)有技術(shù)中無法通過行人的部件屬性在海量視頻中進(jìn)行檢索的問題，達(dá)到快速定位的目的。
[0007]—種基于部件關(guān)聯(lián)的行人檢索方法是通過提取行人圖像中關(guān)聯(lián)的部件并結(jié)合部件之間的關(guān)系進(jìn)行分析，然后對(duì)比輸入檢索圖特征點(diǎn)與提取分析的關(guān)聯(lián)部件特征點(diǎn)的相似性形成相似性序列表達(dá)到檢索行人的目的。[0008]進(jìn)一步的，一種基于部件關(guān)聯(lián)的行人檢索方法提取分析關(guān)聯(lián)部件特征點(diǎn)的步驟包括前景和軌跡提取、行人部件關(guān)系描述、基于部件索引和存儲(chǔ)和基于部件的行人檢索四個(gè)部分。
[0009]對(duì)視頻中的行人前景和軌跡提取方式為:
第一步:采用幀間差分法得到監(jiān)控視頻的前景圖像；對(duì)前景目標(biāo)采用最近鄰方法進(jìn)行跟蹤，從而得到目標(biāo)的軌跡；運(yùn)用高斯濾波的方法去除噪聲點(diǎn)，使區(qū)域邊緣平滑；
第二步:通過給檢測(cè)區(qū)域面積設(shè)置一個(gè)最大和最小閾值的方法，排除不符合條件的區(qū)域，得到合理的幀間差圖像；
第三步:把幀間差的二值圖像看作原圖像對(duì)于前景的掩碼，并在原圖像中提取出前景圖像。
[0010]對(duì)行人部件關(guān)系描述的方法為:將圖像的前景和背景分離，然后對(duì)行人進(jìn)行部件劃分，將行人分成頭部、軀干、左臂、右臂、左腿和右腿六個(gè)部件，對(duì)于每個(gè)部件提取局部特征點(diǎn)，用不同的部件之間的特征點(diǎn)的共生關(guān)系來對(duì)部件進(jìn)行建模。
[0011]進(jìn)一步的，所述的建模方式為:從任意兩個(gè)部件中分別選擇M個(gè)局部特征點(diǎn)，利用MX 2個(gè)特征點(diǎn)的組合作為所述兩個(gè)部件的視覺描述，記做A同時(shí)采用傳統(tǒng)的詞頻和詞頻倒數(shù)(TF-1DF)進(jìn)行相似性度量。
[0012]對(duì)于基于部件的索引和存儲(chǔ)方法為:
首先采用基于部件的索引結(jié)構(gòu)，建立特征點(diǎn)樹，所述的特征點(diǎn)樹的第一層為行人整體，特征點(diǎn)樹的第二層為頭部、軀干、左臂、右臂、左腿和右腿六個(gè)基本部件，同時(shí)將屬于每個(gè)部件的特征點(diǎn)都量化到每個(gè)部件下屬的子節(jié)點(diǎn)中； 然后對(duì)提取的特征點(diǎn)采用分層次的均值聚類(hierarchical K-means)方法分別聚類得到視覺碼本；將屬于每個(gè)部件的視覺碼本按照層次關(guān)系映射到特征點(diǎn)樹結(jié)構(gòu)中，同時(shí)剔除不屬于部件的特征點(diǎn)；
其次對(duì)視覺碼本采用倒排索引的存儲(chǔ)結(jié)構(gòu)進(jìn)行存儲(chǔ)，將屬于頭部、軀干、左臂、右臂、左腿和右腿六個(gè)部件的特征點(diǎn)的詞頻用7個(gè)比特進(jìn)行存儲(chǔ)。
[0013]對(duì)于基于部件關(guān)聯(lián)的檢索方法為:
首先，輸入的行人圖片同時(shí)通過前景和軌跡提取進(jìn)行目標(biāo)提取和跟蹤，同時(shí)采用了高斯平滑的方法對(duì)幀間差圖像進(jìn)行濾波，即便在分辨率較低的監(jiān)控視頻中也能得到較好的目標(biāo)分割和跟蹤結(jié)果；
其次，對(duì)于分割得到的行人，采用的是基于潛在變量的支持向量機(jī)的方法對(duì)部件進(jìn)行檢測(cè)，然后對(duì)每個(gè)部件提取局部特征點(diǎn)，并對(duì)特征點(diǎn)按照特征點(diǎn)樹存儲(chǔ)結(jié)構(gòu)進(jìn)行量化，對(duì)每個(gè)特征點(diǎn)到數(shù)據(jù)庫中檢索具有相同特征點(diǎn)的部件，將能夠找到匹配的部件數(shù)記做P(O ^ P ^ 7)；
對(duì)于P個(gè)部件，在其中任意選擇兩個(gè)部件的組合數(shù)為G = P X(P-1)/2 ,依次遍歷
兩個(gè)部件的所有特征點(diǎn)的任意組合并統(tǒng)計(jì)它們出現(xiàn)的次數(shù)作為關(guān)系描述，然后將基于部件的關(guān)系描述進(jìn)行二次檢索，采用傳統(tǒng)的詞頻和詞頻倒數(shù)(TF-1DF)計(jì)算它的相似性，并將所有組合的檢索的相似性相加，得到最終的檢索結(jié)果。
[0014]進(jìn)一步的，計(jì)算相似性列表的公式為:
【權(quán)利要求】
1.一種基于部件關(guān)聯(lián)的行人檢索方法是通過提取行人圖像中關(guān)聯(lián)的部件并結(jié)合部件之間的關(guān)系進(jìn)行分析，然后對(duì)比輸入檢索圖特征點(diǎn)與提取分析的關(guān)聯(lián)部件特征點(diǎn)的相似性形成相似性序列表達(dá)到檢索行人的目的。
2.根據(jù)權(quán)利要求1所述的一種基于部件關(guān)聯(lián)的行人檢索方法，其特征在于，提取分析關(guān)聯(lián)部件特征點(diǎn)的步驟包括前景和軌跡提取、行人部件關(guān)系描述、基于部件索引和存儲(chǔ)和基于部件的行人檢索四個(gè)部分。
3.根據(jù)權(quán)利要求2所述的一種基于部件關(guān)聯(lián)的行人檢索方法，其特征在于，對(duì)視頻中的行人前景和軌跡提取方式為: 第一步:采用幀間差分法得到監(jiān)控視頻的前景圖像；對(duì)前景目標(biāo)采用最近鄰方法進(jìn)行跟蹤，從而得到目標(biāo)的軌跡；運(yùn)用高斯濾波的方法去除噪聲點(diǎn)，使區(qū)域邊緣平滑； 第二步:通過給檢測(cè)區(qū)域面積設(shè)置一個(gè)最大和最小閾值的方法，排除不符合條件的區(qū)域，得到合理的幀間差圖像； 第三步:把幀間差的二值圖像看作原圖像對(duì)于前景的掩碼，并在原圖像中提取出前景圖像； 對(duì)行人部件關(guān)系描述的方法為:將圖像的前景和背景分離，然后對(duì)行人進(jìn)行部件劃分，將行人分成頭部、軀干、左臂、右臂、左腿和右腿六個(gè)部件，對(duì)于每個(gè)部件提取局部特征點(diǎn)，用不同的部件之間的特征點(diǎn)的共生關(guān)系來對(duì)部件進(jìn)行建模。
4.根據(jù)權(quán)利要求3所述的一種基于部件關(guān)聯(lián)的行人檢索方法，其特征在于，所述的建模方式為:從任意兩個(gè)部件中分別選擇M個(gè)局部特征點(diǎn)，利用JT X 2個(gè)特征點(diǎn)的組合作為所述兩個(gè)部件的視覺描述，記做4同時(shí)采用傳統(tǒng)的詞頻和詞頻倒數(shù)(TF-1DF)進(jìn)行相似性度量。
5.根據(jù)權(quán)利要求2所述的一 種基于部件關(guān)聯(lián)的行人檢索方法，其特征在于，首先采用基于部件的索引結(jié)構(gòu)，建立特征點(diǎn)樹，所述的特征點(diǎn)樹的第一層為行人整體，特征點(diǎn)樹的第二層為頭部、軀干、左臂、右臂、左腿和右腿六個(gè)基本部件，同時(shí)將屬于每個(gè)部件的特征點(diǎn)都量化到每個(gè)部件下屬的子節(jié)點(diǎn)中； 然后對(duì)提取的特征點(diǎn)采用分層次的均值聚類(hierarchical K-means)方法分別聚類得到視覺碼本；將屬于每個(gè)部件的視覺碼本按照層次關(guān)系映射到特征點(diǎn)樹結(jié)構(gòu)中，同時(shí)剔除不屬于部件的特征點(diǎn)； 其次對(duì)視覺碼本采用倒排索引的存儲(chǔ)結(jié)構(gòu)進(jìn)行存儲(chǔ)，將屬于頭部、軀干、左臂、右臂、左腿和右腿六個(gè)部件的特征點(diǎn)的詞頻用7個(gè)比特進(jìn)行存儲(chǔ)。
6.根據(jù)權(quán)利要求2所述的一種基于部件關(guān)聯(lián)的行人檢索方法，其特征在于，首先，輸入的行人圖片同時(shí)通過前景和軌跡提取進(jìn)行目標(biāo)提取和跟蹤，同時(shí)采用了高斯平滑的方法對(duì)幀間差圖像進(jìn)行濾波，即便在分辨率較低的監(jiān)控視頻中也能得到較好的目標(biāo)分割和跟蹤結(jié)果; 其次，對(duì)于分割得到的行人，采用的是基于潛在變量的支持向量機(jī)的方法對(duì)部件進(jìn)行檢測(cè)，然后對(duì)每個(gè)部件提取局部特征點(diǎn)，并對(duì)特征點(diǎn)按照特征點(diǎn)樹存儲(chǔ)結(jié)構(gòu)進(jìn)行量化，對(duì)每個(gè)特征點(diǎn)到數(shù)據(jù)庫中檢索具有相同特征點(diǎn)的部件，將能夠找到匹配的部件數(shù)記做P(O ^ P ^ 7)；對(duì)于P個(gè)部件，在其中任意選擇兩個(gè)部件的組合數(shù)為g =X Gp -1) / 2 ,依次遍歷兩個(gè)部件的所有特征點(diǎn)的任意組合并統(tǒng)計(jì)它們出現(xiàn)的次數(shù)作為關(guān)系描述，然后將基于部件的關(guān)系描述進(jìn)行二次檢索，采用傳統(tǒng)的詞頻和詞頻倒數(shù)(TF-1DF)計(jì)算它的相似性，并將所有組合的檢索的相似性相加，得到最終的檢索結(jié)果。
7.根據(jù)權(quán)利要求2所述的一種基于部件關(guān)聯(lián)的行人檢索方法，其特征在于，計(jì)算相似性列表的公式為:
【文檔編號(hào)】G06F17/30GK103853794SQ201210522145
【公開日】2014年6月11日 申請(qǐng)日期:2012年12月7日 優(yōu)先權(quán)日:2012年12月7日
【發(fā)明者】魏捷, 楊凡, 張立 申請(qǐng)人:北京瑞奧風(fēng)網(wǎng)絡(luò)技術(shù)中心