球機視頻監(jiān)控的人車結(jié)構(gòu)化描述方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種球機視頻監(jiān)控的人車結(jié)構(gòu)化描述方法及系統(tǒng)，本發(fā)明通過構(gòu)建新穎的多視角人車樣本的SIFT描述子來表示不同視角情況下的尺度不敏感的人車模型，采用局部特征匹配的方法來實現(xiàn)變場景圖像條件下的目標檢測；再通過構(gòu)建檢測目標的外觀模型來提取目標的空間像素編碼特征，并結(jié)合在線樣本更新機制實現(xiàn)目標多姿態(tài)地魯棒性追蹤。本發(fā)明通過構(gòu)建多視角人車樣本的SIFT特征，實現(xiàn)在球機條件下的變場景監(jiān)控視頻的結(jié)構(gòu)化描述。
【專利說明】球機視頻監(jiān)控的人車結(jié)構(gòu)化描述方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機視覺領(lǐng)域和人工智能領(lǐng)域，具體涉及一種球機視頻監(jiān)控的人車結(jié)構(gòu)化描述技術(shù)。
【背景技術(shù)】
[0002]目前，面向社會安全的大型公共場所監(jiān)控和管理，直接關(guān)系到人民的生命財產(chǎn)安全、社會穩(wěn)定和國家的安危?，F(xiàn)階段，中國正進入“突發(fā)公共事件的高發(fā)期”和“社會高風險期”，如何應(yīng)對這“兩高”，是中國政府的當務(wù)之急。尤其是在大型活動和場所中，需要對一系列事件進行自動預(yù)警和統(tǒng)一協(xié)調(diào)，包括團體活動態(tài)勢、人員危險警戒、個人身份確認、?；返娜谈櫣芾?、單兵的有效指揮調(diào)度等等。最新的微電子、自動化、機械、計算機等技術(shù)為場景目標的感知監(jiān)控提供了各種解決方案，各種槍機、球機、多攝像頭等的關(guān)聯(lián)網(wǎng)絡(luò)成為公共安全保障的強大支撐。
[0003]球機全稱為球型攝像機，是現(xiàn)代電視監(jiān)控發(fā)展的代表。她繼承彩色一體化攝像機、云臺、解碼器、防護罩等多功能與一體，安裝方便、使用簡單但功能強大。球機具有體積小、外形美觀、功能強大、安裝方便、使用簡單、維護容易等特點，廣泛應(yīng)用于開闊區(qū)域的監(jiān)控，如家庭安全監(jiān)控、交通安全監(jiān)控、公共場所安全監(jiān)控、工廠安全監(jiān)控等。
[0004]然而，球機的可變視野和可變聚焦等賦予業(yè)務(wù)應(yīng)用靈活方便性的同時卻帶給結(jié)構(gòu)化描述技術(shù)巨大難題。視頻結(jié)構(gòu)化描述技術(shù)是對視頻內(nèi)容按語義關(guān)系，采用時空分割、特征提取、對象識別等手段，組織成可供計算機和人理解的文本信息的技術(shù)。
[0005]目標提取是視頻圖像結(jié)構(gòu)化描述的最重要前提，主要包括兩種途徑:一、通過對關(guān)注目標特征進行建模，直接通過圖像局部匹配的方法實現(xiàn)目標檢測；二、通過對背景進行建模，在視頻圖像去掉背景來實現(xiàn)前景目標的間接提取。在變場景的視頻監(jiān)控和偵查中，由于背景特征的多樣化，導(dǎo)致對背景進行建模是非常困難的。對于球機，由于本身物理參數(shù)不斷變化，很難用傳統(tǒng)的方法對背景進行建模。

【發(fā)明內(nèi)容】

[0006]針對變場景監(jiān)控條件下的現(xiàn)有人車結(jié)構(gòu)化描述技術(shù)所存在的問題，本發(fā)明的目的在于提供一種球機平臺下變場景監(jiān)控中的人車結(jié)構(gòu)化描述方法，并能夠?qū)崿F(xiàn)變場景復(fù)雜條件下的目標檢測和追蹤，解決實現(xiàn)變場景監(jiān)控視頻條件下的目標檢測的問題。
[0007]同時，本發(fā)明的另一目的在于提供一種球機視頻監(jiān)控的人車結(jié)構(gòu)化描述系統(tǒng)。
[0008]為了達到上述目的，本發(fā)明采用如下技術(shù)方案:
[0009]球機視頻監(jiān)控的人車結(jié)構(gòu)化描述方法，所述描述方法包括:
[0010]步驟I,采集多視角人車圖片樣本，構(gòu)建新穎的人車SIFT (scale-1nvariantfeature transform)特征描述子,并采用局部特征匹配的方法來實現(xiàn)變場景圖像條件下的目標檢測；
[0011]步驟2，構(gòu)建檢測目標的外觀特征，并結(jié)合在線樣本學(xué)習機制實現(xiàn)目標魯棒性追!?示ο
[0012]在描述方法的優(yōu)選實例中，所述步驟(1)具體包括如下過程:
[0013](1-1)構(gòu)造人車的多視角模型，計算模型的sift特征；
[0014](1-2)利用局部特征匹配掃描當前圖像實現(xiàn)變場景條件下目標檢測。
[0015]進一步的，所述步驟(2)具體包括如下過程:
[0016](2-1)提取目標區(qū)域的外觀空間約束化的像素編碼特征，并計算當前視頻幀的樣本區(qū)域的外觀空間約束化的像素編碼特征；
[0017](2-2)通過相似度量實現(xiàn)給定目標特征和采樣目標特征匹配，并引入基于粒子濾波的追蹤器對目標進行后續(xù)的追蹤；
[0018](2-3)構(gòu)建樣本在線學(xué)習機制實現(xiàn)目標的多姿態(tài)地魯棒性追蹤。
[0019]一種球機視頻監(jiān)控的人車結(jié)構(gòu)化描述系統(tǒng)，所述描述系統(tǒng)包括:
[0020]視頻采集模塊，所述視頻采集模塊采集監(jiān)控視頻；
[0021]目標模型數(shù)據(jù)模塊，所述目標模型數(shù)據(jù)模塊存儲人和車的多視角模型；
[0022]目標檢測分 類模塊，所述目標檢測分類模塊分別與視頻采集模塊和目標模型數(shù)據(jù)模塊數(shù)據(jù)相接，調(diào)取目標模型數(shù)據(jù)模塊中存儲的人和車的多視角模型檢測視頻采集模塊采集的監(jiān)控視頻中的多視角多尺度的人、車目標；
[0023]目標追蹤模塊，所述目標追蹤模塊與目標檢測分類模塊數(shù)據(jù)相接，跟蹤目標檢測分類模塊中檢測到的人、車目標；
[0024]輸出模塊，所述輸出模塊與目標追蹤模塊數(shù)據(jù)相接，輸出人、車目標分類及跟蹤的結(jié)果。
[0025]在描述系統(tǒng)的優(yōu)選實例中，所述目標追蹤模塊通過構(gòu)建樣本在線學(xué)習機制實現(xiàn)目標的多姿態(tài)地魯棒性追蹤。
[0026]根據(jù)上述方案，本發(fā)明建立球機下變場景條件下的人車檢測，并結(jié)合特征的在線學(xué)習實現(xiàn)目標的魯棒性追蹤和目標特征的結(jié)構(gòu)化描述。該方法提升了監(jiān)控系統(tǒng)的靈活性和自動化程度，大大減少了系統(tǒng)對人力的依靠，具有廣闊的應(yīng)用發(fā)展空間。
【專利附圖】

【附圖說明】
[0027]以下結(jié)合附圖和【具體實施方式】來進一步說明本發(fā)明。
[0028]圖1為本發(fā)明的流程圖；
[0029]圖2為人車模型示例圖；
[0030]圖3為本發(fā)明在某監(jiān)控區(qū)域的實例圖；
[0031]圖4為本發(fā)明的系統(tǒng)框圖。
【具體實施方式】
[0032]為了使本發(fā)明實現(xiàn)的技術(shù)手段、創(chuàng)作特征、達成目的與功效易于明白了解，下面結(jié)合具體圖示，進一步闡述本發(fā)明。
[0033]本發(fā)明在球機攝像機的系統(tǒng)平臺下，通過圖像局部特征匹配實現(xiàn)變場景條件下進行目標檢測和定位，并借助特征在線學(xué)習實現(xiàn)目標的魯棒性追蹤和結(jié)構(gòu)化表述。
[0034]參見圖1，其所示為本發(fā)明實現(xiàn)球機視頻監(jiān)控的人車結(jié)構(gòu)化描述的流程圖。由圖可知，整個人車結(jié)構(gòu)化描述過程分為兩個大步驟:1.多視角目標檢測；2.基于在線更新的目標追蹤O
[0035]對于步驟1，本發(fā)明在球機攝像機平臺下實現(xiàn)變場景條件下多視角人、車目標檢測，具體采用如下三個子步驟來完成:
[0036]1.1采集多視角人、車圖像樣本；1.2構(gòu)建人、車多視角模型sift特征；1.3通過局部特征匹配實現(xiàn)變場景條件下人、車目標的檢測。
[0037]其中，步驟1.1負責收集人、車在不同視角條件下的圖像樣本。
[0038]步驟1.2中，對于多視角人車特征采用sift特征描述子表示，構(gòu)建多視角人車sift描述子集合，在圖像局部尺度下提取sift描述子特征，對給定目標模板特征與檢測樣本特征進行匹配，可以實現(xiàn)變場景復(fù)雜環(huán)境下的尺度不敏感的人車識別。
[0039]步驟1.3，根據(jù)多變場景的特點，采用基于局部sift特征匹配的方法實現(xiàn)人車目標的檢測。具體方法是通過提取當前幀圖像的局部sift特征與系統(tǒng)初始化階段給定目標的sift特征相匹配，借助相似性測度對匹配結(jié)果進行衡量來實現(xiàn)目標的識別和定位。
[0040]該步驟中，基于sift特征的圖像特征匹配方法中的相似性度量采用均方差算法(Mean Square Difference),具體公式如下:
[0041]
【權(quán)利要求】
1.球機視頻監(jiān)控的人車結(jié)構(gòu)化描述方法，其特征在于，所述描述方法包括: 步驟1，通過提取多視角人車圖片樣本，構(gòu)建新穎的多視角人車SIFT描述子，并采用局部特征匹配的方法來實現(xiàn)變場景圖像條件下的目標檢測； 步驟2，構(gòu)建檢測目標的外觀特征，并結(jié)合在線樣本學(xué)習機制實現(xiàn)目標魯棒性追蹤。
2.根據(jù)權(quán)利要求1所述的球機視頻監(jiān)控的人車結(jié)構(gòu)化描述方法，其特征在于，所述步驟(I)具體包括如下過程: (1-1)構(gòu)造人車的多視角模型，計算模型的sift特征； (1-2)利用局部特征匹配掃描當前圖像實現(xiàn)變場景條件下目標檢測。
3.根據(jù)權(quán)利要求1所述的球機視頻監(jiān)控的人車結(jié)構(gòu)化描述方法，其特征在于，所述步驟(2)具體包括如下過程: (2-1)提取目標區(qū)域的外觀空間約束化的像素編碼特征，并計算當前視頻幀的樣本區(qū)域的外觀空間約束化的像素編碼特征； (2-2)通過相似度量實現(xiàn)給定特征向量模板和檢測樣本特征向量的特征匹配，并引入基于粒子濾波的追蹤器對目標進行后續(xù)的追蹤； (2-3)構(gòu)建樣本在線學(xué)習機制實現(xiàn)目標的多姿態(tài)地魯棒性追蹤。
4.一種球機視頻監(jiān)控的人車結(jié)構(gòu)化描述系統(tǒng)，其特征在于，所述描述系統(tǒng)包括: 視頻采集模塊，所述視頻采集模塊采集監(jiān)控視頻； 目標模型數(shù)據(jù)模塊，所述目標模型數(shù)據(jù)模塊存儲人和車的多視角模型； 目標檢測分類模塊，所述目標檢測分類模塊分別與視頻采集模塊和目標模型數(shù)據(jù)模塊數(shù)據(jù)相接，調(diào)取目標模型數(shù)據(jù)模塊中存儲的人和車的多視角模型檢測視頻采集模塊采集的監(jiān)控視頻中的多視角多尺度的人、車目標； 目標追蹤模塊，所述目標追蹤模塊與目標檢測分類模塊數(shù)據(jù)相接，跟蹤目標檢測分類模塊中檢測到的人、車目標； 輸出模塊，所述輸出模塊與目標追蹤模塊數(shù)據(jù)相接，輸出人、車目標分類及跟蹤的結(jié)果O
5.根據(jù)權(quán)利要求4所述的一種球機視頻監(jiān)控的人車結(jié)構(gòu)化描述系統(tǒng)，其特征在于，所述目標追蹤模塊通過構(gòu)建樣本在線學(xué)習機制實現(xiàn)目標的多姿態(tài)地魯棒性追蹤。
【文檔編號】G06K9/00GK103870815SQ201410110874
【公開日】2014年6月18日 申請日期:2014年3月24日 優(yōu)先權(quán)日:2014年3月24日
【發(fā)明者】胡傳平, 梅林 , 唐亞哲, 尚巖峰, 譚懿先, 王文斐, 徐磊 申請人:公安部第三研究所