一種多節(jié)點(diǎn)視頻重組方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻數(shù)據(jù)處理領(lǐng)域，尤其涉及一種多節(jié)點(diǎn)視頻重組方法和系統(tǒng)。
【背景技術(shù)】
[0002] 所謂觀察記錄系統(tǒng)，由兩個(gè)部分組成：觀察部分和記錄部分。觀察為細(xì)察事物的現(xiàn) 象、動(dòng)向，它的中心工作在于獲取感興趣目標(biāo)盡可能多的信息。記錄是將觀察到的事實(shí)、證 據(jù)、實(shí)踐操作的過(guò)程，以及產(chǎn)生的想法和問(wèn)題，用文字、圖畫等形式記下來(lái)。視頻觀察記錄系 統(tǒng)是把視頻作為一種觀察方式來(lái)采集信息，在保證充分的視頻采集和結(jié)構(gòu)化的視頻處理和 存儲(chǔ)后，為研宄人員對(duì)觀察對(duì)象進(jìn)行詳細(xì)準(zhǔn)確的分析和認(rèn)知提供數(shù)據(jù)。
[0003] 在社會(huì)日益發(fā)展的今天，人類自身發(fā)展是社會(huì)發(fā)展的終極目標(biāo)，觀察記錄就是為 了更好理解個(gè)人心理意念和行為活動(dòng)的關(guān)聯(lián)，從而通過(guò)調(diào)節(jié)及時(shí)排除身心問(wèn)題促進(jìn)人更好 地發(fā)展。在一個(gè)對(duì)目標(biāo)行為的觀察記錄系統(tǒng)中，觀察者希望在觀測(cè)時(shí)間內(nèi)始終能看到目標(biāo) 的正面行為表情。由于被觀察目標(biāo)處在運(yùn)動(dòng)的狀態(tài)，單個(gè)觀察源（攝像機(jī)）的結(jié)構(gòu)布局不 能保證始終獲得目標(biāo)正面的行為表情。可以通過(guò)增加觀察源來(lái)保證觀察對(duì)象的正面始終處 在一定角度范圍內(nèi)，即通過(guò)布置多個(gè)觀察源來(lái)充分采集觀察者的表情或行為信息，提高觀 察記錄的全面性。由于多個(gè)觀察源拍攝的時(shí)段是一致的，因此每個(gè)視頻文件中都可能包含 部分目標(biāo)的正面信息，當(dāng)用戶需要觀察拍攝時(shí)段內(nèi)目標(biāo)所有的正面信息時(shí)，需要查看每段 視頻數(shù)據(jù)，非常不便，因此有必要對(duì)多觀察源下得到的視頻做有效處理。
[0004] 目前國(guó)內(nèi)外沒有對(duì)觀察記錄系統(tǒng)做相應(yīng)的研宄，視頻數(shù)據(jù)處理的主要目的集中在 對(duì)人員監(jiān)控和異常分析報(bào)警方面，通常采用圖像增強(qiáng)、檢索壓縮、智能分析、摘要統(tǒng)計(jì)等方 法對(duì)監(jiān)控對(duì)象進(jìn)行行為分析、快速識(shí)別；在人臉檢測(cè)識(shí)別方面雖然出現(xiàn)了一些多角度人臉 識(shí)別方法，或者通過(guò)人臉識(shí)別進(jìn)行視頻檢測(cè)，檢測(cè)視頻中人物的出現(xiàn)等方法，但均是僅僅為 了獲取人臉正面信息，而沒有實(shí)現(xiàn)對(duì)多方數(shù)據(jù)進(jìn)行重組、獲得以目標(biāo)正面信息為拍攝對(duì)象 的連續(xù)視頻記錄的功能。此外，單個(gè)視頻觀察數(shù)據(jù)可能在數(shù)據(jù)采集上不全面、不完整，而多 個(gè)視頻數(shù)據(jù)之間又沒有必然的融合，不能給使用者時(shí)空上的整體感。

【發(fā)明內(nèi)容】

[0005] 針對(duì)現(xiàn)有技術(shù)中的上述不足之處，本發(fā)明提供了一種多節(jié)點(diǎn)視頻重組方法，能夠 獲取被觀察目標(biāo)正面信息的連續(xù)視頻。
[0006] 除此以外，本發(fā)明還提供一種多節(jié)點(diǎn)視頻重組系統(tǒng)，該系統(tǒng)能夠充分采集被觀察 目標(biāo)視頻信息，并對(duì)其重組以獲取被觀察目標(biāo)正面信息的連續(xù)視頻，視頻信息被保存后可 以應(yīng)用戶的要求以被觀察目標(biāo)為對(duì)象來(lái)查閱視頻信息資料。
[0007] 本發(fā)明的目的：以某空間中的N個(gè)人作為研宄對(duì)象，采用多個(gè)攝像頭拍攝其在該 空間內(nèi)的某個(gè)時(shí)段的多個(gè)視頻，通過(guò)人臉識(shí)別，找到每個(gè)視頻當(dāng)中包含第I個(gè)（I = 1，……， N)目標(biāo)正面信息的視頻幀圖，再進(jìn)行視頻重組，即將這些幀圖按照時(shí)間排序，獲得第I個(gè)（I =1，……，N)目標(biāo)在該空間該時(shí)段內(nèi)正面信息的連續(xù)視頻。
[0008] 為達(dá)到上述目的，本發(fā)明采用了下列技術(shù)方案：
[0009] 第一步：對(duì)于觀察記錄中擁有的m個(gè)觀察源、n個(gè)被觀察目標(biāo)，m和n均為正整數(shù)， 建立n+1個(gè)結(jié)果集合，即n個(gè)被觀察目標(biāo)檢測(cè)結(jié)果&，R 2…，Rn和一個(gè)未識(shí)別人員集合R n+1; 把從m個(gè)觀察源獲得的m個(gè)視頻段用\表示，其中i = 1，2,…，m，并保證每個(gè)視頻段開始 和結(jié)束的時(shí)刻是相同的；將m個(gè)視頻段i = 1，2,…，m分別分解為幀圖，并保存到對(duì)應(yīng)的 幀圖集合A。i = 1，2,…，m中，其中Ai= {f i;1，fi>2，…，U，fi，k是幀圖，i是第一下標(biāo)，k 是第二下標(biāo)，k = 1，2,…，max，max是正整數(shù)；
[0010] 第二步：從Vi，i = 1，2,…，m，中任選一個(gè)視頻段Vkk作為參考數(shù)據(jù)，其中 1^￡{1，2，~，!11}，其對(duì)應(yīng)的幀圖集合為六 1;1;，41;=化1;1;,1，匕,2，一，匕,_};
[0011] 第三步：對(duì)幀圖集合Akk中的幀圖做背景減除和幀差，去除冗余信息得到關(guān)鍵幀集 合Mkk，其中
【主權(quán)項(xiàng)】
1. 一種多節(jié)點(diǎn)視頻重組方法，其特征在于，包括如下步驟： 第一步：對(duì)于觀察記錄中擁有的m個(gè)觀察源、n個(gè)被觀察目標(biāo)，m和n均為正整數(shù)，建立n+1個(gè)結(jié)果集合，即n個(gè)被觀察目標(biāo)檢測(cè)結(jié)果R?！?，R。和一個(gè)未識(shí)別人員集合Rw;把從 m個(gè)觀察源獲得的m個(gè)視頻段用Vi表示，其中i= 1，2,…，m，并保證每個(gè)視頻段開始和結(jié) 束的時(shí)刻是相同的；將m個(gè)視頻段V。i= 1，2,…，m分別分解為帖圖，并保存到對(duì)應(yīng)的帖圖 集合A。i= 1，2,…，m中，其中Ai= {f…fi，2,…，，fi，k是帖圖，i是第一下標(biāo)，k是 第二下標(biāo)，k= 1, 2,…，max,max是正整數(shù)； 第二步：從V。i= 1，2,…，m，中任選一個(gè)視頻段Vkk作為參考數(shù)據(jù)，其中化e山2,… ,m}，其對(duì)應(yīng)的帖圖集合為Akk，Akk-{fkk,。fkk，2,…，fkk，ma]J; 第=步；對(duì)帖圖集合Akk中的帖圖做背景減除和帖差，去除冗余信息得到關(guān)鍵帖集合 Mkk，其中={尼如，1，/化如.2,…，尤如4a- 'f叱J是關(guān)鍵帖，其中j=keyl,key2,… ，keym，keyl,key2,…，keym是正整數(shù)，keyl^key2 ^ …^keym，且keym^max， !A巧.'l，崎.，2，???，沁.v/H'}Q{l，2，???，max'}，然后在其它帖圖集合Ai，i=l，2，…，m，i聲l^k中分 別挑選出第一下標(biāo)為i、第二下標(biāo)為j的帖圖，其中j=keyl,key2,…，keym，放到對(duì)應(yīng)的關(guān) 鍵帖集合Mi中，M,'二{/;如.1，乂山。…，乂如w}E4，i= 1，2,…，m，i聲化； 第四步對(duì)Mkk中的帖圖fkk，j，j=keyl,key2,…，keym，按時(shí)間順序進(jìn)行人臉檢測(cè)和人 臉的角度估計(jì)，如果帖圖包含被觀察目標(biāo)正面人臉信息，則在該幅帖圖上生成人臉框圖，然 后執(zhí)行第六步，如果帖圖不包含被觀察目標(biāo)正面人臉信息，則執(zhí)行第五步； 第五步：根據(jù)人臉角度估計(jì)的結(jié)果和攝像機(jī)布置的拓?fù)浣Y(jié)構(gòu)，對(duì)第四步中不包含被觀 察目標(biāo)正面人臉信息的帖圖進(jìn)行分析，分析出與該帖圖具有相同第二下標(biāo)的、包含被觀察 目標(biāo)正面人臉信息的帖圖在某關(guān)鍵帖集合Mi中，iG(1，2,…，m}，i聲kk，然后對(duì)Mi中該 幅帖圖再做人臉檢測(cè)，如果該帖圖包含被觀察目標(biāo)正面人臉信息，在該帖圖上生成人臉框 圖，然后執(zhí)行第六步，如果該帖圖不包含被觀察目標(biāo)正面人臉信息，則按照i從小到大的順 序依次對(duì)其它關(guān)鍵帖集合Mi中的、與第四步中不包含被觀察目標(biāo)正面人臉信息的帖圖具有 相同第二下標(biāo)的帖圖進(jìn)行人臉檢測(cè)，如果檢測(cè)到某帖圖包含被觀察目標(biāo)正面人臉信息，在 該帖圖上生成人臉框圖，然后執(zhí)行第六步，如果檢測(cè)完所有的關(guān)鍵帖集合Mi，仍找不到包含 被觀察目標(biāo)正面人臉信息的帖圖，則舍棄掉第四步中不包含被觀察目標(biāo)正面人臉信息的帖 圖，然后執(zhí)行第八步； 第六步：對(duì)人臉框圖歸一化處理，提取人臉特征； 第走步；將人臉框圖和觀察對(duì)象人臉庫(kù)進(jìn)行人臉特征匹配，把包含人臉框圖的該帖分 到對(duì)應(yīng)的結(jié)果集合Rs中，其中S= 1，2,…，n+1 ; 第八步；循環(huán)第四至第走步驟，直到帖圖片處理結(jié)束。
2. 根據(jù)權(quán)利要求1所述的一種多節(jié)點(diǎn)視頻重組方法，其特征在于，所述的視頻段Vkk選 用正對(duì)觀察對(duì)象時(shí)間最長(zhǎng)的攝像機(jī)記錄的視頻。
3. -種多節(jié)點(diǎn)視頻重組系統(tǒng)，其特征在于，所述多節(jié)點(diǎn)視頻重組系統(tǒng)包括視頻采集模 塊、視頻重組模塊和視頻再現(xiàn)模塊； 所述視頻采集模塊利用圖像傳感器自動(dòng)采集信息，圖像傳感器之間采用有線或者無(wú)線 方式和視頻數(shù)據(jù)處理中屯、相連接，視頻各個(gè)節(jié)點(diǎn)之間有著共同的系統(tǒng)時(shí)間； 所述視頻重組模塊對(duì)視頻采集模塊獲得的視頻進(jìn)行處理，獲取被觀察目標(biāo)正面信息的 連續(xù)視頻，并將該視頻保存到數(shù)據(jù)庫(kù)中； 所述視頻再現(xiàn)模塊從數(shù)據(jù)庫(kù)中查詢出已經(jīng)保存的數(shù)據(jù)記錄，并將結(jié)果顯示在查詢界 面，查詢請(qǐng)求由客戶端發(fā)起并由數(shù)據(jù)庫(kù)的服務(wù)器接收、處理，之后將執(zhí)行的結(jié)果返回給客戶 玉山 乂而。
【專利摘要】本發(fā)明提供了一種多節(jié)點(diǎn)視頻重組方法，能夠獲取被觀察目標(biāo)正面信息的連續(xù)視頻。除此以外，本發(fā)明還提供一種多節(jié)點(diǎn)視頻重組系統(tǒng)，該系統(tǒng)包含視頻采集模塊、視頻重組模塊和視頻重現(xiàn)模塊。該系統(tǒng)能夠充分采集被觀察目標(biāo)視頻信息，并對(duì)其重組以獲取被觀察目標(biāo)正面信息的連續(xù)視頻，視頻信息被保存后可以應(yīng)用戶的要求以被觀察目標(biāo)為對(duì)象來(lái)查閱視頻信息資料。用于觀察記錄的多節(jié)點(diǎn)視頻重組方法和系統(tǒng)通過(guò)采集多個(gè)觀察源下的視頻數(shù)據(jù)并對(duì)其進(jìn)行重組處理，獲得被觀察目標(biāo)正面信息的連續(xù)視頻，方便用戶快速、全面瀏覽到觀察目標(biāo)的全部正面信息，與現(xiàn)有技術(shù)相比，具有獲取觀察目標(biāo)正面信息的全面性、連續(xù)性的優(yōu)點(diǎn)。
【IPC分類】G06F17-30, H04N7-18
【公開號(hào)】CN104850607
【申請(qǐng)?zhí)枴緾N201510229786
【發(fā)明人】謝成鋼, 武曉康, 魯琴, 杜列波, 楊淵博, 唐曙, 孫備
【申請(qǐng)人】中國(guó)人民解放軍國(guó)防科學(xué)技術(shù)大學(xué)
【公開日】2015年8月19日
【申請(qǐng)日】2015年5月7日