本發(fā)明屬于視頻分析領(lǐng)域，具體涉及把不同時間出現(xiàn)的運(yùn)動目標(biāo)實(shí)現(xiàn)有效“聚集”并組裝到盡可能短的視頻區(qū)間內(nèi)的方法。

背景技術(shù)：

視頻圖像分析系統(tǒng)已被廣泛用于銀行、公安、道路、交通等行業(yè)，而視頻濃縮則是其中一個重要功能和應(yīng)用。視頻濃縮是指以自動或半自動的方式，利用視頻分析算法對視頻內(nèi)容分析，提取其中的運(yùn)動目標(biāo)、分析其運(yùn)動軌跡，將不同的運(yùn)動目標(biāo)拼接到一個共同的背景場景中，并將它們以某種方式進(jìn)行組合、生成新的濃縮后視頻的一種技術(shù)。視頻濃縮剔除了視頻中沒有價值的內(nèi)容，把較長時間視頻內(nèi)的運(yùn)動目標(biāo)(人、車、物等)以及發(fā)生的事件濃縮到非常短的視頻，使得工作人員可以很快看完所有的活動目標(biāo)，利用回溯原始視頻功能，瞬間鎖定目標(biāo)在原始視頻的位置，大大提高了視頻監(jiān)控分析效率。

視頻濃縮涉及兩個關(guān)鍵技術(shù)：視頻分析算法和濃縮視頻展示算法。視頻分析算法負(fù)責(zé)分析視頻內(nèi)容，提取其中的運(yùn)動目標(biāo)和運(yùn)動軌跡，并存放到內(nèi)存或數(shù)據(jù)庫中。濃縮視頻展示算法負(fù)責(zé)從內(nèi)存或數(shù)據(jù)庫中讀取視頻分析算法的結(jié)果，把多個運(yùn)動目標(biāo)合并組裝到一定數(shù)量的視頻幀內(nèi)，有效展示給用戶。本發(fā)明主要討論濃縮視頻展示算法。

濃縮視頻的展示對用戶體驗(yàn)起著至關(guān)重要的作用，一個好的濃縮視頻展示算法應(yīng)解決如下幾個問題：在組裝運(yùn)動目標(biāo)時，應(yīng)盡量避免不同運(yùn)動目標(biāo)互相遮擋、重疊，避免同一運(yùn)動目標(biāo)在運(yùn)動過程中被割裂，避免目標(biāo)運(yùn)動軌跡的不平滑，最終把不同時間出現(xiàn)的運(yùn)動目標(biāo)實(shí)現(xiàn)“聚集”并組裝到盡可能短的視頻區(qū)間內(nèi)進(jìn)行展示。

目前現(xiàn)有的濃縮視頻的展示的缺點(diǎn)有兩類：一類是由于兩個或多個運(yùn)動目標(biāo)由于其在原始視頻中的運(yùn)動軌跡在空間上有重疊，現(xiàn)有技術(shù)方案在吧這些運(yùn)動目標(biāo)被安裝到濃縮視頻中進(jìn)行展示時沒有考慮這種運(yùn)動軌跡的重疊問題，導(dǎo)致在某些時間點(diǎn)上多個運(yùn)動目標(biāo)互相重疊互相遮擋，視覺上看上去很亂，用戶體驗(yàn)差；另一類是有些技術(shù)方案為了避免運(yùn)動目標(biāo)在軌跡上的重疊，強(qiáng)行把運(yùn)動目標(biāo)的展示在時間上串聯(lián)起來，導(dǎo)致濃縮視頻的長度大大增加，從而沒達(dá)到“濃縮”的效果。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于為了克服以上現(xiàn)有技術(shù)的不足提出一種把不同時間出現(xiàn)的運(yùn)動目標(biāo)實(shí)現(xiàn)有效“聚集”并組裝到盡可能短的視頻區(qū)間內(nèi)的方法。

本發(fā)明的技術(shù)方案如下：

一種在視頻幀內(nèi)合理組裝待展示運(yùn)動目標(biāo)的方法，該方法適于在計算設(shè)備中執(zhí)行，包括以下步驟：

步驟1，通過背景建模的方法得到原始視頻的背景作為其濃縮視頻的初始幀，從待展示運(yùn)動目標(biāo)集中找到在原始視頻中最早出現(xiàn)的運(yùn)動目標(biāo)作為第一待展示目標(biāo)；

步驟2，根據(jù)第一待展示目標(biāo)在原始視頻中的運(yùn)動軌跡，把第一待展示目標(biāo)放置到濃縮視頻中；

步驟3，將待展示運(yùn)動目標(biāo)集中的第一待展示目標(biāo)刪除；

步驟4，在刪除第一待展示目標(biāo)后的待展示運(yùn)動目標(biāo)集中選擇新的待展示目標(biāo)，選擇新的待展示目標(biāo)滿足如下條件：該新的待展示目標(biāo)在濃縮視頻中的運(yùn)動軌跡與已放置到濃縮視頻中的待展示目標(biāo)的運(yùn)動軌跡重疊部分越小越好，同時要求該新的待展示目標(biāo)被放置到濃縮視頻中后使得濃縮視頻的時間長度增加得越短越好；

步驟5，繼續(xù)依次按照步驟2至步驟4的操作將新的待展示目標(biāo)放置到濃縮視頻中，然后將待展示運(yùn)動目標(biāo)集中的新的待展示目標(biāo)刪除，選擇下一待展示目標(biāo)并將其運(yùn)動軌跡裝入上一次待展示濃縮視頻中，直到待展示運(yùn)動目標(biāo)集為空集，得到最終待展示序列。

進(jìn)一步地，所述的在視頻幀內(nèi)合理組裝待展示運(yùn)動目標(biāo)的方法，步驟1中待展示運(yùn)動目標(biāo)集為原始視頻中需要展示的運(yùn)動目標(biāo)的集合。

進(jìn)一步地，所述的在視頻幀內(nèi)合理組裝待展示運(yùn)動目標(biāo)的方法，步驟2中第一待展示目標(biāo)放置到濃縮視頻中時使得該目標(biāo)在濃縮視頻中的運(yùn)動軌跡與該目標(biāo)在原始視頻中的運(yùn)動軌跡一致。

進(jìn)一步地，所述的在視頻幀內(nèi)合理組裝待展示運(yùn)動目標(biāo)的方法，步驟4中選擇新的待展示目標(biāo)滿足的條件可以用以下公式得到：

cost(a1，ok)＝λ1cov(a1，ok)+λ2len(a1，ok)；

其中cov(a1，ok)表示把運(yùn)動目標(biāo)ok組裝進(jìn)濃縮視頻序列a1時由于其與序列a1中其他運(yùn)動目標(biāo)有空間上的重疊產(chǎn)生的代價；len(a1，ok)表示把運(yùn)動目標(biāo)ok組裝進(jìn)序列a1時導(dǎo)致濃縮視頻長度增加而產(chǎn)生的代價；λ1和λ2為權(quán)重參數(shù)；cov(a1，ok)的定量化值用重疊面積表示，len(a1，ok)的定量化值用濃縮視頻序列增加的視頻幀數(shù)表示；

選擇新的待展示目標(biāo)時，需滿足其放置到序列a1中時應(yīng)滿足：

cost(a1，ok)<c，其中c為預(yù)先設(shè)定的閾值。

進(jìn)一步地，所述的在視頻幀內(nèi)合理組裝待展示運(yùn)動目標(biāo)的方法，步驟5中得到最終待展示序列的長度與放置到其中的待展示目標(biāo)疊加后的總長度一致。

本發(fā)明還提供了一種視頻集中展示設(shè)備，其中存儲有多條指令，所述指令適用于由處理器加載并執(zhí)行：

對原始視頻進(jìn)行濃縮處理得到濃縮視頻，將原始視頻的背景作為其濃縮視頻的初始幀；

將原始視頻中最早出現(xiàn)的待展示目標(biāo)裝入濃縮視頻中，且該待展示目標(biāo)在濃縮視頻中的運(yùn)動軌跡與其在原始視頻一致；

選擇除已裝入濃縮視頻中的待展示目標(biāo)以外的原始視頻中下一待展示目標(biāo)，并滿足以下公式要求：

cost(a1，ok)＝λ1cov(a1，ok)+λ2len(a1，ok)；

cost(a1，ok)<c；

其中c為預(yù)先設(shè)定的閾值；cov(a1，ok)表示把運(yùn)動目標(biāo)ok組裝進(jìn)濃縮視頻序列a1時由于其與序列a1中其他運(yùn)動目標(biāo)有空間上的重疊產(chǎn)生的代價；len(a1，ok)表示把運(yùn)動目標(biāo)ok組裝進(jìn)序列a1時導(dǎo)致濃縮視頻長度增加而產(chǎn)生的代價；λ1和λ2為權(quán)重參數(shù)；cov(a1，ok)的定量化值用重疊面積表示，len(a1，ok)的定量化值用濃縮視頻序列增加的視頻幀數(shù)表示；將滿足以上公式條件的下一待展示目標(biāo)裝入濃縮視頻中；

繼續(xù)按照以上公式要求選擇新的待展示目標(biāo)并裝入濃縮視頻中，直至全部待展示目標(biāo)裝入完畢。

濃縮視頻是對原始視頻的一個概況，濃縮視頻的生成包括兩個步驟，第一個步驟是對原始視頻進(jìn)行分析，提取原始視頻中的運(yùn)動目標(biāo)，得到各個目標(biāo)的運(yùn)動軌跡，第二個步驟是將不同的目標(biāo)拼接到一個共同的背景場景中，并將它們以某種方式進(jìn)行組合，生成新的濃縮后視頻。本方面的技術(shù)方案主要解決了上述的第二個步驟。

本發(fā)明相對于現(xiàn)有技術(shù)的顯著進(jìn)步在于，本發(fā)明形成濃縮視頻時綜合考慮了時間和空間兩方面的因素，即：在組裝運(yùn)動目標(biāo)過程中，盡量避免不同運(yùn)動目標(biāo)互相遮擋、重疊，同時盡可能少地增加濃縮視頻的長度，最終把不同時間出現(xiàn)的運(yùn)動目標(biāo)實(shí)現(xiàn)高效“聚集”并組裝到盡可能短的視頻區(qū)間內(nèi)進(jìn)行展示。

附圖說明

圖1為本發(fā)明提供的在視頻幀內(nèi)合理組裝待展示運(yùn)動目標(biāo)的方法流程圖；

圖2為本發(fā)明實(shí)施例1中運(yùn)動目標(biāo)o1在濃縮視頻中的運(yùn)動軌跡示意圖；

圖3為本發(fā)明實(shí)施例1中運(yùn)動目標(biāo)ok在濃縮視頻中的運(yùn)動軌跡少于運(yùn)動目標(biāo)o1在濃縮視頻中的運(yùn)動軌跡示意圖；

圖4為本發(fā)明實(shí)施例1中運(yùn)動目標(biāo)ok在濃縮視頻中的運(yùn)動軌跡多于運(yùn)動目標(biāo)o1在濃縮視頻中的運(yùn)動軌跡示意圖；

圖5為本發(fā)明實(shí)施例1中運(yùn)動目標(biāo)ok與運(yùn)動目標(biāo)o1在原始視頻中的運(yùn)動軌跡在某一點(diǎn)相交示意圖；

圖6為本發(fā)明實(shí)施例1中運(yùn)動目標(biāo)ok與運(yùn)動目標(biāo)o1在濃縮視頻中的運(yùn)動軌跡在某一點(diǎn)重疊示意圖。

具體實(shí)施方式

實(shí)施例1

本實(shí)施例提供了一種在視頻幀內(nèi)合理組裝待展示運(yùn)動目標(biāo)的方法，過程如圖1所示，該方法適于在計算設(shè)備中執(zhí)行，包括以下步驟：

步驟1，通過背景建模的方法得到原始視頻的背景作為其濃縮視頻的初始幀，從待展示運(yùn)動目標(biāo)集中找到在原始視頻中最早出現(xiàn)的運(yùn)動目標(biāo)作為第一待展示目標(biāo)；

步驟2，根據(jù)第一待展示目標(biāo)在原始視頻中的運(yùn)動軌跡，把第一待展示目標(biāo)放置到濃縮視頻中；

步驟3，將待展示運(yùn)動目標(biāo)集中的第一待展示目標(biāo)刪除；

步驟4，在刪除第一待展示目標(biāo)后的待展示運(yùn)動目標(biāo)集中選擇新的待展示目標(biāo)，選擇新的待展示目標(biāo)滿足如下條件：該新的待展示目標(biāo)在濃縮視頻中的運(yùn)動軌跡與已放置到濃縮視頻中的待展示目標(biāo)的運(yùn)動軌跡重疊部分越小越好，同時要求該新的待展示目標(biāo)被放置到濃縮視頻中后使得濃縮視頻的時間長度增加得越短越好；

步驟5，繼續(xù)依次按照步驟2至步驟4的操作將新的待展示目標(biāo)放置到濃縮視頻中，然后將待展示運(yùn)動目標(biāo)集中的新的待展示目標(biāo)刪除，選擇下一待展示目標(biāo)并將其運(yùn)動軌跡裝入上一次待展示濃縮視頻中，直到待展示運(yùn)動目標(biāo)集為空集，得到最終待展示序列。

進(jìn)一步地，以上過程通過以下具體的方式實(shí)現(xiàn)：

步驟1，原始視頻中的待展示運(yùn)動目標(biāo)集p1＝{o1，o2，……，on}，其中oi為第i個運(yùn)動目標(biāo)，每個oi均為一個矩形塊。我們用v表示原始視頻序列，vi表示原始視頻的第i幀；a表示生成的濃縮視頻序列，ai表示濃縮視頻的第i幀；將原始視頻的第零幀圖像設(shè)定為濃縮視頻初始背景b；對任意一個運(yùn)動目標(biāo)ok，假設(shè)其在原始視頻的vj幀至vj+t-1幀區(qū)間段內(nèi)出現(xiàn)，我們用表示運(yùn)動目標(biāo)ok在視頻幀vjj內(nèi)所處的二維空間位置，表示運(yùn)動目標(biāo)ok在視頻幀vj+1內(nèi)所處的二維空間位置，以此類推……，我們稱為目標(biāo)ok在視頻v中的運(yùn)動軌跡，t為運(yùn)動目標(biāo)ok在原始視頻中的生存期；

步驟2，搜索待展示運(yùn)動目標(biāo)集p1＝{o1，o2，……，on}，找到某個運(yùn)動目標(biāo)om，使得om相對于其他運(yùn)動目標(biāo)(即待展示運(yùn)動目標(biāo)集p1中除去om以外的其他運(yùn)動目標(biāo))而言是最早出現(xiàn)在原始視頻中的運(yùn)動目標(biāo)。

步驟3，把運(yùn)動目標(biāo)o1放置到濃縮視頻的初始背景b中，形成濃縮視頻的起始幀a1，假設(shè)o1在原始視頻的vj幀至vj+t-1幀區(qū)間段內(nèi)出現(xiàn)，于是我們可以得到濃縮視頻的初始序列a1，即：a1＝(a1，a2，……，at)，1在初始序列a1中每一幀中的空間位置與其在原始視頻幀序列中的空間位置保持一致，如圖2所示。

步驟4，從待展示運(yùn)動目標(biāo)集p1中去除目標(biāo)o1，形成新的待展示運(yùn)動目標(biāo)集p2，即p2＝{o2，……，on}；

步驟5，搜索待展示運(yùn)動目標(biāo)集p2，找到第一個滿足條件的待展示運(yùn)動目標(biāo)ok，假設(shè)運(yùn)動目標(biāo)ok在出現(xiàn)在原始視頻的vi幀至vi+l-1幀區(qū)間段內(nèi)，根據(jù)ok在原始視頻中的空間和時間信息，把ok組裝至濃縮視頻序列a1，形成新的濃縮視頻序列a2。

下面說明何為“滿足條件”，當(dāng)把運(yùn)動目標(biāo)ok組裝進(jìn)序列a1時，可能對濃縮視頻序列產(chǎn)生兩類影響：一類是由于ok可能與組裝進(jìn)序列a1的運(yùn)動目標(biāo)在某些時間點(diǎn)上軌跡有相交而產(chǎn)生目標(biāo)重疊或部分遮擋，導(dǎo)致用戶體驗(yàn)下降；另一類是ok組裝進(jìn)序列a1后可能導(dǎo)致序列增長(即視頻幀數(shù)增加)導(dǎo)致用戶體驗(yàn)下降。我們希望在步驟5找到的運(yùn)動目標(biāo)ok能夠使得上述兩類影響越小越好，我們把這兩類影響定量化，使得該定量化的影響小于某個預(yù)先指定的閾值，此時我們稱之為“滿足條件”。為此我們用cost(a1，ok)表示把ok組裝進(jìn)序列a1產(chǎn)生的代價，代價可用如下公式計算得到：

cost(a1，ok)＝λ1cov(a1，ok)+λ2len(a1，ok)

上式中cov(a1，ok)表示把ok組裝進(jìn)序列a1由于其與序列a1中其他運(yùn)動目標(biāo)有空間上的重疊產(chǎn)生的代價；len(a1，ok)表示把ok組裝進(jìn)序列a1時導(dǎo)致濃縮視頻長度增加而產(chǎn)生的代價，λ1和λ2為權(quán)重參數(shù)，可以根據(jù)實(shí)際需要設(shè)定。上式中cov(a1，ok)的定量化值可以用重疊面積表示，len(a1，ok)的定量化值可以用濃縮視頻序列增加的視頻幀數(shù)表示。

于是步驟5的實(shí)質(zhì)即為找到運(yùn)動目標(biāo)ok使得把運(yùn)動目標(biāo)ok組裝進(jìn)序列a1時滿足下列不等式：

cost(a1，ok)<c，其中c為預(yù)先設(shè)定的閾值。

把運(yùn)動目標(biāo)ok組裝進(jìn)序列a1的組裝過程可能會遇到如下幾種情形：

情形一，如果目標(biāo)ok在原始視頻中的運(yùn)動軌跡與目標(biāo)o1的運(yùn)動軌跡不相交，并且目標(biāo)ok在原始視頻中的生存期l小于目標(biāo)o1的生存期t，則直接把目標(biāo)ok組裝進(jìn)濃縮視頻序列a1的各幀中形成濃縮序列a2，a2的視頻幀數(shù)與a1相同，如圖3所示。

情形二，如果目標(biāo)ok在原始視頻中的運(yùn)動軌跡與目標(biāo)o1的運(yùn)動軌跡不相交，并且目標(biāo)ok在原始視頻中的生存期l大于目標(biāo)o1的生存期t，即l>t，則首先把目標(biāo)ok組裝進(jìn)濃縮視頻序列a1的各幀中，同時需要擴(kuò)展視頻序列以確保目標(biāo)ok的濃縮展示，形成濃縮序列a2，如圖4所示。

情形三，如果目標(biāo)ok在原始視頻中的運(yùn)動軌跡與目標(biāo)o1的運(yùn)動軌跡在某個時間點(diǎn)相交，如圖5所示。則把目標(biāo)ok組裝進(jìn)濃縮視頻序列a1時即會產(chǎn)生目標(biāo)ok與目標(biāo)o1在第am幀重疊的情況，如圖6所示。

對于情形三，可以選擇另一種方法避免目標(biāo)ok與目標(biāo)o1重疊，比如把ok的展示時間向后推遲，以避免兩目標(biāo)在第am幀重疊，但是這種方法可能會導(dǎo)致濃縮視頻序列長度增加。究竟采用哪種方法我們可以通過計算兩種方法的cost(a1，ok)代價值，選擇cost(a1，ok)代價值較小的那個方法。

步驟6，對待展示運(yùn)動目標(biāo)集p2，循環(huán)執(zhí)行步驟4、步驟5的方法，直至待展示運(yùn)動目標(biāo)集pn為空集，此時生成的濃縮視頻序列an即為最終的濃縮視頻序列。

實(shí)施例2

基于實(shí)施例1提供的方法，本實(shí)施例提供了一種視頻集中展示設(shè)備，該展示設(shè)備中存儲有多條指令，所述指令適用于由處理器加載并執(zhí)行：

對原始視頻進(jìn)行濃縮處理得到濃縮視頻，將原始視頻的背景作為其濃縮視頻的初始幀；

將原始視頻中最早出現(xiàn)的待展示目標(biāo)裝入濃縮視頻中，且該待展示目標(biāo)在濃縮視頻中的運(yùn)動軌跡與其在原始視頻一致；

選擇除已裝入濃縮視頻中的待展示目標(biāo)以外的原始視頻中下一待展示目標(biāo)，并滿足以下公式要求：

cost(a1，ok)＝λ1cov(a1，ok)+λ2len(a1，ok)；

cost(a1，ok)<c；

其中c為預(yù)先設(shè)定的閾值；cov(a1，ok)表示把運(yùn)動目標(biāo)ok組裝進(jìn)濃縮視頻序列a1時由于其與序列a1中其他運(yùn)動目標(biāo)有空間上的重疊產(chǎn)生的代價；len(a1，ok)表示把運(yùn)動目標(biāo)ok組裝進(jìn)序列a1時導(dǎo)致濃縮視頻長度增加而產(chǎn)生的代價；λ1和λ2為權(quán)重參數(shù)；cov(a1，ok)的定量化值用重疊面積表示，len(a1，ok)的定量化值用濃縮視頻序列增加的視頻幀數(shù)表示；將滿足以上公式條件的下一待展示目標(biāo)裝入濃縮視頻中；

繼續(xù)按照以上公式要求選擇新的待展示目標(biāo)并裝入濃縮視頻中，直至全部待展示目標(biāo)裝入完畢。

通過以上設(shè)備，能夠很好地實(shí)現(xiàn)將原始視頻中待展示的運(yùn)動目標(biāo)裝入到與之對應(yīng)的濃縮視頻中，該濃縮視頻不僅能夠原樣展示各目標(biāo)的運(yùn)動軌跡，同時能夠滿足展示的視頻長度盡可能的短，很好地達(dá)到了視頻展示過程中的運(yùn)動目標(biāo)重疊率低以及無效視頻片段低的展示效果，全面提升了用戶體驗(yàn)。