本發(fā)明屬于計算機視覺技術(shù)領(lǐng)域，更為具體地講，涉及一種基于運動目標(biāo)時序信息的視頻序列同步方法。

背景技術(shù)：

在不同攝像頭，如雙目攝像頭的實際應(yīng)用中，不同攝像頭所拍攝的視頻，會由于機器開機卡頓、延遲等原因?qū)е聝蓚€視頻在時間上存在一定程度的偏差。而在很多寬范圍場景下，需要對雙目攝像頭拍攝的視頻進(jìn)行拼接，再對基于拼接后的視頻進(jìn)行目標(biāo)追蹤等操作，如果存在這樣的時間偏差會對視頻拼接的效果及目標(biāo)跟蹤的準(zhǔn)確性造成較大影響。因此，對于不同攝像頭所進(jìn)行的視頻序列同步研究，即找到兩個攝像頭下相同幀即視頻序列進(jìn)行同步具有一定的現(xiàn)實意義。

目前，針對不同攝像頭，如雙目攝像頭所拍視頻序列的同步研究還不是特別多，主要方法是基于視頻序列中的單組對應(yīng)幀之間的匹配或基于場景中的運動對象軌跡的分析。這些方法，往往忽視了不同攝像頭所拍攝圖像在空間中存在的視角差異以及圖像在時間上的序列相關(guān)性信息，造成兩路視頻序列時間偏差計算不準(zhǔn)確，同步的效果不佳。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提出一種基于運動目標(biāo)時序信息的視頻序列同步方法，以提高兩路視頻序列時間偏差計算的準(zhǔn)確度，從而提升其同步效果。

為實現(xiàn)上述發(fā)明目的，本發(fā)明基于運動目標(biāo)時序信息的視頻序列同步方法，其特征在于，包括以下步驟：

(1)、計算兩個攝像頭對存在運動目標(biāo)的同一場景所拍攝視頻圖像i1、i2之間的單應(yīng)矩陣h

1.1)、對于兩個攝像頭分別同時拍攝的、存在運動目標(biāo)的同一場景的兩段視頻序列，首先分別選取一幀視頻圖像i1、i2進(jìn)行surf(加速魯棒特征)特征點檢測，得到兩幀帶特征點的視頻圖像i1′、i2′，然后通過人工剔除其中(視頻圖像i1′、i2′中)那些位于運動目標(biāo)內(nèi)的特征點，得到視頻圖像i1″、i2″，再后將視頻圖像i1″的中特征點與視頻圖像i2″中的特征點進(jìn)行匹配，得到一系列的特征點匹配對；

1.2)、基于ransac(隨機抽樣一致)算法，對特征點匹配對進(jìn)行篩選，去除誤匹配的特征點匹配對，得到的特征點匹配對集s；

1.3)、根據(jù)特征點匹配對集合s，計算兩段視頻序列的視頻圖像之間的變換矩陣即單應(yīng)矩陣h，單應(yīng)矩陣h根據(jù)以下公式計算：

其中，(x1,y1)為特征點匹配對位于視頻圖像i1″中的特征點坐標(biāo)，(x2,y2)特征點匹配對位于視頻圖像i2″中的特征點坐標(biāo)；

(2)、將查找視頻序列映射至參考視頻序列平面

取視頻序列v2中長度不小于運動目標(biāo)一個運動周期的小段視頻序列為查找視頻序列vs，將視頻序列v1作為參考視頻序列vr；然后根據(jù)公式(1)中得到的單應(yīng)矩陣h，將查找視頻序列vs映射至參考視頻序列vr所在平面，即查找視頻序列vs中的每一幀視頻圖像的每個像素點坐標(biāo)作為(x2,y2)代入公式(1)中，計算出其新的像素點坐標(biāo)(x1,y1)，得到查找視頻序列vs′；

(3)、背景減除與獲取運動目標(biāo)輪廓

基于混合高斯背景建模，針對查找視頻序列vs′和參考視頻序列vr分別獲取場景背景，再分別與各自對應(yīng)的視頻序列進(jìn)行背景減除處理；在背景減除結(jié)果中獲取運動目標(biāo)輪廓，得到兩個輪廓序列，分別為查找輪廓序列q和參考輪廓序列y；

(4)、基于運動目標(biāo)輪廓匹配對視頻序列進(jìn)行同步

4.1)、查找匹配視頻序列的終點幀序數(shù)

令查找輪廓序列q＝(q1,q2,…,ql)，參考輪廓序列y＝(y1,y2,…,qm)，定義價值矩陣c，其元素為：

其中，l為查找輪廓序列q的幀數(shù)，m為參考輪廓序列y的幀數(shù)，為輪廓qi與輪廓yj的相似度；

定義累積價值矩陣d，其元素根據(jù)以下方式計算得到：

第1列元素為：

其中，1≤i≤l；

第1行元素：

d1,j＝c1,j，其中，1≤j≤m；

然后，按行或按列依據(jù)以下公式得到，其他元素：

di,j＝min(di-1,j-1,di-1,j,di,j-1)+c1,j，其中，2≤i≤l，2≤j≤m(3)；

得到累積價值矩陣d后，進(jìn)行配準(zhǔn)即求查找視頻序列在參考視頻序列上的匹配視頻序列的終點幀序數(shù)b^*：

其中，argmin表示l行的元素dl,b取極小值時，列變量b的值，即終點幀序數(shù)b^*；

4.2)、獲取匹配視頻序列

根據(jù)步驟4.2)中方法，獲取的匹配視頻序列的終點幀序數(shù)b^*多個，如果終點幀序數(shù)b^*小于l，則刪除，這樣得到p個終點幀序數(shù)b^*，記為：然后，根據(jù)最優(yōu)規(guī)整路徑(owp)算法，求得p個匹配視頻序列，其在參考視頻序列的位置分別表示為：其中，分別p個匹配視頻序列的起始點幀序數(shù)；

4.3)、篩選匹配視頻序列

設(shè)定一個閾值slope，如果匹配視頻序列的斜率不滿足：

則予以剔除。此外，匹配視頻序列的數(shù)量為p*；

再分別計算經(jīng)過斜率篩選的每個匹配視頻序列與查找視頻序列q＝(q1,q2,…,ql)中對應(yīng)幀基于r變換的縮放比例其中，計算每個匹配視頻序列中所有幀的縮放比例均值α^p：

α^p最小即均值最接近1的匹配視頻序列即為最終篩選得到的匹配視頻序列；

4.4)、計算視頻序列的時間偏差

查找視頻序列vs的第一幀序數(shù)為n，最終篩選得到的匹配視頻序列第一幀序數(shù)為m，兩個攝像頭拍攝視頻的幀率為均為f，則視頻序列的時間偏差為t＝|n-m|/f，若n>m，則查找視頻序列所在視頻在時間上落后參考視頻序列所在視頻t秒，反之，則參考視頻序列所在視頻在時間上落后查找視頻序列所在視頻t秒；

4.5)、根據(jù)得到時間偏差t對兩個攝像頭所拍視頻序列進(jìn)行調(diào)整，完成二者的同步。

本發(fā)明的目的是這樣實現(xiàn)的。

本發(fā)明基于運動目標(biāo)時序信息的視頻序列同步方法，對于存在運動目標(biāo)的場景，采用兩個攝像頭進(jìn)行拍攝，然后進(jìn)行同步：首先計算兩個攝像頭所拍攝視頻圖像之間的單應(yīng)矩陣，根據(jù)該矩陣，將查找視頻序列映射到參考視頻序列平面，對視頻序列進(jìn)行背景減除處理，分別獲取兩個視頻序列中運動目標(biāo)輪廓序列，然后進(jìn)行配準(zhǔn)，獲得匹配視頻序列，并進(jìn)行篩選，得到一個最終的匹配視頻序列，這樣獲得時間偏差用于視頻序列的同步。本發(fā)明引入單應(yīng)矩陣，將將查找視頻序列映射到參考視頻序列平面，解決了視頻圖像之間的視覺差異問題，提高了視頻圖像相似度比較的準(zhǔn)確性；同時，本發(fā)明拍攝的場景中存在運動目標(biāo)，可以利用運動目標(biāo)在時間上的序列信息，通過運動目標(biāo)輪廓的相似度來進(jìn)行視頻序列的匹配，而運動目標(biāo)的姿態(tài)變化是一個合適的特征，可以準(zhǔn)確匹配，從而進(jìn)一步提高時間偏差計算的準(zhǔn)確度，從而提升其同步效果。

附圖說明

圖1是本發(fā)明基于運動目標(biāo)時序信息的視頻序列同步方法的一種具體實施方式流程圖；

圖2是映射前后的查找視頻序列的視頻圖像與參考視頻序列的視頻圖像的對比圖，其中，(a)為映射前的查找視頻序列的視頻圖像、(b)為映射后的查找視頻序列的視頻圖像、(c)為參考視頻序列的視頻圖像；

圖3是獲取的部分運動目標(biāo)輪廓圖；

圖4是輪廓縮放配準(zhǔn)前后對比圖，其中，(a)為縮放配準(zhǔn)前、(b)為縮放配準(zhǔn)后；

圖5是輪廓位置配準(zhǔn)前后對比圖，其中，(a)為重合配準(zhǔn)前、(b)為重合配準(zhǔn)后；

圖6是累積距離矩陣末行曲線圖；

圖7是dtw累積矩陣中的匹配路徑；

圖8是查找輪廓序列終點幀與參考輪廓序列潛在對應(yīng)幀對比圖；

圖9是同步前后視頻拼接對比圖，其中，(a)為同步前、(b)為同步后。

具體實施方式

下面結(jié)合附圖對本發(fā)明的具體實施方式進(jìn)行描述，以便本領(lǐng)域的技術(shù)人員更好地理解本發(fā)明。需要特別提醒注意的是，在以下的描述中，當(dāng)已知功能和設(shè)計的詳細(xì)描述也許會淡化本發(fā)明的主要內(nèi)容時，這些描述在這里將被忽略。

圖1是本發(fā)明基于運動目標(biāo)時序信息的視頻序列同步方法的一種具體實施方式流程圖。

在本實施例中，如圖1所示，本發(fā)明基于運動目標(biāo)時序信息的視頻序列同步方法包括以下步驟：

步驟s1：計算單應(yīng)矩陣

針對不同攝像頭，如雙目攝像頭所拍攝視頻圖像在空間中存在的視角差異問題，本發(fā)明引入單應(yīng)矩陣的相關(guān)概念。在計算機視覺中，平面的單應(yīng)性被定義為一個平面到另外一個平面的投影映射。從幾何意義上講，單應(yīng)矩陣是用來計算在同一個三維平面上的點在不同的二維圖像中的投影位置的，即確定了同一場景的兩幅圖像點之間的一一對應(yīng)關(guān)系。根據(jù)雙目攝像頭所拍攝兩幅視頻圖像之間的單應(yīng)矩陣，可將兩幅視頻圖像映射到同一平面下即查找視頻序列映射至參考視頻序列平面(反之也一樣)，這樣解決了視頻圖像之間的視角差異問題。

1.1)、對于兩個攝像頭分別同時拍攝的、存在運動目標(biāo)的同一場景的兩段視頻序列，首先分別選取一幀視頻圖像i1、i2進(jìn)行surf(加速魯棒特征)特征點檢測，得到兩幀帶特征點的視頻圖像i1′、i2′，然后通過人工剔除其中(視頻圖像i1′、i2′中)那些位于運動目標(biāo)內(nèi)的特征點，得到視頻圖像i1″、i2″，再后將視頻圖像i1″的中特征點與視頻圖像i2″中的特征點進(jìn)行匹配，得到一系列的特征點匹配對；

1.2)、基于ransac(隨機抽樣一致)算法，對特征點匹配對進(jìn)行篩選，去除誤匹配的特征點匹配對，得到的特征點匹配對集s；

1.3)、根據(jù)特征點匹配對集合s，計算兩段視頻序列的視頻圖像之間的變換矩陣即單應(yīng)矩陣h，單應(yīng)矩陣h根據(jù)以下公式計算：

其中，(x1,y1)為特征點匹配對位于視頻圖像i1″中的特征點坐標(biāo)，(x2,y2)特征點匹配對位于視頻圖像i2″中的特征點坐標(biāo)。

單應(yīng)矩陣h是通過將特征點匹配對集合s的所有特征點匹配對代入公式(1)中，然后計算得到。計算時，可以通過多組(根據(jù)特征點匹配對數(shù)量確定)，每組7個特征點匹配對構(gòu)建方程組，計算出多組單應(yīng)矩陣h的參數(shù)h1～h7，最后平均得到。

步驟s2：將查找視頻序列映射至參考視頻序列平面

取視頻序列v2中長度不小于運動目標(biāo)一個運動周期的小段視頻序列為查找視頻序列vs，將視頻序列v1作為參考視頻序列vr。查找視頻序列vs的長度l小于參考視頻序列vr的長度m，以便在參考視頻序列vr中找到其匹配視頻序列。

根據(jù)公式(1)中得到的單應(yīng)矩陣h，將查找視頻序列vs映射至參考視頻序列vr所在平面，即查找視頻序列vs中的每一幀視頻圖像的每個像素點坐標(biāo)作為(x2,y2)代入公式(1)中，計算出其新的像素點坐標(biāo)(x1,y1)，得到查找視頻序列vs′。

在本實施例中，映射前后的查找視頻序列的視頻圖像與參考視頻序列的視頻圖像如圖2所示。從圖2可以看出，映射后的查找視頻序列的視頻圖像比映射前出現(xiàn)了一定的邊沿?fù)p失，這是由于不同攝像頭所拍攝圖像在空間中存在的視角差異造成的，映射后的視頻圖像可以與參考視頻圖像進(jìn)行拼接。

步驟s3：背景減除與獲取運動目標(biāo)輪廓

基于混合高斯背景建模，針對查找視頻序列vs′和參考視頻序列vr分別獲取場景背景，再分別與各自對應(yīng)的視頻序列進(jìn)行背景減除處理；在背景減除結(jié)果中獲取運動目標(biāo)輪廓，得到兩個輪廓序列，分別為查找輪廓序列q和參考輪廓序列y。

在本實施例中，如圖3所示，獲取的部分運動目標(biāo)輪廓為部分運動人體輪廓，為了便于計算，運動目標(biāo)輪廓為二值化圖像。

步驟s4：基于運動目標(biāo)輪廓匹配對視頻序列進(jìn)行同步

4.1)、查找匹配視頻序列的終點幀序數(shù)

令查找輪廓序列q＝(q1,q2,…,ql)，參考輪廓序列y＝(y1,y2,…,qm)，定義價值矩陣c，其元素為：

其中，l為查找輪廓序列q的幀數(shù)，m為參考輪廓序列y的幀數(shù)，sqi,yj為輪廓qi與輪廓yj的相似度。

在本實施例中，輪廓的相似度計算如下：

4.1.1)、兩幅輪廓的縮放(尺度)配準(zhǔn)

首先，求輪廓qi與輪廓yj的r變換，然后根據(jù)r變換確定輪廓qi與輪廓yj的縮放比例。圖像進(jìn)行參數(shù)為α的尺度變換后，其r變換大小會以α³倍相對于原圖的r變換發(fā)生變化。因此，可以根據(jù)圖像r變化計算兩幅輪廓在尺度上的縮放比例。再后，根據(jù)求得的縮放比例，將兩幅輪廓縮放至同一尺度下(縮放配準(zhǔn))，兩幅輪廓縮放配準(zhǔn)前后對比圖如圖4所示。從圖4可以看出，縮放前，兩幅輪廓大小不同，縮放后大小相同，即尺度相同。

4.1.2)、兩幅輪廓的配準(zhǔn)位置

計算輪廓qi與輪廓yj內(nèi)部所有像素點坐標(biāo)的均值作為各自輪廓的參考中心位置，參考中心位置分別為(ax,ay)和(bx,by)。

由于輪廓的縮放和輪廓的參考中心點選取可能存在一定的誤差和偶然，僅僅以(ax,ay)和(bx,by)為基準(zhǔn)進(jìn)行配準(zhǔn)可能對相似度的計算產(chǎn)生較大誤差影響。

因此，我們在輪廓yj中，選取以參考中心位置(bx,by)為中心的21像素×21像素范圍，該范圍中任一個點(bx′,by′)均作為輪廓yj的中心位置與(ax,ay)為基準(zhǔn)進(jìn)行配準(zhǔn)，其中：

bx′∈[bx-10,bx+10],by′∈[by-10,by+10]。

由此獲得輪廓qi與輪廓yj的441種配準(zhǔn)方式。

4.1.3)、計算輪廓相似度

輪廓qi與輪廓yj完成配準(zhǔn)后可進(jìn)行相似度的計算，令輪廓內(nèi)部像素點為1，輪廓外部像素點為0，定義輪廓qi與輪廓yj的輪廓相似度sqi,yj為：

其中，qi∩yj為輪廓qi與輪廓yj中像素點進(jìn)行與運算后結(jié)果為1的點數(shù)，qi∪yj為輪廓qi與輪廓yj中像素點進(jìn)行或運算后結(jié)果為1的點數(shù)。即重疊部分與重疊部分加上非重疊部分的比值。

在本實施例中，輪廓qi與輪廓yj存在441種不同位置配準(zhǔn)方式，完成所有配準(zhǔn)位置相似度sqi,yj計算后，取最大值，作為輪廓qi與輪廓yj最終的相似度sqi,yj用于公式(2)的計算。

在本實施例中，輪廓位置配準(zhǔn)前后對比圖如圖5所示，從圖5可以看出，位置配準(zhǔn)后，輪廓qi與輪廓yj大部分重合在一起。

定義累積價值矩陣d，其元素根據(jù)以下方式計算得到：

第1列元素為：

其中，1≤i≤l；

第1行元素：

d1,j＝c1,j，其中，1≤j≤m；

然后，按行或按列依據(jù)以下公式得到，其他元素：

di,j＝min(di-1,j-1,di-1,j,di,j-1)+c1,j，其中，2≤i≤l，2≤j≤m(3)；

得到累積價值矩陣d后，進(jìn)行配準(zhǔn)即求查找視頻序列在參考視頻序列上的匹配視頻序列的終點幀序數(shù)b^*：

其中，argmin表示l行的元素dl,b取極小值，列變量b的值，即終點幀序數(shù)b^*。

在本實施例中，累積價值矩陣d第l行(末行)的元素dl,b構(gòu)成曲線如圖6所示，其中l(wèi)為查找序列長度，1＜b＜m，由圖6可以觀察到，曲線在多處可以取得極小值，即存在多個不同幀可能是匹配視頻序列的終點幀。

4.2)、獲取匹配視頻序列

根據(jù)步驟4.2)中方法，獲取的匹配視頻序列的終點幀序數(shù)b^*多個，如果終點幀序數(shù)b^*小于l，則刪除，這樣得到p個終點幀序數(shù)b^*，記為：然后，根據(jù)最優(yōu)規(guī)整路徑(owp)算法，求得p個匹配視頻序列，其在參考視頻序列的位置分別表示為：其中，分別p個匹配視頻序列的起始點幀序數(shù)。

在本實施例中，如圖7所示，獲得了7個匹配視頻序列。其中，白色的線條為查找輪廓序列與參考輪廓序列的對應(yīng)關(guān)系即規(guī)整路徑。

4.3)、篩選匹配視頻序列

設(shè)定一個閾值slope，如果匹配視頻序列的斜率不滿足：

則予以剔除。此外，匹配視頻序列的數(shù)量為p*；

再分別計算經(jīng)過斜率篩選的每個匹配視頻序列與查找視頻序列q＝(q1,q2,…,ql)中對應(yīng)幀基于r變換的縮放比例其中，計算每個匹配視頻序列中所有幀的縮放比例均值α^p：

α^p最小即均值最接近1的匹配視頻序列即為最終篩選得到的匹配視頻序列。

在具體實施過程，匹配視頻序列的長度與查找視頻序列長度不一致，則可以采用動態(tài)時間規(guī)整算法，將查找視頻序列長度規(guī)整到匹配視頻序列的長度，則可以建立二者幀依據(jù)順序的一一對應(yīng)關(guān)系。

4.4)、計算視頻序列的時間偏差

查找視頻序列vs的第一幀序數(shù)為n，最終篩選得到的匹配視頻序列第一幀序數(shù)為m，兩個攝像頭拍攝視頻的幀率為均為f，則視頻序列的時間偏差為t＝|n-m|/f，若n>m，則查找視頻序列所在視頻在時間上落后參考視頻序列所在視頻t秒，反之，則參考視頻序列所在視頻在時間上落后查找視頻序列所在視頻t秒；

4.5)、根據(jù)得到時間偏差t對兩個攝像頭所拍視頻序列進(jìn)行調(diào)整，完成二者的同步。

實例

在本實例中，我們使用雙目攝像頭拍攝了兩段具有一定時間偏差的視頻序列進(jìn)行測試。其中，一段作為參考視頻序列，長度m＝122幀，序數(shù)為1至122，記為x1至x122。在另一段中，選取長度不小于運動目標(biāo)一個運動周期的小段視頻序列作為查找視頻序列，其長度l＝16幀，序數(shù)為35至50，記為t35至t50。

根據(jù)以上方法，對于查找視頻序列中的終點幀t50，我們在參考視頻序列中找到的極值點對應(yīng)幀分別為x11,x27,x42,x58,x73,x89,x105,x120，其中x11序數(shù)小于l＝16，被剔除，即這些幀是潛在匹配視頻序列的終點幀，其輪廓對比如圖8所示。

使用最優(yōu)規(guī)整路徑算法，通過這些終點幀計算得到其相應(yīng)的匹配視頻序列，再通過匹配視頻序列的篩選方法，計算得到最終匹配視頻序列為x58所對應(yīng)匹配視頻序列，具體為x43至x58幀。所以，查找視頻序列對應(yīng)視頻的第35幀與參考序列對應(yīng)視頻的43幀對應(yīng)。在本實施例中，視頻幀率為29幀/秒，故查找視頻序列所在視頻在時間上領(lǐng)先參考視頻序列所在視頻約0.276秒。雙目攝像頭所拍攝視頻在進(jìn)行同步處理前后的拼接效果如圖9所示，從圖9中對比可以看出，未經(jīng)同步處理的視頻在拼接后，運動目標(biāo)通過拼接過渡區(qū)域時會出現(xiàn)明顯的目標(biāo)割裂現(xiàn)象，而經(jīng)過同步處理后，運動目標(biāo)在通過拼接過渡區(qū)域是無明顯割裂現(xiàn)象。

盡管上面對本發(fā)明說明性的具體實施方式進(jìn)行了描述，以便于本技術(shù)領(lǐng)域的技術(shù)人員理解本發(fā)明，但應(yīng)該清楚，本發(fā)明不限于具體實施方式的范圍，對本技術(shù)領(lǐng)域的普通技術(shù)人員來講，只要各種變化在所附的權(quán)利要求限定和確定的本發(fā)明的精神和范圍內(nèi)，這些變化是顯而易見的，一切利用本發(fā)明構(gòu)思的發(fā)明創(chuàng)造均在保護(hù)之列。