本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，具體涉及一種視頻拼接方法及裝置。

背景技術(shù)：

隨著虛擬現(xiàn)實(shí)應(yīng)用的熱度不斷升溫，人們對于全景視頻圖像的需求越來越多。然而由于采集設(shè)備的硬件限制，在使用普通相機(jī)來獲取寬視野的場景圖像時(shí)，必須調(diào)節(jié)相機(jī)焦距，通過縮放鏡頭以得到完整的場景，但是由于相機(jī)的分辨率一定，因此拍攝的場景越大，我們得到的圖像分辨率密度就越低。對于一些超大尺寸的場景或者物體，即使我們調(diào)整焦距也無法用一張照片采集得到。于是，為了獲取高分辨率的大廣角的場景需要將不同角度成像的圖像進(jìn)行平滑無縫的拼接融合。

視頻拼接技術(shù)在民用、遙感、探測、虛擬現(xiàn)實(shí)、視頻檢索等方面都有著廣泛的應(yīng)用前景，目前國內(nèi)外對視頻拼接的方法展開了諸多研究，但是在快速性、準(zhǔn)確性方面仍然不能滿足實(shí)際應(yīng)用的需求。

技術(shù)實(shí)現(xiàn)要素：

為解決上述問題，本發(fā)明提供了一種視頻拼接方法及裝置，能夠在快速性、準(zhǔn)確性方面對視頻拼接進(jìn)行保障。

本發(fā)明提供了一種視頻拼接方法，所述方法包括：

將多視點(diǎn)視頻組進(jìn)行同步，并按照視頻內(nèi)容空間順序進(jìn)行排序；

提取所述多視點(diǎn)視頻組的任意同時(shí)刻的一組圖像，作為第一圖像組；

分別將所述第一圖像組中相鄰的兩張圖像進(jìn)行特征點(diǎn)的提取與匹配，得到所述第一圖像組中各個(gè)圖像的投影變換矩陣；

依據(jù)所述第一圖像組中各個(gè)圖像的投影變換矩陣，分別對所述多視點(diǎn)視頻組中的各個(gè)圖像進(jìn)行投影變換；

分別對所述多視點(diǎn)視頻組中同時(shí)刻的相鄰的圖像進(jìn)行融合拼接，完成對所述多視點(diǎn)視頻組的視頻拼接。

優(yōu)選地，所述分別將所述第一圖像組中相鄰的兩張圖像進(jìn)行特征點(diǎn)的提取與匹配，得到所述第一圖像組中各個(gè)圖像的投影變換矩陣之前，還包括：

根據(jù)拍攝所述多視點(diǎn)視頻組中的各個(gè)視頻的相機(jī)參數(shù)信息，確定所述第一圖像組中各個(gè)圖像是否屬于魚眼圖像；

將所述第一圖像組中屬于魚眼圖像的圖像進(jìn)行魚眼圖像校正。

優(yōu)選地，所述方法還包括：

對所述第一圖像組中的各個(gè)圖像進(jìn)行圖像色彩校正，并生成各個(gè)圖像對應(yīng)的色彩校正參數(shù)。

優(yōu)選地，所述依據(jù)所述第一圖像組中各個(gè)圖像的投影變換矩陣，分別對所述多視點(diǎn)視頻組中的各個(gè)圖像進(jìn)行投影變換之前，還包括：

根據(jù)拍攝所述多視點(diǎn)視頻組中的各個(gè)視頻的相機(jī)參數(shù)信息，確定所述多視點(diǎn)視頻組中各個(gè)視頻中的圖像是否屬于魚眼圖像；

將所述多視點(diǎn)視頻組中的各個(gè)視頻中屬于魚眼圖像的圖像進(jìn)行魚眼圖像校正。

優(yōu)選地，所述方法還包括：

根據(jù)所述第一圖像組中的各個(gè)圖像對應(yīng)的色彩校正參數(shù)，對所述多視點(diǎn)視頻組中對應(yīng)的視頻中的圖像進(jìn)行圖像色彩校正。

優(yōu)選地，所述方法還包括：

判斷經(jīng)過圖像色彩校正的所述多視點(diǎn)視頻組中的各個(gè)圖像的色彩誤差是否高于閾值；

重新對高于所述閾值的圖像進(jìn)行圖像色彩校正，并生成色彩校正參數(shù)；

利用所述色彩校正參數(shù)，更新所述第一圖像組中對應(yīng)的圖像的色彩校正參數(shù)。

本發(fā)明還提供了一種視頻拼接裝置，所述裝置包括：

同步排序模塊，用于將多視點(diǎn)視頻組進(jìn)行同步，并按照視頻內(nèi)容空間順序進(jìn)行排序；

提取模塊，用于提取所述多視點(diǎn)視頻組的任意同時(shí)刻的一組圖像，作為第一圖像組；

提取匹配模塊，用于分別將所述第一圖像組中相鄰的兩張圖像進(jìn)行特征點(diǎn) 的提取與匹配，得到所述第一圖像組中各個(gè)圖像的投影變換矩陣；

投影變換模塊，用于依據(jù)所述第一圖像組中各個(gè)圖像的投影變換矩陣，分別對所述多視點(diǎn)視頻組中的各個(gè)圖像進(jìn)行投影變換；

融合拼接模塊，用于分別對所述多視點(diǎn)視頻組中同時(shí)刻的相鄰的圖像進(jìn)行融合拼接，完成對所述多視點(diǎn)視頻組的視頻拼接。

優(yōu)選地，所述裝置還包括：

第一確定模塊，用于根據(jù)拍攝所述多視點(diǎn)視頻組中的各個(gè)視頻的相機(jī)參數(shù)信息，確定所述第一圖像組中各個(gè)圖像是否屬于魚眼圖像；

第一魚眼矯正模塊，用于將所述第一圖像組中屬于魚眼圖像的圖像進(jìn)行魚眼圖像校正。

優(yōu)選地，所述裝置還包括：

第一色彩校正模塊，用于對所述第一圖像組中的各個(gè)圖像進(jìn)行圖像色彩校正，并生成各個(gè)圖像對應(yīng)的色彩校正參數(shù)。

優(yōu)選地，所述裝置還包括：

第二確定模塊，用于根據(jù)拍攝所述多視點(diǎn)視頻組中的各個(gè)視頻的相機(jī)參數(shù)信息，確定所述多視點(diǎn)視頻組中各個(gè)視頻中的圖像是否屬于魚眼圖像；

第二魚眼矯正模塊，用于將所述多視點(diǎn)視頻組中的各個(gè)視頻中屬于魚眼圖像的圖像進(jìn)行魚眼圖像校正。

優(yōu)選地，所述裝置還包括：

第二色彩校正模塊，用于根據(jù)所述第一圖像組中的各個(gè)圖像對應(yīng)的色彩校正參數(shù)，對所述多視點(diǎn)視頻組中對應(yīng)的視頻中的圖像進(jìn)行圖像色彩校正。

優(yōu)選地，所述裝置還包括：

判斷模塊，用于判斷經(jīng)過圖像色彩校正的所述多視點(diǎn)視頻組中的各個(gè)圖像的色彩誤差是否高于閾值；

生成模塊，用于重新對高于所述閾值的圖像進(jìn)行圖像色彩校正，并生成色彩校正參數(shù)；

更新模塊，用于利用所述色彩校正參數(shù)，更新所述第一圖像組中對應(yīng)的圖像的色彩校正參數(shù)。

本發(fā)明提供了一種視頻拼接方法，首先，將多視點(diǎn)視頻組進(jìn)行同步，并按 照視頻內(nèi)容空間順序進(jìn)行排序。其次，提取所述多視點(diǎn)視頻組的任意同時(shí)刻的一組圖像，作為第一圖像組。分別將所述第一圖像組中相鄰的兩張圖像進(jìn)行特征點(diǎn)的提取與匹配，得到所述第一圖像組中各個(gè)圖像的投影變換矩陣。然后，依據(jù)所述第一圖像組中各個(gè)圖像的投影變換矩陣，分別對所述多視點(diǎn)視頻組中的各個(gè)圖像進(jìn)行投影變換。最后，分別對所述多視點(diǎn)視頻組中同時(shí)刻的相鄰的圖像進(jìn)行融合拼接，完成對所述多視點(diǎn)視頻組的視頻拼接。本發(fā)明提供的視頻拼接方法能夠快速準(zhǔn)確的完成視頻拼接。

附圖說明

為了更清楚地說明本申請實(shí)施例中的技術(shù)方案，下面將對實(shí)施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實(shí)施例提供的一種視頻拼接方法流程圖；

圖2為本發(fā)明實(shí)施例提供的另一種視頻拼接方法流程圖；

圖3為本發(fā)明實(shí)施例提供的一種重疊區(qū)域示意圖；

圖4為本發(fā)明實(shí)施例提供的相鄰圖像Remap_i和Remap_i+1的重疊區(qū)域Region_i的示意圖；

圖5為本發(fā)明實(shí)施例提供的一種利用圖像分割法確定的模板二值化圖像示意圖；

圖6為本發(fā)明實(shí)施例提供的一種拼接圖像示意圖；

圖7為本發(fā)明實(shí)施例提供的一種視頻拼接裝置結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本申請實(shí)施例中的附圖，對本申請實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本申請一部分實(shí)施例，而不是全部的實(shí)施例?；诒旧暾堉械膶?shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本申請保護(hù)的范圍。

以下進(jìn)行實(shí)施例具體內(nèi)容的介紹。

本發(fā)明實(shí)施例提供了一種視頻拼接方法，參考圖1，為本發(fā)明實(shí)施例提供的一種視頻拼接方法流程圖，所述方法包括：

S101：將多視點(diǎn)視頻組進(jìn)行同步，并按照視頻內(nèi)容空間順序進(jìn)行排序。

本發(fā)明實(shí)施例中，多視點(diǎn)視頻組為位于不同角度的相機(jī)同時(shí)拍攝的一組視頻，為了獲取寬視野的場景視頻，本發(fā)明實(shí)施例對所述多視點(diǎn)視頻組進(jìn)行視頻拼接。

實(shí)際應(yīng)用中，首先將所述多視點(diǎn)視頻組進(jìn)行同步，即實(shí)現(xiàn)所述多視點(diǎn)視頻組中各個(gè)視頻在拍攝時(shí)間上的同步。其次，按照視頻內(nèi)容空間順序?qū)λ龆嘁朁c(diǎn)視頻組進(jìn)行排序。其中，所述視頻內(nèi)容空間順序?yàn)樗鲆曨l中拍攝的內(nèi)容本身具有的空間順序，如拍攝的視頻為一個(gè)房間內(nèi)的場景時(shí)，所述視頻內(nèi)容空間順序?yàn)樗龇块g內(nèi)場景的固有位置順序。

S102：提取所述多視點(diǎn)視頻組的任意同時(shí)刻的一組圖像，作為第一圖像組。

S103：分別將所述第一圖像組中相鄰的兩張圖像進(jìn)行特征點(diǎn)的提取與匹配，得到所述第一圖像組中各個(gè)圖像的投影變換矩陣。

本發(fā)明實(shí)施例中，首先提取所述多視點(diǎn)視頻組中任意同時(shí)刻的一組圖像，記為第一圖像組。其次，對按照視頻內(nèi)容空間順序進(jìn)行排序后的第一圖像組中相鄰的兩張圖像進(jìn)行特征點(diǎn)的提取與匹配，最終得到所述第一圖像組中各個(gè)圖像的投影變換矩陣。其中，所述第一圖像組中各個(gè)圖像的投影變換矩陣即作為所述多視點(diǎn)視頻組中對應(yīng)視頻中各幀圖像的投影變換矩陣。

S104：依據(jù)所述第一圖像組中各個(gè)圖像的投影變換矩陣，分別對所述多視點(diǎn)視頻組中的各個(gè)圖像進(jìn)行投影變換。

本發(fā)明實(shí)施例依據(jù)得到的所述第一圖像組中各個(gè)圖像的投影變換矩陣，對所述多視點(diǎn)視頻組中對應(yīng)視頻中各幀圖像進(jìn)行投影變換，即將所述多視點(diǎn)視頻組中屬于不同坐標(biāo)系的圖像變換到相同的參考坐標(biāo)系中。

S105：分別對所述多視點(diǎn)視頻組中同時(shí)刻的相鄰的圖像進(jìn)行融合拼接，完成對所述多視點(diǎn)視頻組的視頻拼接。

由于相鄰圖像之間可能存在顏色亮度等的差異，為了使得相鄰圖像拼接后 效果更好，本發(fā)明實(shí)施例在對所述多視點(diǎn)視頻組中的圖像進(jìn)行拼接之前首先對相鄰的圖像進(jìn)行融合，經(jīng)過融合后的圖像最終完成拼接。

本發(fā)明實(shí)施例提供了一種視頻拼接方法，首先，將多視點(diǎn)視頻組進(jìn)行同步，并按照視頻內(nèi)容空間順序進(jìn)行排序。其次，提取所述多視點(diǎn)視頻組的任意同時(shí)刻的一組圖像，作為第一圖像組。分別將所述第一圖像組中相鄰的兩張圖像進(jìn)行特征點(diǎn)的提取與匹配，得到所述第一圖像組中各個(gè)圖像的投影變換矩陣。然后，依據(jù)所述第一圖像組中各個(gè)圖像的投影變換矩陣，分別對所述多視點(diǎn)視頻組中的各個(gè)圖像進(jìn)行投影變換。最后，分別對所述多視點(diǎn)視頻組中同時(shí)刻的相鄰的圖像進(jìn)行融合拼接，完成對所述多視點(diǎn)視頻組的視頻拼接。本發(fā)明實(shí)施例提供的視頻拼接方法能夠快速準(zhǔn)確的完成視頻拼接。

本發(fā)明實(shí)施例還提供了一種視頻拼接方法，假設(shè)所述視頻拼接方法中的多視點(diǎn)視頻組為N路(N>1)。

參考圖2，為本發(fā)明實(shí)施例提供的另一種視頻拼接方法流程圖，所述視頻拼接方法包括：

S201：將N路的多視點(diǎn)視頻組進(jìn)行同步，并按照視頻內(nèi)容空間順序進(jìn)行排序后，記為Video_i(i＝0,1,...,N-1)。

S202：提取所述多視點(diǎn)視頻組的相機(jī)參數(shù)。

根據(jù)預(yù)先存儲的用于拍攝所述多視點(diǎn)視頻組的相機(jī)的配置信息，分別提取Video_i(i＝0,1,...,N-1)的相機(jī)參數(shù)，其中，所述相機(jī)參數(shù)可以包括相機(jī)焦距f_i(i＝0,1,...N,，)圖像分辨率Res_i(i＝0,1,...,N)，鏡頭類型CamType_i(i＝0,1,...,N)等。

S203：提取所述多視點(diǎn)視頻組的任意同時(shí)刻的一組圖像。

提取所述多視點(diǎn)視頻組Video_i(i＝0,1,...,N-1)的任意同時(shí)刻的一組圖像，記為Frm_i(i＝0,1,...,N-1)。

S204：如果確定用于拍攝該圖像的相機(jī)鏡頭為魚眼鏡頭，對該圖像進(jìn)行魚眼矯正。

根據(jù)CamType_i(i＝0,1,...,N)分別判斷Frm_i(i＝0,1,...,N-1)是否屬于魚眼圖像；其中，如果CamType_i(i∈{0,1,...,N})＝FishEye，則確定用于拍攝該圖像的相機(jī)鏡頭為 魚眼鏡頭，對該圖像進(jìn)行魚眼矯正；否則保留原圖。

經(jīng)過S204處理后的Frm_i(i＝0,1,...,N-1)，記為Frm_i'(i＝0,1,...,N-1)。

S205：對圖像進(jìn)行圖像色彩校正，得到圖像色彩校正參數(shù)。

對Frm_i'(i＝0,1,...,N-1)進(jìn)行圖像色彩校正，得到經(jīng)過圖像色彩校正的圖像，記為Frm_i”(i＝0,1,...,N-1)。另外，對Frm_i'(i＝0,1,...,N-1)進(jìn)行圖像色彩校正后生成Frm_i'(i＝0,1,...,N-1)分別對應(yīng)的色彩校正參數(shù)Exp_i(i＝0,1,...,N-1)。

其中，所述色彩校正參數(shù)Exp_i(i＝0,1,...,N-1)的意義為，對于Frm_i'(i＝0,1,...,N-1)中的一點(diǎn)P(x,y)，其在Frm_i”(i＝0,1,...,N-1)中對應(yīng)的點(diǎn)P'(x,y)，像素值滿足Pixel_p'(x,y)＝Exp_i*Pixel_p(x,y)。

S206：對圖像組中相鄰的兩張圖像進(jìn)行特征點(diǎn)提取及匹配。

對圖像組Frm_i”(i＝0,1,...,N-1)中相鄰的兩張圖像例如為Frm₀”,Frm₁”進(jìn)行特征點(diǎn)提取及匹配。

具體的，ROI_0,1表示Frm‘’₀中與Frm‘’₁的重疊區(qū)域，ROI_1,0表示Frm‘’₁中與Frm‘’₀的重疊區(qū)域。利用SIFT、SURF或者Harris-SIFT算法，對ROI_0,1和ROI_1,0內(nèi)每個(gè)像素點(diǎn)提取特征點(diǎn)，記為ObjectKeypoints_index(index＝0,1)，并構(gòu)造特征點(diǎn)描述算子ObjectDescriptors_index(index＝0,1)。

以下以利用SURF算法提取特征點(diǎn)并構(gòu)造特征點(diǎn)描述算子為例，詳細(xì)描述其計(jì)算過程：

首先，利用Hessian矩陣，分別計(jì)算ROI_0,1和ROI_1,0每個(gè)像素點(diǎn)的特征值α_0i,α_1i(i＝0,1,...,W*H-1)，其中所述多視點(diǎn)視頻組中視頻的分辨率為W*H。

其次，利用非極大值抑制算法初步確定特征點(diǎn)。具體的，將經(jīng)過Hessian矩陣處理過的每個(gè)像素點(diǎn)與其3維領(lǐng)域的26個(gè)點(diǎn)進(jìn)行大小比較，如果它是這26個(gè)點(diǎn)中的最大值或者最小值，則保留下來，作為初步確定的特征點(diǎn)，記為PriObjectKeypoints_index(index＝0,1)。

再次，采用3維線性插值法得到亞像素級的特征點(diǎn)，同時(shí)也去掉那些值小于一定閾值的點(diǎn)，增加極值使檢測到的特征點(diǎn)數(shù)量減少，最終只有幾個(gè)特征最強(qiáng)點(diǎn)會(huì)被檢測出來，定義這些點(diǎn)集為ObjectKeypoints_index(index＝0,1)。

最后，選取特征點(diǎn)的主方向，并構(gòu)造surf特征點(diǎn)描述算子ObjectDescriptors_index(index＝0,1)。

另外，本發(fā)明實(shí)施例可以利用近鄰歐式距離比例法進(jìn)行特征點(diǎn)匹配。具體算法包括：

a)假設(shè)(x₁,x₂,...,x_n)為ObjectDescriptors₀中待匹配的特征點(diǎn)F₀的特征向量，(x_k1',x_k2',...,x_kn')為ObjectDescriptors₁中當(dāng)前與F₀進(jìn)行匹配的特征向量，求取特征向量的歐式距離遍歷ObjectDescriptors₁中所有特征點(diǎn)F_k'，得到D_k值最小與次小的特征點(diǎn)和設(shè)定閾值η_k，若則認(rèn)為F₀與為一對匹配的特征點(diǎn)。假設(shè)通過特征點(diǎn)匹配得到的特征點(diǎn)對有m₀對，定義為{f_i0,f_i0'}(i＝1,2,...，m₀。)

b)隨機(jī)抽取{f_i0,f_i0'}(i＝1,2,...,m₀)中k組匹配對(k＜m₀)，計(jì)算特征點(diǎn)的變換矩陣H。計(jì)算{f_i0,f_i0'}(i＝1,2,...,m₀)中其余點(diǎn)在經(jīng)過變換矩陣T后得到的歐式距離D_mk，設(shè)定閾值為d₀，若D_mk＜d₀，則認(rèn)定該點(diǎn)為當(dāng)前變換的內(nèi)點(diǎn)。選擇包含內(nèi)點(diǎn)數(shù)目最多的一個(gè)點(diǎn)集，重新計(jì)算變換矩陣T'。用最小二乘法最小化誤差，并計(jì)算內(nèi)點(diǎn)集內(nèi)的平均誤差e。

重復(fù)b)步驟，直到e＜e₀(e₀為設(shè)定的平均誤差閾值)，得到最終的m對特征點(diǎn){f_i,f_i'}(i＝1,2,...,m)(m≤m₀)，其對應(yīng)變換矩陣定義為H。

S207：計(jì)算圖像組Frm_i”(i＝0,1,...,N-1)的投影變換矩陣。

具體算法如下：首先將經(jīng)過特征點(diǎn)的提取與匹配的圖像組Frm_i”(i＝0,1,...,N-1)按照拼接方向(例如為視頻內(nèi)容空間順序)進(jìn)行排序，并定義新的圖像組為Img_i(i＝0,1,...,N-1)，其中Img₀與Img_N-1也是相鄰圖像，并完成特征點(diǎn)提取與匹配的，其對應(yīng)的變換矩陣為H_i'(i＝0,1,...,N)。即我們假設(shè)對于三維空間中一點(diǎn)P(X,Y,Z)，它在Img₀和Img₁中對應(yīng)點(diǎn)P₀和P₁的齊次坐標(biāo)分別記為(x₀,y₀,ω)^T和(x₁,y₁,ω)^T，則利用H_i'(i＝0,1,...,N)，以Img₀為參考圖 像，將其他圖像Img_i(i＝0,1,...,N-1)變換到與Img₀相同的參考坐標(biāo)系中，計(jì)算得到投影變換矩陣T_i'(i＝0,1,...,N)。

除此之外，本發(fā)明實(shí)施例還可以選用柱面投影，立方體投影、球面投影等方式，將各個(gè)圖像投影變換到一個(gè)基準(zhǔn)坐標(biāo)系中，使得相鄰圖像的重疊區(qū)域?qū)R。其中，相鄰圖像的重疊區(qū)域記為Region_i(i＝0,1,...,N)。如圖3所示，為本發(fā)明實(shí)施例提供的一種重疊區(qū)域示意圖，其中Remap_i和Remap_i+1為相鄰的圖像，Region_i的定義為以Remap_i+1左上角點(diǎn)為左上角點(diǎn)，以Remap_i右下角點(diǎn)為右下角點(diǎn)的矩形區(qū)域。

本發(fā)明實(shí)施例提供的視頻拼接方法在計(jì)算得到投影變換矩陣后，利用所述投影變換矩陣對所述多視點(diǎn)視頻組進(jìn)行逐幀圖像的視頻拼接。

S208：逐幀讀取所述多視點(diǎn)視頻組中的各幀圖像，如果圖像為魚眼圖像，則進(jìn)行魚眼圖像矯正。

逐幀讀取Video_i(i＝0,1,...,N-1)中的各幀圖像Frame_i(i＝0,1,...,N-1)，如果Frame_i(i＝0,1,...,N-1)屬于魚眼圖像，則對Frame_i(i＝0,1,...,N-1)進(jìn)行魚眼矯正，記為Frame_i'(i＝0,1,...,N-1)。

S209：根據(jù)色彩校正參數(shù)，對各幀圖像進(jìn)行圖像色彩校正，并判斷圖像的色彩誤差是否高于閾值。

根據(jù)色彩校正參數(shù)Exp_i(i＝0,1,...,N-1)，，對Frame_i'(i＝0,1,...,N-1)進(jìn)行圖像色彩校正，并判斷經(jīng)過圖像色彩校正后的Frame_i”(i＝0,1,...,N-1)的色彩誤差是否高于閾值Err_exp，如果是，則執(zhí)行S210，否則執(zhí)行S211。

S210：重新對圖像進(jìn)行圖像色彩校正，并重新得到新的色彩校正參數(shù)。

如果色彩誤差高于閾值Err_exp，則重新對Frame_i'(i＝0,1,...,N-1)進(jìn)行圖像色彩校正得到Frame_i”(i＝0,1,...,N-1)，并得到新的色彩校正參數(shù)Exp_i(i＝0,1,...,N-1)。

S211：利用預(yù)先獲取的投影變換矩陣對圖像進(jìn)行投影變換。

利用預(yù)先獲取的投影變換矩陣對Frame_i”(i＝0,1,...,N-1)進(jìn)行投影變換，得到Remap_i，其分辨率為w_i*h_i，并得到相鄰圖像的重疊區(qū)域Region_i(i＝0,1,...,N-1)。如圖4所示，為相鄰圖像Remap_i和Remap_i+1的重疊區(qū)域Region_i的示意圖。

若Remap_i中像素點(diǎn)在Frame_i”(i＝0,1,...,N-1)中找不到對應(yīng)點(diǎn)，則將其像素值設(shè)置為0。

S212：對Remap_i(i＝0,1,...,N-1)進(jìn)行圖像融合拼接。

以Remap₀作為起始前景圖像進(jìn)行圖像融合，定義全景畫布為Canvas，其中Canvas的分辨率為w_c*h_c，h_c＝max(h₀,h₁,...,h_N-1)，w_c＝w_N-1-Region_N-1.width為w_N-1，即w_c為w_N-1減去Region_N-1的寬度。

實(shí)際應(yīng)用中，圖像融合拼接是比較成熟的技術(shù)，以下為一種圖像融合拼接的實(shí)現(xiàn)方式，具體的：

A)在Canvas中的一點(diǎn)Point(x_p,y_p)，假設(shè)Region₀的左上角點(diǎn)和右下角點(diǎn)的坐標(biāo)分別為(x_ul,y_ul)和(x_lr,y_lr)。那么若x_p＜x_ul，且前景圖像Remap₀在(x_p,y_p)的像素值非0，則賦值為前景圖像Remap₀的像素值。若x_p＞x_lr，且當(dāng)前疊加圖像Remap₁的像素值非0，則賦值為疊加圖像Remap₁的像素值。若x_ul≤x_p≤x_lr，則進(jìn)行下一步處理。

B)在Region₀中，利用圖像分割算法確定模板二值化圖像Mask₀，如圖5所示，為本發(fā)明實(shí)施例提供的一種利用圖像分割法確定的模板二值化圖像示意圖。其中Mask₀中像素值為0的點(diǎn)取Remap₀的對應(yīng)像素值，像素值為1的點(diǎn)取Remap₁的對應(yīng)像素值。其中圖像分割的算法可選用分水嶺算法、Graphcut等。使用Mask₀疊加處理后得到拼接圖像Pano₀，參考圖6，為本發(fā)明實(shí)施例提供的一種拼接圖像示意圖。

C)使用拉普拉斯金字塔融合算法對Pano₀進(jìn)行融合，得到優(yōu)化后的拼接圖像Pano₀′。

D)以Pano₀′作為新的前景圖像，Remap₂作為疊加圖像，跳入1開始新的疊加，以此類推，直至所有Remap_i(i＝0,1,...,N-1)都被疊加，得到優(yōu)化后的Pano_N-1′，即當(dāng)前幀的全景拼接圖像。

S213：判斷當(dāng)前處理的幀圖像是否為最后一幀，若是則完成所述多視點(diǎn)視頻的組視頻拼接。若否，則跳入步驟S208開始下一幀圖像的視頻拼接。

本發(fā)明還提供了一種視頻拼接裝置，參考圖7，為本發(fā)明實(shí)施例提供的一種視頻拼接裝置結(jié)構(gòu)示意圖，所述裝置包括：

同步排序模塊701，用于將多視點(diǎn)視頻組進(jìn)行同步，并按照視頻內(nèi)容空間順序進(jìn)行排序；

提取模塊702，用于提取所述多視點(diǎn)視頻組的任意同時(shí)刻的一組圖像，作為第一圖像組；

提取匹配模塊703，用于分別將所述第一圖像組中相鄰的兩張圖像進(jìn)行特征點(diǎn)的提取與匹配，得到所述第一圖像組中各個(gè)圖像的投影變換矩陣；

投影變換模塊704，用于依據(jù)所述第一圖像組中各個(gè)圖像的投影變換矩陣，分別對所述多視點(diǎn)視頻組中的各個(gè)圖像進(jìn)行投影變換；

融合拼接模塊705，用于分別對所述多視點(diǎn)視頻組中同時(shí)刻的相鄰的圖像進(jìn)行融合拼接，完成對所述多視點(diǎn)視頻組的視頻拼接。

優(yōu)選地，所述裝置，還包括：

第一確定模塊，用于根據(jù)拍攝所述多視點(diǎn)視頻組中的各個(gè)視頻的相機(jī)參數(shù)信息，確定所述第一圖像組中各個(gè)圖像是否屬于魚眼圖像；

第一魚眼矯正模塊，用于將所述第一圖像組中屬于魚眼圖像的圖像進(jìn)行魚眼圖像校正。

優(yōu)選地，所述裝置，還包括：

第一色彩校正模塊，用于對所述第一圖像組中的各個(gè)圖像進(jìn)行圖像色彩校正，并生成各個(gè)圖像對應(yīng)的色彩校正參數(shù)。

優(yōu)選地，所述裝置，還包括：

第二確定模塊，用于根據(jù)拍攝所述多視點(diǎn)視頻組中的各個(gè)視頻的相機(jī)參數(shù)信息，確定所述多視點(diǎn)視頻組中各個(gè)視頻中的圖像是否屬于魚眼圖像；

第二魚眼矯正模塊，用于將所述多視點(diǎn)視頻組中的各個(gè)視頻中屬于魚眼圖像的圖像進(jìn)行魚眼圖像校正。

優(yōu)選地，所述裝置，還包括：

第二色彩校正模塊，用于根據(jù)所述第一圖像組中的各個(gè)圖像對應(yīng)的色彩校正參數(shù)，對所述多視點(diǎn)視頻組中對應(yīng)的視頻中的圖像進(jìn)行圖像色彩校正。

優(yōu)選地，所述裝置還包括：

判斷模塊，用于判斷經(jīng)過圖像色彩校正的所述多視點(diǎn)視頻組中的各個(gè)圖像的色彩誤差是否高于閾值；

生成模塊，用于重新對高于所述閾值的圖像進(jìn)行圖像色彩校正，并生成色彩校正參數(shù)；

更新模塊，用于利用所述色彩校正參數(shù)，更新所述第一圖像組中對應(yīng)的圖像的色彩校正參數(shù)。

本發(fā)明實(shí)施例提供了一種視頻拼接裝置能夠?qū)崿F(xiàn)以下功能：將多視點(diǎn)視頻組進(jìn)行同步，并按照視頻內(nèi)容空間順序進(jìn)行排序。提取所述多視點(diǎn)視頻組的任意同時(shí)刻的一組圖像，作為第一圖像組。分別將所述第一圖像組中相鄰的兩張圖像進(jìn)行特征點(diǎn)的提取與匹配，得到所述第一圖像組中各個(gè)圖像的投影變換矩陣。然后，依據(jù)所述第一圖像組中各個(gè)圖像的投影變換矩陣，分別對所述多視點(diǎn)視頻組中的各個(gè)圖像進(jìn)行投影變換。分別對所述多視點(diǎn)視頻組中同時(shí)刻的相鄰的圖像進(jìn)行融合拼接，完成對所述多視點(diǎn)視頻組的視頻拼接。本發(fā)明實(shí)施例提供的視頻拼接裝置能夠快速準(zhǔn)確的完成視頻拼接。

對于設(shè)備實(shí)施例而言，由于其基本對應(yīng)于方法實(shí)施例，所以相關(guān)之處參見方法實(shí)施例的部分說明即可。以上所描述的設(shè)備實(shí)施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部模塊來實(shí)現(xiàn)本實(shí)施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性勞動(dòng)的情況下，即可以理解并實(shí)施。

需要說明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個(gè)……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。

以上對本發(fā)明實(shí)施例所提供的一種視頻拼接方法及裝置進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的 說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。