本發(fā)明涉及一種視頻穩(wěn)定方法，尤其涉及一種聯(lián)合空間時(shí)間軸的雙視點(diǎn)立體視頻穩(wěn)定方法，屬于電子穩(wěn)像技術(shù)領(lǐng)域。

背景技術(shù)：

隨著圖像傳感器技術(shù)和移動(dòng)計(jì)算能力的發(fā)展，視頻采集逐漸轉(zhuǎn)向手持設(shè)備，更多的攝影愛好者可以拍攝個(gè)人視頻，但是相機(jī)抖動(dòng)嚴(yán)重影響大多數(shù)拍攝的視頻，視頻的質(zhì)量和視覺舒適度受到了嚴(yán)重的影響。利用機(jī)械原理的硬件方法，比如將相機(jī)固定在云臺(tái)，可以減少視頻抖動(dòng)，但這種方法的缺點(diǎn)是成本昂貴和拍攝不便利。另一方面，采用視頻穩(wěn)定技術(shù)的軟件方法具有成本低、穩(wěn)定效果好的優(yōu)勢。近年，視頻穩(wěn)定技術(shù)在提高視頻質(zhì)量、基于運(yùn)動(dòng)平臺(tái)的視頻監(jiān)控、車載移動(dòng)視頻穩(wěn)像和機(jī)器人導(dǎo)航等方面得到了廣泛的應(yīng)用。

視頻穩(wěn)定技術(shù)是指：去除非刻意的相機(jī)抖動(dòng)和修正視頻序列的過程。其問題關(guān)鍵分為運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償兩個(gè)部分。相機(jī)的運(yùn)動(dòng)估計(jì)的主要目的是通過相鄰幀之間的特征估計(jì)幀間運(yùn)動(dòng)參數(shù)。運(yùn)動(dòng)補(bǔ)償則是判斷視頻全局運(yùn)動(dòng)是不是刻意的相機(jī)運(yùn)動(dòng)，并對不需要的視頻抖動(dòng)進(jìn)行校正。

Chen Y H,Lin H Y S,Su C W.Full-Frame Video Stabilization via SIFT Feature Matching[C]//Tenth International Conference on Intelligent Information Hiding and Multimedia Signal Processing.IEEE,2014.公開了一種基于SIFT(Scale-invariant feature transform)特征點(diǎn)匹配的全幀視頻穩(wěn)定算法，該方法通過相鄰幀的特征點(diǎn)匹配定義了兩維空間的仿射變換，然后對視頻的每幀應(yīng)用時(shí)域?yàn)V波來去除抖動(dòng)成分。He M,Huang C,Xiao C,et al.Digital video stabilization based on hybrid filtering[C]//International Congress on Image and Signal Processing.IEEE,2014:94-98.公開了一種視頻穩(wěn)定方法，該方法通過卡爾曼濾波和低通濾波對視頻進(jìn)行運(yùn)動(dòng)補(bǔ)償。Yu H,Zhang W.Moving camera video stabilization based on Kalman filter and least squares fitting[C]//Intelligent Control and Automation.IEEE,2015.公開了一種基于最小二乘擬合的視頻穩(wěn)定技術(shù)，該方法和卡爾曼濾波進(jìn)行了比較，并得出結(jié)論：二次擬合比卡爾曼濾波性能好，但卡爾曼濾波更適合實(shí)時(shí)處理。這三種算法都屬于2D視頻的穩(wěn)定技術(shù)，通過相鄰幀之間的匹配特征點(diǎn)跟蹤視頻的運(yùn)動(dòng)軌跡，然后采用濾波的方法去除非刻意的相機(jī)抖動(dòng)。

2D視頻穩(wěn)定技術(shù)已經(jīng)趨向成熟，更多的研究熱點(diǎn)和難點(diǎn)集中在3D視頻穩(wěn)定研究。Goldstein A,Fattal R.Video stabilization using epipolar geometry[J].Acm Transactions on Graphics,2012,32(5):573-587.公開了一種3D視頻穩(wěn)定算法。首先，該算法提取特征點(diǎn)來建立穩(wěn)定的相機(jī)運(yùn)動(dòng)，然后采用極點(diǎn)轉(zhuǎn)移技術(shù)和基于圖像的幀映射將視頻投射到穩(wěn)定框架中。這種方法對退化的相機(jī)運(yùn)動(dòng)具有魯棒性，但不能處理劇烈的相機(jī)抖動(dòng)。Liu F,Niu Y,Jin H.Joint Subspace Stabilization for Stereoscopic Video[C]//Computer Vision(ICCV),2013 IEEE International Conference on.IEEE,2013:73-80.公開了一種局部的3D視頻穩(wěn)定算法，該方法聯(lián)合左右視點(diǎn)構(gòu)建一個(gè)子區(qū)域，并在子區(qū)域內(nèi)進(jìn)行視頻穩(wěn)定，但這種方法很難處理劇烈抖動(dòng)和高運(yùn)動(dòng)模糊。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種聯(lián)合空間時(shí)間軸的雙視點(diǎn)立體視頻穩(wěn)定方法，穩(wěn)定性能更好、魯棒性更高，將兩維視頻穩(wěn)定算法應(yīng)用在雙視點(diǎn)立體視頻中，實(shí)時(shí)減少了左右視之間的垂直視差，降低了由于垂直視差過大、視頻不穩(wěn)定導(dǎo)致的3D視頻觀賞的不舒適。

為達(dá)到上述目的，本發(fā)明采用如下技術(shù)方案：

一種聯(lián)合空間時(shí)間軸的雙視點(diǎn)立體視頻穩(wěn)定方法，包括以下步驟：

步驟1：對雙視點(diǎn)視頻分別進(jìn)行時(shí)間軸維度的視頻穩(wěn)定：首先分別對左右視的連續(xù)視頻幀提取特征點(diǎn)，剔除錯(cuò)誤匹配的特征點(diǎn)，得到準(zhǔn)確的特征點(diǎn)匹配，再根據(jù)準(zhǔn)確的特征點(diǎn)匹配估計(jì)視頻的幀間運(yùn)動(dòng)軌跡；然后利用濾波的方法去除視頻中的高頻部分，平滑輸入視頻的幀間運(yùn)動(dòng)軌跡并填補(bǔ)視頻中丟失像素，保持輸入視頻的分辨率；

步驟2：對雙視點(diǎn)視頻進(jìn)行空間軸維度的視頻穩(wěn)定：對經(jīng)過步驟1處理后的左右視頻進(jìn)行空間軸維度的視頻穩(wěn)定，減少左右視頻之間的垂直視差，提高3D視頻的觀看舒適度；首先對同一時(shí)刻的左右視頻幀提取特征點(diǎn)，剔除不準(zhǔn)確特征點(diǎn)匹配，得到左右視的準(zhǔn)確特征點(diǎn)匹配；然后分別計(jì)算準(zhǔn)確的匹配特征點(diǎn)在垂直方向上的視差，采用統(tǒng)計(jì)特征點(diǎn)垂直視差直方圖的方法作為校正指標(biāo)；最后根據(jù)得到的左右視頻間的垂直視差進(jìn)行實(shí)時(shí)校正，減少左右視頻之間的垂直視差；

步驟3：視頻穩(wěn)定調(diào)整：對步驟2得到的視頻使用光流法尋找前后相鄰幀之間的變換T_{original_transformation}，并且該變換只包含三個(gè)參數(shù)：水平平移d_x、垂直平移d_y、旋轉(zhuǎn)角度d_α；

累計(jì)d_x、d_y、d_α得到視頻幀之間的運(yùn)動(dòng)軌跡∑d_x、∑d_y、∑d_α；采用窗口方法平滑視頻幀之間的運(yùn)動(dòng)軌跡并且得到參數(shù)d_{x_avg}、d_{y_avg}、d_{α_avg}；結(jié)合上述參數(shù)得到新的變換，新變換參數(shù)d_{x_new}、d_{y_new}、d_{α_new}為：

d_{x_new}＝d_x+(d_{x_avg}-∑d_x)

d_{y_new}＝d_y+(d_{y_avg}-∑d_y)

d_{α_new}＝d_α+(d_{α_avg}-∑d_α)

最終得到新變換矩陣T_{new_transformation}；具體變換公式為：

將T_{new_transformation}作用在步驟2輸出視頻上得到最后視頻穩(wěn)定結(jié)果。

所述步驟1的具體步驟為：

步驟1.1，準(zhǔn)確的特征點(diǎn)的提取、匹配和篩選：對單個(gè)視頻的相鄰幀分別提取特征點(diǎn)，為了提高特征點(diǎn)匹配的準(zhǔn)確性，首先采用特征點(diǎn)之間歐式距離比率檢測的方法，驗(yàn)證特征點(diǎn)匹配的準(zhǔn)確性：

其中d₁是第i幀圖像的特征點(diǎn)p和距離它最近的第i-1幀圖像中特征點(diǎn)q之間的距離，d₂是第i幀圖像的特征點(diǎn)p和距離它次近的第i-1幀圖像中特征點(diǎn)q′之間的距離；當(dāng)d₁和d₂的比值大于預(yù)先設(shè)定的閾值時(shí)，則認(rèn)為該匹配不準(zhǔn)確，剔除該特征點(diǎn)匹配，否則保留該準(zhǔn)確匹配；其次，采用雙向驗(yàn)證的方法進(jìn)一步驗(yàn)證匹配，即查詢圖像的特征描述子索引和模板圖像的特征描述子索引互相匹配；最后通過RANSAC(Random Sample Consensus，隨機(jī)采樣一致性)剔除不準(zhǔn)確的匹配，采用RANSAC算法濾除錯(cuò)誤匹配，尋找一個(gè)最優(yōu)單應(yīng)性矩陣H，使得滿足該矩陣的數(shù)據(jù)點(diǎn)數(shù)量最多，即內(nèi)點(diǎn)數(shù)量最多；經(jīng)過特征點(diǎn)篩選步驟后，得到準(zhǔn)確的特征點(diǎn)匹配；

步驟1.2，相機(jī)運(yùn)動(dòng)估計(jì)：根據(jù)步驟1.1中的特征點(diǎn)匹配，相機(jī)運(yùn)動(dòng)由透視變換的單應(yīng)性變換描述；為了平滑相機(jī)的運(yùn)動(dòng)軌跡，參考了與當(dāng)前幀相鄰的2n幀；設(shè)定第i幀和第j幀之間的變換為當(dāng)前幀的編號(hào)為t，與它相鄰幀的編號(hào)設(shè)為{w|t-n≤w≤t+n}，得到最后的單應(yīng)性變換T_final：

其中G(u,σ)是均值為零、方差為的高斯分布；

步驟1.3，相機(jī)運(yùn)動(dòng)補(bǔ)償：在透射變換之后，采用卡爾曼濾波進(jìn)一步去除抖動(dòng)，視頻的第一幀被認(rèn)為是穩(wěn)定的，將第一幀作為參考幀來穩(wěn)定下一幀，然后將第二幀作為參考幀來穩(wěn)定第三幀，重復(fù)操作直到最后一幀穩(wěn)定；使用卡爾曼濾波通常基于抖動(dòng)視頻中含有白噪聲，但這種假設(shè)有時(shí)和現(xiàn)實(shí)情況不符，由于視頻中的抖動(dòng)部分在頻域中往往是高頻部分，本方法結(jié)合了卡爾曼濾波和低通濾波，低通濾波能夠有效地去除視頻抖動(dòng)；

步驟1.4，像素填補(bǔ)：視頻經(jīng)過步驟1.3處理之后會(huì)出現(xiàn)像素丟失，所以需要對丟失像素進(jìn)行填補(bǔ)，從而保護(hù)視頻的分辨率；采用下式所示的平均填補(bǔ)：

其中，I_t(m,n)是當(dāng)前幀t丟失像素的像素值，I′_i(m,n)是丟失像素在相鄰幀對應(yīng)位置像素的值。

所述步驟2的具體步驟為：

步驟2.1，左右視點(diǎn)的特征點(diǎn)匹配：對穩(wěn)定后的左右視提取特征點(diǎn)，為了提高特征點(diǎn)匹配的準(zhǔn)確性，首先通過特征點(diǎn)之間距離比較的方法，驗(yàn)證特征點(diǎn)匹配的準(zhǔn)確性，然后，采用雙向驗(yàn)證的方法進(jìn)一步驗(yàn)證匹配，最后采用RANSAC剔除不準(zhǔn)確的匹配，經(jīng)過特征點(diǎn)篩選步驟后，得到左右視頻間準(zhǔn)確的特征點(diǎn)匹配；

步驟2.2，特征點(diǎn)垂直視差直方圖統(tǒng)計(jì)：分別計(jì)算準(zhǔn)確的匹配特征點(diǎn)在垂直方向上的視差，采用特征點(diǎn)平均垂直視差、統(tǒng)計(jì)特征點(diǎn)垂直視差直方圖、優(yōu)先選取靠近零平面的特征點(diǎn)的方法，將統(tǒng)計(jì)的結(jié)果作為垂直視差校正的指標(biāo)；

步驟2.3，垂直視差校正：根據(jù)步驟2.2中得到左右視頻間的垂直視差進(jìn)行實(shí)時(shí)校正，減少左右視頻之間的垂直視差，提高3D視頻的觀看舒適度。

與現(xiàn)有技術(shù)相比，本發(fā)明具有如下突出的實(shí)質(zhì)性特點(diǎn)和顯著的優(yōu)點(diǎn)：

本發(fā)明是一種視頻穩(wěn)定性能好、魯棒性高的視頻穩(wěn)定方法，能夠?qū)τ上鄼C(jī)抖動(dòng)、相機(jī)內(nèi)部感光元件的不一致性以及當(dāng)前工藝的不精確所導(dǎo)致的左右視點(diǎn)間的垂直視差進(jìn)行修正，可提高觀看3D視頻的舒適度。

附圖說明

圖1為本發(fā)明的流程圖；

圖2(a)和(b)為原始特征點(diǎn)前向和后向匹配圖；

圖3為篩選后的特征點(diǎn)匹配圖；

圖4(a)和(b)為垂直視差主觀實(shí)驗(yàn)圖；

圖5(a)和(b)為輸入視頻及其光流圖；

圖6為輸入視頻的幀間水平和垂直視差；

圖7為輸入視頻的水平方向上運(yùn)動(dòng)軌跡和平滑后的運(yùn)動(dòng)軌跡；

圖8為輸入視頻的垂直方向上運(yùn)動(dòng)軌跡和平滑后的運(yùn)動(dòng)軌跡；

圖9為輸出視頻的幀間水平和垂直視差；

圖10(a)、(b)和(c)為輸入視頻幀、垂直視差處理后的視頻幀和輸出視頻幀。

具體實(shí)施方式

以下結(jié)合附圖對本發(fā)明的實(shí)施例作詳細(xì)說明。

如圖1所示，一種聯(lián)合空間時(shí)間軸的雙視點(diǎn)立體視頻穩(wěn)定方法，包括以下步驟：

步驟1：對雙視點(diǎn)視頻分別進(jìn)行時(shí)間軸維度的視頻穩(wěn)定：首先分別對左右視的連續(xù)視頻幀提取特征點(diǎn)，剔除錯(cuò)誤匹配的特征點(diǎn)，得到準(zhǔn)確的特征點(diǎn)匹配，再根據(jù)準(zhǔn)確的特征點(diǎn)匹配估計(jì)視頻的幀間運(yùn)動(dòng)軌跡；然后利用濾波的方法去除視頻中的高頻部分，平滑輸入視頻的幀間運(yùn)動(dòng)軌跡并填補(bǔ)視頻中丟失像素，保持輸入視頻的分辨率。

步驟1.1，準(zhǔn)確的特征點(diǎn)的提取、匹配和篩選：對單個(gè)視頻的相鄰幀分別提取特征點(diǎn)，本實(shí)施例并不局限特征點(diǎn)的提取和匹配算法，可選用尺度不變的特征點(diǎn)提取和匹配算法，如SIFT、SURF、ORB等特征點(diǎn)提取算法，在本實(shí)施例中使用SURF特征點(diǎn)提取算法。進(jìn)一步，為了提高特征點(diǎn)匹配的準(zhǔn)確性，首先采用特征點(diǎn)之間歐式距離比率判決的方法，驗(yàn)證特征點(diǎn)匹配的準(zhǔn)確性。

其中d₁是第i幀圖像的特征點(diǎn)p和距離它最近的第i-1幀圖像中特征點(diǎn)q之間的距離，d₂是第i幀圖像的特征點(diǎn)p和距離它次近的第i-1幀圖像中特征點(diǎn)q′之間的距離。當(dāng)d₁和d₂的比值大于預(yù)先設(shè)定的閾值時(shí)，則認(rèn)為該匹配不準(zhǔn)確，剔除該特征點(diǎn)匹配，否則保留該準(zhǔn)確匹配。其次，本實(shí)施例采用雙向驗(yàn)證的方法進(jìn)一步驗(yàn)證匹配，即查詢圖像的特征描述子索引和訓(xùn)練(模板)圖像的特征描述子索引互相匹配。最后RANSAC剔除不準(zhǔn)確的匹配，隨機(jī)采樣一致性算法可以在一組包含“外點(diǎn)”的數(shù)據(jù)集中，采用不斷迭代的方法尋找最優(yōu)參數(shù)模型，不符合最優(yōu)模型的點(diǎn)被定義為“外點(diǎn)”。采用RANSAC算法濾除錯(cuò)誤匹配尋找一個(gè)最優(yōu)單應(yīng)性矩陣H，使得滿足該矩陣的數(shù)據(jù)點(diǎn)數(shù)量最多，即內(nèi)點(diǎn)數(shù)量最多。經(jīng)過特征點(diǎn)篩選步驟后，得到準(zhǔn)確的特征點(diǎn)匹配。

步驟1.2，相機(jī)運(yùn)動(dòng)估計(jì)：根據(jù)步驟1.1中的特征點(diǎn)匹配，相機(jī)運(yùn)動(dòng)可以由透視變換的單應(yīng)性變換描述。為了平滑相機(jī)的運(yùn)動(dòng)軌跡，本實(shí)施例參考了與當(dāng)前幀相鄰的五幀。設(shè)定第i幀和第j幀之間的變換為T_i^j，當(dāng)前幀的編號(hào)為t，與它相鄰幀的編號(hào)設(shè)為{w|t-5≤w≤t+5}。得到最后的單應(yīng)性變換T_final。

其中G(u,σ)是均值為零、方差為的高斯分布。

步驟1.3，相機(jī)運(yùn)動(dòng)補(bǔ)償：在透射變換之后，本實(shí)施例采用卡爾曼濾波進(jìn)一步去除抖動(dòng)。在本實(shí)施例中，視頻的第一幀被認(rèn)為是穩(wěn)定的，將第一幀作為參考幀來穩(wěn)定下一幀，然后將第二幀作為參考幀來穩(wěn)定第三幀，重復(fù)操作直到最后一幀穩(wěn)定。使用卡爾曼濾波通常基于抖動(dòng)視頻中含有白噪聲，但這種假設(shè)可能和現(xiàn)實(shí)情況不符，由于視頻中的抖動(dòng)部分在頻域中往往是高頻部分，本實(shí)施例結(jié)合了卡爾曼濾波和低通濾波，低通濾波可以有效地去除視頻抖動(dòng)。

步驟1.4，像素填補(bǔ)：視頻經(jīng)過步驟1.3處理之后會(huì)出現(xiàn)像素丟失，所以需要對丟失像素進(jìn)行填補(bǔ)，從而保護(hù)視頻的分辨率。本實(shí)施例中采用如(4)式所示的平均填補(bǔ)。

其中，I_t(m,n)是當(dāng)前幀t丟失像素的像素值，I′_i(m,n)是丟失像素在相鄰幀對應(yīng)位置的像素的值。

至此，本實(shí)施例完成了時(shí)間軸的視頻穩(wěn)定過程。

步驟2：對左右視進(jìn)行空間軸維度的視頻穩(wěn)定。對經(jīng)過步驟1處理后的左右視頻進(jìn)行空間軸維度的視頻穩(wěn)定，減少左右視頻之間的垂直視差，提高3D視頻的觀看舒適度。首先對同一時(shí)刻的左右視頻幀提取特征點(diǎn)，剔除不準(zhǔn)確特征點(diǎn)匹配，得到左右視的準(zhǔn)確特征點(diǎn)匹配。然后分別計(jì)算準(zhǔn)確的匹配特征點(diǎn)在垂直方向上的視差，采用統(tǒng)計(jì)特征點(diǎn)垂直視差直方圖的方法作為校正指標(biāo)。最后根據(jù)得到的左右視頻間的垂直視差進(jìn)行實(shí)時(shí)校正，減少左右視頻之間的垂直視差。

步驟2.1，左右視點(diǎn)的特征點(diǎn)匹上配：對穩(wěn)定后的左右視頻的特征點(diǎn)提取，本實(shí)施例并不局限特征點(diǎn)的提取和匹配算法，可選用尺度不變的特征點(diǎn)提取和匹配算法，如SIFT、SURF、ORB等。為了提高特征點(diǎn)匹配的準(zhǔn)確性，首先通過特征點(diǎn)之間距離比較的方法，驗(yàn)證特征點(diǎn)匹配的準(zhǔn)確性。然后，采用雙向驗(yàn)證的方法進(jìn)一步驗(yàn)證匹配。最后采用RANSAC剔除不準(zhǔn)確的匹配，經(jīng)過特征點(diǎn)篩選步驟后，得到左右視頻間準(zhǔn)確的特征點(diǎn)匹配。

步驟2.2，特征點(diǎn)垂直視差直方圖統(tǒng)計(jì)：分別計(jì)算準(zhǔn)確的匹配特征點(diǎn)在垂直方向上的視差，可以采用特征點(diǎn)平均垂直視差、統(tǒng)計(jì)特征點(diǎn)垂直視差直方圖、優(yōu)先選取靠近零平面的特征點(diǎn)等方法作為校正指標(biāo)，本實(shí)施例中采用的是統(tǒng)計(jì)特征點(diǎn)垂直視差直方圖的方法。

步驟2.3，垂直視差校正：根據(jù)步驟2.2中得到左右視頻間的垂直視差進(jìn)行實(shí)時(shí)校正，減少左右視頻之間的垂直視差。

至此，本實(shí)施例完成了空間軸的視頻穩(wěn)定過程。

步驟3，視頻穩(wěn)定調(diào)整：對步驟2得到的視頻使用光流法尋找前后相鄰幀之間的變換T_{original_transformation}，并且該變換只包含三個(gè)參數(shù)：水平平移d_x、垂直平移d_y、旋轉(zhuǎn)角度d_α。

累計(jì)d_x、d_y、d_α得到視頻幀之間的運(yùn)動(dòng)軌跡∑d_x、∑d_y、∑d_α。采用窗口方法平滑視頻幀之間的運(yùn)動(dòng)軌跡并且得到參數(shù)d_{x_avg}、d_{y_avg}、d_{α_avg}。結(jié)合上述參數(shù)得到新的變換，新變換參數(shù)d_{x_new}、d_{y_new}、d_{α_new}為：

d_{x_new}＝d_x+(d_{x_avg}-∑d_x) (6)

d_{y_new}＝d_y+(d_{y_avg}-∑d_y) (7)

d_{α_new}＝d_α+(d_{α_avg}-∑d_α) (8)

最終得到新變換矩陣T_{new_transformation}。具體變換公式為：

將T_{new_transformation}作用在步驟2輸出視頻上得到最后視頻穩(wěn)定結(jié)果。

本實(shí)施例中，采用SURF特征點(diǎn)匹配的方法跟蹤相機(jī)運(yùn)動(dòng)軌跡，為了得到準(zhǔn)確精準(zhǔn)的特征點(diǎn)匹配，本實(shí)施例采用RANSAC算法和對稱驗(yàn)證匹配的策略提高匹配的精確度。本發(fā)明并不局限SURF特征點(diǎn)的提取和匹配算法，也可選用其他尺度不變的特征點(diǎn)提取和匹配算法。圖2是單向特征點(diǎn)匹配結(jié)果圖，圖2(a)是后向匹配，圖2(b)是前向匹配，如圖2所示，單向特征點(diǎn)匹配產(chǎn)生一定數(shù)量的不準(zhǔn)確匹配對。圖3是雙向匹配驗(yàn)證后特征點(diǎn)匹配結(jié)果，減少了錯(cuò)誤匹配數(shù)量，得到準(zhǔn)確的特征點(diǎn)匹配，根據(jù)準(zhǔn)確的匹配特征點(diǎn)可以追蹤相機(jī)的運(yùn)動(dòng)軌跡，為后續(xù)的平滑過程奠定了良好的基礎(chǔ)。

本實(shí)施例中采用卡爾曼濾波和低通濾波的聯(lián)合濾波對相機(jī)運(yùn)動(dòng)進(jìn)行補(bǔ)償。經(jīng)過補(bǔ)償后的視頻會(huì)丟失一些像素，為了保證視頻的分辨率，本實(shí)施例對丟失像素進(jìn)行了補(bǔ)償。

在本實(shí)施例中，左右視頻的垂直視差對于3D視頻觀看舒適度影響做了主觀實(shí)驗(yàn)，如圖4(a)、(b)所示，大于40像素的垂直視差對3D視頻觀看的舒適度有很大的影響。本實(shí)施例統(tǒng)計(jì)左右視的特征點(diǎn)垂直視差直方圖作為當(dāng)前左右視的垂直視差，然后對垂直視差進(jìn)行實(shí)時(shí)校正。

在本實(shí)施例中對視差校正后的視頻進(jìn)行了調(diào)整，視頻的光流圖如圖5(b)所示，圖中彩色區(qū)域即為運(yùn)動(dòng)物體。視差調(diào)整后，視頻幀之間的變換參數(shù)如圖6所示，實(shí)線即為水平平移d_x，虛線即為垂直平移d_y。調(diào)整過程的輸入視頻的運(yùn)動(dòng)軌跡和平滑后的軌跡如圖7、8所示，圖7即為x方向的運(yùn)動(dòng)軌跡對比，圖8即為y方向的運(yùn)動(dòng)軌跡對比，實(shí)線即為調(diào)整視頻的運(yùn)動(dòng)軌跡，虛線即為平滑處理后視頻的運(yùn)動(dòng)軌跡。視頻穩(wěn)定調(diào)整過程的結(jié)果如圖9所示，實(shí)線即為水平平移d_x，虛線即為垂直平移d_y。

如圖10所示，圖10(a)即為原始輸入視頻的第1、50、100、150幀，圖10(b)即為垂直視差校正后視頻的第1、50、100、150幀，圖10(c)是調(diào)整后視頻第1、50、100、150幀，即為本實(shí)施例的最終結(jié)果。