專利名稱：一種二維三維混合的視頻穩(wěn)定方法
技術領域：
本發(fā)明涉及一種視頻穩(wěn)定技術，尤其是涉及一種二維三維混合的視頻穩(wěn)定方法。
背景技術：
隨著電子產(chǎn)品的普及，電子攝像設備越來越多地出現(xiàn)在人們的日常生活之中，但是由于低成本的攝像設備內(nèi)置功能較弱以及拍攝者的業(yè)余化使得這些設備拍攝得到的視頻抖動劇烈，大大降低了視頻的觀賞性。與專業(yè)人員拍攝視頻相比，業(yè)余愛好者拍攝視頻時，攝像機存在隨機無序的抖動。專業(yè)人員拍攝的視頻與業(yè)余愛好者拍攝的視頻的關鍵差別在于拍攝中攝像機運動的不同，業(yè)余愛好者用手持攝像機拍攝視頻時，攝像機運動通常存在不規(guī)則的抖動；然而專業(yè)人員拍攝視頻時，攝像機通常是固定在特定的角架上，按規(guī)劃，在特定軌道上進行一種有序規(guī)則運動。但是專業(yè)拍攝所用到的一些固定的穩(wěn)定設備和軌道通常都非常昂貴，是多數(shù)業(yè)余愛好者無法承受的，所以視頻穩(wěn)定軟件被廣泛應用于改善抖動視頻的質(zhì)量，提高隨機拍攝視頻的觀賞性。用于穩(wěn)定抖動視頻的技術可以初分成兩類二維的視頻穩(wěn)定方法和三維的視頻穩(wěn)定方法。被廣泛應用于商業(yè)軟件的視頻穩(wěn)定技術是二維視頻穩(wěn)定方法。二維視頻穩(wěn)定方法應用二維運動模型對相關幀的運動建模，二維運動模型主要包括仿射變換和投影變換模型；通過對每一幀進行這種二維運動的平滑達到穩(wěn)定視頻的效果。盡管二維視頻穩(wěn)定方法非常高效和魯棒，但是由于它所使用的運動模型過于簡單，所以它能穩(wěn)定抖動視頻的程度非常有限，它不能解決由于三維相機運動引入的視差問題。與二維視頻穩(wěn)定算法相比，三維視頻穩(wěn)定技術能夠更好的穩(wěn)定抖動的視頻，甚至可以模擬線性的攝像機三維運動。三維視頻穩(wěn)定技術通常使用三維重建(Structure From Motion)技術重建場景的三維模型和攝像機運動，然后從新的平滑了的三維攝像機軌跡上渲染新的視頻幀。三維視頻穩(wěn)定方法需要精確恢復三維場景，低端攝像設備拍攝的視頻質(zhì)量較差時，會導致三維重建失敗或不準確，最終導致三維視頻穩(wěn)定失敗或穩(wěn)定的程度有限。

發(fā)明內(nèi)容
本發(fā)明主要是解決現(xiàn)有技術所存在的只能解決攝像機固定在高頻抖動機械上拍攝的視頻的穩(wěn)定問題；提供了一種不但適合于由于攝像機固定在抖動機械上獲取視頻的穩(wěn)定，也適合于業(yè)余愛好者用手持攝像機隨機拍攝的視頻的穩(wěn)定的一種二維三維混合的視頻穩(wěn)定方法。本發(fā)明還有一目的是解決現(xiàn)有技術所存在的二維視頻穩(wěn)定方法所使用的運動模型過于簡單，所以它能穩(wěn)定抖動視頻的程度非常有限，它不能解決由于三維攝像機運動引入的視差問題等的技術問題；提供了一種可以避免由于視頻質(zhì)量較差導致三維重建數(shù)據(jù)不準確引入的三維視頻穩(wěn)定不準確問題，且二維和三維相結(jié)合的方法使得最終穩(wěn)定的結(jié)果視頻更接近于專業(yè)拍攝設備所拍攝的視頻的一種二維三維混合的視頻穩(wěn)定方法。本發(fā)明的上述技術問題主要是通過下述技術方案得以解決的合的視頻穩(wěn)定方法，其特征是該技術包括以下步驟 步驟1，讀取輸入視頻，檢測每一幀中的特征角點，并計算特征角點在前后幀間的對應關系，跟蹤特征角點在連續(xù)幀中的軌跡；
步驟2，根據(jù)特征角點在前后幀中的對應關系，計算當前幀變換到鄰近幀的加權平均變換矩陣ΛΓ ；
步驟3，恢復每一幀的攝像機參數(shù)以及視頻幀中的二維特征點在對應的場景中的三維
；^^ "ΖΧ ’
步驟4，擬合攝像機軌跡至平滑的二次曲線并平滑攝像機方向，得到新的攝像機參數(shù)； 步驟5，基于每個輸入幀構(gòu)造稀疏網(wǎng)格，在加權平均變換矩陣H和視頻幀運動信息的約束下，根據(jù)幀內(nèi)容的權重值，計算稀疏網(wǎng)格在新攝像機參數(shù)和三維點云條件下的位置變換；
步驟6，根據(jù)變換后的稀疏網(wǎng)格，計算輸入幀到輸出幀的變換； 步驟7，裁剪輸出幀，得到穩(wěn)定的結(jié)果視頻。在上述的一種二維三維混合的視頻穩(wěn)定方法，所述步驟1中特征角點在連續(xù)幀中的軌跡是指某一特征角點持續(xù)在連續(xù)多幀中出現(xiàn)，其在多幀中出現(xiàn)的位置組成了特征角點軌跡；所述特征角點采用Harris方法計算得到，采用FAST特征描述子描述角點特征，并采用RASNC方法優(yōu)化特征角點的匹配關系，得到最終有效的特征角點軌跡。在上述的一種二維三維混合的視頻穩(wěn)定方法，所述步驟2所述當前幀到鄰近幀的
加權平均變換矩陣H Hr =_為*嫩
其中1(4*)是第 幀變換到第Jt幀的單應矩陣(Homography)，爾為高斯權重函數(shù)。在上述的一種二維三維混合的視頻穩(wěn)定方法，所述步驟3中攝像機參數(shù)包括攝像機的內(nèi)部參數(shù)和外部參數(shù)；其中內(nèi)部參數(shù)包括攝像機的焦矩、主點和傾斜度；外部參數(shù)包括攝像機的旋轉(zhuǎn)和攝像機位置；所述場景稀疏三維點云是指在計算出攝像機參數(shù)的基礎上，計算出每一幀攝像機所對應投影矩陣，并采用三角化和集束調(diào)整技術，精化求解視頻幀中二維特征角點所對應的場景三維點的位置。在上述的一種二維三維混合的視頻穩(wěn)定方法，所述步驟4中擬合攝像機軌跡至平滑的二次曲線是指將原攝像機的三維空間位置坐標，分別投影至XY平面JZ平面、)(Z平面， 計算得到的投影點到擬合的二次曲線差值較小的兩個平面，獲取這兩個平面中的一個公共維X、Y或者Z，根據(jù)公共維和擬合參數(shù)，計算出新的攝像機位置；所述平滑攝像機方向是指采用加權平均的方法計算當前視頻幀的攝像機方向變換至鄰近視頻幀攝像機方向的加權平均變換，并用加權變換變換當前幀的攝像機方向。在這里，固定維已經(jīng)修改為了公共維， 它是指XY，YZjZ中任意兩個中會出現(xiàn)的一個公共的維。擬合參數(shù)是指擬合得到的二次曲線的系數(shù)參數(shù)。在上述的一種二維三維混合的視頻穩(wěn)定方法，所述步驟5中，根據(jù)輸入視頻幀構(gòu)造稀疏網(wǎng)格是指將視頻幀劃分為相同尺寸的矩形，所有矩形頂點構(gòu)成稀疏網(wǎng)格點；所述計算稀疏網(wǎng)格在新的攝像機參數(shù)條件下的位置變換是指以稀疏網(wǎng)格變換后的坐標位置為未知量，根據(jù)原稀疏網(wǎng)格與特征點的關系，構(gòu)造在新的攝像機參數(shù)條件下，三維點云在新視頻幀上的投影與未知量的關系的大規(guī)模稀疏線性方程組，采用其于GPU的大規(guī)模線性方程求解算子，求解稀疏網(wǎng)格變換后的坐標。在上述的一種二維三維混合的視頻穩(wěn)定方法，所述步驟5中，加權平均變換矩陣丑約束是指使用加權平均變換矩陣I，變換原始稀疏網(wǎng)格點。在上述的一種二維三維混合的視頻穩(wěn)定方法，所述步驟5中，所述視頻幀運動信息約束是指新的網(wǎng)格點至下一幀對應點的位置偏移應與原始網(wǎng)格點經(jīng)過加權平權平均變換矩陣好變換后，其至下一幀中對應點的偏移相近。在上述的一種二維三維混合的視頻穩(wěn)定方法，所述步驟6中，根據(jù)變換后的稀疏網(wǎng)格計算輸入視頻幀到輸出視頻幀的變換是指以稀疏網(wǎng)格劃分的圖像塊為單元，根據(jù)變換后的對應網(wǎng)格點坐標，將輸入圖像塊采用紋理映射的方式變換到輸出圖像塊；變換所有圖像塊后，得到變換后的輸出視頻幀。在上述的一種二維三維混合的視頻穩(wěn)定方法，所述步驟6中，裁剪輸出幀是指剪除經(jīng)過變換后的視頻幀的邊緣空洞區(qū)域。因此，本發(fā)明具有如下優(yōu)點1.本發(fā)明適用范圍廣，它不但適合于由于攝像機固定在抖動機械上獲取視頻的穩(wěn)定，也適合于業(yè)余愛好者用手持攝像機隨機拍攝的視頻的穩(wěn)定；2.由于存在二維方法的預穩(wěn)定步驟，在穩(wěn)定使用低端攝像設備獲取的視頻時，可以避免由于視頻質(zhì)量較差導致三維重建數(shù)據(jù)不準確引入的三維視頻穩(wěn)定不準確問題，另外二維和三維相結(jié)合的方法使得最終穩(wěn)定的結(jié)果視頻更接近于專業(yè)拍攝設備所拍攝的視頻。


圖1為本發(fā)明實施例視頻中的某一幀；
圖2為本發(fā)明實施例對應視頻幀穩(wěn)定后帶網(wǎng)格效果； 圖3為本發(fā)明實施例對應視頻幀穩(wěn)定后無網(wǎng)格的效果。
具體實施例方式下面通過實施例，對本發(fā)明的技術方案作進一步具體的說明。實施例下面結(jié)合實施例對本發(fā)明作進一步說明。本實施例采用C++程序設計語言，利用開源媒體編解碼庫FFMPEG和開源機器視覺庫OpenCV，以QT作為開發(fā)平臺進行實施，以下為本發(fā)明實施例的具體步驟
(1)在個人電腦上，利用C++程序設計語言，使用FFMPEG和OpenCV等開源庫，以QT為開發(fā)平臺，編程實現(xiàn)了本發(fā)明的一個視頻穩(wěn)定應用系統(tǒng)。(2)用數(shù)碼攝像機隨機拍攝了一段740幀的測試視頻。(3)在視頻穩(wěn)定應用系統(tǒng)中，導入拍攝的測試視頻。(4)特征角點檢測，首先采用Harris方法計算得到每一幀中的特征角點，采用 FAST特征描述子描述特征角點，并采用RANSAC方法優(yōu)化特征角點的相鄰近幀間的匹配關系，剔除無效特征角點，保留有效特征角點，得到最終有效的特征角點軌跡；
(5)計算當前幀到鄰近幀的加權平均變換矩陣丑^Ht=H{t,kVGm
其中iftfc)是第f幀變換到第t幀的單應矩陣(Homography), _為高斯權重函數(shù)；
(6)根據(jù)特征點在多幀中的對應關系計算攝像機的參數(shù)；攝像機的參數(shù)包括內(nèi)部參數(shù)焦矩長度，傾斜系數(shù)等和外部參數(shù)攝像機位置、方向。(7)在計算出攝像機參數(shù)的基礎上，計算出每一幀時攝像機所對應投影矩陣，并采用三角化和集束調(diào)整技術，精化求解幀中二維特征角點所對應的場景三維點的位置，得到
三維空間點云。(8)擬合攝像機軌跡至平滑的二次曲線，將原三維攝像機始的三維攝像機位置，分別投影至XY平面、TL平面、TL平面，計算得到投影點到擬合的二次曲線差值較小的兩個平面，獲取一個公共維X，Y或者Z，根據(jù)公共維和擬合參數(shù)，計算出新的攝像機位置；
(9)平滑攝像機方向，指采用加權平均的方法計算當前幀攝像機方向變換至鄰近幀攝像機方向的加權變換，并用加權平均的攝像機方向設置為當前幀的攝像機方向；
(10)構(gòu)造稀疏網(wǎng)格，根據(jù)輸入幀將視頻幀劃分為相同尺寸的矩形，所有矩形頂點構(gòu)成稀疏網(wǎng)格點；
(11)計算稀疏網(wǎng)格在新的攝像機參數(shù)的位置變換，以稀疏網(wǎng)格變換后的坐標位置為未知量，根據(jù)原稀疏網(wǎng)格與特征點的關系，構(gòu)造在新的攝像機參數(shù)條件下，三維點云在新視頻幀上的投影與未知量的關系的大規(guī)模稀疏線性方程組，采用基于GPU的大規(guī)模線性方程求解算子，求解稀疏網(wǎng)格變換后的坐標；
(12)根據(jù)變換后的稀疏網(wǎng)格計算輸入幀到輸出幀的變換，以稀疏網(wǎng)格劃分的圖像塊為單元，根據(jù)變換后的對應網(wǎng)格點坐標，將輸入圖像塊采用紋理映射的方式變換到輸出圖像塊；變換所有圖像塊后，得到變換后的輸出視頻幀。(13)裁剪輸出幀，經(jīng)過變換后的視頻幀，邊緣部分可能出現(xiàn)部分空洞，為了保持輸出視頻的觀賞性，剪除邊緣空洞區(qū)域，最終得到結(jié)果視頻。本文中所描述的具體實施例僅僅是對本發(fā)明精神作舉例說明。本發(fā)明所屬技術領域的技術人員可以對所描述的具體實施例做各種各樣的修改或補充或采用類似的方式替代，但并不會偏離本發(fā)明的精神或者超越所附權利要求書所定義的范圍。
權利要求
1.一種二維三維混合的視頻穩(wěn)定方法，其特征是該技術包括以下步驟步驟1，讀取輸入視頻，檢測每一幀中的特征角點，并計算特征角點在前后幀間的對應關系，跟蹤特征角點在連續(xù)幀中的軌跡；步驟2，根據(jù)特征角點在前后幀中的對應關系，計算當前幀變換到鄰近幀的加權平均變換矩陣；步驟3，恢復每一幀的攝像機參數(shù)以及視頻幀中的二維特征點在對應的場景中的三維；^^ "ΖΧ ’步驟4，擬合攝像機軌跡至平滑的二次曲線并平滑攝像機方向，得到新的攝像機參數(shù)；步驟5，基于每個輸入幀構(gòu)造稀疏網(wǎng)格，在加權平均變換矩陣H和視頻幀運動信息的約束下，根據(jù)幀內(nèi)容的權重值，計算稀疏網(wǎng)格在新攝像機參數(shù)和三維點云條件下的位置變換；步驟6，根據(jù)變換后的稀疏網(wǎng)格，計算輸入幀到輸出幀的變換；步驟7，裁剪輸出幀，得到穩(wěn)定的結(jié)果視頻。
2.根據(jù)權利要求1所述的一種二維三維混合的視頻穩(wěn)定方法，其特征是所述步驟1 中特征角點在連續(xù)幀中的軌跡是指某一特征角點持續(xù)在連續(xù)多幀中出現(xiàn)，其在多幀中出現(xiàn)的位置組成了特征角點軌跡；所述特征角點采用Harris方法計算得到，采用FAST特征描述子描述角點特征，并采用RANSAC方法優(yōu)化特征角點的匹配關系，得到最終有效的特征角點軌跡。
3.根據(jù)權利要求1所述的一種二維三維混合的視頻穩(wěn)定方法,其特征是所述步驟2 所述當前幀到鄰近幀的加權平均變換矩陣好是戰(zhàn)=HiLk)*G(k}其中iffti)是第I幀變換到第t幀的單應矩陣(Homography), Gm為高斯權重函數(shù)。
4.根據(jù)權利要求1所述的一種二維三維混合的視頻穩(wěn)定方法，其特征是所述步驟3 中攝像機參數(shù)包括攝像機的內(nèi)部參數(shù)和外部參數(shù)；其中內(nèi)部參數(shù)包括攝像機的焦矩、主點和傾斜度；外部參數(shù)包括攝像機的旋轉(zhuǎn)和攝像機位置；所述場景稀疏三維點云是指在計算出攝像機參數(shù)的基礎上，計算出每一幀攝像機所對應投影矩陣，并采用三角化和集束調(diào)整技術，精化求解視頻幀中二維特征角點所對應的場景三維點的位置。
5.根據(jù)權利要求1所述的一種二維三維混合的視頻穩(wěn)定方法，其特征是所述步驟4 中擬合攝像機軌跡至平滑的二次曲線是指將原攝像機的三維空間位置坐標，分別投影至XY 平面、^平面、)(Z平面，計算得到的投影點到擬合的二次曲線差值較小的兩個平面，獲取這兩個平面的公共維X、Y或者Z，根據(jù)公共維和擬合參數(shù)，計算出新的攝像機位置；所述平滑攝像機方向是指采用加權平均的方法計算當前視頻幀的攝像機方向變換至鄰近視頻幀攝像機方向的加權平均變換，并用加權變換變換當前幀的攝像機方向。
6.根據(jù)權利要求1所述的一種二維三維混合的視頻穩(wěn)定方法，其特征是所述步驟5 中，根據(jù)輸入視頻幀構(gòu)造稀疏網(wǎng)格是指將視頻幀劃分為相同尺寸的矩形，所有矩形頂點構(gòu)成稀疏網(wǎng)格點；所述計算稀疏網(wǎng)格在新的攝像機參數(shù)條件下的位置變換是指以稀疏網(wǎng)格變換后的坐標位置為未知量，根據(jù)原稀疏網(wǎng)格與特征點的關系，構(gòu)造在新的攝像機參數(shù)條件下，三維點云在新視頻幀上的投影與未知量的關系的大規(guī)模稀疏線性方程組，采用基于GPU 的大規(guī)模線性方程求解算子，求解稀疏網(wǎng)格變換后的坐標。
7.根據(jù)權利要求1所述的一種二維三維混合的視頻穩(wěn)定方法，其特征是所述步驟5 中，加權平均變換矩陣好約束是指使用加權平均變換矩陣I，變換原始稀疏網(wǎng)格點。
8.根據(jù)權利要求1所述的一種二維三維混合的視頻穩(wěn)定方法，其特征是所述步驟5 中，所述視頻幀運動信息約束是指新的網(wǎng)格點至下一幀對應點的位置偏移應與原始網(wǎng)格點經(jīng)過加權平權平均變換矩陣雙變換后，其至下一幀中對應點的偏移相近。
9.根據(jù)權利要求1所述的一種二維三維混合的視頻穩(wěn)定方法，其特征是所述步驟6 中，根據(jù)變換后的稀疏網(wǎng)格計算輸入視頻幀到輸出視頻幀的變換是指以稀疏網(wǎng)格劃分的圖像塊為單元，根據(jù)變換后的對應網(wǎng)格點坐標，將輸入圖像塊采用紋理映射的方式變換到輸出圖像塊；變換所有圖像塊后，得到變換后的輸出視頻幀。
10.根據(jù)權利要求1所述的一種二維三維混合的視頻穩(wěn)定方法，其特征是所述步驟6 中，裁剪輸出幀是指剪除經(jīng)過變換后的視頻幀的邊緣空洞區(qū)域。
全文摘要
本發(fā)明涉及一種視頻穩(wěn)定方法，尤其是涉及一種二維三維混合的視頻穩(wěn)定方法。本發(fā)明首先通過二維視頻穩(wěn)定方法計算視頻預穩(wěn)定；其次利用三維恢復技術，恢復視頻場景中稀疏的三維點云和攝像機參數(shù)，擬合攝像機軌跡到平滑的二次曲線并平滑攝像機方向；最后根據(jù)新的攝像機參數(shù)，在預穩(wěn)定和二維運動信息的約束下映射輸入幀至輸出幀，最終得到穩(wěn)定的輸出視頻。因此，本發(fā)明具有如下優(yōu)點本發(fā)明適用范圍廣，它不但適合于由于攝像機固定在抖動機械上獲取視頻的穩(wěn)定，也適合于業(yè)余愛好者用手持攝像機隨機拍攝的視頻的穩(wěn)定；可以避免由于視頻質(zhì)量較差導致三維重建數(shù)據(jù)不準確引入的三維視頻穩(wěn)定不準確問題。
文檔編號H04N13/00GK102256061SQ20111021425
公開日2011年11月23日 申請日期2011年7月29日 優(yōu)先權日2011年7月29日
發(fā)明者何發(fā)智, 張德軍, 蔡賢濤, 黃志勇 申請人:武漢大學