基于多深度圖像變換矩陣的全景視頻拼接方法
【專利摘要】本發(fā)明公開了一種基于多深度圖像變換矩陣的全景視頻拼接方法，它將多個攝像頭排水的含有相互重疊區(qū)域的多個視頻合成為全景視頻，該方法包括后臺校準(zhǔn)過程和實時拼接過程。在后臺校準(zhǔn)過程中，獲得深度為無窮遠(yuǎn)處的參考平面圖像變換矩陣；同時，將其它深度信息分成不同深度等級，獲得每個深度等級所對應(yīng)的深度平面圖像變換矩陣。在實時拼接過程中，利用參考平面圖像變換矩陣，獲得參考全景圖像；同時，計算重疊區(qū)域當(dāng)前的深度信息，并根據(jù)該深度信息所對應(yīng)的圖像變換矩陣，獲得重疊區(qū)域全景圖像；最后將重疊區(qū)域全景圖像和參考全景圖像進(jìn)行混合成全景視頻圖像。本發(fā)明的方法可以獲得穩(wěn)定連貫的高質(zhì)量全景視頻，同時具有計算量小、運行速度快的特點。
【專利說明】基于多深度圖像變換矩陣的全景視頻拼接方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種視頻拼接方法，尤其是一種基于多深度圖像變換矩陣的全景視頻 拼接方法。

【背景技術(shù)】
[0002] 視頻拼接是計算機(jī)視覺中一項重要的技術(shù)。給定含有重疊區(qū)域的多個視頻，視頻 拼接的過程是將這些視頻合成到同一視平面上，形成一個分辨率更高、視角更大的全景視 頻。在實際生活中，這項技術(shù)運用到了視頻監(jiān)控、展示展覽、遠(yuǎn)程視頻會議、視覺娛樂等各個 領(lǐng)域。
[0003] 很多應(yīng)用場景都對全景視頻提出了合成圖像質(zhì)量高，并且實時運行速度快的要 求。已有的視頻拼接方法針對于此，提出了多種解決方案。在實際場景中，前景物體經(jīng)常在 拼接線附近產(chǎn)生偽影現(xiàn)象，為了解決這個問題，【文獻(xiàn)1，2,3】中，提出了采用前景信息來優(yōu) 化全景圖像或視頻的方法，并且在動態(tài)環(huán)境中根據(jù)前景信息調(diào)整拼接線，獲得了優(yōu)良的質(zhì) 量效果。但是，當(dāng)前景物體數(shù)量比較多的時候，處理時間將加長，同時多個前景物體之間也 互相干擾拼接線的調(diào)整?！疚墨I(xiàn)4】利用深度信息自適應(yīng)修正圖像拼接矩陣，可以消除偽影 現(xiàn)象；但是當(dāng)場景中出現(xiàn)多個深度變換較大的情況時，自適應(yīng)修正過程將變得復(fù)雜?！疚墨I(xiàn) 5】和【文獻(xiàn)6】采用多個圖像變換矩陣，去求解真實場景中的投影矩陣，并且針對每個像素 都獲取不同的變換矩陣；這種方法可以獲得高質(zhì)量的拼接結(jié)果，但是計算量大，不適合視頻 拼接的實時性要求。【文獻(xiàn)7】提出了一種投影矩陣更新的自適應(yīng)方法，應(yīng)用于實時拼接算 法中；但是在運動物體距離攝像頭比較近的情況下，拼接過程產(chǎn)生偽影，效果不理想。
[0004] 以上所涉及的文獻(xiàn)分別為：
[0005] 【文獻(xiàn) 1】HongmingZhang,XinChen,WeiZeng.ForegroundbasedBorderline AdjustingforRealTimeMulti-CameraVideoStitching. 5thInternational ConferenceonImageandGraphics(ICIG2009), 2009:355-360〇
[0006] 【文獻(xiàn)2】中國專利：CN101593353B，圖像處理方法和設(shè)備以及視頻系統(tǒng)。
[0007] 【文獻(xiàn)3】中國專利：CN101859433B，圖像拼接設(shè)備和方法。
[0008] 【文獻(xiàn)4]WeiZeng，HongmingZhang.DepthAdaptiveVideoStitching. 8thIEEE/ ACISInternationalConferenceonComputerandInformationScience，2009:1100 ? 1105〇
[0009] 【文獻(xiàn) 5】GaoJ.H.，KimS.J.，BrownM.S. (2011)"ConstructingImage PanoramasusingDua1-HomographyWarping"，IEEEComputerVisionandPattern Recognition(CVPR' 11)，Jun2011.
[0010] 【文獻(xiàn) 6】ZaragozaJ.，ChinT. -J.，TranQ. _H.，BrownM.S.，Suter D. (2014) "As-Projective-As-PossibleImageStitchingwithMovingDLT"，IEEE TransactionsonPatternAnalysisandMachineIntelligence(TPAMI)，36 (7)，Ju ly2014〇
[0011] 【文獻(xiàn)7】劉明杰，任帥，金城.基于自適應(yīng)投影矩陣的實時視頻拼接算法.計算機(jī) 應(yīng)用與軟件，81-85,vol. 29,No. 5, 2012 年 5 月。


【發(fā)明內(nèi)容】

[0012] 有鑒于此，本發(fā)明的目的是提供一種計算量小、運行速度更快且能夠獲得穩(wěn)定連 貫的高質(zhì)量視頻的全景視頻拼接方法。
[0013] 為了達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案：
[0014] -種基于多深度圖像變換矩陣的全景視頻拼接方法，用于將由多個攝像頭分別拍 攝的含有相互重疊區(qū)域的多個視頻，合成為全景視頻，包括以下步驟：
[0015] 后臺校準(zhǔn)過程：通過多個視頻在深度為無窮遠(yuǎn)處的多個圖像，計算圖像變換矩陣， 獲得深度為無窮遠(yuǎn)處的參考平面圖像變換矩陣；同時，將其它深度信息值標(biāo)定多個不同的 深度等級，獲得每個深度等級所對應(yīng)的深度信息值處的平面圖像變換矩陣；其中，深度信息 值是指物體到成像平面的距離；
[0016] 實時拼接過程：利用所述的參考平面圖像變換矩陣，將多個視頻在深度為無窮遠(yuǎn) 處的多個圖像進(jìn)行幾何變換，獲得合成圖像，作為參考全景圖像；同時，計算多個視頻的重 疊區(qū)域的當(dāng)前深度信息值，根據(jù)所述的當(dāng)前深度信息值對應(yīng)所述的深度等級以及對應(yīng)的平 面圖像變換矩陣，獲得合成圖像，作為重疊區(qū)域全景圖像；最后，將所述重疊區(qū)域全景圖像 和所述參考全景圖像進(jìn)行混合渲染，形成當(dāng)前的全景視頻圖像。
[0017] 校準(zhǔn)過程的目標(biāo)是計算圖像變換矩陣，來描述多個攝像頭或者視頻圖像平面之間 的幾何關(guān)系。給定圖像1和圖像2,它們之間的幾何關(guān)系由公式（1)定義：

【權(quán)利要求】
1. 一種基于多深度圖像變換矩陣的全景視頻拼接方法，用于將由多個攝像頭分別拍攝 的含有相互重疊區(qū)域的多個視頻，合成為全景視頻，包括以下步驟： 后臺校準(zhǔn)過程：通過多個視頻在深度為無窮遠(yuǎn)處的多個圖像，計算圖像變換矩陣，獲得 深度為無窮遠(yuǎn)處的參考平面圖像變換矩陣；同時，將其它深度信息值標(biāo)定多個不同的深度 等級，獲得每個深度等級所對應(yīng)的深度信息值處的平面圖像變換矩陣；其中，深度信息值是 指物體到成像平面的距離； 實時拼接過程：利用所述的參考平面圖像變換矩陣，將多個視頻在深度為無窮遠(yuǎn)處的 多個圖像進(jìn)行幾何變換，獲得合成圖像，作為參考全景圖像；同時，計算多個視頻的重疊區(qū) 域的當(dāng)前深度信息值，根據(jù)所述的當(dāng)前深度信息值對應(yīng)所述的深度等級以及對應(yīng)的平面圖 像變換矩陣，獲得合成圖像，作為重疊區(qū)域全景圖像；最后，將所述重疊區(qū)域全景圖像和所 述參考全景圖像進(jìn)行混合渲染，形成當(dāng)前的全景視頻圖像。
2. 根據(jù)權(quán)利要求1所述的一種基于多深度圖像變換矩陣的全景視頻拼接方法，其特征 在于： 所述的后臺校準(zhǔn)過程具體為： 將深度為無窮遠(yuǎn)處的深度等級標(biāo)定為Z (O)，從一個視頻獲得深度在無窮遠(yuǎn)處的圖像I1 和從另一個視頻獲得深度在無窮遠(yuǎn)處的圖像I2，依據(jù)以下公式（1)計算圖像變換矩陣H，作 為參考圖像變換矩陣H(Ref);
其中：
分別是兩個圖像的齊次坐標(biāo)，H是一個3x3的矩陣，稱之為圖像變換矩 陣； 然后按照不同的深度信息值Z標(biāo)定多個不同的深度等級Z(I)，Z (2)，……，Z(n)，并依 據(jù)公式（1)計算獲得分別與各深度等級一一對應(yīng)的圖像變換矩陣H(I)，H(2)，……，H(n)， η為正整數(shù)；其中，深度信息值Z是物體到成像的距離，通過公式（2)計算得到 Zoci (2) d為視差； 最后生成深度等級-圖像變換矩陣的對應(yīng)表，所述對應(yīng)表包括--對應(yīng)的 Z (0) -H(Ref)，Z (I) -H(I)，Z (2) -H(2)，……，Z (η) -H(η); 所述的實時拼接過程具體為： 生成參考全景圖像：以參考圖像變換矩陣H(Ref)為基礎(chǔ)，將兩個視頻的圖像Ilt和圖像 I2t進(jìn)行幾何變換，映射到成像平面上；同時通過圖像混合技術(shù)，對變換后的圖像I lt和圖像 4進(jìn)行像素值混合，獲得參考全景圖像，表示為I Htof); 計算深度信息：依據(jù)當(dāng)前的視差，由上述公式（2)計算得到兩個視頻的圖像Ilt和圖像 4在重疊區(qū)域的當(dāng)前深度信息值Z(t); 獲取圖像變換矩陣：根據(jù)當(dāng)前深度信息值Z(t)所對應(yīng)的深度等級，通過在所述對應(yīng)表 中執(zhí)行查表操作，得到圖像變換矩陣，表示為H(t); 生成重疊區(qū)域全景圖像：以圖像變換矩陣H(t)為基礎(chǔ)，將兩個視頻的圖像Ilt和圖像 I2t進(jìn)行幾何變換，映射到成像平面上；同時通過圖像混合技術(shù)，對變換后的圖像I lt和圖像 4進(jìn)行像素值混合，獲得重疊區(qū)域全景圖像，表示為I H(t); 基于深度信息的圖像混合：結(jié)合參考圖像變換矩陣H (Ref)和圖像變換矩陣H (t)，將重 疊區(qū)域全景圖像IH(t)和參考全景圖像I H(Itef)進(jìn)行混合渲染，形成當(dāng)前的全景視頻圖像IF
3. 根據(jù)權(quán)利要求2所述的一種基于多深度圖像變換矩陣的全景視頻拼接方法，其特征 在于：標(biāo)定不同的深度等級Z(I)，Z(2)，……，Z(η)的具體步驟為：首先設(shè)定標(biāo)定物體的拍 攝位置，然后依據(jù)所述公式（2)計算標(biāo)定的深度信息值Ζ，然后從兩個視頻中獲取標(biāo)定的深 度信息值處的兩個圖像，再依據(jù)公式（1)計算得到對應(yīng)的圖像變換矩陣Η。
4. 根據(jù)權(quán)利要求2所述的一種基于多深度圖像變換矩陣的全景視頻拼接方法，其特征 在于：將重疊區(qū)域全景圖像IH(t)和參考全景圖像I H(Itef)混合成全景視頻圖像I 3勺方法為： 對于全景圖像上的任意像素點（i，j)，按照以下公式（3)進(jìn)行賦值，
其中，是預(yù)先設(shè)定的閾值，其大于等于〇. 1，且小于等于〇. 5。
【文檔編號】G06T5/50GK104519340SQ201410842239
【公開日】2015年4月15日 申請日期:2014年12月30日 優(yōu)先權(quán)日:2014年12月30日
【發(fā)明者】余俊池, 陸駿, 張鳳清, 高建峰 申請人:余俊池, 陸駿, 張鳳清, 高建峰