專利名稱：利用離散立方體全景圖實時合成連續(xù)平滑全景視頻的方法
技術領域：
本發(fā)明屬于計算機圖形學和計算機視覺領域，特別是涉及一種利用離散的立方體全景圖實時合成連續(xù)平滑全景視頻的圖像插值技術。
背景技術：
隨著圖像拼接技術的發(fā)展和全景相機的誕生，越來越多的立方體全景圖被應用到線上虛擬現(xiàn)實和漫游導航系統(tǒng)中。但是由于網(wǎng)絡帶寬限制，服務商只能提供在熱點地區(qū)所拍攝的全景圖，即離散全景圖數(shù)據(jù)?，F(xiàn)有的在線虛擬漫游系統(tǒng)通常只提供對單張全景圖的瀏覽，相鄰兩張全景圖間的過渡則利用某種形式的疊加實現(xiàn)，其效果呈現(xiàn)出明顯的視覺不連續(xù)性。為了提高虛擬瀏覽的用戶體驗，可以使用視點插值的方法。然而，目前大多數(shù)視點插值方法(如文獻[1])的處理對象為平面圖像，不能直接應用到立方體全景圖上。全景圖的插值方法(如文獻[2])雖然可獲得較好的插值結果，但其步驟繁瑣復雜，不易進行并行加速，而且在立方體全景圖六個面的銜接處可能引入較明顯的視覺錯誤。上述的插值方法例如圖像配準(見參考文獻[I]),該插值方法由Siu和Lau在2005年提出利用圖像配準的方法對平面圖像進行插值，以生成新視點的平面圖像。具體步驟是，首先對同一場景在不同視角下拍攝的三張輸入圖像進行特征點檢測，并進行特征匹配；進而利用三焦點張量模型及隨機抽樣一致性(RANSAC)算法對匹配點進行過濾，基于相機物理模型估計三張輸入圖像的相機相對位置；基于匹配的特征點對圖像做三角剖分，進而檢測遮擋區(qū)域，在發(fā)生遮擋的區(qū)域內(nèi)，改變特征點檢測的閾值重新生成特征點，反復此過程以消除遮擋區(qū)域；對待插值的新視角，計算其與輸入圖像的單應矩陣，從而對圖像進行插值。該方法對輸入視圖間的基線沒有嚴格的要求，能很好地用于多視角的平面圖像插值，然而不能直接應用于立方體全景圖的插值。立方體三角剖分方法(見文獻[2])是對Siu和Lau所提技術的擴展，由Zhang等于2011年提出，將其應用到立方體全景圖插值上。該方法在獲取相鄰立方體全景圖的特征匹配后，對立方體全景圖進行三角剖分。由于立方體全景圖包含上、下、左、右、前、后六個面，Zhang等人將立方體全景圖的三角剖分劃分為三部分每個面的中間區(qū)域，水平四個面的相互銜接處，以及剩余部分(包含上下兩個面及與水平四個面的銜接處)，通過對這三類區(qū)域分別采取不同三角剖分策略，實現(xiàn)對整個立方體全景圖的剖分。在利用單應矩陣對全景圖進行插值時，該方法同樣區(qū)分不同的區(qū)域，并對各區(qū)域應用不同的插值策略。由于分區(qū)域考慮，該算法較為繁瑣，并且在立方體六個面的銜接處可能產(chǎn)生明顯誤差。參考文獻[ I ] . A. Siu and R. Lau, “Image registration for image-basedrendering,，，IEEE Transactions on Image Processing, vol. 14, no. 2, pp. 241 -252, Feb. 2005.[2]. C. Zhang, Y. Zhao, and F. ffu, “Triangulation of cubic panorama for viewsynthesis, ” Applied Optics, vol. 50, no. 22, pp. 4286-4294，Aug2011.

發(fā)明內(nèi)容
基于上述現(xiàn)有技術中在處理立方體全景圖插值問題上的不足，本發(fā)明提出一種利用離散立方體全景圖實時合成連續(xù)平滑全景視頻的方法，將立方體全景圖投影到球面域做處理的解決方案，設計在球面域?qū)α⒎襟w全景圖做三角網(wǎng)格剖分的方法，基于球面域的立方體全景圖的預處理技術與立方體全景圖的實時插值技術，實現(xiàn)立方體全景圖的匹配、三角形網(wǎng)格化和全景圖實時插值，在有限網(wǎng)絡帶寬環(huán)境下實時合成連續(xù)平滑、銜接自然的全景圖視頻序列。本發(fā)明提出了一種利用離散立方體全景圖實時合成連續(xù)平滑全景視頻的方法，包括以下步驟:步驟一、對作為輸入的每兩張連續(xù)的立方體全景圖的每個面建立高斯差分金字塔，對金字塔上的每個像素，將它和金字塔同層的8個相鄰像素以及金字塔上下兩層對應的18個像素進行比較，檢測它是否是極值點，將檢測到的極值點作為預選的特征點；通過擬合3維2次曲線對特征點進行精確定位，即將空間尺度函數(shù)進行泰
勒展開
權利要求
1.一種利用離散立方體全景圖實時合成連續(xù)平滑全景視頻的方法，其特征在于，該方法包括以下步驟: 步驟一、對作為輸入的每兩張連續(xù)的立方體全景圖的每個面建立高斯差分金字塔，對金字塔上的每個像素，將它和金字塔同層的8個相鄰像素以及金字塔上下兩層對應的18個像素進行比較，檢測它是否是極值點，將檢測到的極值點作為預選的特征點；通過擬合3維2次曲線對特征點進行精確定位，即將空間尺度函數(shù)進行泰勒展開
全文摘要
本發(fā)明公開了一種利用離散立方體全景圖實時合成連續(xù)平滑全景視頻的方法，該方法包括對所輸入的兩張連續(xù)的立方體全景圖，通過特征點檢測、特征匹配，在球面域上構建立方體全景圖的三角網(wǎng)格剖分實現(xiàn)立方體全景圖的預處理；實現(xiàn)立方體全景圖的實時插值，在已有三角網(wǎng)格對應關系基礎上，估計在新相機位置的待插值三角網(wǎng)格組成，并基于單應矩陣對新視角三角網(wǎng)格進行填色。與現(xiàn)有技術相比，將立方體全景圖投影到球面域，并在球面域采取“匹配-三角剖分-插值”的策略，不僅簡化了插值處理的復雜度，并有效的提高了插值的視覺效果。
文檔編號G06T5/50GK103077509SQ201310024768
公開日2013年5月1日 申請日期2013年1月23日 優(yōu)先權日2013年1月23日
發(fā)明者萬亮, 馮偉, 張加萬, 趙強 申請人:天津大學