一種基于單幅輸入圖像的圖像視點變換方法
【專利摘要】本發(fā)明公開了一種基于單幅輸入圖像的圖像視點變換方法，包含以下步驟：步驟1，交互扣取圖像中包含的方體結(jié)構(gòu)以及標注圖像中的特征線；步驟2，利用針孔相機成像原理結(jié)合方體物體的空間特性重建一個三維場景，在視點變換時，該三維場景可以完全模擬真實三維場景；步驟3，在不改變焦距的前提下，通過視點轉(zhuǎn)換，將重建的三維場景重投影到新視點對應(yīng)的像平面；步驟4，依據(jù)交互約束對圖像進行帶約束的Delaunay三角網(wǎng)格化；步驟5，使用步驟3重投影得到的場景主題結(jié)構(gòu)約束作為變形驅(qū)動，利用求解能量方程的方法對步驟4形成的網(wǎng)格變形能量方程求解；步驟6，利用求解所得目標網(wǎng)格，將原圖像中與之對應(yīng)的網(wǎng)格紋理一一貼圖過來生成目標圖像。
【專利說明】一種基于單幅輸入圖像的圖像視點變換方法【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于單幅輸入圖像的圖像視點變換方法，屬于計算機圖像處理和多媒體信息技術(shù)處理領(lǐng)域。
【背景技術(shù)】
[0002]隨著數(shù)碼相機的硬件改善以及圖像編輯軟件的發(fā)展，人們可以更加容易地得到高質(zhì)量的圖像畫面。但是大量攝影愛好者所拍攝的照片卻往往由于視角的選取而造成整個畫面的不自然。舉例來說，攝影者可能把原本垂直于地面的建筑拍歪拍斜，使得拍攝效果不自然，如何校正這樣主體結(jié)構(gòu)傾斜的照片具有很好的應(yīng)用價值。在這種情況下，人們開始研究圖像視點轉(zhuǎn)換問題。傳統(tǒng)的方式是首先利用多張同一場景的圖像進行配準，而后進行三維重建，再利用已有的三維結(jié)構(gòu)在新視點下進行重投影而渲染得到新視點下的圖像畫面。這種方法的顯著缺點是需要多張輸入圖像或需要很多的人為交互以進行三維場景的精確重建，對于稍微復雜的三維場景均不可行，因此該類方法的適用性和效率都很低，效果也欠佳。

【發(fā)明內(nèi)容】

[0003]發(fā)明目的:本發(fā)明提供了一種基于單幅輸入圖像的圖像視點變換方法，使得用戶通過極少而且方便地交互與簡單的計算即可得到視點變換后的圖像。
[0004]技術(shù)方案:本發(fā)明公開了一種基于單幅輸入圖像的圖像視點變換方法，主要包含以下步驟:
[0005]步驟1，圖像交互:通過手動交互提取圖像中的方體結(jié)構(gòu)，具體通過標注方體的其中六個點所對應(yīng)的圖像投影像素點，記為(P。，P1, P2，P3，P4，P5),其中(Pc^PDPhP3)對應(yīng)的三維平面垂直于(Pc^PpP5, P4)對應(yīng)的三維平面，PciP1對應(yīng)的空間直線為兩平面的交線，交互得到圖像中的特征線，包括影響圖像內(nèi)容的特征線，水平和垂直約束線段以及指定圖像邊界線.[0006]步驟2，利用針孔相機成像原理結(jié)合方體結(jié)構(gòu)物體的空間特性重建一個三維場景，在視點變換時，利用該場景結(jié)構(gòu)模擬真實的三維場景結(jié)構(gòu)，在假設(shè)三維場景中方體結(jié)構(gòu)的其中一個頂點與其在圖像上的像點重合的基礎(chǔ)上，利用方體包含的幾何約束，計算出(Po, P1, P2, P3, p4, P5)對應(yīng)的三維場景中的方體空間點坐標(PQT，ΡΛ Ρ2Τ，Ρ3Τ，Ρ 4Τ，Ρ5Τ)；
[0007]步驟3，利用新視點下重投影步驟2計算得到的六個點的空間坐標對應(yīng)的方體，來代表重建的三維場景:在以模擬場景中心所在的原點O為球心，以模擬場景中心到相機的距離|of|為半徑的球平面上定義一個新視點O’，將重建的三維方體結(jié)構(gòu)(ρ0τ, ρΛ ρ2τ，ρ3τ，ρ4τ，ρ5τ)重新投影到新視點對應(yīng)的像平面；
[0008]步驟4,圖像三角網(wǎng)格化:依據(jù)步驟I的交互結(jié)構(gòu)，利用帶約束的Delaunay三角化對圖像進行三角網(wǎng)格化；Delaunay三角化的算法可參見“計算幾何(第3版)伯格著，世界圖書出版社 2013-10-1 出版，ISBN:9787510061776” ；[0009]步驟5，網(wǎng)格參數(shù)化:利用保角映射以及各種特征保持約束原理建立網(wǎng)格參數(shù)化的方程，利用步驟4重投影得到的場景方體框架構(gòu)建投影映射的硬約束，求解參數(shù)化能量方程，得到目標網(wǎng)格；
[0010]步驟6，目標圖像生成:依據(jù)步驟5求解得到的網(wǎng)格，將原圖像中與目標網(wǎng)格相對應(yīng)的網(wǎng)格紋理利用雙線性插值方法--貼圖到對應(yīng)的目標網(wǎng)格，生成目標圖像。
[0011]步驟I中，通過手動交互得到圖像隱含的占圖像主體結(jié)構(gòu)的方體結(jié)構(gòu)以及特征線。
[0012]步驟I包含如下步驟:
[0013]步驟11，所述單幅輸入圖像，其場景中隱含方體結(jié)構(gòu)，手動交互提取圖像中該方體結(jié)構(gòu)的投影，用方體的其中六個點所對應(yīng)的圖像投影像素點(P。，P1, P2，P3，P4，P5)來表示該方體結(jié)構(gòu)，其中(Pc^PpPhP3)所對應(yīng)的空間三維平面正交于(Pc^PDPyP4)所對應(yīng)的三維平面，P0Pi所對應(yīng)的空間直線為兩平面的交線；
[0014]步驟12，根據(jù)步驟11得到的方體結(jié)構(gòu)(P。，P1, P2, P3, P4, P5),將圖像中方體結(jié)構(gòu)(Po, P1, P2, P3, P4, P5)間包含的連線都標注為硬約束特征線，在這些硬約束特征線上均勻地提取三角網(wǎng)格頂點，具體方法如下:對一條特定硬約束特征線，從一端開始取點，沿直線方向每隔25個像素距離取該直線上的下一個點，直到直線的另一端，對于所有硬約束特征線上所取得的網(wǎng)格頂點，記為{Vc;1，vc2, VdJ，其中Ck代表這里提取的網(wǎng)格定頂點總數(shù)；
[0015]步驟13，交互得到圖像中的特征直線，包括影響圖像內(nèi)容的特征線，水平和垂直約束線段以及指定圖像邊 界線，在這些線上均勻取點，具體方法如下:對一條特定特征線約束直線，從一端開始取點，沿直線方向每隔25個像素距離取該直線上的下一個點，直到直線的另一端；
[0016]步驟14，對于圖像中的特征曲線，例如原本是圓形的太陽，依次在曲線上提取三角網(wǎng)格點，具體方法如下:從特征曲線的一端開始，順著特征曲線伸長方向，以大約25個像素距離作為取點間隔，直到到達特征曲線的另一端。。
[0017]步驟2中，利用針孔相機成像原理以及方體物體的空間幾何結(jié)構(gòu)建立模擬的三維方體結(jié)構(gòu)模型。
[0018]步驟2具體包括以下步驟:
[0019]步驟21，以圖像中心為原點0(0，0，O)，O到相機所在點F(0，0，f)為Z軸正向，圖像平面的橫軸和縱軸方向為XY方向建立三維世界坐標系，其中f為相機焦距，具體參照圖3 ；
[0020]步驟22,計算得到直線PciP3與直線P1P2的交點C1,直線PciP4與直線P1P5的交點c2,顯然在三維空間中，直線Fc1與直線PcitP/, P1tP21相交于無窮遠處，顯然有Fc1平與直線P0tP^同樣直線Fc2與直線PcitP/, P1tP51相交于無窮遠處，顯然有Fc2平與直線PcitP/,依據(jù)
P0tP31丄PQTP5T，得到R丄K，故此求解得到焦距f ;
[0021 ] 步驟23,記真實場景中方體上對應(yīng)于圖像中方體結(jié)構(gòu)(P。, P1, P2, P3, P4, P5)的六個點為(Qc^QuQaQvQhQ5),依據(jù)針孔成像模型有:可'=^Hk =
0，1，...，5，其中 < 代表向I 與TfT之間的比例，同樣的，對于模擬場景中的與(Po, P1, P2, P3, P4, P5)相對應(yīng)的(ΡΛ ΡιΤ, Ρ2Τ，Ρ3Τ，P/，Ρ5Τ)，同樣必須有 = G k =
O，1，...，5成立，其中rk代表向量W與;^之間的比例，固定A的取值為1，利用
【權(quán)利要求】
1.一種基于單幅輸入圖像的圖像視點變換方法，其特征在于，包括以下步驟: 步驟1，圖像交互:提取圖像中的方體結(jié)構(gòu)，標注其中方體的六個點所對應(yīng)的圖像投影像素點，以及交互得到圖像中的特征線，特征線包括影響圖像內(nèi)容的特征線，水平和垂直約束線段以及指定圖像邊界線； 步驟2，利用針孔相機成像原理結(jié)合方體結(jié)構(gòu)物體的空間特性重建一個三維場景，在視點變換時，用該三維場景結(jié)構(gòu)模擬真實三維場景結(jié)構(gòu)，在假設(shè)三維場景中方體結(jié)構(gòu)的其中一個頂點與其在圖像上的像點重合的基礎(chǔ)上，利用方體包含的幾何約束，計算得到步驟一中六個點對應(yīng)的三維空間點坐標； 步驟3，利用新視點下重投影步驟2計算得到的六個點的空間坐標對應(yīng)的方體，來代表重建的三維場景:以圖像的中心點作為步驟2重建三維場景中心，記為O ;以O(shè)為球心，該場景中心到相機的距離|of|為半徑的球平面上定義一個新視點O’，將步驟2重建的三維場景中的方體結(jié) 構(gòu)(ρΛ ρΛ P2T，p3t，P/，p5t)重新投影到新視點對應(yīng)的像平面； 步驟4，圖像三角網(wǎng)格化:依據(jù)步驟I的結(jié)果，利用帶約束的Delaunay三角化對圖像進行三角網(wǎng)格化； 步驟5，網(wǎng)格參數(shù)化:利用保角映射原理以及特征保持約束建立網(wǎng)格參數(shù)化的方程，利用步驟4重投影得到場景方體框架構(gòu)建投影映射的硬約束，求解參數(shù)化能量方程，得到網(wǎng)格； 步驟6，目標圖像生成:依據(jù)步驟5求解得到的網(wǎng)格，將原圖像中與目標網(wǎng)格相對應(yīng)的網(wǎng)格紋理利用雙線性插值方法一一貼圖到目標網(wǎng)格，生成目標圖像。
2.根據(jù)權(quán)利要求1所述的一種基于單幅輸入圖像的圖像視點變換方法，所述的步驟I具體包括以下步驟: 步驟11，所述單幅輸入圖像，其場景中隱含方體結(jié)構(gòu)，交互標注出該方體結(jié)構(gòu)的在圖像中的投影，用六個點(Pd, P1, P2, P3, P4, P5)表示方體結(jié)構(gòu)，其中(Po, P1, P2, P3)四個點所對應(yīng)的空間三維平面正交于(Pc^PDPyP4)四個點所對應(yīng)的三維平面，PclP1所對應(yīng)空間直線為兩平面的交線； 步驟12，根據(jù)步驟11得到的方體結(jié)構(gòu)(pQ，P1, P2, P3, P4, P5)，將圖像中方體結(jié)構(gòu)(Po, P1, P2, P3, P4, P5)間包含的連線都標注為硬約束特征線，在這些硬約束特征線上均勻地提取三角網(wǎng)格頂點，具體方法如下:對一條特定硬約束特征線，從一端開始取點，沿直線方向每隔25個像素距離取該直線上的下一個點，直到直線的另一端，對于所有硬約束特征線上所取得的網(wǎng)格頂點，記為{Vc;1，Vc2, VdJ，其中Ck代表提取的硬約束網(wǎng)格定頂點總數(shù)； 步驟13，交互得到圖像中的特征直線，包括影響圖像內(nèi)容的特征線段，水平和垂直約束線段以及指定圖像邊界線，在所述線段上均勻取點，具體方法如下:對一條特定特征線約束直線，從一端開始取點，沿直線方向每隔25個像素距離取該直線上的下一個點，直到直線的另一端； 步驟14，對于圖像中的特征曲線，依次在曲線上提取三角網(wǎng)格點，具體方法如下:從特征曲線的一端開始，順著特征曲線伸長方向，以25個像素距離作為取點間隔，直到到達特征曲線的另一端。
3.根據(jù)權(quán)利要求2所述的一種基于單幅輸入圖像的圖像視點變換方法，所述的步驟2具體包括以下步驟:步驟21，以圖像中心為原點0(0，O, O), O到相機所在點F (0，0，f)為Z軸正向，圖像平面的橫軸和縱軸方向為XY軸方向建立三維世界坐標系，其中f為相機焦距； 步驟22,分別找出平面(Po, P1, P2, P3)與平面(Po, Pi, P5, P4)在像平面上構(gòu)成的滅點C1和C2,依據(jù)滅點定標算法得到瓦^丄瓦，故此求解得到焦距f ； 步驟23,記真實三維場景中的方體結(jié)構(gòu)對應(yīng)于六個點的方體結(jié)構(gòu)(Pci, P1, P2, P3, P4, P5)的點為方體結(jié)構(gòu)(Q0, Q1, Q2, Q3, Q4, Q5)，依據(jù)針孔成像模型有:W1' = d k = 0,1,-..,5,其中4代表向量與7^*之間的比例；對于模擬場景中的與六個點的方體結(jié)構(gòu)(Po，Pi, P2, P3, P4, P5)相對應(yīng)的方體結(jié)構(gòu)(PQT，Pit, Ρ2Τ，Ρ3Τ, P/，Ρ5Τ)，公式 ^k =.0，1，...，5成立，其中rk代表向量7/f 'j 7)7之間的比例，固定A的取值為1，利用 丄/1P[^ 和^^，求解出 r” r2, r3，r4, r5 ； 步驟24,依據(jù)步驟23得到的rQ, T1, r2, r3, r4, r5,計算出模擬場景中對應(yīng)于方體結(jié)構(gòu)(Po, Pi, P2, P3.P4.P5)的方體結(jié)構(gòu)(Ρ(Λ PiT, Ρ2Τ, Ρ3Τ.P/，Ρ5Τ)，設(shè)定 Ρ(?Τ 與 P。重合，定義場景中心為過場景中方體結(jié)構(gòu)中頂點Pc/在主光軸上的投影點，此處為原點0，即模擬場景中心落在原點上，對應(yīng)于真實場景中Qtl在主光軸上的投影點，即真實場景中心0Q。
4.根據(jù)權(quán)利要求3所述的一種基于單幅輸入圖像的圖像視點變換方法，所述的步驟3具體包括以下步驟: 步驟31，依據(jù)步驟24得到方體結(jié)構(gòu)(Ρ0Τ，ΡΛΡ2Τ，Ρ3Τ，Ρ4Τ，Ρ5Τ)，在以O(shè)為圓心OF為半徑的球面上隨機取一個新視點O’，其中涵與M的夾角不超過45度，經(jīng)過模擬場景中心.O構(gòu)造垂直于00’的平面I’，求得方體結(jié)構(gòu)(ρΛρΛρΛρΛρ/,ρ/)與新視點o’的連線，記其與平面I’的新交點為(P’0，P1'，P’2，P’3，P’4，P’5)，完成了模擬場景中方體結(jié)構(gòu)在新視點.O’下的投影； 步驟32，將法向量^"與垂直向量(O，1，O)的叉乘得到單位向量X’，將X’與^:叉乘得到單位向量y’，在圖像平面I’上以O(shè)為原點，向量X’方向為橫坐標正向，向量y’方向為縱坐標正向建立圖像二維坐標系，將6>/\，k = O, I, 2,..., 5分別投影到向量X’、f 兩個方向上，得到交點(P’Q，Pl’，P’2，P’3，P’4，P’5)在圖像平面I’上的二維坐標，記為點(q0, Q1, Q2, q3，Q4, Q5)，得到原圖像中方體結(jié)構(gòu)上六個點在新視點下投影在目標圖像上的二維坐標。
5.根據(jù)權(quán)利要求4所述的一種基于單幅輸入圖像的圖像視點變換方法，所述的步驟4具體包括以下步驟: 步驟41，在步驟I得到的三角網(wǎng)格點的基礎(chǔ)上，對于圖像的剩余區(qū)域隨機均勻采點作為網(wǎng)格頂點； 步驟42，在三角化的過程中，以步驟I交互的圖像特征線，取同一特征線上上相鄰頂點連線作為三角網(wǎng)格邊，利用帶約束的Delaunay三角化對圖像進行三角網(wǎng)格化。
6.根據(jù)權(quán)利要求5所述的一種基于單幅輸入圖像的圖像視點變換方法，所述的步驟5具體包括以下步驟:步驟51,利用步驟32得到的二維坐標點(qo, q1； q2, q3, q4, q5),根據(jù)公式
7.根據(jù)權(quán)利要求6所述的一種基于單幅輸入圖像的圖像視點變換方法，所述的步驟6具體包括以下步驟: 步驟61，依據(jù)式(9 )，求解出與原圖像中各個三角網(wǎng)格對應(yīng)的目標三角網(wǎng)格，將原三角網(wǎng)格中的圖片紋理采用雙線性插值的方法貼圖到對應(yīng)的目標三角網(wǎng)格，形成目標圖像。
【文檔編號】G06T17/00GK103955960SQ201410107055
【公開日】2014年7月30日 申請日期:2014年3月21日 優(yōu)先權(quán)日:2014年3月21日
【發(fā)明者】張貴平, 郭延文, 藍自立, 汪粼波 申請人:南京大學