像 的相鄰面片之間的紋理縫隙顏色一致性，采用Graph Cut或者Belief Propagation算法求 解上述能量方程。D(i，h)和sajj^ij設(shè)置如下：
[0039] 其中1 = 1^}代表幀標簽集合，?(?，ω衡量第i個面片在第h幀圖像上紋理信息的 豐富程度，K表示第i個面片在模型上相鄰的面片的集合，衡量不同紋理圖像 的相鄰面片之間的紋理縫隙顏色一致性，采用Graph Cut或者Belief Propagation算法求 解上述能量方程。D(i，h)和sajj^ij設(shè)置如下：
[0040] 3.2來自不同紋理圖像的相鄰面片之間的紋理縫隙顏色一致性通過計算相鄰面片 共邊附近區(qū)域顏色的差異得到。令模型上相鄰的兩個面片^與!^公共邊為BC，并且分別投 影到圖Ii和Ir，顏色一致性通過對BCjPBCr進行采樣并且分別投影到兩張紋理圖像上計算 顏色差異得到，BCi為在三維空間上處于1^平面內(nèi)與BC平行，并且與BC的距離為1^投影到h 的像素粒度的直線與h相交的線段，BCr也同理。形式化表述如下，令1^.為第i個三角面片 投影到h求得的像素粒度，表示三角面片i，j的共邊
表示處于i個面片內(nèi)部，與 e1;J平行并且距離eu為丨，的邊，則
[0042] 實施例
[0043]針對帶高光的家具彎椅子的輸入圖像序列（5184 X 3456)以及對應(yīng)的三維模型，使 用本專利的方法能夠很好的對輸入配準誤差進行矯正，并且判斷高光區(qū)域，最后得到一個 完整的紋理貼圖。
[0044] 實施步驟如下：
[0045] 1.模型離散化，模型離散化是將網(wǎng)格模型按照像素粒度(一個像素距離在三維中 的跨度)離散化為點云數(shù)據(jù)方便后續(xù)處理。主要包括以下兩個步驟：
[0046] 1.1首先計算細分粒度L，令fx，fy分別為相機X，y方向的焦距，則第i幀圖像的像素

其中η為總的幀數(shù)，a為一大于0的常量，在本例設(shè)置為3.6。
[0047] 1.2其次我們按照如下規(guī)則進行細分，以三角網(wǎng)格為例（多邊形網(wǎng)格也可以采用類 似方法），每個三角面片以內(nèi)心為中心，按照L向內(nèi)部等比例縮放(即相鄰兩個子三角形之間 平行邊的垂直距離為L)，原三角形和子三角形的邊都按照L進行細分。
[0048] 2.輸入數(shù)據(jù)矯正，輸入數(shù)據(jù)矯正是指修正攝像機的外參以及對彩色圖像進行網(wǎng)格 形變，使得模型顏色更加一致，主要通過優(yōu)化以下目標能量來(顏色一致性能量)實現(xiàn)：
[0049] E(C,T,F)=Ec(C,T,F)+AEr(F) (15)
[0052]其中輸入圖像序列為{L·}以及對應(yīng)的在該幀能夠看到的三維頂點集合為{PUMP 通過深度測試的點，在本方法中將深度測試的閾值設(shè)置為A,,.,、,,, =〇.〇3·(Ζ^,、-D_)).由于 每次矯正攝像機參數(shù)的過程中，斤:丨其實是在變化的，但是在本方法中為了保證運算的高 效，{Pd是不會變化的，因此還必須要求，三維頂點不能在深度劇烈變化的位置，令P投影到 圖像平面上像素坐標為χ Ρ，利用模型和攝像機參數(shù)反投影得到的深度圖If，則P必須滿足 11皿(|4〇)|, |3,,〇)|)<2，14^。表示每個頂點顏色的集合，(：(？)代表三維點？的顏色(本 發(fā)明只使用灰度顏色），T= {Ti}為每一幀攝像機外參的集合，F(xiàn)= {Fi}，F(xiàn)i代表第i幀的網(wǎng)格 形變函數(shù)，本例中設(shè)置32X16數(shù)量的控制點，本發(fā)明通過網(wǎng)格狀控制點1=1：^}來決定F1:
[0054]其中θΚ?!)為雙線性插值的系數(shù)，fi,i代表二維上的偏移量，F(xiàn)iiifi.ihgbJiMf 表剛體變換，g(p, η) = H P為p的齊次坐標表達，Ti為4 X 4的矩陣，但是迭代優(yōu)化的過 程中，對其進行線性近似，

[0056] u(gx，gy，gz，gw)代表投影變換，
中cx，cy是相機主焦點在圖像空間的偏移量，其中rji^uy)表示二維點在圖像上的顏色，λ 代表正則系數(shù)，《1(?)6[0，1]表示在第1幀下由于是高光點而引入的權(quán)重，上述問題為一 個非線性最小二乘問題，可以采用多種方法進行優(yōu)化，而 Wl(p)也會在每次迭代之后重新計 算。其中Wi ( P )按照如下步驟進行計算：
[0057] 1)為每一幀圖像Ii計算鄰域圖像集合 、，其中Num (·)表示計算集合中元素的個數(shù)，在本例中將^設(shè)置為Num^)/^。
[0058] 2)令Ci(p)= Γ i(Fi(u(g(p，Ti))))，按照如下公式計算Wi(p):

[0061 ] 其中P( ·)可以是各類M-estimators中的權(quán)重函數(shù)，本方法中采用的是Huber權(quán)重 函數(shù)。
[0062] 為了求解上述方程，本方法采用一種交替優(yōu)化的策略：
[0063]
確定每一個頂點的顏色，其中η為總的幀數(shù)。
[0064] 4)確定C(p)可以對每一幀能量 別進行優(yōu)化單幀的優(yōu)化可以用多種方法，如高斯-牛頓，LM算法，Dog Leg算法等等，本方法 采用最高斯牛頓算法，并且交替優(yōu)化200次得到最后調(diào)整后結(jié)果。
[0065] 3.紋理最優(yōu)拼接，對于模型上的每個面片，從輸入圖像序列中尋找一張最優(yōu)的彩 色圖像，最優(yōu)化拼接結(jié)果即為所有面片對應(yīng)的最優(yōu)紋理幀標記集合，此問題可以轉(zhuǎn)換成能 量最小化過程，其中能量方程的值由紋理信息的豐富程度和來自不同幀紋理之間的顏色一 致性確定：
[0067]其中i={h}代表幀標簽集合，?(?，ω衡量第i個面片在第u幀圖像上紋理信息的 豐富程度，K表示第i個面片在模型上相鄰的面片的集合，衡量不同紋理圖像 的相鄰面片之間的紋理縫隙顏色一致性。D(i，h)和sajjhij設(shè)置如下：
[0069] 3.2來自不同紋理圖像的相鄰面片之間的紋理縫隙顏色一致性通過計算相鄰面片 共邊附近區(qū)域顏色的差異得到。令模型上相鄰的兩個面片^與!^公共邊為BC，并且分別投 影到圖Ii和Ir，顏色一致性通過對BCjPBCr進行采樣并且分別投影到兩張紋理圖像上計算 顏色差異得到，BCi為在三維空間上處于1^平面內(nèi)與BC平行，并且與BC的距離為1^投影到h 的像素粒度的直線與h相交的線段，BCr也同理。形式化表述如下，令^，1;.為第i個三角面片 投影到h求得的像素粒度，ey表示三角面片i，j的共邊
表示處于i個面片內(nèi)部，與 e1;J平行并且距離eu為丨的邊，則
【主權(quán)項】
1. 一種魯棒的Ξ維模型高質(zhì)量紋理映射方法，其特征在于包括如下步驟： 1) 將網(wǎng)格模型按照像素粒度離散化為點云； 2) 建立并交替優(yōu)化顏色一致性能量方程，實現(xiàn)輸入數(shù)據(jù)矯正，輸出優(yōu)化后的攝像機參 數(shù)W及彩色圖像； 3) 求解最優(yōu)化拼接問題。2. 如權(quán)利要求1所述方法，其特征在于所述的步驟1)包括W下兩個步驟： 1.1) 計算細分粒度L 令f X，f y分別為相機X，y方向的焦距，則第i帖圖像的像素粒度.其中 公,'W。,.為第i帖圖像中離成像平面最近的深度，而最終模型細分粒度庚中η為總 的帖數(shù)，α為一大于0的常量； 1.2) 按照如下規(guī)則對網(wǎng)格模型進行離散，每個面片W內(nèi)屯、為中屯、，按照L向內(nèi)部等比例 縮放，原面片和所有子面片的邊都按照L進行采樣得到新的頂點，所有采樣得到的頂點、原 面片頂點W及子面片的頂點構(gòu)成最終的點云。3. 如權(quán)利要求1所述方法，其特征在于所述的步驟2)具體為： 輸入數(shù)據(jù)矯正是指修正攝像機的外參W及對彩色圖像進行網(wǎng)格形變，使得模型顏色更 加一致，通過優(yōu)化W下顏色一致性能量實現(xiàn)：其中輸入圖像序列為{Ii}，對應(yīng)的在該帖能夠看到的Ξ維頂點集合為{Pi}，C表示每個 頂點顏色的集合，C(p)代表Ξ維點P的灰度顏色，Τ= {Τι}為每一帖攝像機外參的集合，F(xiàn) = {Fi}，F(xiàn)i代表第i帖的網(wǎng)格形變函數(shù)，通過網(wǎng)格狀控制點Vi = {Vi, 1}來決定Fi:(4) 其中9i(u)為雙線性插值的系數(shù)，fi,i代表二維上的偏移量，F(xiàn)l={fl,l}，g(p，Tl)代表剛 體變換，g(P，X)二Τ,.Ρ，P為P的齊次坐標表達，Τι為4X4的矩陣，迭代優(yōu)化的過程中，對其 進行線性近似，U(gx，gy，gz，gw)代表投影變換，，其中 Cx，Cy是相機主焦點在圖像空間的偏移量，其中Γ i (Ux，Uy )表示二維點在圖像上的顏色，λ代 表正則系數(shù)，wi(p)e[0，l]表示在第i帖下由于是高光點而引入的權(quán)重，上述問題為一個非 線性最小二乘問題，采用迭代交替優(yōu)化的策略求解： 在一次迭代過程中，首先按照確定每一個頂點的顏色，其中 η為總的帖數(shù)，其次對每一帖能i樂別進行 優(yōu)化，Wi ( P )也會在每次迭代之后重新計算。4. 如權(quán)利要求3所述方法，其特征在于所述的Wi (P)按照如下步驟進行計算： SOI:為每一帖圖像Ii計算鄰域圖像集看其中Num (·)表示計算集合中元素的個數(shù)； S02:令Ci(p)= Γ i(Fi(u(g(p，Ti))))，按照如下公式計算wi(p):其中P( ·)是M-estimators中的權(quán)重函數(shù)。5. 如權(quán)利要求1所述方法，其特征在于所述的步驟3)為:最優(yōu)化拼接問題是對模型上的 每個面片，從輸入圖像序列中尋找一張最優(yōu)的彩色圖像，最優(yōu)化拼接結(jié)果即為所有面片對 應(yīng)的最優(yōu)紋理帖標記集合，此問題可W轉(zhuǎn)換成能量最小化過程，其中能量方程的值由紋理 信息的豐富程度和來自不同帖紋理之間的顏色一致性確定：巧） 其中l(wèi) = Ui}代表帖標簽集合，D(i，li)衡量第i個面片在第h帖圖像上紋理信息的豐富 程度，Ni表示第i個面片在模型上相鄰的面片的集合，S(i，j，li，lj)衡量不同紋理圖像的相 鄰面片之間的紋理縫隙顏色一致性，β為一大于等于0的常量， 采用Graph Qit或者Belief Propagation算法求解。6. 如權(quán)利要求5所述方法，其特征在于所述的紋理信息的豐富程度從W下規(guī)則： 若面片在此帖不可見，卿)。，11)=+^，否則￡)(/，1,)=[巧/，1,.)，鳳/'，|,.)按照^下兩個標 準進行衡量:①投影到的圖像空間中梯度信息豐富程度:對區(qū)域內(nèi)部梯度值進行累加②投 影之后面片要盡可能使保持相似變換，模型中的Ξ角面片能用一個仿射變換變成和圖像上 的Ξ角區(qū)域在形狀上對應(yīng)起來，該仿射矩陣的兩個奇異值的比例可W衡量其拉伸程度，其 中，若面片中有一個頂點M'l (ρ)<σ，ο為一實數(shù)，則τ為一大于1.0的實數(shù)，否者τ = 1.〇。7. 如權(quán)利要求5所述方法，其特征在于所述的不同紋理圖像的相鄰面片之間的紋理縫 隙顏色一致性通過計算相鄰面片共邊附近區(qū)域顏色的差異得到， 令模型上相鄰的兩個面片Τι與Tr，公共邊為BC，并且分別投影到圖II和Ir，顏色一致性通 過對BCi和BCr進行采樣并且分別投影到兩張紋理圖像上計算顏色差異得到，BCi為在Ξ維空 間上處于Τι平面內(nèi)與BC平行，并且與BC的距離為Τι投影到II的像素粒度的直線與Τι相交的 線段，BCr也同理。
【專利摘要】本發(fā)明公開了一種魯棒的三維模型高質(zhì)量紋理映射方法。首先將輸入的網(wǎng)格模型離散為像素粒度的點云，其次建立顏色一致性目標能量，根據(jù)這個目標能量優(yōu)化輸入的攝像機外參并且對顏色圖像進行形變調(diào)整，之后建立最優(yōu)化拼接目標能量獲得每個面片最優(yōu)的紋理圖像映射關(guān)系。相比現(xiàn)有的方法，本發(fā)明針對配準誤差很大并且?guī)Ц吖獾妮斎霐?shù)據(jù)有著明顯的優(yōu)勢。
【IPC分類】G06T15/04
【公開號】CN105574922
【申請?zhí)枴緾N201510943354
【發(fā)明人】章國鋒, 鮑虎軍, 王博勝, 姜翰青
【申請人】浙江大學(xué), 杭州道玄影視科技有限公司
【公開日】2016年5月11日
【申請日】2015年12月16日