一種魯棒的三維模型高質(zhì)量紋理映射方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明涉及一種三維模型高質(zhì)量紋理映射方法，尤其涉及一種魯棒的三維模型高 質(zhì)量紋理映射方法。
【背景技術(shù)】
[0002] 紋理映射是建立三維物體表面和二維圖像空間像素坐標(biāo)對(duì)應(yīng)關(guān)系的過程。在三維 圖形學(xué)中，紋理映射允許加載用戶采集真實(shí)的自然場(chǎng)景照片來做為二維紋理數(shù)據(jù)，這對(duì)于 表達(dá)具有真實(shí)感的三維物體模型具有非常重要的意義。在真實(shí)感紋理貼圖問題中一個(gè)關(guān)鍵 的問題是如何處理輸入數(shù)據(jù)的配準(zhǔn)誤差，配準(zhǔn)誤差主要來源于模型與真實(shí)物體的幾何誤 差，攝像機(jī)參數(shù)的誤差，以及相機(jī)針孔模型簡(jiǎn)化引入的誤差。輸入數(shù)據(jù)的配準(zhǔn)誤差對(duì)最終結(jié) 果有著直接的影響。
[0003] 視頻的每幀圖像僅僅能捕獲到場(chǎng)景的一個(gè)局部區(qū)域，因此需要結(jié)合視頻的多幀圖 像來創(chuàng)建三維模型的完整紋理貼圖。王立峰等人的方法(L.Wang，S.B.Kang，R.Szeliski， Η.-Y.Shum:Optimal texture map reconstruction from multiple views . In CVPR, 2001 ·)和Baumberg的方法（A.Baumberg:Blending images for texturing 3D models. In BMVC，2002:404-413.)用加權(quán)混合的方式結(jié)合多幀紋理圖像，為每幀圖像求解合適的權(quán)重 以獲得最佳的混合效果。然而，如果紋理圖像之間存在偏移或者顏色差異，加權(quán)混合會(huì)產(chǎn)生 明顯的走樣。Niem和Broszio的方、法(W · Niem，and H. Broszio : Mapping texture from multiple camera views onto 3D-〇bject models for computer animation. In proceedings of the International Workshop on Stereoscopic and Three Dimensional Imaging，1995:99-105.)為每個(gè)面片選擇其可見的某幀紋理圖像進(jìn)行映射， 并用貪心的方式調(diào)整每個(gè)面片使得相鄰的面片盡可能來自同一幅紋理圖像，該方法的結(jié)果 很難完全保證相鄰面片的紋理一致性丄emp it sky和Ivanov (V. Lemp it sky，and D. Ivanov: Seamless mosaicing of image-based texture maps. In CVPR，2007:1-6.)提出將三維模 型的多視圖紋理映射視為一個(gè)圖像拼接問題:整體模型的紋理映射即為每個(gè)面片選擇合適 的紋理圖像，并且保持相鄰面片紋理接縫顏色的一致性。該問題可轉(zhuǎn)換為一個(gè)馬可夫隨機(jī) 場(chǎng)問題進(jìn)行求解 Aal等人（R.Gal，Y.Wexler，E.0fek，H.Hoppe，and D.Cohen-〇r: Seamless montage for texturing models.Computer Graphics Forum，2010,29(2) :479-486.)對(duì)于 Lempitsky和Ivanov提出中的方法做了改進(jìn)，對(duì)于面片在每個(gè)幀紋理圖像上的映射考慮了 局部位移，從而能夠處理攝像機(jī)參數(shù)和三維模型存在的配準(zhǔn)誤差問題，但是求解空間擴(kuò)大 會(huì)影響該方法的運(yùn)行效率C3 Gal等人以及Lempitsky和Ivanov提出的方法計(jì)算時(shí)間和空間 復(fù)雜度均很高，因此僅能夠處理形狀簡(jiǎn)單的小規(guī)模模型。
[0004] 除 了文獻(xiàn)（R. Gal，Y.Wexler，E. Of ek，H. Hoppe，and D · Cohen-〇r : Seamless montage for texturing models . Computer Graphics Forum，2010，29(2):479-486·)之 外，近年來還有一些紋理映射方法也能夠較好地處理配準(zhǔn)誤差問題，從而實(shí)現(xiàn)高質(zhì)量的真 實(shí)感紋理貼圖效果。例如，Eisemann等人(M.Eisemann，B.De Decker，M.Magnor，P.Bekaert， E.de Aguiar，N·Ahmed，C·Theobalt，and A.Sellent: Floating textures . Computer Graphics Forum，2008,27(2) :409-418.)利用多幀紋理圖像之間的光流來實(shí)現(xiàn)圖像對(duì)齊以 解決配準(zhǔn)誤差問題，其運(yùn)行效率依賴于GPU的加速，并且最后效果極大的依賴光流的結(jié)果， 但是光流的結(jié)果往往都是不魯棒的。Goldluecke等人(B.Goldluecke，M.Aubry，K.Kolev, and D.Cremers:A Super-resolution framework for high-accuracy multiview reconstruction.International Journal of Computer Vision,2014,106(2):127-191.) 則提出了超分辨率的紋理映射方法。超分辨率方法并不能處理輸入數(shù)據(jù)配準(zhǔn)誤差較大，并 且?guī)в懈吖獾那闆r。
[0005] 還有一些結(jié)合用戶交互的方法（V · Kraevoy ·，A · Shef f er，and C · Gotsman : Matchmaker: constructing constrained texture maps . ACM Transactions on Graphics,2003,22(3):326-333.,K.Zhou,X.Wang,Y. Tong,M.Desbrun,B. Guo , and H.-Y.Shum:TextureMontage.ACM Transactions on Graphics ,2005,24(3):1148-1155·， Y.Tzur,and A.Tal:Flexistickers:Photogrammetric texture mapping using casual images .ACM Transactions onGraphics , 2009,28(3) ·)，提供了半自動(dòng)的工具允許用戶在 模型面片和圖像區(qū)域之間指定匹配點(diǎn)，從而將紋理圖像貼至三維模型表面上。與這些交互 工具不同，我們的方法能夠全自動(dòng)地為三維模型的面片選取合適的紋理貼圖區(qū)域，無(wú)需繁 瑣的用戶交互。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提供一種魯棒的三維模型高質(zhì)量紋理映 射方法，該方法能夠處理大配準(zhǔn)誤差以及高光情況的高質(zhì)量紋理映射。
[0007] 它的步驟如下：
[0008] 1.將網(wǎng)格模型按照像素粒度離散化為點(diǎn)云，方便后續(xù)能量方程的建立。
[0009] 2.按照顏色一致性能量方程進(jìn)行交替優(yōu)化，輸出優(yōu)化后的攝像機(jī)參數(shù)以及彩色圖 像。
[001 0] 3.求解最優(yōu)化拼接問題。
[0011] 本發(fā)明的有益效果是：
[0012] 1. 一種高效的處理輸入數(shù)據(jù)配準(zhǔn)誤差的方法，在配準(zhǔn)誤差比較大并且存在高光區(qū) 域的數(shù)據(jù)集上能夠得到很好的結(jié)果。
[0013] 2相比現(xiàn)有的最優(yōu)化拼接算法而言，紋理信息豐富程度的以及顏色差異的衡量更 加合理。利用投影區(qū)域的梯度信息總和既能衡量成像區(qū)域大小，又能衡量圖像模糊程度， 同時(shí)又考慮到面片的拉伸程度，防止劇烈的畸變情況。按照像素粒度考慮共邊附近兩條邊 上的像素差異相比其他只考慮共邊像素差異的方法更加的魯邦。
【具體實(shí)施方式】
[0014] 本發(fā)明設(shè)計(jì)一種魯棒的三維模型高質(zhì)量紋理映射方法，該方法較之于現(xiàn)有的三維 場(chǎng)景紋理映射方法進(jìn)行了如下改進(jìn)：1)將模型按照像素粒度離散化為點(diǎn)云，基于點(diǎn)云建立 顏色一致性能量，在優(yōu)化能量的過程中矯正數(shù)據(jù)配準(zhǔn)誤差;2)合理設(shè)置。
[0015] 本發(fā)明的實(shí)施步驟如下：
[0016] 1.模型離散化，模型離散化是將網(wǎng)格模型按照像素粒度(一個(gè)像素距離在三維中 的跨度)離散化為點(diǎn)云數(shù)據(jù)方便后續(xù)處理。主要包括以下兩個(gè)步驟：
[0017] 1
.1首先計(jì)算細(xì)分粒度L，令fx，f y分別為相機(jī)X，y方向的焦距，則第i幀圖像的像素
其中n為總的幀數(shù)，α為一大于〇的常量。
[0018] 1.2其次我們按照如下規(guī)則進(jìn)行細(xì)分，每個(gè)面片以內(nèi)心為中心，按照L向內(nèi)部等比 例縮放，原面片和所有子面片的邊都按照L進(jìn)行采樣得到新的頂點(diǎn)，所有采樣得到的頂點(diǎn)， 原面片頂點(diǎn)以及子面片的頂點(diǎn)構(gòu)成最終的點(diǎn)云。
[0019] 2.輸入數(shù)據(jù)矯正，輸入數(shù)據(jù)矯正是指修正攝像機(jī)的外參以及對(duì)彩色圖像進(jìn)行網(wǎng)格 形變，使得模型顏色更加一致，主要通過優(yōu)化以下目標(biāo)能量來(顏色一致性能量)實(shí)現(xiàn)：
[0020] E(C,T,F)=Ec(C,T,F)+AEr(F) (8)
[0023]其中輸入圖像序列為{L·}以及對(duì)應(yīng)的在該幀能夠看到的三維頂點(diǎn)集合為{PUMP 通過深度測(cè)試的點(diǎn)，在本方法中將深度測(cè)試的閾值設(shè)置為-<η)，其中Y為 大于〇的常量），由于每次矯正攝像機(jī)參數(shù)的過程中，斤:丨其實(shí)是在變化的，但是在本方法中 為了保證運(yùn)算的高效，{Pd是不會(huì)變化的，因此還必須要求，三維頂點(diǎn)不能在深度劇烈變化 的位置，令P投影到圖像平面上像素坐標(biāo)為x P，利用模型和攝像機(jī)參數(shù)反投影得到的深度 圖#，則p必須滿足一，其中ε為大于等于1的常量。表示每 個(gè)頂點(diǎn)顏色的集合，C(p)代表三維點(diǎn)ρ的顏色(本發(fā)明只使用灰度顏色每一幀 攝像機(jī)外參的集合，F(xiàn)iiFihFi代表第i幀的網(wǎng)格形變函數(shù)，本發(fā)明通過網(wǎng)格狀控制點(diǎn)1 = {vi,i}來決定Fi:
[0025]其中0KU)為雙線性插值的系數(shù)，fi,i代表二維上的偏移量，F(xiàn)iiifi.ihgbJiMf 表剛體變換，g(p,T;) = Tj，β為p的齊次坐標(biāo)表達(dá)，Ti為4X4的矩陣，但是迭代優(yōu)化的過 程中，對(duì)其進(jìn)行線性近似，
[0027] u(gx，gy，gz，gw)代表投影變換，
中cx，Cy是相機(jī)主焦點(diǎn)在圖像空間的偏移量，其中rduhUy)表示二維點(diǎn)在圖像上的顏色，λ 代表正則系數(shù)，《1(?)6[0，1]表示在第1幀下由于是高光點(diǎn)而引入的權(quán)重，上述問題為一個(gè) 非線性最小二乘問題，可以采用多種方法進(jìn)行優(yōu)化，而 Wl(p)也會(huì)在每次迭代之后重新計(jì) 算。其中Wi ( P )按照如下步驟進(jìn)行計(jì)算：
[0028] 1)為每一幀圖像Ii計(jì)算鄰域圖像集合
，其中Num (·)表示計(jì)算集合中元素的個(gè)數(shù)，巧為大于〇的整數(shù)。
[0029] 2)令Ci(p)= Γ i(Fi(u(g(p，Ti))))，按照如下公式計(jì)算Wi(p):
[0032] 其中P( ·)可以是各類M-estimators中的權(quán)重函數(shù)，本方法中采用的是Huber權(quán)重 函數(shù)。
[0033] 為了求解上述方程，本方法采用一種交替優(yōu)化的策略：
[0034]
確定每一個(gè)頂點(diǎn)的顏色，其中η為總的幀數(shù)。
[0035] 2)確定C(p)可以對(duì)每一幀能量 別進(jìn)行優(yōu)化單幀的優(yōu)化可以用多種方法，如高斯-牛頓，LM算法，Dog Leg算法等等，本方法 采用最高斯牛頓算法，并且交替優(yōu)化多次得到最后調(diào)整后結(jié)果。
[0036] 3.紋理最優(yōu)拼接，對(duì)于模型上的每個(gè)面片，從輸入圖像序列中尋找一張最優(yōu)的彩 色圖像，最優(yōu)化拼接結(jié)果即為所有面片對(duì)應(yīng)的最優(yōu)紋理幀標(biāo)記集合，此問題可以轉(zhuǎn)換成能 量最小化過程，其中能量方程的值由紋理信息的豐富程度和來自不同幀紋理之間的顏色一 致性確定：
[0038] 其中1=1^}代表幀標(biāo)簽集合，?(?，ω衡量第i個(gè)面片在第u幀圖像上紋理信息的 豐富程度，K表示第i個(gè)面片在模型上相鄰的面片的集合，衡量不同紋理圖