一種三維全臉照相機(jī)中高保真全臉紋理融合方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及三維測(cè)量領(lǐng)域，特別多個(gè)3D相機(jī)在不同視角拍攝的紋理進(jìn)行高保真紋 理融合的三維全臉照相機(jī)中高保真全臉紋理融合方法。
【背景技術(shù)】
[0002] 真實(shí)感三維模型不僅能夠精確地表達(dá)目標(biāo)物體的幾何形狀和拓?fù)浣Y(jié)構(gòu)，而且還能 同時(shí)表達(dá)物體本身的真實(shí)表象，在文化遺產(chǎn)保護(hù)、建筑、影視藝術(shù)以及逆向工程等領(lǐng)域具有 重要的研究意義和應(yīng)用價(jià)值。
[0003] 僅僅通過(guò)幾何形狀(缺少表面顏色、材質(zhì)等屬性)并不能反映物體的真實(shí)表象，為 了得到真實(shí)感的三維模型，還需進(jìn)行紋理圖像的獲取與融合。在深度圖像采集系統(tǒng)中加入 紋理采集相機(jī)，把紋理相機(jī)作為系統(tǒng)的組件，在采集前對(duì)紋理相機(jī)進(jìn)行標(biāo)定，從而獲得深度 圖像與紋理圖像的精確對(duì)應(yīng)關(guān)系。此外，由于光照變化、物體的非完全漫反射、幾何重建的 誤差，以及匹配的精度限制等因素，在物體表面會(huì)有明顯的"痕跡"出現(xiàn)，為此，必須進(jìn)行紋 理融合，以消除非自然的痕跡，得到真實(shí)感三維模型。
[0004] 目前已發(fā)展了多種紋理融合的方法，Rocchini等（"Multiple texture stitching and blending on 3D object[C]，>Proceedings of Eurographics Readering Workshop) 用綁定紋理圖和幾何模型的方法進(jìn)行紋理融合，投影三維點(diǎn)到目標(biāo)紋理圖以確定有效紋理 圖，并選取最佳紋理(與幾何投影傾斜小)作為目標(biāo)三維點(diǎn)的紋理;然后通過(guò)區(qū)域生長(zhǎng)，迭代 尋找鄰近的三維點(diǎn)，使目標(biāo)紋理盡可能來(lái)自同一區(qū)域，以保證區(qū)域紋理的連續(xù)性;再對(duì)區(qū)域 邊界進(jìn)行平滑處理(線性插值），實(shí)現(xiàn)目標(biāo)的平滑。該方法確保了區(qū)域內(nèi)部紋理的一致連續(xù) 性，但簡(jiǎn)單地對(duì)區(qū)域間的邊界進(jìn)行線性處理，不能很好地實(shí)現(xiàn)紋理色彩差異大或重疊區(qū)域 面積小的平滑過(guò)渡。
[0005] Beauchesne等（"Automatic relighting of overlapping textures of 3D m〇del[C]"）利用外推法進(jìn)行紋理融合，對(duì)全局進(jìn)行重新著色，生成結(jié)果比簡(jiǎn)單均值融合結(jié) 果更真實(shí)，但是其無(wú)法保證紋理色彩是全局最優(yōu)。
[0006] Lempitsky V等（"Seamless mosaicing of image based texture maps[C]''）則 用鑲嵌方法進(jìn)行紋理融合，利用圖像分割的方法把物體表面分為不同的區(qū)域，然后再通過(guò) 消除邊緣的紋理接縫，實(shí)現(xiàn)模型表面色彩的平滑。具有復(fù)雜拓?fù)淇臻g幾何形體的紋理融合 一般很難得到其參數(shù)化，并且受深度圖像匹配精度以及重建幾何模型誤差等外在因素的限 制，通常在紋理模型表面仍有少量的細(xì)縫存在。
[0007] 綜上所述，現(xiàn)有的紋理融合方法無(wú)法重構(gòu)出具有高保真的真實(shí)感的三維模型。

【發(fā)明內(nèi)容】

[0008] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)中所存在的上述不足，提供一種三維全臉照相機(jī) 中高保真全臉紋理融合方法，旨在對(duì)高分辨率紋理相機(jī)不同視角拍攝的紋理圖像進(jìn)行幾乎 無(wú)痕跡的融合，重構(gòu)出具有高保真的真實(shí)感的三維模型。
[0009]為了實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明采用的技術(shù)方案是：
[0010] 一種三維全臉照相機(jī)中高保真全臉紋理融合方法，包括如下步驟：
[0011] 一、對(duì)多個(gè)三維紋理攝像機(jī)外參數(shù)進(jìn)行標(biāo)定，根據(jù)標(biāo)定參數(shù)將三維模型表面上的 一個(gè)三角面片投影到不同視角拍攝的紋理圖像上；外參數(shù)包括一個(gè)3*3的旋轉(zhuǎn)矩陣和一個(gè) 1*3平移向量，平移向量中的三個(gè)向量成員分別表征空間中X方向、y方向、z方向的平移;標(biāo) 定參數(shù)除外參數(shù)外，還包括攝像機(jī)的內(nèi)參數(shù)，內(nèi)參數(shù)包括水平焦距、垂直焦距、相機(jī)相面中 心(主點(diǎn)）、徑向畸變、切向畸變等。
[0012] 二、將紋理圖像上投影到的三角面片剪切出，計(jì)算每個(gè)紋理圖像上的所述三角面 片的融合權(quán)重；
[0013] 三、把所有所述三角面片經(jīng)仿射變換成和最大融合權(quán)重對(duì)應(yīng)的三角面片相同的形 狀；
[0014] 四、進(jìn)行紋理三角形融合；
[0015] 五、將融合后的紋理三角形貼到對(duì)應(yīng)的三維模型三角面片上。
[0016] 該方法具體為：
[0017] 步驟一:利用平面標(biāo)定法對(duì)多個(gè)三維紋理攝像機(jī)外參數(shù)進(jìn)行標(biāo)定；
[0018] 步驟二:使用步驟一得到的標(biāo)定參數(shù)將三維模型上的每個(gè)三角面片Tridill，2， 3, .. .N)(N為三維模型上三角面片的個(gè)數(shù)）投影到多個(gè)三維紋理攝像機(jī)拍攝的紋理圖 image」（j = 1，2，3，. . .，M) (M為紋理相機(jī)的個(gè)數(shù)，當(dāng)投影有遮擋時(shí)則不投影)上，得到紋理三 角面片 ΤθΧΤΗυ(? = 1，2，···，Ν;]· = 1，2，···，Μ)。
[0019] 步驟三:計(jì)算每個(gè)紋理三角面片ΤΘΧΤΗυ(? = 1，2,. . .，N; j = l，2,. . .，Μ)的融合權(quán) 重 Wij(i = l，2，...，N;j = l，2，...，M)
[0022]其中γ ^為三角面片Tri^的質(zhì)心到紋理相機(jī)cam」的光心坐標(biāo)組成的向量與三角面 片Triij的法線的夾角。
[0023] 步驟四：在Wij(j = l，2, . . .，M)中找出融合權(quán)重最大值Wik(ke[l，M])對(duì)應(yīng)的紋理 三角面片TexTriik，令TexTriik為T(mén)exTrii，將其它紋理三角面片TexTriij(j = l，2, · · ·，M)通 過(guò)仿射變換成與TexTrii相同形狀的三角面片/>(/>/,, (/ =丨,2,.,.,，在紋理三角面片 TexTrii內(nèi)任意坐標(biāo)(x，y)上取一個(gè)像素Uk，因?yàn)?W/V,y丨/= 的形狀與TexTrii的 形狀相同，在TVx/W,, = 內(nèi)相同像素坐標(biāo)(x，y)位置上取一個(gè)像素i/，Uk可以通過(guò) 下面公式重新計(jì)算賦值，
[0025]同理，TexTrik內(nèi)其它像素都可以按照以上方法重新計(jì)算融合后的值，記錄紋理三 角面片TexTrii與三維模型三角面片Trii的一一對(duì)應(yīng)關(guān)系。
[0026] 步驟五:采用步驟一至四找出三維模型上所有三角面片Trii(i = l，2,3, . . .N)對(duì) 應(yīng)的紋理三角面片TexTrii。在三維模型顯示時(shí)，將紋理三角面片TexTrii--剪切貼到對(duì)應(yīng) 的三維模型三角面片Trii上。
[0027]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果：
[0028]本發(fā)明主要用于三維照相高保真紋理生成的應(yīng)用場(chǎng)合，利用本發(fā)明提出的利用三 維空間信息獲取復(fù)合權(quán)重的方法及多個(gè)紋理三角面片融合的方法，可以實(shí)時(shí)的得到高保真 的紋理圖像。且本發(fā)明有以下優(yōu)點(diǎn)：
[0029] (1)計(jì)算速度快。計(jì)算步驟主要包括三角面片法線計(jì)算、圖像仿射變換與圖像加權(quán) 復(fù)合，這三種計(jì)算時(shí)間復(fù)雜度均較小，假如有m個(gè)三角面片，η個(gè)需要計(jì)算的像素，三角面片 法線計(jì)算時(shí)間復(fù)雜度小于等于l〇*m，圖像仿射變換計(jì)算時(shí)間復(fù)雜度小于等于6*η，圖像加權(quán) 復(fù)合計(jì)算時(shí)間復(fù)雜度小于等于3*η。電腦使用酷睿i5CPU(不使用GPU計(jì)算，僅用CPU計(jì)算），融 合前紋理圖像為3張2000萬(wàn)像素圖像，紋理融合計(jì)算時(shí)間小于等于200毫秒。
[0030] (2)可以對(duì)高分辨率紋理相機(jī)不同視角拍攝的紋理圖像進(jìn)行融合，融合后三維模 型即使放大10倍的情況下人眼仍然看不到融合痕跡，三維模型即使在放大10倍時(shí)也具有清 晰細(xì)膩的紋理細(xì)節(jié)。
【附圖說(shuō)明】：
[0031]圖1是本發(fā)明實(shí)施例中的流程不意圖。
【具體實(shí)施方式】
[0032]下面結(jié)合【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步的詳細(xì)描述。但不應(yīng)將此理解為本發(fā)明 上述主題的范圍僅限于以下的實(shí)施例，凡基于本
【發(fā)明內(nèi)容】
所實(shí)現(xiàn)的技術(shù)均屬于本發(fā)明的范 圍。
[0033]本發(fā)明提出一種實(shí)現(xiàn)真實(shí)感三維模型的紋理融合方法，將紋理相機(jī)作為系統(tǒng)組 件，獲取物體不同拍攝視角的紋理圖像，再結(jié)