本發(fā)明涉及三維模型技術(shù)領(lǐng)域，尤其涉及一種三維模型的外觀紋理提取方法及裝置。

背景技術(shù)：

目前，三維模型的外觀紋理信息(幾何紋理與材質(zhì)紋理)是其視覺真實(shí)性的重要因素。今天的高端電腦游戲和電影特效對(duì)帶有逼真外觀的高精度三維模型提出了很大需求。然而，制作這樣的三維模型即使對(duì)于經(jīng)驗(yàn)豐富的專業(yè)建模師來說也十分費(fèi)時(shí)費(fèi)力。為了制作一個(gè)具有豐富外觀紋理的高精度三維模型，建模師往往需要通過一些圖片作為創(chuàng)意來源或參考。而如今數(shù)字圖像的極大應(yīng)用與易獲得性也使得計(jì)算機(jī)藝術(shù)家能夠輕松構(gòu)建他們的圖像素材庫作為創(chuàng)意來源與參考。

當(dāng)前的三維模型的外觀紋理處理方法眾多，而目前的基于單幅圖像的三維建?；蚣y理建模方法，主要存在以下一些問題，第一：目前的技術(shù)主要關(guān)注于圖像中物體的形態(tài)建模并不涉及細(xì)節(jié)外觀紋理的建模，而往往這一部分決定了一個(gè)三維模型的真實(shí)性并且也是最耗費(fèi)建模師精力的部分。第二：目前對(duì)于從圖像中進(jìn)行紋理建模的技術(shù)還局限于對(duì)圖片本身的編輯修改或是對(duì)于圖像中物體形狀有較大限制，應(yīng)用十分有限。第三：目前的技術(shù)都還沒有涉及到幾何紋理與材質(zhì)紋理的耦合相關(guān)提取?？梢姡绾慰旖萦行У剡M(jìn)行三維模型的外觀紋理提取稱為了一個(gè)亟待解決的問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的實(shí)施例提供一種三維模型的外觀紋理提取方法及裝置，以解決當(dāng)前現(xiàn)有技術(shù)難以快捷有效地進(jìn)行三維模型的外觀紋理提取的問題。

為達(dá)到上述目的，本發(fā)明采用如下技術(shù)方案：

一種三維模型的外觀紋理提取方法，包括：

獲取預(yù)先設(shè)置的初始代理模型，并獲取用戶輸入的三維輸入圖像；

根據(jù)所述三維輸入圖像和初始代理模型，對(duì)所述初始代理模型進(jìn)行配準(zhǔn)擬合，形成擬合后代理模型；

根據(jù)擬合后代理模型，對(duì)所述三維輸入圖像進(jìn)行本征圖像分解，生成三維輸入圖像的本征圖像分解后幾何形狀和三維輸入圖像的反照率信息，并確定三維輸入圖像的二級(jí)幾何紋理和材質(zhì)紋理。

具體的，根據(jù)權(quán)利要求1所述的三維模型的外觀紋理提取方法，根據(jù)所述三維輸入圖像和初始代理模型，對(duì)所述初始代理模型進(jìn)行配準(zhǔn)擬合，形成擬合后代理模型，包括：

確定三維輸入圖像的顯著性輪廓圖，生成顯著性勢(shì)能場(chǎng)；

根據(jù)所述顯著性勢(shì)能場(chǎng)，通過隱馬爾科夫過程優(yōu)化顯著性勢(shì)能場(chǎng)與所述初始代理模型投影的對(duì)應(yīng)點(diǎn)；

根據(jù)所述顯著性勢(shì)能場(chǎng)與所述初始代理模型投影的對(duì)應(yīng)點(diǎn)進(jìn)行剛性配準(zhǔn)優(yōu)化相機(jī)位置；

根據(jù)優(yōu)化后的相機(jī)位置更新初始代理模型投影的對(duì)應(yīng)點(diǎn)，并且進(jìn)行非剛性變形配準(zhǔn)形成擬合后代理模型。

具體的，確定三維輸入圖像的顯著性輪廓圖，生成顯著性勢(shì)能場(chǎng)，包括：

根據(jù)邊緣檢測(cè)算法確定三維輸入圖像的顯著性輪廓；

生成顯著性輪廓圖對(duì)應(yīng)的顯著性勢(shì)能場(chǎng)；所述顯著性勢(shì)能場(chǎng)表示為：其中，p_i與p_j為顯著性輪廓圖中的任意兩個(gè)像素i和j的位置；J為所有被檢測(cè)為邊緣線的像素的集合；w為控制像素i，j之間的距離和顯著性強(qiáng)度的影響權(quán)重；s_j為像素j所處位置的顯著性強(qiáng)度。

具體的，根據(jù)所述顯著性勢(shì)能場(chǎng)，通過隱馬爾科夫過程優(yōu)化顯著性勢(shì)能場(chǎng)與所述初始代理模型投影的對(duì)應(yīng)點(diǎn)，包括：

根據(jù)公式：

確定顯著性輪廓圖中的像素點(diǎn)位置p_j與初始代理模型點(diǎn)位置v_i的狀態(tài)發(fā)射概率P(v_i|p_j)與狀態(tài)轉(zhuǎn)移概率P(p_j|p_j-1)的一組最大乘積；其中，0≤i≤n，0≤j≤m；其中，S(v_i,p_j)為顯著性輪廓圖中的像素點(diǎn)與初始代理模型點(diǎn)的匹配分?jǐn)?shù)；s_j為像素j所處位置的顯著性強(qiáng)度；a、b為預(yù)設(shè)參數(shù)，分別為0.7與0.5；t_i、t_j分別為像素i與像素j兩點(diǎn)邊的方向向量；d_i＝||v_i-v_i-1||、d_j＝||p_i-p_i-1||；σ為正態(tài)分布標(biāo)準(zhǔn)差；

將狀態(tài)發(fā)射概率P(v_i|p_j)與狀態(tài)轉(zhuǎn)移概率P(p_j|p_j-1)的一組最大乘積對(duì)應(yīng)的顯著性輪廓圖中的像素點(diǎn)位置與初始代理模型點(diǎn)位置作為一組最優(yōu)對(duì)應(yīng)點(diǎn)。

具體的，根據(jù)所述顯著性勢(shì)能場(chǎng)與所述初始代理模型投影的對(duì)應(yīng)點(diǎn)進(jìn)行剛性配準(zhǔn)優(yōu)化相機(jī)位置，包括：

求取一剛性變換T使得數(shù)據(jù)驅(qū)動(dòng)項(xiàng)data的值最??；其中，T＝min_TE_d(T(P))；數(shù)據(jù)驅(qū)動(dòng)項(xiàng)data表示為其中，I為初始代理模型中可見特征線的采樣點(diǎn)集合；v_i為初始代理模型的某一采樣點(diǎn)；F(v_i)表示初始代理模型的采樣點(diǎn)v_i在顯著性勢(shì)能場(chǎng)中的值；M(v_i)表示通過隱馬爾科夫過程優(yōu)化后顯著性勢(shì)能場(chǎng)與所述初始代理模型投影的對(duì)應(yīng)點(diǎn)位置；

將數(shù)據(jù)驅(qū)動(dòng)項(xiàng)data的值最小時(shí)對(duì)應(yīng)的代理模型作為剛性配準(zhǔn)后的代理模型。

具體的，根據(jù)優(yōu)化后的相機(jī)位置更新初始代理模型投影的對(duì)應(yīng)點(diǎn)，并且進(jìn)行非剛性變形配準(zhǔn)形成擬合后代理模型，包括：

根據(jù)剛性配準(zhǔn)后的代理模型更新初始代理模型投影的對(duì)應(yīng)點(diǎn)，并且根據(jù)非剛性變形配準(zhǔn)函數(shù)進(jìn)行非剛性變形配準(zhǔn)；

所述非剛性變形配準(zhǔn)函數(shù)為：其中，E_s(P)為形狀約束函數(shù)；E_p(P)為局部平面性約束函數(shù)。

具體的，根據(jù)擬合后代理模型，對(duì)所述三維輸入圖像進(jìn)行本征圖像分解，生成三維輸入圖像的本征圖像分解后幾何形狀和三維輸入圖像的反照率信息，包括：

根據(jù)公式：

R＝I-S(Z,L)

通過三維輸入圖像I確定最優(yōu)三維輸入圖像的反照率信息R、最優(yōu)明暗陰影圖像S、最優(yōu)光照信息L以及最優(yōu)幾何形狀Z；

其中，g(R)為反照率損失函數(shù)，N(i)為一個(gè)以像素i為中心的5×5窗口；ci與cj是像素i與j的色度值，Ri與Rj是像素i與j的反照率值，權(quán)重函數(shù)

f(Z)為幾何形狀損失函數(shù)，其中G(Z_i,r)為像素位置i經(jīng)過半徑r的高斯平滑后的深度值，Z_i(P_align)表示擬合后代理模型在像素位置i處的深度值；

h(L)為光照損失函數(shù)，其中μ_L與∑_L為多元高斯分布對(duì)應(yīng)的均值向量與方差矩陣，λ_L為權(quán)重系數(shù)。

具體的，確定三維輸入圖像的二級(jí)幾何紋理和材質(zhì)紋理，包括：

根據(jù)第一級(jí)精確形狀與第二級(jí)精確形狀的差，確定二級(jí)幾何紋理；所述第一級(jí)精確形狀通過三維輸入圖像的本征圖像分解后幾何形狀的法向圖引導(dǎo)變形得到；所述第二級(jí)精確形狀通過第一級(jí)精確形狀加上與三維輸入圖像的本征圖像分解后幾何形狀之間沿法線方向的偏移量得到；

根據(jù)三維輸入圖像的反照率信息轉(zhuǎn)化到擬合后代理模型的參數(shù)網(wǎng)格，形成材質(zhì)紋理。

一種三維模型的外觀紋理提取裝置，包括：

圖像獲取單元，用于獲取預(yù)先設(shè)置的初始代理模型，并獲取用戶輸入的三維輸入圖像；

配準(zhǔn)擬合單元，用于根據(jù)所述三維輸入圖像和初始代理模型，對(duì)所述初始代理模型進(jìn)行配準(zhǔn)擬合，形成擬合后代理模型；

本征圖像分解單元，用于根據(jù)擬合后代理模型，對(duì)所述三維輸入圖像進(jìn)行本征圖像分解，生成三維輸入圖像的本征圖像分解后幾何形狀和三維輸入圖像的反照率信息；

外觀紋理提取單元，用于確定三維輸入圖像的二級(jí)幾何紋理和材質(zhì)紋理。

具體的，所述配準(zhǔn)擬合單元，包括：

顯著性勢(shì)能場(chǎng)生成模塊，用于確定三維輸入圖像的顯著性輪廓圖，生成顯著性勢(shì)能場(chǎng)；

對(duì)應(yīng)點(diǎn)優(yōu)化模塊，用于根據(jù)所述顯著性勢(shì)能場(chǎng)，通過隱馬爾科夫過程優(yōu)化顯著性勢(shì)能場(chǎng)與所述初始代理模型投影的對(duì)應(yīng)點(diǎn)；

剛性配準(zhǔn)模塊，用于根據(jù)所述顯著性勢(shì)能場(chǎng)與所述初始代理模型投影的對(duì)應(yīng)點(diǎn)進(jìn)行剛性配準(zhǔn)優(yōu)化相機(jī)位置；

非剛性配準(zhǔn)模塊，用于根據(jù)優(yōu)化后的相機(jī)位置更新初始代理模型投影的對(duì)應(yīng)點(diǎn)，并且進(jìn)行非剛性變形配準(zhǔn)形成擬合后代理模型。

此外，所述顯著性勢(shì)能場(chǎng)生成模塊，具體用于：

根據(jù)邊緣檢測(cè)算法確定三維輸入圖像的顯著性輪廓；

生成顯著性輪廓圖對(duì)應(yīng)的顯著性勢(shì)能場(chǎng)；所述顯著性勢(shì)能場(chǎng)表示為：其中，p_i與p_j為顯著性輪廓圖中的任意兩個(gè)像素i和j的位置；J為所有被檢測(cè)為邊緣線的像素的集合；w為控制像素i，j之間的距離和顯著性強(qiáng)度的影響權(quán)重；s_j為像素j所處位置的顯著性強(qiáng)度。

此外，所述對(duì)應(yīng)點(diǎn)優(yōu)化模塊，具體用于：

根據(jù)公式：

確定顯著性輪廓圖中的像素點(diǎn)位置p_j與初始代理模型點(diǎn)位置v_i的狀態(tài)發(fā)射概率P(v_i|p_j)與狀態(tài)轉(zhuǎn)移概率P(p_j|p_j-1)的一組最大乘積；其中，0≤i≤n，0≤j≤m；其中，S(v_i,p_j)為顯著性輪廓圖中的像素點(diǎn)與初始代理模型點(diǎn)的匹配分?jǐn)?shù)；s_j為像素j所處位置的顯著性強(qiáng)度；a、b為預(yù)設(shè)參數(shù)，分別為0.7與0.5；t_i、t_j分別為像素i與像素j兩點(diǎn)邊的方向向量；d_i＝||v_i-v_i-1||、d_j＝||p_i-p_i-1||；σ為正態(tài)分布標(biāo)準(zhǔn)差；

將狀態(tài)發(fā)射概率P(v_i|p_j)與狀態(tài)轉(zhuǎn)移概率P(p_j|p_j-1)的一組最大乘積對(duì)應(yīng)的顯著性輪廓圖中的像素點(diǎn)位置與初始代理模型點(diǎn)位置作為一組最優(yōu)對(duì)應(yīng)點(diǎn)。

此外，所述剛性配準(zhǔn)模塊，具體用于：

求取一剛性變換T使得數(shù)據(jù)驅(qū)動(dòng)項(xiàng)data的值最??；其中，T＝min_T E_d(T(P))；數(shù)據(jù)驅(qū)動(dòng)項(xiàng)data表示為其中，I為初始代理模型中可見特征線的采樣點(diǎn)集合；v_i為初始代理模型的某一采樣點(diǎn)；F(v_i)表示初始代理模型的采樣點(diǎn)v_i在顯著性勢(shì)能場(chǎng)中的值；M(v_i)表示通過隱馬爾科夫過程優(yōu)化后顯著性勢(shì)能場(chǎng)與所述初始代理模型投影的對(duì)應(yīng)點(diǎn)位置；

將數(shù)據(jù)驅(qū)動(dòng)項(xiàng)data的值最小時(shí)對(duì)應(yīng)的代理模型作為剛性配準(zhǔn)后的代理模型。

此外，所述非剛性配準(zhǔn)模塊，具體用于：

根據(jù)剛性配準(zhǔn)后的代理模型更新初始代理模型投影的對(duì)應(yīng)點(diǎn)，并且根據(jù)非剛性變形配準(zhǔn)函數(shù)進(jìn)行非剛性變形配準(zhǔn)；

所述非剛性變形配準(zhǔn)函數(shù)為：其中，E_s(P)為形狀約束函數(shù)；E_p(P)為局部平面性約束函數(shù)。

此外，所述本征圖像分解單元，具體用于：

根據(jù)公式：

R＝I-S(Z,L)

通過三維輸入圖像I確定最優(yōu)三維輸入圖像的反照率信息R、最優(yōu)明暗陰影圖像S、最優(yōu)光照信息L以及最優(yōu)幾何形狀Z；

其中，g(R)為反照率損失函數(shù)，N(i)為一個(gè)以像素i為中心的5×5窗口；ci與cj是像素i與j的色度值，Ri與Rj是像素i與j的反照率值，權(quán)重函數(shù)

f(Z)為幾何形狀損失函數(shù)，其中G(Z_i,r)為像素位置i經(jīng)過半徑r的高斯平滑后的深度值，Z_i(P_align)表示擬合后代理模型在像素位置i處的深度值；

h(L)為光照損失函數(shù)，其中μ_L與∑_L為多元高斯分布對(duì)應(yīng)的均值向量與方差矩陣，λ_L為權(quán)重系數(shù)。

此外，所述外觀紋理提取單元，具體用于：

根據(jù)第一級(jí)精確形狀與第二級(jí)精確形狀的差，確定二級(jí)幾何紋理；所述第一級(jí)精確形狀通過三維輸入圖像的本征圖像分解后幾何形狀的法向圖引導(dǎo)變形得到；所述第二級(jí)精確形狀通過第一級(jí)精確形狀加上與三維輸入圖像的本征圖像分解后幾何形狀之間沿法線方向的偏移量得到；

根據(jù)三維輸入圖像的反照率信息轉(zhuǎn)化到擬合后代理模型的參數(shù)網(wǎng)格，形成材質(zhì)紋理。

本發(fā)明實(shí)施例提供的一種三維模型的外觀紋理提取方法及裝置，能夠根據(jù)三維輸入圖像和初始代理模型，對(duì)初始代理模型進(jìn)行配準(zhǔn)擬合，形成擬合后代理模型；之后，根據(jù)擬合后代理模型，對(duì)三維輸入圖像進(jìn)行本征圖像分解，生成三維輸入圖像的本征圖像分解后幾何形狀和三維輸入圖像的反照率信息，進(jìn)而確定三維輸入圖像的二級(jí)幾何紋理和材質(zhì)紋理。該二級(jí)幾何紋理和材質(zhì)紋理即為待提取的外觀紋理。可見，本發(fā)明能夠自動(dòng)分析變形擬合，并提取外觀紋理，簡(jiǎn)化了人工制作高精度三維模型的過程，避免了當(dāng)前現(xiàn)有技術(shù)難以快捷有效地進(jìn)行三維模型的外觀紋理提取的問題。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實(shí)施例提供的一種三維模型的外觀紋理提取方法的流程圖一；

圖2為本發(fā)明實(shí)施例提供的一種三維模型的外觀紋理提取方法的流程圖二；

圖3為本發(fā)明實(shí)施例中的初始代理模型、三維輸入圖像、顯著性輪廓圖、顯著性勢(shì)能場(chǎng)的示意圖；

圖4為本發(fā)明實(shí)施例中的隱馬爾科夫優(yōu)化前后的最優(yōu)匹配點(diǎn)示意圖；

圖5為本發(fā)明實(shí)施例中的初始代理模型、三維輸入圖像、進(jìn)行剛性配準(zhǔn)后的圖像、進(jìn)行非剛性配準(zhǔn)后的圖像以及最終形成的擬合后代理模型的示意圖；

圖6為本發(fā)明實(shí)施例中未使用配準(zhǔn)代理模型作為幾何先驗(yàn)信息進(jìn)行分解得到的深度圖、未使用配準(zhǔn)代理模型作為幾何先驗(yàn)信息進(jìn)行分解得到的反照率圖、使用了配準(zhǔn)代理模型作為幾何先驗(yàn)信息進(jìn)行分解得到的深度圖、使用了配準(zhǔn)代理模型作為幾何先驗(yàn)信息進(jìn)行分解得到的反照率圖；

圖7為本發(fā)明實(shí)施例中的代理模型參數(shù)網(wǎng)格和第一級(jí)幾何紋理的示意圖；

圖8為本發(fā)明實(shí)施例中的細(xì)分后代理模型參數(shù)網(wǎng)格和第二級(jí)幾何紋理的示意圖；

圖9為本發(fā)明實(shí)施例中的材質(zhì)紋理示意圖；

圖10為本發(fā)明實(shí)施例中的幾組外觀紋理模型樣例示意圖；

圖11為本發(fā)明實(shí)施例中在新的模型上應(yīng)用外觀模型的示意圖一；

圖12為本發(fā)明實(shí)施例中在新的模型上應(yīng)用外觀模型的示意圖二；

圖13為本發(fā)明實(shí)施例提供的一種三維模型的外觀紋理提取裝置的結(jié)構(gòu)示意圖一；

圖14為本發(fā)明實(shí)施例提供的一種三維模型的外觀紋理提取裝置的結(jié)構(gòu)示意圖二。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

如圖1所示，本發(fā)明實(shí)施例提供一種三維模型的外觀紋理提取方法，包括：

步驟101、獲取預(yù)先設(shè)置的初始代理模型，并獲取用戶輸入的三維輸入圖像。

步驟102、根據(jù)所述三維輸入圖像和初始代理模型，對(duì)所述初始代理模型進(jìn)行配準(zhǔn)擬合，形成擬合后代理模型。

步驟103、根據(jù)擬合后代理模型，對(duì)所述三維輸入圖像進(jìn)行本征圖像分解，生成三維輸入圖像的本征圖像分解后幾何形狀和三維輸入圖像的反照率信息，并確定三維輸入圖像的二級(jí)幾何紋理和材質(zhì)紋理。

本發(fā)明實(shí)施例提供的一種三維模型的外觀紋理提取方法，能夠根據(jù)三維輸入圖像和初始代理模型，對(duì)初始代理模型進(jìn)行配準(zhǔn)擬合，形成擬合后代理模型；之后，根據(jù)擬合后代理模型，對(duì)三維輸入圖像進(jìn)行本征圖像分解，生成三維輸入圖像的本征圖像分解后幾何形狀和三維輸入圖像的反照率信息，進(jìn)而確定三維輸入圖像的二級(jí)幾何紋理和材質(zhì)紋理。該二級(jí)幾何紋理和材質(zhì)紋理即為待提取的外觀紋理。可見，本發(fā)明能夠自動(dòng)分析變形擬合，并提取外觀紋理，簡(jiǎn)化了人工制作高精度三維模型的過程，避免了當(dāng)前現(xiàn)有技術(shù)難以快捷有效地進(jìn)行三維模型的外觀紋理提取的問題。

為了使本領(lǐng)域的技術(shù)人員更好的了解本發(fā)明，下面結(jié)合附圖以及具體實(shí)例來對(duì)本發(fā)明實(shí)施例提供的一種三維模型的外觀紋理提取方法進(jìn)行具體闡述。如圖2所示，本發(fā)明實(shí)施例提供的一種三維模型的外觀紋理提取方法，包括：

步驟201、獲取預(yù)先設(shè)置的初始代理模型，并獲取用戶輸入的三維輸入圖像。

步驟202、確定三維輸入圖像的顯著性輪廓圖，生成顯著性勢(shì)能場(chǎng)。

具體的，此處步驟202中的確定三維輸入圖像的顯著性輪廓圖，生成顯著性勢(shì)能場(chǎng)，可以通過如下方式實(shí)現(xiàn)：

根據(jù)邊緣檢測(cè)算法確定三維輸入圖像的顯著性輪廓。此處三維輸入圖像的每個(gè)像素值表示該像素屬于一條邊緣線的顯著性強(qiáng)度，范圍在[0，1]。由于三維輸入圖像中提取的邊緣線往往破碎，不連續(xù)且包含很多噪聲，直接利用其來進(jìn)行配準(zhǔn)并不合適，因此此處需要定義了一個(gè)勢(shì)能場(chǎng)使得代理模型上的特征線能夠配準(zhǔn)到圖像中顯著性較高的邊緣線上。該勢(shì)能場(chǎng)的特點(diǎn)如下：1)在離邊緣線越近的地方勢(shì)能越??；2)在離邊緣顯著性高的地方勢(shì)能越小。

此處，生成顯著性輪廓圖對(duì)應(yīng)的顯著性勢(shì)能場(chǎng)；所述顯著性勢(shì)能場(chǎng)表示為：其中，p_i與p_j為顯著性輪廓圖中的任意兩個(gè)像素i和j的位置；J為所有被檢測(cè)為邊緣線的像素的集合；w為控制像素i，j之間的距離和顯著性強(qiáng)度的影響權(quán)重，一般為0.1；s_j為像素j所處位置的顯著性強(qiáng)度。

具體的，如圖3所示，其中，圖3中的(a)為預(yù)先設(shè)置的代理模型；圖3的(b)顯示的是三維輸入圖像；而圖3中的(c)為顯著性輪廓圖；圖3中的(d)為顯著性勢(shì)能場(chǎng)。

步驟203、根據(jù)所述顯著性勢(shì)能場(chǎng)，通過隱馬爾科夫過程優(yōu)化顯著性勢(shì)能場(chǎng)與所述初始代理模型投影的對(duì)應(yīng)點(diǎn)。

顯著性勢(shì)能場(chǎng)使得代理模型到三維輸入圖像的配準(zhǔn)對(duì)不同的模型初始位置較為魯棒，但由于顯著性勢(shì)能場(chǎng)擴(kuò)散性明顯并不能很好地實(shí)現(xiàn)邊緣到邊緣的精確配準(zhǔn)。為了解決這個(gè)問題，此處在顯著性勢(shì)能場(chǎng)之外需要增加精確的對(duì)應(yīng)點(diǎn)來輔助配準(zhǔn)過程。為了使對(duì)應(yīng)點(diǎn)在圖像中的邊緣線與代理模型的特征線上的分布盡量均勻，同時(shí)仍保持對(duì)應(yīng)點(diǎn)的顯著性和距離因素的綜合考慮，可以通過隱馬爾科夫過程來自動(dòng)計(jì)算最佳的對(duì)應(yīng)關(guān)系。假設(shè)已知當(dāng)前狀態(tài)下最優(yōu)對(duì)應(yīng)關(guān)系，為了找到下一個(gè)最佳對(duì)應(yīng)點(diǎn)，需要考慮的是下一組對(duì)應(yīng)點(diǎn)之間是否是最佳匹配，即他們之間的狀態(tài)發(fā)射概率與狀態(tài)轉(zhuǎn)移概率乘積最大。

具體的，此處步驟203中的根據(jù)所述顯著性勢(shì)能場(chǎng)，通過隱馬爾科夫過程優(yōu)化顯著性勢(shì)能場(chǎng)與所述初始代理模型投影的對(duì)應(yīng)點(diǎn)，可以通過如下方式實(shí)現(xiàn)：

根據(jù)公式：

確定顯著性輪廓圖中的像素點(diǎn)位置p_j與初始代理模型點(diǎn)位置v_i的狀態(tài)發(fā)射概率P(v_i|p_j)與狀態(tài)轉(zhuǎn)移概率P(p_j|p_j-1)的一組最大乘積；其中，0≤i≤n，0≤j≤m；其中，S(v_i,p_j)為顯著性輪廓圖中的像素點(diǎn)與初始代理模型點(diǎn)的匹配分?jǐn)?shù)；s_j為像素j所處位置的顯著性強(qiáng)度；a、b為預(yù)設(shè)參數(shù)，分別為0.7與0.5；t_i、t_j分別為像素i與像素j兩點(diǎn)邊的方向向量；d_i＝||v_i-v_i-1||、d_j＝||p_i-p_i-1||；σ為正態(tài)分布標(biāo)準(zhǔn)差。

將狀態(tài)發(fā)射概率P(v_i|p_j)與狀態(tài)轉(zhuǎn)移概率P(p_j|p_j-1)的一組最大乘積對(duì)應(yīng)的顯著性輪廓圖中的像素點(diǎn)位置與初始代理模型點(diǎn)位置作為一組最優(yōu)對(duì)應(yīng)點(diǎn)。這樣，最大化狀態(tài)轉(zhuǎn)移概率保證了當(dāng)前搜索到的新一組匹配點(diǎn)與上一組匹配點(diǎn)在距離和方向上盡量連續(xù)。

例如，如圖4所示的隱馬爾科夫優(yōu)化前后的最優(yōu)匹配點(diǎn)，圖4的左側(cè)為優(yōu)化前，右側(cè)為優(yōu)化后，線條31表示漸變?yōu)閳D像邊緣點(diǎn)顯著性，線條32表示代理模型特征線，線條33表示一組最佳匹配點(diǎn)。

步驟204、根據(jù)所述顯著性勢(shì)能場(chǎng)與所述初始代理模型投影的對(duì)應(yīng)點(diǎn)進(jìn)行剛性配準(zhǔn)優(yōu)化相機(jī)位置。

具體的，此處步驟204中的根據(jù)所述顯著性勢(shì)能場(chǎng)與所述初始代理模型投影的對(duì)應(yīng)點(diǎn)進(jìn)行剛性配準(zhǔn)優(yōu)化相機(jī)位置，可以通過如下方式實(shí)現(xiàn)：

利用得到的顯著性勢(shì)能場(chǎng)和優(yōu)化后的對(duì)應(yīng)點(diǎn)來評(píng)估代理模型特征線在圖像上的投影與圖像的邊緣線是否對(duì)齊，稱之為data項(xiàng)(數(shù)據(jù)驅(qū)動(dòng)項(xiàng))。

求取一剛性變換T使得數(shù)據(jù)驅(qū)動(dòng)項(xiàng)data的值最小；其中，T＝min_T E_d(T(P))；數(shù)據(jù)驅(qū)動(dòng)項(xiàng)data表示為其中，I為初始代理模型中可見特征線的采樣點(diǎn)集合；v_i為初始代理模型的某一采樣點(diǎn)；F(v_i)表示初始代理模型的采樣點(diǎn)v_i在顯著性勢(shì)能場(chǎng)中的值；M(v_i)表示通過隱馬爾科夫過程優(yōu)化后顯著性勢(shì)能場(chǎng)與所述初始代理模型投影的對(duì)應(yīng)點(diǎn)位置。此處需要優(yōu)化的變量為6維(旋轉(zhuǎn)3維，平移3維)。

data項(xiàng)計(jì)算了代理模型上采樣點(diǎn)在顯著性勢(shì)能場(chǎng)中的積分以及每一個(gè)采樣點(diǎn)與其在圖像對(duì)應(yīng)點(diǎn)之間的歐式距離之差。由上述data項(xiàng)的表達(dá)式可看出代理模型的配準(zhǔn)同樣是一個(gè)優(yōu)化問題。因此，需要求出代理模型的最佳位置與形狀使得data項(xiàng)達(dá)到最小值。此時(shí)代理模型將成為圖像中目標(biāo)物體形狀的良好近似。

將數(shù)據(jù)驅(qū)動(dòng)項(xiàng)data的值最小時(shí)對(duì)應(yīng)的代理模型作為剛性配準(zhǔn)后的代理模型。

步驟205、根據(jù)優(yōu)化后的相機(jī)位置更新初始代理模型投影的對(duì)應(yīng)點(diǎn)，并且進(jìn)行非剛性變形配準(zhǔn)形成擬合后代理模型。

具體的，此處步驟205中的根據(jù)優(yōu)化后的相機(jī)位置更新初始代理模型投影的對(duì)應(yīng)點(diǎn)，并且進(jìn)行非剛性變形配準(zhǔn)形成擬合后代理模型，可以通過如下方式實(shí)現(xiàn)：

由于剛性變換并不對(duì)代理模型進(jìn)行變形，因此此時(shí)代理模型仍然與圖像中的目標(biāo)物體有較大不同。在求得代理模型的最佳姿態(tài)，即剛性配準(zhǔn)后，同樣利用data項(xiàng)的引導(dǎo)來進(jìn)行非剛性配準(zhǔn)，此時(shí)優(yōu)化的變量成為代理模型的每一個(gè)頂點(diǎn)位置，為了讓代理模型不發(fā)生過度扭曲，此時(shí)在優(yōu)化中除了data項(xiàng)之外還需要額外的形狀約束。

此處，根據(jù)剛性配準(zhǔn)后的代理模型更新初始代理模型投影的對(duì)應(yīng)點(diǎn)，并且根據(jù)非剛性變形配準(zhǔn)函數(shù)進(jìn)行非剛性變形配準(zhǔn)。

所述非剛性變形配準(zhǔn)函數(shù)為：其中，E_s(P)為形狀約束函數(shù)；E_p(P)為局部平面性約束函數(shù)，E_s(P)與E_p(P)都是為了防止在非剛性配準(zhǔn)中代理模型發(fā)生過于劇烈的變化。

值得說明的是，上述步驟203中對(duì)應(yīng)點(diǎn)根據(jù)當(dāng)前代理模型的形狀求出，而在步驟204與步驟205中，進(jìn)行配準(zhǔn)時(shí)代理模型的形狀和位置都會(huì)發(fā)生變化，因此實(shí)際運(yùn)行中步驟203，與步驟204結(jié)合步驟205，需要反復(fù)迭代運(yùn)行，直到代理模型足夠近似圖像中的目標(biāo)物體。

此處，如圖5所示，圖5中的(a)、(b)、(c)、(d)、(e)分別為初始代理模型、三維輸入圖像、進(jìn)行剛性配準(zhǔn)后的圖像、進(jìn)行非剛性配準(zhǔn)后的圖像以及最終形成的擬合后代理模型。

當(dāng)然，該擬合后代理模型還可以通過其他方式獲得，例如通過實(shí)體三維掃描設(shè)備，人工制作等方式獲得。

步驟206、根據(jù)擬合后代理模型，對(duì)所述三維輸入圖像進(jìn)行本征圖像分解，生成三維輸入圖像的本征圖像分解后幾何形狀和三維輸入圖像的反照率信息。

在步驟206中，利用代理模型提供的幾何信息可降低在分解時(shí)的歧義性從而能夠提取出圖像中目標(biāo)物體的外觀紋理。此處改進(jìn)了目前最優(yōu)的分解算法SIRFS使得其能夠利用代理模型提供的先驗(yàn)信息。

此處步驟206可以根據(jù)如下方式實(shí)現(xiàn)：

根據(jù)公式：

R＝I-S(Z,L)

通過三維輸入圖像I確定最優(yōu)三維輸入圖像的反照率信息R、最優(yōu)明暗陰影圖像S、最優(yōu)光照信息L以及最優(yōu)幾何形狀Z。

其中，g(R)為反照率損失函數(shù)，除去SIRFS本身使用的稀疏性與絕對(duì)強(qiáng)度先驗(yàn)外，本發(fā)明中另外使用了Retinex先驗(yàn)，該先驗(yàn)假設(shè)在每一個(gè)局部區(qū)域，具有相似色度值得像素應(yīng)當(dāng)具有相似的反照率，該N(i)為一個(gè)以像素i為中心的5×5窗口；ci與cj是像素i與j的色度值，Ri與Rj是像素i與j的反照率值，權(quán)重函數(shù)因此當(dāng)色度值愈接近，權(quán)重愈高。

f(Z)為幾何形狀損失函數(shù)，幾何先驗(yàn)假設(shè)利用了配準(zhǔn)后的代理模型提供的對(duì)圖像物體近似擬合的幾何信息，其中G(Z_i,r)為像素位置i經(jīng)過半徑r的高斯平滑后的深度值，Z_i(P_align)表示擬合后代理模型在像素位置i處的深度值。該幾何形狀損失函數(shù)使用的L2范數(shù)保證了在進(jìn)行本征圖像分解時(shí)幾何變化在每一處都較均勻分布。

h(L)為光照損失函數(shù)，其中μ_L與∑_L為多元高斯分布對(duì)應(yīng)的均值向量與方差矩陣，λ_L為權(quán)重系數(shù)。

如圖6所示，在圖6中，(a)、(b)、(c)、(d)部分分別為未使用配準(zhǔn)代理模型作為幾何先驗(yàn)信息進(jìn)行分解得到的深度圖、未使用配準(zhǔn)代理模型作為幾何先驗(yàn)信息進(jìn)行分解得到的反照率圖、使用了配準(zhǔn)代理模型作為幾何先驗(yàn)信息進(jìn)行分解得到的深度圖、使用了配準(zhǔn)代理模型作為幾何先驗(yàn)信息進(jìn)行分解得到的反照率圖。

步驟207、根據(jù)第一級(jí)精確形狀與第二級(jí)精確形狀的差，確定二級(jí)幾何紋理；所述第一級(jí)精確形狀通過三維輸入圖像的本征圖像分解后幾何形狀的法向圖引導(dǎo)變形得到；所述第二級(jí)精確形狀通過第一級(jí)精確形狀加上與三維輸入圖像的本征圖像分解后幾何形狀之間沿法線方向的偏移量得到。

通過擬合后代理模型，本證圖像分解提供了圖像中目標(biāo)物體的精確幾何形狀Z與反照率圖像R，如圖6(c)、(d)兩幅圖所示。本發(fā)明在步驟207和步驟208中需要將幾何信息與顏色信息從圖像空間生成至三維代理模型的參數(shù)網(wǎng)格空間(或者生成至三角網(wǎng)格空間)。由此，得到的非參數(shù)化外觀紋理模型才可作為材質(zhì)庫元素為其他新模型所用。本發(fā)明的外觀紋理模型由兩部分組成(1)二級(jí)幾何紋理，該紋理作為擬合后代理模型與本征圖像分解得到的精確幾何形狀之差，編碼了圖像中目標(biāo)物體的幾何紋理信息，即如果在代理模型上應(yīng)用該幾何紋理可以得到精確幾何形狀；(2)材質(zhì)紋理，由本征圖像分解得到的反照率圖像生成。由于得到的精確幾何形狀與反照率圖來自于原始圖像的一組分解，因此幾何紋理與材質(zhì)紋理互相關(guān)聯(lián)。這也符合自然情況，一個(gè)自然物體表面的細(xì)節(jié)幾何形狀(例如風(fēng)化，腐蝕)往往與該物體表面顏色有相關(guān)性(如金屬腐蝕后的銹跡顏色)。

對(duì)于二級(jí)幾何紋理的生成，幾何紋理編碼了從配準(zhǔn)后的代理模型P_align到本征圖像分解得到的精確幾何形狀Z之間的差別，即D(P_align)＝Z，運(yùn)算符D表示二級(jí)幾何紋理運(yùn)算符D＝D_f°D_m，D_m為第一級(jí)幾何紋理，D_f為第二級(jí)幾何紋理。D_m(P_align)可得到第一級(jí)精確模型，D_f(D_m(P_align))可得到第二級(jí)精確模型(Z)。將幾何紋理分為兩個(gè)層級(jí)有以下幾點(diǎn)優(yōu)點(diǎn)：

①從代理模型到精確幾何形狀之間的差別有時(shí)候十分顯著，一級(jí)幾何紋理不能很好的描述過于豐富的幾何變化。

②將幾何紋理分為兩個(gè)層級(jí)能夠大大增加在新模型上應(yīng)用該紋理時(shí)產(chǎn)生的組合幾何紋理模式。

③當(dāng)輸入一個(gè)新的模型來應(yīng)用幾何紋理時(shí)，第一級(jí)幾何紋理能夠讓模型增加一定的幾何細(xì)節(jié)從而為應(yīng)用第二級(jí)幾何紋理提供更準(zhǔn)確的引導(dǎo)。

非參數(shù)化紋理存儲(chǔ)在代理模型的參數(shù)化網(wǎng)格上，參數(shù)化網(wǎng)格由用戶初始輸入的代理模型攜帶。第一級(jí)幾何紋理存儲(chǔ)的是第一級(jí)精確模型D_m(P_align)與P_align之間的幾何變化，第一級(jí)精確模型則通過由最終精確模型Z的法向圖作為引導(dǎo)對(duì)配準(zhǔn)后的代理模型進(jìn)行變形得到。第一級(jí)幾何紋理由代理模型頂點(diǎn)上的偏移向量表示，如圖7所示，圖7左側(cè)為代理模型參數(shù)網(wǎng)格，右側(cè)為第一級(jí)幾何紋理，顏色表示偏移向量方向，深淺表示偏移向量長(zhǎng)度。第二級(jí)幾何紋理存儲(chǔ)的是第一級(jí)精確模型D_m(P_align)與第二級(jí)精確模型，即最終精確模型Z之間的幾何變化，由于第二級(jí)幾何紋理表達(dá)更細(xì)微的幾何變化，因此參數(shù)網(wǎng)格也需要相應(yīng)進(jìn)行細(xì)分以達(dá)到更高分辨率。第二級(jí)幾何紋理通過計(jì)算第一級(jí)精確模型沿法線方向與第二級(jí)精確模型Z之間的位移差表示，由于該位移差總是沿法線方向，因此于第一級(jí)幾何紋理相比只需存儲(chǔ)偏移距離而不必存儲(chǔ)偏移方向，如圖8所示，左側(cè)為細(xì)分后代理模型參數(shù)網(wǎng)格，右側(cè)為第二級(jí)幾何紋理，深淺表示偏移長(zhǎng)度。

步驟208、根據(jù)三維輸入圖像的反照率信息轉(zhuǎn)化到擬合后代理模型的參數(shù)網(wǎng)格，形成材質(zhì)紋理。

對(duì)于材質(zhì)紋理的生成，則較為直接，材質(zhì)紋理即圖像空間下的反照率圖轉(zhuǎn)化到代理模型的參數(shù)網(wǎng)格紋理，由于代理模型已經(jīng)與三維輸入圖像配準(zhǔn)，因此對(duì)應(yīng)關(guān)系已知，則可以直接獲得，如圖9所示為材質(zhì)紋理示意圖。由此，得到了代理模型所對(duì)應(yīng)的圖像目標(biāo)物體包含的外觀紋理模型，由兩級(jí)幾何紋理與一級(jí)材質(zhì)紋理組成。該外觀紋理可用于任何用戶新輸入的三維模型，即在一個(gè)新的三維模型上增加外觀紋理使其在細(xì)節(jié)上與圖像中的目標(biāo)物體有相似外觀。

為了體現(xiàn)本發(fā)明實(shí)施例的效果，如圖10所示，展示了利用本發(fā)明生成的幾組外觀紋理模型樣例，可以看到對(duì)于圖片中的目標(biāo)物體形狀并沒有嚴(yán)格限制。同時(shí)，隨著樣例數(shù)目的增多，生成的外觀紋理模型可以組成一個(gè)材質(zhì)庫，方便建模師等計(jì)算機(jī)美術(shù)人員使用。

例如，如圖11所示，在新的模型上應(yīng)用外觀模型。例如，在機(jī)器人R2D2和唐朝馬的簡(jiǎn)模上使用來自消防栓的外觀紋理。又例如，如圖12所示，在鴨子容器的簡(jiǎn)模上使用來自木頭軟椅的外觀紋理?？梢钥吹?，本發(fā)明實(shí)施例中提取的外觀紋理模型能夠輕松將原始圖像中目標(biāo)物體的細(xì)節(jié)外觀特征復(fù)現(xiàn)在新輸入的其他簡(jiǎn)單模型上，增加豐富的幾何和材質(zhì)紋理，這一工作如果由建模師手工完成需要消耗大量時(shí)間精力。另外從圖12第一排示例也可看出，該方法能夠?qū)D像中的目標(biāo)物體進(jìn)行三維重建，恢復(fù)出物體上的幾何形狀與材質(zhì)顏色，得到的三維模型渲染圖(第一排最右側(cè)圖像)與原始圖像中的目標(biāo)物體非常接近。

本發(fā)明實(shí)施例的三維模型的外觀紋理提取方法的應(yīng)用場(chǎng)景有很多，例如集成到谷歌的sketchup軟件中，作為物體表面細(xì)節(jié)三維重建的輔助工具，簡(jiǎn)化計(jì)算機(jī)美術(shù)工程師的工作量。或者，集成到有機(jī)建模軟件pixologic的zbrush上作為紋理庫，方便計(jì)算機(jī)美術(shù)工程師在自由創(chuàng)作模型上使用感興趣的外觀紋理，增加模型的自然感與逼真度。

本發(fā)明實(shí)施例提供的一種三維模型的外觀紋理提取方法，能夠根據(jù)三維輸入圖像和初始代理模型，對(duì)初始代理模型進(jìn)行配準(zhǔn)擬合，形成擬合后代理模型；之后，根據(jù)擬合后代理模型，對(duì)三維輸入圖像進(jìn)行本征圖像分解，生成三維輸入圖像的本征圖像分解后幾何形狀和三維輸入圖像的反照率信息，進(jìn)而確定三維輸入圖像的二級(jí)幾何紋理和材質(zhì)紋理。該二級(jí)幾何紋理和材質(zhì)紋理即為待提取的外觀紋理?？梢?，本發(fā)明能夠自動(dòng)分析變形擬合，并提取外觀紋理，簡(jiǎn)化了人工制作高精度三維模型的過程，避免了當(dāng)前現(xiàn)有技術(shù)難以快捷有效地進(jìn)行三維模型的外觀紋理提取的問題。

對(duì)應(yīng)于圖1和圖2所示的方法實(shí)施例，如圖13所示，本發(fā)明實(shí)施例提供一種三維模型的外觀紋理提取裝置，包括：

圖像獲取單元401，用于獲取預(yù)先設(shè)置的初始代理模型，并獲取用戶輸入的三維輸入圖像。

配準(zhǔn)擬合單元402，用于根據(jù)所述三維輸入圖像和初始代理模型，對(duì)所述初始代理模型進(jìn)行配準(zhǔn)擬合，形成擬合后代理模型。

本征圖像分解單元403，用于根據(jù)擬合后代理模型，對(duì)所述三維輸入圖像進(jìn)行本征圖像分解，生成三維輸入圖像的本征圖像分解后幾何形狀和三維輸入圖像的反照率信息。

外觀紋理提取單元404，用于確定三維輸入圖像的二級(jí)幾何紋理和材質(zhì)紋理。

具體的，如圖14所示，所述配準(zhǔn)擬合單元402，包括：

顯著性勢(shì)能場(chǎng)生成模塊421，可以確定三維輸入圖像的顯著性輪廓圖，生成顯著性勢(shì)能場(chǎng)。

對(duì)應(yīng)點(diǎn)優(yōu)化模塊422，可以根據(jù)所述顯著性勢(shì)能場(chǎng)，通過隱馬爾科夫過程優(yōu)化顯著性勢(shì)能場(chǎng)與所述初始代理模型投影的對(duì)應(yīng)點(diǎn)。

剛性配準(zhǔn)模塊423，可以根據(jù)所述顯著性勢(shì)能場(chǎng)與所述初始代理模型投影的對(duì)應(yīng)點(diǎn)進(jìn)行剛性配準(zhǔn)優(yōu)化相機(jī)位置。

非剛性配準(zhǔn)模塊424，可以根據(jù)優(yōu)化后的相機(jī)位置更新初始代理模型投影的對(duì)應(yīng)點(diǎn)，并且進(jìn)行非剛性變形配準(zhǔn)形成擬合后代理模型。

此外，所述顯著性勢(shì)能場(chǎng)生成模塊421，具體用于：

根據(jù)邊緣檢測(cè)算法確定三維輸入圖像的顯著性輪廓。

生成顯著性輪廓圖對(duì)應(yīng)的顯著性勢(shì)能場(chǎng)；所述顯著性勢(shì)能場(chǎng)表示為：其中，p_i與p_j為顯著性輪廓圖中的任意兩個(gè)像素i和j的位置；J為所有被檢測(cè)為邊緣線的像素的集合；w為控制像素i，j之間的距離和顯著性強(qiáng)度的影響權(quán)重；s_j為像素j所處位置的顯著性強(qiáng)度。

此外，所述對(duì)應(yīng)點(diǎn)優(yōu)化模塊422，具體用于：

根據(jù)公式：

確定顯著性輪廓圖中的像素點(diǎn)位置p_j與初始代理模型點(diǎn)位置v_i的狀態(tài)發(fā)射概率P(v_i|p_j)與狀態(tài)轉(zhuǎn)移概率P(p_j|p_j-1)的一組最大乘積；其中，0≤i≤n，0≤j≤m；其中，S(v_i,p_j)為顯著性輪廓圖中的像素點(diǎn)與初始代理模型點(diǎn)的匹配分?jǐn)?shù)；s_j為像素j所處位置的顯著性強(qiáng)度；a、b為預(yù)設(shè)參數(shù)，分別為0.7與0.5；t_i、t_j分別為像素i與像素j兩點(diǎn)邊的方向向量；d_i＝||v_i-v_i-1||、d_j＝||p_i-p_i-1||；σ為正態(tài)分布標(biāo)準(zhǔn)差。

將狀態(tài)發(fā)射概率P(v_i|p_j)與狀態(tài)轉(zhuǎn)移概率P(p_j|p_j-1)的一組最大乘積對(duì)應(yīng)的顯著性輪廓圖中的像素點(diǎn)位置與初始代理模型點(diǎn)位置作為一組最優(yōu)對(duì)應(yīng)點(diǎn)。

此外，所述剛性配準(zhǔn)模塊423，具體用于：

求取一剛性變換T使得數(shù)據(jù)驅(qū)動(dòng)項(xiàng)data的值最小；其中，T＝min_TE_d(T(P))；數(shù)據(jù)驅(qū)動(dòng)項(xiàng)data表示為其中，I為初始代理模型中可見特征線的采樣點(diǎn)集合；v_i為初始代理模型的某一采樣點(diǎn)；F(v_i)表示初始代理模型的采樣點(diǎn)v_i在顯著性勢(shì)能場(chǎng)中的值；M(v_i)表示通過隱馬爾科夫過程優(yōu)化后顯著性勢(shì)能場(chǎng)與所述初始代理模型投影的對(duì)應(yīng)點(diǎn)位置。

將數(shù)據(jù)驅(qū)動(dòng)項(xiàng)data的值最小時(shí)對(duì)應(yīng)的代理模型作為剛性配準(zhǔn)后的代理模型。

此外，所述非剛性配準(zhǔn)模塊424，具體用于：

根據(jù)剛性配準(zhǔn)后的代理模型更新初始代理模型投影的對(duì)應(yīng)點(diǎn)，并且根據(jù)非剛性變形配準(zhǔn)函數(shù)進(jìn)行非剛性變形配準(zhǔn)。

所述非剛性變形配準(zhǔn)函數(shù)為：其中，E_s(P)為形狀約束函數(shù)；E_p(P)為局部平面性約束函數(shù)。

此外，所述本征圖像分解單元403，具體用于：

根據(jù)公式：

R＝I-S(Z,L)

通過三維輸入圖像I確定最優(yōu)三維輸入圖像的反照率信息R、最優(yōu)明暗陰影圖像S、最優(yōu)光照信息L以及最優(yōu)幾何形狀Z；

其中，g(R)為反照率損失函數(shù)，N(i)為一個(gè)以像素i為中心的5×5窗口；ci與cj是像素i與j的色度值，Ri與Rj是像素i與j的反照率值，權(quán)重函數(shù)

f(Z)為幾何形狀損失函數(shù)，其中G(Z_i,r)為像素位置i經(jīng)過半徑r的高斯平滑后的深度值，Z_i(P_align)表示擬合后代理模型在像素位置i處的深度值；

h(L)為光照損失函數(shù)，其中μ_L與∑_L為多元高斯分布對(duì)應(yīng)的均值向量與方差矩陣，λ_L為權(quán)重系數(shù)。

此外，所述外觀紋理提取單元404，具體用于：

根據(jù)第一級(jí)精確形狀與第二級(jí)精確形狀的差，確定二級(jí)幾何紋理；所述第一級(jí)精確形狀通過三維輸入圖像的本征圖像分解后幾何形狀的法向圖引導(dǎo)變形得到；所述第二級(jí)精確形狀通過第一級(jí)精確形狀加上與三維輸入圖像的本征圖像分解后幾何形狀之間沿法線方向的偏移量得到。

根據(jù)三維輸入圖像的反照率信息轉(zhuǎn)化到擬合后代理模型的參數(shù)網(wǎng)格，形成材質(zhì)紋理。

需要說明的是，本發(fā)明實(shí)施例提供的一種三維模型的外觀紋理提取裝置的具體實(shí)現(xiàn)方式可以參見上述的方法實(shí)施例，此處不再贅述。

本發(fā)明實(shí)施例提供的一種三維模型的外觀紋理提取裝置，能夠根據(jù)三維輸入圖像和初始代理模型，對(duì)初始代理模型進(jìn)行配準(zhǔn)擬合，形成擬合后代理模型；之后，根據(jù)擬合后代理模型，對(duì)三維輸入圖像進(jìn)行本征圖像分解，生成三維輸入圖像的本征圖像分解后幾何形狀和三維輸入圖像的反照率信息，進(jìn)而確定三維輸入圖像的二級(jí)幾何紋理和材質(zhì)紋理。該二級(jí)幾何紋理和材質(zhì)紋理即為待提取的外觀紋理。可見，本發(fā)明能夠自動(dòng)分析變形擬合，并提取外觀紋理，簡(jiǎn)化了人工制作高精度三維模型的過程，避免了當(dāng)前現(xiàn)有技術(shù)難以快捷有效地進(jìn)行三維模型的外觀紋理提取的問題。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本發(fā)明可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

本發(fā)明是參照根據(jù)本發(fā)明實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。

本發(fā)明中應(yīng)用了具體實(shí)施例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。