一種基于邊緣圖的三維人臉重建方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種基于邊緣圖的三維人臉重建方法及其系統(tǒng)，其方法包括步驟一：根據(jù)二維圖像的人臉特征點(diǎn)，生成二維人臉邊緣線；步驟二：根據(jù)規(guī)范化之后的三維人臉樣本庫(kù)建立三維人臉邊緣圖，同時(shí)對(duì)規(guī)范化之后的三維人臉樣本庫(kù)進(jìn)行主成份分解得出各特征向量；步驟三：通過(guò)遺傳算法匹配目標(biāo)圖像的二維人臉邊緣線與三維人臉邊緣圖，進(jìn)行尋優(yōu)得到目標(biāo)圖像的三維重建系數(shù)序列；步驟四：綜合步驟二中的各特征向量及步驟三中的三維重建系數(shù)序列重建出三維人臉模型。本方法解決了人臉姿態(tài)變換的問(wèn)題，大大降低了特征點(diǎn)標(biāo)定對(duì)重建造成誤差，對(duì)稀疏形變模型對(duì)標(biāo)定特征點(diǎn)敏感的問(wèn)題得到了良好的改進(jìn)。
【專利說(shuō)明】一種基于邊緣圖的三維人臉重建方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)圖形學(xué)、數(shù)字圖像處理以及人工智能等領(lǐng)域，具體是一種通過(guò) 平面圖像進(jìn)行三維人臉建模的方法及系統(tǒng)。

【背景技術(shù)】
[0002] 人臉重建有許多經(jīng)典方法，如形變模型重建的方法一直是近年的研究熱點(diǎn)，其利 用線性組合的思想，將已有的樣本分解為特征子空間，并利用特征子空間中的基表示特定 實(shí)例。然而，由于形變模型是通過(guò)迭代方法尋求全局最優(yōu)解，通過(guò)三維模型的點(diǎn)點(diǎn)迭代尋 優(yōu)，其尋優(yōu)過(guò)程及其耗時(shí)。另外，稀疏形變模型方法，根據(jù)面部少量特征點(diǎn)近似求解形變參 數(shù)來(lái)恢復(fù)人臉深度信息。由于其速度快、真實(shí)度還原較好，多數(shù)三維重建算法及后續(xù)工作都 是建立在稀疏形變模型的方法之上。然而，稀疏形變模型存在兩個(gè)方面的主要缺點(diǎn)，其一是 對(duì)人臉姿態(tài)的適應(yīng)性較差，無(wú)法對(duì)有姿態(tài)變化的點(diǎn)進(jìn)行重建，其二是對(duì)目標(biāo)特征點(diǎn)的標(biāo)定 精度要求高，特征點(diǎn)的標(biāo)定直接影響了算法的重建精度。為了克服稀疏形變模型的這兩個(gè) 缺點(diǎn)，提出了基于邊緣圖的三維人臉重建方法。


【發(fā)明內(nèi)容】

[0003] 針對(duì)經(jīng)典的形變模型與稀疏形變模型的主要缺點(diǎn)，本發(fā)明提供一種三維人臉的快 速重建方法及其系統(tǒng)，其對(duì)平面照片中人臉姿態(tài)變化有很好的適應(yīng)性，并能減少由于特征 點(diǎn)標(biāo)定誤差所帶來(lái)的影響，達(dá)到了對(duì)單張任意姿態(tài)二維人臉照片能夠迅速還原出其三維形 狀。這對(duì)于人臉重構(gòu)、人臉識(shí)別的研究與實(shí)際應(yīng)用的開(kāi)發(fā)都具有重要的理論與實(shí)際意義。具 體技術(shù)方案如下：
[0004] 一種基于邊緣圖的三維人臉重建方法，包括如下步驟：
[0005] 步驟一：根據(jù)二維圖像的人臉特征點(diǎn)，生成二維人臉邊緣線；
[0006] 步驟二：根據(jù)規(guī)范化之后的三維人臉樣本庫(kù)建立三維人臉邊緣圖，同時(shí)對(duì)規(guī)范化 之后的三維人臉樣本庫(kù)進(jìn)行主成份分解得出各特征向量；
[0007] 步驟三：通過(guò)遺傳算法匹配目標(biāo)圖像的二維人臉邊緣線與三維人臉邊緣圖，進(jìn)行 尋優(yōu)得到目標(biāo)圖像的三維重建系數(shù)序列；
[0008] 步驟四：綜合步驟二中的各特征向量及步驟三中的三維重建系數(shù)序列重建出三維 人臉模型。
[0009] 優(yōu)選的，所述步驟一進(jìn)一步具體包括：輸入二維圖像，標(biāo)定二維圖像上的人臉特征 點(diǎn)，再根據(jù)特征點(diǎn)所在的不同特征區(qū)域?qū)⑻卣鼽c(diǎn)相組合連接，生成描繪人臉特征部位邊緣 信息的線段集，即二維人臉邊緣線，每個(gè)特征區(qū)域的邊緣線中的線段集將構(gòu)成一個(gè)閉合的 折線，這條折線位于特征部位的邊緣上，將特征部位包含在內(nèi)，表達(dá)特征部位的邊緣信息。 [0010] 所述步驟二中根據(jù)規(guī)范化之后的三維人臉樣本庫(kù)建立三維人臉邊緣圖進(jìn)一步具 體包括：輸入三維人臉模型樣本庫(kù)，規(guī)范化三維人臉模型樣本庫(kù)生成三維樣本模型，將人臉 特征部位的角點(diǎn)、邊緣用點(diǎn)標(biāo)記，再將這些描繪人臉特征部位邊緣信息的點(diǎn)組合連接成為 三維樣本模型特征部位的3D邊緣線；在三維樣本模型上表示3D邊緣線的閉合折線的內(nèi)外 兩側(cè)選取眾多點(diǎn)，所選取的這些點(diǎn)需在閉合折線附近、靠近閉合折線，并能夠表示閉合折線 的（位置、形狀、變化趨勢(shì)等）信息，這些點(diǎn)集就是三維人臉邊緣圖。
[0011] 所述步驟三包括如下步驟：
[0012] (1)產(chǎn)生初始種群：
[0013] 設(shè)定每代種群包含N個(gè)三維重建系數(shù)序列：4?，…，fN，其中f = (βρ β2，… ，β m，α，Υ，δ，k) e Γ+4，（ α，γ，δ )為人臉對(duì)應(yīng)三個(gè)方向，χ軸，y軸，ζ軸的旋轉(zhuǎn)角度， (α，Υ，δ) e (-45°?45° )，根據(jù)三維重建系數(shù)序列中每個(gè)系數(shù)的范圍，均勻選取系數(shù)， 作為初代種群；
[0014] (2)選擇：
[0015] 首先定義F為每個(gè)三維重建系數(shù)序列的適應(yīng)度函數(shù)，其為三維人臉邊緣圖上點(diǎn)到 其對(duì)應(yīng)二維人臉邊緣線的距離和：F = 1/D，

【權(quán)利要求】
1. 一種基于邊緣圖的三維人臉重建方法，其特征在于，包括如下步驟： 步驟一：根據(jù)二維圖像的人臉特征點(diǎn)，生成二維人臉邊緣線； 步驟二：根據(jù)規(guī)范化之后的三維人臉樣本庫(kù)建立三維人臉邊緣圖，同時(shí)對(duì)規(guī)范化之后 的三維人臉樣本庫(kù)進(jìn)行主成份分解得出各特征向量； 步驟三：通過(guò)遺傳算法匹配目標(biāo)圖像的二維人臉邊緣線與三維人臉邊緣圖，進(jìn)行尋優(yōu) 得到目標(biāo)圖像的三維重建系數(shù)序列； 步驟四：綜合步驟二中的各特征向量及步驟三中的三維重建系數(shù)序列重建出三維人臉 模型。
2. 根據(jù)權(quán)利要求1所述的一種基于邊緣圖的三維人臉重建方法，其特征在于，所述步 驟一進(jìn)一步具體包括：輸入二維圖像，標(biāo)定二維圖像上的人臉特征點(diǎn)，再根據(jù)特征點(diǎn)所在的 不同特征區(qū)域?qū)⑻卣鼽c(diǎn)相組合連接，生成描繪人臉特征部位邊緣信息的線段集，即二維人 臉邊緣線，每個(gè)特征區(qū)域的邊緣線中的線段集將構(gòu)成一個(gè)閉合的折線，這條折線位于特征 部位的邊緣上，將特征部位包含在內(nèi)，表達(dá)特征部位的邊緣信息。
3. 根據(jù)權(quán)利要求1所述的一種基于邊緣圖的三維人臉重建方法，其特征在于，所述步 驟二中根據(jù)規(guī)范化之后的三維人臉樣本庫(kù)建立三維人臉邊緣圖進(jìn)一步具體包括：輸入三維 人臉模型樣本庫(kù)，規(guī)范化三維人臉模型樣本庫(kù)生成三維樣本模型，將人臉特征部位的角點(diǎn)、 邊緣用點(diǎn)標(biāo)記，再將這些描繪人臉特征部位邊緣信息的點(diǎn)組合連接成為三維樣本模型特征 部位的3D邊緣線；在三維樣本模型上表示3D邊緣線的閉合折線的內(nèi)外兩側(cè)選取眾多點(diǎn)，所 選取的這些點(diǎn)需在閉合折線附近、靠近閉合折線，并能夠表示閉合折線的相關(guān)信息，這些點(diǎn) 集就是三維人臉邊緣圖。
4. 根據(jù)權(quán)利要求1所述的一種基于邊緣圖的三維人臉重建方法，其特征在于，所述步 驟三包括如下步驟： (1) 產(chǎn)生初始種群： 設(shè)定每代種群包含N個(gè)三維重建系數(shù)序列：f\，f2，…，fN，其中，…，βπ， α，γ，δ，k) e Γ+4,（ α，γ，δ )為人臉對(duì)應(yīng)三個(gè)方向，X軸，y軸，ζ軸的旋轉(zhuǎn)角度，（α， Υ，δ) e (-45°?45° )，根據(jù)三維重建系數(shù)序列中每個(gè)系數(shù)的范圍，均勻選取系數(shù)，作為 初代種群； (2) 選擇： 首先定義F為每個(gè)三維重建系數(shù)序列的適應(yīng)度函數(shù)，其為三維人臉邊緣圖上點(diǎn)到其對(duì) 應(yīng)二維人臉邊緣線的距離和：F = 1/D，D = Σ?=1 I Σ?=1 η代表三維人臉邊緣 圖上點(diǎn)的總數(shù)目，k為二維人臉邊緣線的總數(shù)目，0 (Pi，ip代表三維人臉邊緣圖上點(diǎn)Pi與其 對(duì)應(yīng)二維人臉邊緣線上直線L的點(diǎn)線間距離，S定義為符號(hào)函數(shù)，表示點(diǎn)與對(duì)應(yīng)直線間的位 置關(guān)系：
然后根據(jù)適應(yīng)度函數(shù)F計(jì)算種群中每個(gè)基因的適應(yīng)度：匕，F(xiàn)2，…，F(xiàn)N，根據(jù)所計(jì)算出的 適應(yīng)度序列將上代三維重建系數(shù)序列進(jìn)行降序排列：f/，f2'，···，&'，將適應(yīng)度最大的 點(diǎn)作為猴王點(diǎn)f/ ; (3) 交叉： 對(duì)（2)中產(chǎn)生的降序序列以猴王點(diǎn)f/為中心，按下式進(jìn)行交叉運(yùn)算得到下代種群的 新點(diǎn)： fl = fV ; fj = f/ +λ · (random-〇· 5) · (f/ -fj'），j = 2,3,…，N ; f/為上代猴王點(diǎn)；random為0-1之間的隨機(jī)數(shù)；λ為變異調(diào)整系數(shù)，取3?5。 (4) 變異： 從第二代開(kāi)始引入變異計(jì)算，設(shè)變異比例為rb，那么有ib = rb · Ν個(gè)變異基因；從第二 代開(kāi)始，將上代升序矩陣中排在后面的ib個(gè)較劣的隨機(jī)產(chǎn)生的三維重建系數(shù)序列替代，再 重復(fù)選擇-交叉-變異過(guò)程。 通過(guò)不斷的選擇-交叉-變異過(guò)程，直到達(dá)到預(yù)定的最大迭代數(shù)Μ代或預(yù)先設(shè)定的適 應(yīng)度閾值后，停止迭代，輸出最終代的猴王點(diǎn)即為尋優(yōu)求解的三維重建系數(shù)序列。
5. 根據(jù)權(quán)利要求1所述的一種基于邊緣圖的三維人臉重建方法，其特征在于，所述步 驟四所利用的重建公式為： = k* (Rotate(a,y;6) * ΣΤ=? β?5"/) ; 其中，R〇tate(a，γ，δ )表示旋轉(zhuǎn)變換，Si為對(duì)規(guī)范化之后的三維人臉樣本庫(kù)進(jìn)行主 成份分解得出的各特征向量，UY，S ) e (-45°?45° )，β i e (-3?3)，k彡2。
6. -種基于邊緣圖的三維人臉重建系統(tǒng)，其特征在于，包括初始化模塊、三維重建系數(shù) 序列尋優(yōu)模塊及三維人臉模型重建模塊； 所述的初始化模塊用于根據(jù)二維圖像的人臉特征點(diǎn)，生成二維人臉邊緣線并將其輸出 至三維重建系數(shù)尋優(yōu)模塊；根據(jù)規(guī)范化之后的三維人臉樣本庫(kù)建立三維人臉邊緣圖并將其 輸出至三維重建系數(shù)尋優(yōu)模塊；對(duì)規(guī)范化之后的三維人臉樣本庫(kù)進(jìn)行主成份分解得出各特 征向量并將其輸出至三維人臉模型重建模塊； 所述的三維重建系數(shù)序列尋優(yōu)模塊用于通過(guò)遺傳算法匹配目標(biāo)圖像的二維人臉邊緣 線與三維人臉邊緣圖，進(jìn)行尋優(yōu)得到目標(biāo)圖像的三維重建系數(shù)序列并將結(jié)果輸出至三維人 臉模型重建模塊； 所述的三維人臉模型重建模塊用于重建出三維人臉模型。
【文檔編號(hào)】G06T15/00GK104299264SQ201410521490
【公開(kāi)日】2015年1月21日 申請(qǐng)日期:2014年9月30日 優(yōu)先權(quán)日:2014年9月30日
【發(fā)明者】周大可, 曹元鵬, 方三勇 申請(qǐng)人:南京航空航天大學(xué)