專利名稱：基于拉普拉斯變換的數(shù)據(jù)驅動人臉表情合成方法
技術領域：
本發(fā)明涉及計算機圖形學及計算機動畫技術領域，特別是涉及一種基于拉普拉斯 變換的數(shù)據(jù)驅動人臉表情合成方法。
背景技術：
計算機人臉表情動畫技術可以合成高度真實感的虛擬人臉表情，它提供了一種快 速、高效的刻畫虛擬人物表情的工具。人臉表情合成技術將捕獲的人臉表情信息有效地遷 移到任意人臉模型中，從而合成各種各樣的真實感人臉表情。近年來，該技術已被廣泛地應 用于計算機游戲、在線聊天以及其他人機交互領域。人臉表情細節(jié)可以極大地提高人臉表情動畫的真實感，而實時三維掃描系統(tǒng) 可以從多個層面上記錄人臉表情細節(jié)。近年，一些研究人員提出將臉部特征在空間上 分為精細、中等與粗糙三種等級，每種代表不同級別的表情運動細節(jié)，使用非線性能量 優(yōu)化方法將較高級別的細節(jié)添加到帶有較低級別表情細節(jié)的人臉基網(wǎng)格中，參見Bernd Bickel, Mario Botsch, RolandAngst, Wojciech Matusik, Miguel Otaduy, Hanspeter Pfister, and MarkusGross. Multi-scale capture of facial geometry and motion. ACM Transactionson Graphics，2007，26 :33_41。還有一些研究人員使用真實感動態(tài) 皺紋和高級別人臉細節(jié)來自動地合成臉部表情。該方法可以構造出大尺度肌肉運動、 中等尺度以及較高級別的臉部皺紋以及動態(tài)的皮膚毛孔細節(jié)等，參見Wan-Chun Ma, Andrew Jones， Jen-Yuan Chiang， Tim Hawkins, SuneFrederiksen, Pieter Peers， Marko Vukovic, Ming Ouhyoung, and Paul Debevec. Facial performance synthesis using deformation-driven polynomialdisplacement maps. ACM Transactions on Graphics， 27 :1-10，2008。然而，獲取臉部細節(jié)需要高級硬件設備的支持，通常代價比較大，而且捕獲 過程對操作人員的技術要求較高，這種借助增添人臉表情細節(jié)提高人臉表情真實感的方法 不適合普通大眾的使用。近年，混和樣本合成人臉表情技術被廣泛地應用于真實感人臉動畫技術中。一 些研究人員提出了一個基于樣例的人臉動畫克隆方法，參見Hyewon Pyun, Yejin Kim, Wonseok Chae, Hyung Woo Kang, and Sung Yong Shin. An example-based approach for facial expression cloning. In Proceedings of Symposium on Computer Animation, pages 167-176, Aire-la-Ville, Switzerland,2003. Eurographics Association。 還 有一些研究人員提出基于混和樣例的表演驅動人臉動畫方法，參見Erika Chuang and Christoph Bregler. Mood swings :expressive speech animation.ACMTransactions on Graphics, 24 :331_347，2005。但是，混和樣本合成人臉表情動畫方法需要提供一個較高 質量的人臉表情樣本庫，構建一個滿足要求的人臉表情樣本庫需要較大的人力和物力，這 對普通大眾來說是一個很大的難題。而且，最終合成的人臉表情的真實程度由給定的樣本 以及混和權系數(shù)來確定。最近，另有一些研究人員提出了自動地構造最優(yōu)人臉表情樣本的 方法，可以很大程度上節(jié)省勞力成本，同時他們還給出了一種精確地計算混和權重的方法，可以有效地避免誤差累積，參見 Xuecheng Liu, Tianlu Mao, Shihong Xia, Yong Yu, and Zhaoqi Wang. Facial animation by optimized blendshapes from motion capture data. Computer Animation and Virtual Worlds，19 :235_245，2008。M胃，入 線性問題。上述的混和樣本的方法企圖使用線性方法來解決這一非線性問題，所合成表情 較單一，而且合成的表情局限在給定樣本的線性組合范圍內(nèi)。直接人臉表情遷移技術是另一種合成人臉表情動畫的途徑。Noh等人提出了一 種將臉部表情克隆到新模型的方法，參見Junyong Noh and Ulrich Neumann. Expression cloning. In Proceedings of ACM SIGGRAPH, pages277-288, New York, USA, 2001. ACM。一些 研究人員提出使用“網(wǎng)格距離”進行人臉表情運動傳播，以人臉特征點到其他頂點的網(wǎng)格距 離作為度量標準來計算特征部位的表情變化對其他非特征部位的影響，參見Zhigang Deng and Ulrich Neumann. Expressive speech animation synthesis with phoneme-level control. Computer Graphics Forum，27 :2096_2113，2008。然而這些直接表情遷移技術 在合成真實感人臉表情的過程中沒有考慮人臉模型本身的細節(jié)。已知人臉特征點表情變 化量，Zhao等人提出使用對偶拉普拉斯變形技術實現(xiàn)人臉表情遷移，參見Hui Zhao and Chiew-Lan Tai. Subtle facial animation transfer from 2d videos to 3d faces with laplacian deformation. In Proceedings of Computer Animation and Social Agents, Hasselt, Belgium, June 11-13，2007。然而，正如該文作者在文中所提那樣，該方法沒有考 慮三維人臉表情變化，只考慮了二維情形。當表情變化會引起第三維空間變化時，該方法將 會得到一些奇異的結果。

發(fā)明內(nèi)容
本發(fā)明提供一種基于拉普拉斯變換的數(shù)據(jù)驅動人臉表情合成方法。該方法將采集 的表演者真實人臉表情變化遷移到一個虛擬的中性目標人臉模型上，從而方便地合成真實 感人臉表情動畫。本發(fā)明的每一個步驟都可以在家用電腦的圖形卡硬件中處理，為非專業(yè) 人員提供了 一種簡便且直觀的人臉表情動畫合成方法。為了達到上述目的，本發(fā)明所采用技術方案如下包括以下六個步驟1)使用運動捕獲設備精確地采集表演者的臉部特征部位的運動；2)將步驟1)中捕獲的臉部特征部位的運動數(shù)據(jù)分解為臉部表情運動和頭部剛體 運動；3)載入中性目標人臉模型；4)根據(jù)中性目標人臉模型的幾何結構與拓撲結構，計算中性目標人臉模型中各頂 點的拉普拉斯坐標；5)將步驟2)中分解所得的臉部表情運動遷移到中性目標人臉模型上，使得中性 目標人臉模型具有與表演者一致的表情；6)將步驟2)中分解所得的頭部剛體運動遷移到步驟5)中得到的具有與表演者一 致表情的目標人臉模型上，使得最終的目標人臉模型具有與表演者一致的面部表情與頭部 姿態(tài)。本發(fā)明所述的采集表演者臉部特征部位的運動的方法如下
5
使用光學運動捕獲設備精確地記錄下表演者的臉部特征部位的空間運動軌跡。根 據(jù)運動圖像專家組MPEG于1999年2月正式公布的MPEG-4標準(于2000年年初正式成為 國際標準)，在表演者臉部特征部位放置若干表情馬克點，以記錄表演者的臉部特征部位的 運動。這樣捕獲的馬克點的運動不僅記錄下了表演者臉部表情的變化，同時還記錄下了表 演者頭部的隨機運動。為了分離這兩類運動，與此同時，在表演者的臉部、額頭等受臉部表 情變化影響較小的位置放置若干非表情馬克點，以記錄表演者的頭部隨機運動。在采集過 程中，允許表演者像在日常交流中那樣自然地展現(xiàn)各種不同的臉部表情與頭部姿態(tài)，如此 捕獲的人臉運動數(shù)據(jù)可以全面而真實地反應人類日常生活中的各種表情變化和頭部運動。本發(fā)明所述的將捕獲的臉部特征部位的運動數(shù)據(jù)分解為臉部表情運動和頭部剛 體運動的方法如下捕獲的臉部特征點的運動Ft與相應的臉部表情變化F',和頭部剛體運動At (At包 括旋轉變換Rt和平移變換Tt)滿足下式Ft = RtF' t+Tt式中，矩陣Rt與矩陣Tt分別是頭部剛體運動At的旋轉變換部分和平移變換部分。非表情馬克點的運動只包含頭部剛體運動，因此使用它們的運動軌跡來描述頭部 剛體運動At。相應地，臉部的表情變化F' t可由下式得到
權利要求
一種基于拉普拉斯變換的數(shù)據(jù)驅動人臉表情合成方法，該方法包括(1)采集表演者臉部特征部位的運動；(2)將步驟(1)中捕獲的臉部特征部位的運動數(shù)據(jù)分解為臉部表情運動和頭部剛體運動；(3)載入中性目標人臉模型；(4)計算中性目標人臉模型中各頂點的拉普拉斯坐標；(5)采用拉普拉斯變形技術，將步驟(2)中分解所得的臉部表情運動遷移到中性目標人臉模型上，使得目標人臉模型具有與表演者一致的臉部表情；(6)將步驟(2)中分解所得的頭部剛體運動遷移到具有與表演者一致表情的目標人臉模型上，使得目標人臉模型具有與表演者一致的臉部表情與頭部姿態(tài)。
2.根據(jù)權利要求1所述的基于拉普拉斯變換的數(shù)據(jù)驅動人臉表情合成方法，其特征在 于所述的采集表演者臉部特征部位的運動的方法如下在表演者的表情特征部位放置若干感光的馬克點，使用光學運動捕獲設備記錄下這些 馬克點的運動。
3.根據(jù)權利要求1所述的基于拉普拉斯變換的數(shù)據(jù)驅動人臉表情合成方法，其特征在 于所述的將捕獲的臉部特征部位的運動數(shù)據(jù)分解為臉部表情運動和頭部剛體運動的方法 如下捕獲的臉部特征點的運動Ft與相應的臉部表情變化F' t和頭部剛體運動At，其中At 包括旋轉變換Rt和平移變換Tt，滿足下式Ft = RtF' t+Tt式中，Rt是頭部剛體運動的旋轉變換，Tt是頭部剛體運動的平移變換。
4.根據(jù)權利要求1所述的基于拉普拉斯變換的數(shù)據(jù)驅動人臉表情合成方法，其特征在 于所述的載入中性目標人臉模型的方法如下選擇一個中性目標人臉模型，將該模型的幾何信息和拓撲信息載入。
5.根據(jù)權利要求1所述的基于拉普拉斯變換的數(shù)據(jù)驅動人臉表情合成方法，其特征在 于所述的步驟(4)計算中性目標人臉模型中各頂點的拉普拉斯坐標的方法為一個頂點的拉普拉斯坐標可由該頂點的歐式坐標以及其所有相鄰頂點來描述，計算公 式如下U 7卿)ι式中，Si是頂點Vi的拉普拉斯坐標，Cli= |N(i)是集合N(i)中元素的個數(shù)，N(i)是 頂點Vi的所有相鄰頂點的下標所構成的集合。
6.根據(jù)權利要求1所述的基于拉普拉斯變換的數(shù)據(jù)驅動人臉表情合成方法，其特征在 于所述的步驟(5)的方法如下(1)固定中性目標人臉模型中若干頂點不變；(2)將從捕獲的表演者臉部特征部位的運動數(shù)據(jù)中提取的特征點表情運動遷移到中性 目標人臉模型中對應的特征點上，(3)保持中性目標人臉模型的頂點拉普拉斯坐標不變；(4)求解一個滿足以上要求的最優(yōu)化問題，可獲得一個與表演者表情一致的目標人臉，最優(yōu)化問題的計算公式如下
7.根據(jù)權利要求1所述的基于拉普拉斯變換的數(shù)據(jù)驅動人臉表情合成方法，其特征在 于所述的步驟(6)的方法如下表演者頭部剛體運動At包括一個旋轉變換Rt和一個平移變換Tt，將這兩個變換應用 于帶有表情的目標人臉模型上，使得目標人臉模型具有與表演者一致的臉部表情和頭部姿 態(tài)，計算公式如下M" t = RtM' t+Tt式中，M' t是帶表情的目標人臉模型，Μ" t是帶有相應臉部表情和頭部姿態(tài)的目標人 臉模型。
全文摘要
本發(fā)明公開了一種基于拉普拉斯變換的數(shù)據(jù)驅動人臉表情合成方法，包括將采集表演者的臉部運動后捕獲的臉部運動數(shù)據(jù)分解為臉部表情運動和頭部剛體運動，計算載入的中性目標人臉模型中各頂點的拉普拉斯坐標，將臉部表情運動遷移到中性目標人臉模型上，使得中性目標人臉模型具有與表演者一致的表情，將頭部剛體運動遷移到具有與表演者一致表情的目標人臉模型上，使得最終的目標人臉模型具有與表演者一致的面部表情與頭部姿態(tài)。本發(fā)明基于可保留模型原有細節(jié)特征的拉普拉斯變形技術，實現(xiàn)人臉表情遷移的同時保持目標人臉模型上的已有細節(jié)特征，算法明確，界面友好，結果魯棒，可方便地應用于計算機游戲、在線聊天以及其他人機交互領域。
文檔編號G06T13/00GK101944238SQ20101029355
公開日2011年1月12日 申請日期2010年9月27日 優(yōu)先權日2010年9月27日
發(fā)明者萬賢美, 金小剛 申請人:浙江大學