專利名稱：基于動作捕獲數(shù)據(jù)驅(qū)動的二維卡通表情動畫制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機動畫輔助設(shè)計領(lǐng)域，尤其涉及一種動作捕獲數(shù)據(jù)驅(qū)動的二維卡通表情動畫制作方法。
背景技術(shù)：
在卡通動畫制作領(lǐng)域，如何創(chuàng)作出形象生動的卡通表情動畫是一個值得討論的問題。完全依靠動畫師手工完成的卡通表情動畫不但難以確保其效果生動形象，而且對動畫師的制作技術(shù)、經(jīng)驗和工作量也是一種挑戰(zhàn)。如何自動或半自動的生成出較為生動形象的表情動畫，這成為計算機輔助設(shè)計領(lǐng)域的一個熱門話題，也是學(xué)術(shù)界和產(chǎn)業(yè)界共同關(guān)心的問題。事實上，在卡通人臉動畫制作中，靜態(tài)二維卡通人臉圖像的繪制對于動畫師而言并非難事，且隨著光學(xué)運動捕獲系統(tǒng)的使用，稀疏二維動態(tài)人臉表情數(shù)據(jù)的獲取也越來越容易和普及。因此，基于靜態(tài)二維卡通人臉圖像及動態(tài)人臉表情數(shù)據(jù)融合高效生成二維卡通人臉表情動畫是一個可行的思路。當(dāng)前人臉表情動畫制作技術(shù)主要分為以下幾類基于關(guān)鍵幀插值的動畫制作技術(shù)動畫師制作若干關(guān)鍵幀表情，通過差值生成兩幀之間的過渡幀，這種方法被稱為關(guān)鍵幀差值方法。傳統(tǒng)的二維卡通動畫制作大多采用這種方法，它的優(yōu)點是簡單便捷，有經(jīng)驗的動畫師通過制作高質(zhì)量的關(guān)鍵幀可以做出較生動的卡通動畫。但這種方法的效果依賴于關(guān)鍵幀的質(zhì)量和數(shù)目，對動畫師的經(jīng)驗要求較高，也無法生成較為復(fù)雜的人臉表情變化?；趨?shù)化的表情動畫制作技術(shù)此類方法將人臉表情抽象成若干不同的參數(shù)， 用戶只需要調(diào)整參數(shù)即可實現(xiàn)不同表情之間的變化。最常用的參數(shù)化方法有面部動作編碼系統(tǒng)(Fical Action Coding System, FACS)和MPEG-4的人臉動畫驅(qū)動方法。此類方法在組合的參數(shù)相互之間產(chǎn)生沖突時大多缺乏調(diào)度機制，導(dǎo)致表情不自然；同時為了得到某一個特定的表情需要調(diào)整很多參數(shù)，這需要繁瑣的手工調(diào)試?；诨旌夏Ｐ偷谋砬閯赢嬛谱骷夹g(shù)此類方法在三維動畫領(lǐng)域中被廣泛應(yīng)用，其思路是不考慮人臉的物理屬性，而是直接采用一組三維表情模型(即變形目標(biāo))來定義一個線性空間，新的人臉表情由這組模型的線性組合來構(gòu)成。這種方法直觀方便，但缺點是變形目標(biāo)的創(chuàng)建過程復(fù)雜，需要大量藝術(shù)家的工作；且當(dāng)變形目標(biāo)的數(shù)量較大時，模型線性組合系數(shù)的人工調(diào)整會較繁瑣，致使動畫師難以實現(xiàn)制作意圖。基于表演驅(qū)動的表情動畫制作技術(shù)此類方法請演員來表演一段表情，然后使用這段表情數(shù)據(jù)來驅(qū)動卡通形象做出相同的表情。捕獲表情的過程又分為使用動作捕獲設(shè)備捕獲表情和普通表情視頻驅(qū)動兩種類型，前者驅(qū)動的動畫較為生動形象，而后者的優(yōu)點在于數(shù)據(jù)捕獲更加方便快捷?；诒砬轵?qū)動的表情動畫制作技術(shù)較為高效，且能夠生成相對形象的表情動畫，因此其在表情動畫制作領(lǐng)域的應(yīng)用日益廣泛。但運動數(shù)據(jù)與人臉模型的融合仍然需要大量的人工干預(yù)。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于動作捕獲數(shù)據(jù)驅(qū)動的二維卡通表情動畫制作方法?；趧幼鞑东@數(shù)據(jù)驅(qū)動的二維卡通表情動畫制作方法的步驟如下1)使用動作捕獲數(shù)據(jù)獲取演員表情，并從中跟蹤出演員表情特征序列IEJ ；由操作者在目標(biāo)卡通人臉上手動標(biāo)注出與演員表情特征序列{En}相同的目標(biāo)卡通人臉控制點集合E' 0；2)將目標(biāo)卡通人臉控制點集合E' ^乍為相對于目標(biāo)卡通人臉表情特征序列 {E' J的第零幀，對演員表情特征序列IEJ第零幀中演員人臉控制點集合與目標(biāo)卡通人臉控制點集合E'。進行數(shù)據(jù)的對齊，并依照對齊比例映射得出相對于目標(biāo)卡通人臉表情特征序列{E' J ；3)將目標(biāo)卡通人臉進行矢量化；4)使用基于移動最小二乘法的圖像變形方法，以矢量化的目標(biāo)卡通人臉作為目標(biāo)圖像，目標(biāo)卡通人臉表情特征序列{E' J作為目標(biāo)卡通人臉表情控制點集合進行變形，得到每一幀的圖像，完成基于動作捕獲數(shù)據(jù)驅(qū)動的二維卡通表情動畫的制作。所述的步驟2)為(1)在演員表情特征序列{En}和目標(biāo)卡通人臉表情特征序列{E' J中，均存在一個控制點，兩控制點的位移都不隨時間改變，將兩控制點作為偏移比例的基準(zhǔn)點C(cx， cy) e E0, C' (cx，，cy，) e E' 0 ；(2)對于演員表情特征序列IEJ第零幀中一個控制點Pi e 且Pi興C和目標(biāo)卡通人臉表情特征序列{Ε' n}第零幀中對應(yīng)的一個控制點Pi' e E' 且Pi' ^C'，定義其偏移比例s (Sxi, Syi) e S
權(quán)利要求
1.一種基于動作捕獲數(shù)據(jù)驅(qū)動的二維卡通表情動畫制作方法，其特征在于它的步驟如下1)使用動作捕獲數(shù)據(jù)獲取演員表情，并從中跟蹤出演員表情特征序列IEJ；由操作者在目標(biāo)卡通人臉上手動標(biāo)注出與演員表情特征序列IEJ相同拓撲結(jié)構(gòu)的目標(biāo)卡通人臉控制點集合E' ο；2)將目標(biāo)卡通人臉控制點集合E'^乍為相對于目標(biāo)卡通人臉表情特征序列{E' J 的第零幀，對演員表情特征序列IEJ第零幀中演員人臉控制點集合與目標(biāo)卡通人臉控制點集合E'。進行數(shù)據(jù)的對齊，并依照對齊比例映射得出相對于目標(biāo)卡通人臉表情特征序列IE' 1 ；3)將目標(biāo)卡通人臉進行矢量化；4)使用基于移動最小二乘法的圖像變形方法，以矢量化的目標(biāo)卡通人臉作為目標(biāo)圖像，目標(biāo)卡通人臉表情特征序列{E' J作為目標(biāo)卡通人臉表情控制點集合進行變形，得到每一幀的圖像，完成基于動作捕獲數(shù)據(jù)驅(qū)動的二維卡通表情動畫的制作。
2.根據(jù)權(quán)利要求1所述的一種動作捕獲數(shù)據(jù)驅(qū)動的二維卡通表情動畫制作方法，其特征在于，所述的步驟2)為(1)在演員表情特征序列IEJ和目標(biāo)卡通人臉表情特征序列{E'J中，均存在一個控制點，兩控制點的位移都不隨時間改變，將兩控制點作為偏移比例的基準(zhǔn)點C(cx， cy) e E0, C' (cx，，cy，) e E0 ；(2)對于演員表情特征序列{En}第零幀中一個控制點Pie 且Pi興C和目標(biāo)卡通人臉表情特征序列{Ε' n}第零幀中對應(yīng)的一個控制點Pi' e E'。且Pi' ^C'，定義其偏移比例 s (sx” Syi) e S ^Xi =——^y1 =-兄- cy(3)對表情特征序列的第j幀，jΦ 0 表情動畫的基準(zhǔn)點在整個動畫過程中不會發(fā)生位移，即C' i = Ci;(4)使用偏移比例S對第j幀的動作驅(qū)動數(shù)據(jù)進行映射X1 i = cx' i+SXj * (Xi-CXi) 1' i = Cy' !+Syi · (Yi-Cyi)其中Pi(Xyyi) e Ei是表情特征序列中第j幀的第i個控制點Ki(Cxi^yi) e Ei是表情特征序列第i幀的基準(zhǔn)點；C' ,(cx' cy' D=C' (cx' , cy')是即將生成的第j 幀的表情動畫的基準(zhǔn)點；生成控制點P' i(x' i，y' i) e E' i是生成表情動畫的第j幀的第i個控制點，完成表情特征序列從演員人臉到目標(biāo)卡通人臉的重定向過程。
3.根據(jù)權(quán)利要求1所述的一種動作捕獲數(shù)據(jù)驅(qū)動的二維卡通表情動畫制作方法，其特征在于，所述的步驟3)為(1)將目標(biāo)圖像轉(zhuǎn)化為灰度圖像I，對灰度圖像I進行邊緣原檢測，得到邊緣圖像I’； 對邊緣圖像I’進行數(shù)學(xué)形態(tài)學(xué)的膨脹，再進行骨骼抽取，得到單寬度邊緣圖像I”；(2)對單寬度邊緣圖像I”，建立輔助矩陣M保存單寬度邊緣圖像I”中每個像素的訪問情況，初始化為未訪問；由用戶在每一個面部器官的輪廓上選取一個點作為根節(jié)點vs，當(dāng)前節(jié)點Vc設(shè)為Vs ；(3)將當(dāng)前節(jié)點V。在輔助矩陣M中對應(yīng)的位置標(biāo)記為已訪問，初始化搜索尺度s= 1， 按照順時針方向搜索以當(dāng)前節(jié)點V。為中心，邊長為^+1的正方形的邊上的點。當(dāng)搜索到一個邊界節(jié)點時，檢測輔助矩陣中這個邊界節(jié)點的已訪問性；若已訪問，則繼續(xù)進行搜索； 若未訪問，則將這個邊界節(jié)點加入邊界點列數(shù)組中，并將這個邊界節(jié)點的八臨域內(nèi)各個點均設(shè)為已訪問，并將此點作為根節(jié)點重復(fù)上述步驟；若未搜索到符合條件的節(jié)點，則認為遇到斷邊溝，將搜索尺度s+= 1同樣重復(fù)上述步驟；當(dāng)搜索尺度s大于一個特定值時，循環(huán)結(jié)束，此時得到的邊界點列數(shù)組即為跟蹤得到的面部器官輪廓C，其集合為面部器官輪廓線集合{C}；(4)對每一個面部器官輪廓Ce{C}，將曲線的起點Vs與終點\加入輪廓特征點列；用 Vs與Ve的連線Lse作為曲線的初始簡化，并搜尋曲線上距離Lse最遠的點Vd ；檢測Vd到Lse 的距離d與Lse的長度1的比值d/Ι是否小于參數(shù)α ；若成立，則輪廓抽取完成；否則將Vd 插入輪廓特征點列中起點Vs之后，并分別對從Vs到Vd與從Vd到\的兩條曲線分別重復(fù)上述步驟，最終得到面部器官輪廓C的特征點集合V ；用特征點集合V作為錨點創(chuàng)建貝塞爾曲線，得到矢量化的面部器官輪廓。
4.根據(jù)權(quán)利要求1所述的一種動作捕獲數(shù)據(jù)驅(qū)動的二維卡通表情動畫制作方法，其特征在于，所述的步驟4)為(1)設(shè)目標(biāo)卡通人臉表情特征序列{E'J第零幀E' ^中的特征點為Pi 對原始卡通矢量圖每一個面部器官矢量輪廓的錨點V，計算相應(yīng)的權(quán)重參數(shù) 1w.=-—‘ ιι2αIp1 ~ν\其中α為常量參數(shù)；(2)根據(jù)以上結(jié)果計算目標(biāo)卡通人臉表情特征序列{Ε'η}第零幀E' J勺加權(quán)重心*Hrw'* P'Σ,,(3)對目標(biāo)卡通人臉表情特征序列{Ε‘η}第零幀E'。的第j個控制點，計算仿射矩陣Aj = (ν-ρ*) ( Σ ^piV) Vi (Pi-P*)) (ΡΓΡ*)Τ(4)設(shè)目標(biāo)卡通人臉表情特征序列{E'J的后續(xù)某幀的特征點為 對原始卡通矢量圖每一個面部器官矢量輪廓的錨點v，計算相應(yīng)的權(quán)重參數(shù) 1w.=-—‘ ι12α其中α為常量參數(shù)；(5)根據(jù)以上結(jié)果計算目標(biāo)卡通人臉表情特征序列{E'J后續(xù)第j幀的加權(quán)重心q* *Σ,々*(6)計算對于目標(biāo)卡通人臉表情特征序列{E'J后續(xù)第j幀的剛性形變函數(shù)fJX)
全文摘要
本發(fā)明公開了一種基于動作捕獲數(shù)據(jù)驅(qū)動的二維卡通表情動畫制作方法。首先同時使用動作捕獲設(shè)備捕獲演員的表情數(shù)據(jù)，同時由用戶在目標(biāo)卡通人臉上標(biāo)記出與演員數(shù)據(jù)相同的拓撲結(jié)構(gòu)的特征點；然后使用一種基于偏移比例的重定向方法將演員表情數(shù)據(jù)的第一幀與目標(biāo)卡通人臉的特征點進行對齊，并以此對齊比例將演員表情數(shù)據(jù)映射到目標(biāo)卡通人臉上；將目標(biāo)卡通人臉矢量化，并最終使用重定向后的動作捕獲數(shù)據(jù)驅(qū)動矢量圖像形式的卡通人臉進行變形，以達到動畫化的效果。本發(fā)明由于使用了矢量化和基于偏移比例的重定向技術(shù)，在不考慮紋理細節(jié)的非真實卡通人臉的動畫化的領(lǐng)域可以得到表情豐富且還原度較高的卡通表情動畫。
文檔編號G06T13/80GK102509333SQ20111040257
公開日2012年6月20日 申請日期2011年12月7日 優(yōu)先權(quán)日2011年12月7日
發(fā)明者莊越挺, 王翔宇, 肖俊 申請人:浙江大學(xué)