專利名稱：基于視頻提取和重用的卡通動(dòng)畫制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及二維卡通動(dòng)畫領(lǐng)域，尤其涉及一種基于視頻提取和重用的卡通動(dòng)畫制作方法。

背景技術(shù)：
卡通動(dòng)畫有著廣泛的應(yīng)用領(lǐng)域，包括教育，廣告，娛樂等。傳統(tǒng)的卡通畫制作分為情節(jié)設(shè)計(jì)、細(xì)節(jié)設(shè)計(jì)、聲音的錄制、關(guān)鍵幀繪制、過渡幀繪制、背景繪制等。傳統(tǒng)動(dòng)畫是一個(gè)繁瑣的制作過程，尤其是過渡幀的繪制需要消耗動(dòng)畫師大量的時(shí)間和工作。
當(dāng)前計(jì)算機(jī)輔助動(dòng)畫設(shè)計(jì)系統(tǒng)主要是希望基于關(guān)鍵幀自動(dòng)繪制過渡幀，減輕動(dòng)畫師的工作量，即針對(duì)相鄰兩關(guān)鍵幀的各個(gè)部分建立對(duì)應(yīng)關(guān)系，并基于該對(duì)應(yīng)關(guān)系通過插值生成過渡幀，再依據(jù)關(guān)鍵幀中各部分的顏色生成過渡幀的顏色。
建立相鄰兩關(guān)鍵幀的對(duì)應(yīng)關(guān)系。由于2維圖像本身不是結(jié)構(gòu)化的數(shù)據(jù)，因此需要對(duì)其進(jìn)行結(jié)構(gòu)化。比如2002年在NPAR會(huì)議上發(fā)表的《Computer AidedInbetweening》就屬于這種方法，該文章提出基于層次的算法將關(guān)鍵幀以筆畫為單位，對(duì)圖像進(jìn)行結(jié)構(gòu)化。首先幀中角色上的筆畫將基于其連通性分為若干筆畫組，之后對(duì)于兩幅關(guān)鍵幀中的筆畫組依據(jù)它們之間存在的包含，相鄰以及層次關(guān)系構(gòu)建對(duì)應(yīng)關(guān)系。又如1995年在Journal of Visual Computer上發(fā)表的《Feature matching and affine transformation for 2D cell animation》提出了一種自動(dòng)建立過渡幀的算法，該方法首先確定一對(duì)相似的關(guān)鍵幀，同時(shí)在關(guān)鍵幀各自的邊界上確定特征點(diǎn)，其周圍的鄰近像素要有三個(gè)或三個(gè)以上屬于角色，在兩幀的特征點(diǎn)中選中若干相互匹配的特征點(diǎn)，并建立它們之間的仿射變換矩陣，接著運(yùn)用該變換矩陣針對(duì)其中一個(gè)進(jìn)行變形得到的結(jié)果與另一幀將非常接近，在原關(guān)鍵幀與變換得到的幀之間利用插值構(gòu)建過渡幀。
通過插值得到的過渡幀僅具有輪廓，而不具有顏色信息，而為過渡幀上色是一件繁瑣的工作。在2000年Journal of Visual Computer上發(fā)表的《Computer-assisted coloring by matching line drawings》一文中提出針對(duì)過渡幀的自動(dòng)上色算法。首先針對(duì)角色輪廓進(jìn)行修復(fù)工作，然后針對(duì)角色中大面積區(qū)域給出編號(hào)，并進(jìn)行匹配，對(duì)于面積較小的區(qū)域則按照與大面積區(qū)域的鄰接關(guān)系進(jìn)行匹配。
基于傳統(tǒng)動(dòng)畫制作過程得到的計(jì)算機(jī)動(dòng)畫輔助設(shè)計(jì)系統(tǒng)往往存在兩個(gè)難題。一是這類方法中的關(guān)鍵幀依舊需要由動(dòng)畫師進(jìn)行設(shè)計(jì)，因此并不適合業(yè)余動(dòng)畫愛好者；二是采用插值的方式生成的過渡幀的質(zhì)量并不能被保證。


發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于視頻提取和重用的卡通動(dòng)畫制作方法。
包括以下步驟 (1)基于圖像中的灰度信息，計(jì)算圖像中每幀的梯度并檢測(cè)出角色的輪廓，并對(duì)輪廓采用像素填充算法獲得角色的側(cè)影并從動(dòng)畫幀中提取角色； (2)對(duì)每幀，采用光流跟蹤算法計(jì)算當(dāng)前幀的運(yùn)動(dòng)屬性，包括運(yùn)動(dòng)方向和速度； (3)基于提取的角色輪廓計(jì)算兩幀輪廓上的相似度，然后設(shè)定權(quán)值并計(jì)算兩幀在運(yùn)動(dòng)屬性和邊界上的距離，構(gòu)建距離矩陣； (4)依據(jù)步驟(3)中計(jì)算得到的距離矩陣，采用流形學(xué)習(xí)算法將提取的卡通角色投影到低維空間并建立無向圖，然后由用戶在無向圖中任取兩點(diǎn)作為起點(diǎn)和終點(diǎn)并構(gòu)建最短路徑，路徑上的組成卡通幀序列。
所述的基于圖像中的灰度信息，計(jì)算圖像中每幀的梯度并檢測(cè)出角色的輪廓，并對(duì)輪廓采用像素填充算法獲得角色的側(cè)影并從動(dòng)畫幀中提取角色提取輪廓的基本思路是逐一計(jì)算每個(gè)像素點(diǎn)在灰度上的二階導(dǎo)數(shù)，并可通過Laplacian ofGaussian濾波器(LOG)近似得到，當(dāng)其中某一點(diǎn)上的二階導(dǎo)數(shù)為零時(shí)，則該點(diǎn)被定為邊界的一部份；提取得邊界圖像仍存在一部分噪音，需采用卷積的方式去除圖像中的噪音，去噪的公式為 其中，A是帶有噪聲的圖像矩陣，F(xiàn)則是用于過濾的矩陣，且0≤i＜Ma+4，0≤j＜Na+4；過濾后得到角色的封閉輪廓，接著采用像素填充算法，即在輪廓中選取一個(gè)點(diǎn)作為起始點(diǎn)，并利用八通圖對(duì)整個(gè)輪廓進(jìn)行深度優(yōu)先的遍歷，當(dāng)遇到邊界時(shí)，則停止遍歷并返回上一層，結(jié)束時(shí)所有被遍歷到的點(diǎn)都作為前景上的點(diǎn)；結(jié)合原始圖像和經(jīng)過區(qū)域填充的灰度圖像，可將角色從原始圖像中分割出來。
所述的對(duì)每幀采用光流跟蹤算法計(jì)算當(dāng)前幀的運(yùn)動(dòng)屬性，包括運(yùn)動(dòng)方向和速度；通過前景分割可得到視頻中相鄰兩幀的前景角色I(xiàn)i和Ii+1，首先采用幾何平均計(jì)算出兩個(gè)角色的質(zhì)心Ci和Ci+1，因此角色之間的相對(duì)位移的計(jì)算公式是 卡通視頻中鏡頭的位移可基于相鄰兩幀通過光流跟蹤計(jì)算得到，為了找到幀Ii中像素(x0，y0)在幀Ii+1上的位置，在Ii+1的像素(x0，y0)周圍設(shè)計(jì)一個(gè)正方形的區(qū)域進(jìn)行搜索，當(dāng)相關(guān)度匹配最大化時(shí)，則認(rèn)為找到了對(duì)應(yīng)的位置，計(jì)算公式為 其中，Wi和Wi+1是幀Ii和Ii+1上用于匹配的正方形區(qū)域；依據(jù)兩個(gè)相匹配的像素可計(jì)算得到像素的位移向量，通過平均所有像素的位置向量，可得到圖像整體位移即相機(jī)的位移，計(jì)算機(jī)公式為 再通過合并角色的相對(duì)位移和相機(jī)位移可得到角色的運(yùn)動(dòng)方向和速度，計(jì)算公式為 所述的基于提取的角色輪廓計(jì)算兩幀輪廓上的相似度，然后設(shè)定權(quán)值并計(jì)算兩幀在運(yùn)動(dòng)屬性和邊界上的距離，構(gòu)建距離矩陣首先對(duì)比任意兩個(gè)角色的輪廓計(jì)算輪廓上的相似度，計(jì)算公式為 其中，Ei和Ej是幀Ii和Ij的邊界集合，且h(Ei，Ej)是計(jì)算兩個(gè)集合之間的Hausdorff距離，計(jì)算公式為 其中，Pa和Pb是Ii和Ij的邊界上任意兩點(diǎn)，‖pa-pb‖是這兩點(diǎn)之間的歐式距離；通過合并運(yùn)動(dòng)屬性上的差距以及邊界上的差距計(jì)算兩幀的距離，計(jì)算公式為 D(Ii，Ij)＝αDH(Ii，Ij)+(1-α)DM(Ii，Ij) 8 α作為合并用的權(quán)重，DG(Ii，Ij)代表兩幀在邊界上的差距，而DM(Ii，Ij)表示兩幀在運(yùn)動(dòng)屬性上的差距，計(jì)算公式為 所述的依據(jù)計(jì)算得到的距離矩陣，采用流形學(xué)習(xí)算法將提取的卡通角色幀投影到低維空間并建立無向圖，然后由用戶在無向圖中任取兩點(diǎn)作為起點(diǎn)和終點(diǎn)并構(gòu)建最短路徑，路徑上的組成卡通幀序列首先依據(jù)距離矩陣確定任意一點(diǎn)與周圍若干鄰居結(jié)點(diǎn)之間的邊長(zhǎng)為最短路徑，其中鄰居結(jié)點(diǎn)的個(gè)數(shù)是提前確定的，由此構(gòu)建出無向圖；然后基于該無向圖計(jì)算任意兩點(diǎn)之間的最短路徑，得到最短路徑圖；最后采用MDS算法構(gòu)建低維空間；在得到該低維空間之后，由用戶在空間中任意指定兩點(diǎn)作為起點(diǎn)和終點(diǎn)，兩點(diǎn)之間最短路徑所包含的點(diǎn)作為新生成的動(dòng)畫幀。
本發(fā)明具有的有益的效果是通過Laplacian of Gaussian濾波器提取的邊界，有效的避免了輪廓線條斷裂的情況，使得之后的填充算法能順利進(jìn)行，這種基于邊界的角色提取算法與別的算法相比，能更穩(wěn)定，并且完整的提取角色。通過光流跟蹤提取每一幀中角色的運(yùn)動(dòng)信息，且與角色邊界上的Hausdorff距離相合并能更精確的衡量幀之間的相似度。通過將卡通幀投影到低維空間，并由動(dòng)畫師指定空間中的起點(diǎn)和終點(diǎn)，兩點(diǎn)之間最短路徑上的點(diǎn)組成動(dòng)畫幀序列。本方法能有效利用已有的卡通數(shù)據(jù)生成新的動(dòng)畫序列，并且適用于那些沒有動(dòng)畫制作經(jīng)驗(yàn)的用戶。



圖1是基于視頻提取和重用的卡通動(dòng)畫制作方法的流程圖； 圖2(a)是本發(fā)明使用的卡通角色示意圖； 圖2(b)是通過邊界檢測(cè)的卡通角色示意圖； 圖2(c)是通過去噪得到的卡通角色示意圖； 圖2(d)是提取的完整的角色邊界示意圖； 圖2(e)是通過角色填充得到的角色側(cè)影示意圖； 圖2(f)是提取出的角色示意圖； 圖3(a)是使用的原圖像i示意圖； 圖3(b)是使用的原圖像j示意圖； 圖3(c)是角色在前景中的位移示意圖； 圖3(d)是通過光流計(jì)算結(jié)果示意圖； 圖3(e)是去掉前景的光流計(jì)算結(jié)果示意圖； 圖3(f)是跟蹤角點(diǎn)光流的計(jì)算結(jié)果示意圖； 圖3(g)是前景與背景運(yùn)動(dòng)的合成示意圖； 圖3(h)是得到的角色運(yùn)動(dòng)示意圖； 圖4是本發(fā)明中構(gòu)建最短路徑的示意圖； 圖5是本發(fā)明中降維與殘差之間的對(duì)比圖； 圖6是本發(fā)明中生成動(dòng)畫序列的示意圖。

具體實(shí)施例方式 基于視頻提取和重用的卡通動(dòng)畫制作方法包括以下步驟 (1)基于圖像中的灰度信息，計(jì)算圖像中每幀的梯度并檢測(cè)出角色的輪廓，并對(duì)輪廓采用像素填充算法獲得角色的側(cè)影并從動(dòng)畫幀中提取角色； (2)對(duì)每幀，采用光流跟蹤算法計(jì)算當(dāng)前幀的運(yùn)動(dòng)屬性，包括運(yùn)動(dòng)方向和速度； (3)基于提取的角色輪廓計(jì)算兩幀輪廓上的相似度，然后設(shè)定權(quán)值并計(jì)算兩幀在運(yùn)動(dòng)屬性和邊界上的距離，構(gòu)建距離矩陣； (4)依據(jù)步驟(3)中計(jì)算得到的距離矩陣，采用流形學(xué)習(xí)算法將提取的卡通角色投影到低維空間并建立無向圖，然后由用戶在無向圖中任取兩點(diǎn)作為起點(diǎn)和終點(diǎn)并構(gòu)建最短路徑，路徑上的組成卡通幀序列。
所述的基于圖像中的灰度信息，計(jì)算圖像中每幀的梯度并檢測(cè)出角色的輪廓，并對(duì)輪廓采用像素填充算法獲得角色的側(cè)影并從動(dòng)畫幀中提取角色提取輪廓的基本思路是逐一計(jì)算每個(gè)像素點(diǎn)在灰度上的二階導(dǎo)數(shù)，并可通過Laplacian ofGaussian濾波器(LOG)近似得到，當(dāng)其中某一點(diǎn)上的二階導(dǎo)數(shù)為零時(shí)，則該點(diǎn)被定為邊界的一部份(見圖2(b))；提取得邊界圖像仍存在一部分噪音，需采用卷積的方式去除圖像中的噪音(去噪結(jié)果見圖2(c))，去噪的公式為 其中，A是帶有噪聲的圖像矩陣，F(xiàn)則是用于過濾的矩陣，且0≤i＜Ma+4，0≤j＜Na+4；過濾后得到角色的封閉輪廓(見圖2(d))，接著采用像素填充算法，即在輪廓中選取一個(gè)點(diǎn)作為起始點(diǎn)，并利用八通圖對(duì)整個(gè)輪廓進(jìn)行深度優(yōu)先的遍歷，當(dāng)遇到邊界時(shí)，則停止遍歷并返回上一層，結(jié)束時(shí)所有被遍歷到的點(diǎn)都作為前景上的點(diǎn)(見圖2(e))；結(jié)合原始圖像和經(jīng)過區(qū)域填充的灰度圖像，可將角色從原始圖像中分割出來(見圖2(f))。
所述的對(duì)每幀采用光流跟蹤算法計(jì)算當(dāng)前幀的運(yùn)動(dòng)屬性，包括運(yùn)動(dòng)方向和速度；通過前景分割可得到視頻中相鄰兩幀的前景角色I(xiàn)i(見圖3(a))和Ii+1(見圖3(b))，首先采用幾何平均計(jì)算出兩個(gè)角色的質(zhì)心Ci和Ci+1，因此角色之間的相對(duì)位移(見圖3(c))的計(jì)算公式是 卡通視頻中鏡頭的位移可基于相鄰兩幀通過光流跟蹤計(jì)算得到，為了找到幀Ii中像素(x0，y0)在幀Ii+1上的位置，在Ii+1的像素(x0，y0)周圍設(shè)計(jì)一個(gè)正方形的區(qū)域進(jìn)行搜索，當(dāng)相關(guān)度匹配最大化時(shí)，則認(rèn)為找到了對(duì)應(yīng)的位置，計(jì)算公式為 其中，Wi和Wi+1是幀Ii和Ii+1上用于匹配的正方形區(qū)域；依據(jù)兩個(gè)相匹配的像素可計(jì)算得到像素的位移向量(見圖3(d))，通過減去前景點(diǎn)上的光流計(jì)算結(jié)果(見圖3(e))，并提取角點(diǎn)上的光流計(jì)算(見圖3(f))，可得到圖像背景的位移即相機(jī)的位移(見圖3(g))，計(jì)算機(jī)公式為 再通過合并角色的相對(duì)位移和相機(jī)位移可得到角色的運(yùn)動(dòng)方向和速度，計(jì)算公式為 所述的基于提取的角色輪廓計(jì)算兩幀輪廓上的相似度，然后設(shè)定權(quán)值并計(jì)算兩幀在運(yùn)動(dòng)屬性和邊界上的距離，構(gòu)建距離矩陣首先對(duì)比任意兩個(gè)角色的輪廓計(jì)算輪廓上的相似度，計(jì)算公式為 其中，Ei和Ej是幀Ii和Ij的邊界集合，且h(Ei，Ej)是計(jì)算兩個(gè)集合之間的Hausdorff距離，計(jì)算公式為 其中，Pa和Pb是Ii和Ij的邊界上任意兩點(diǎn)，‖pa-pb‖是這兩點(diǎn)之間的歐式距離；通過合并運(yùn)動(dòng)屬性上的差距以及邊界上的差距計(jì)算兩幀的距離，計(jì)算公式為 D(Ii，Ij)＝αDH(Ii，Ij)+(1-α)DM(Ii，Ij)8 α作為合并用的權(quán)重，DG(Ii，Ij)代表兩幀在邊界上的差距，而DM(Ii，Ij)表示兩幀在運(yùn)動(dòng)屬性上的差距，計(jì)算公式為 所述的依據(jù)計(jì)算得到的距離矩陣，采用流形學(xué)習(xí)算法將提取的卡通角色幀投影到低維空間并建立無向圖，然后由用戶在無向圖中任取兩點(diǎn)作為起點(diǎn)和終點(diǎn)并構(gòu)建最短路徑(如圖4所示)，路徑上的組成卡通幀序列首先依據(jù)距離矩陣確定任意一點(diǎn)與周圍若干鄰居結(jié)點(diǎn)之間的邊長(zhǎng)為最短路徑，其中鄰居結(jié)點(diǎn)的個(gè)數(shù)是提前確定的，由此構(gòu)建出無向圖；然后基于該無向圖計(jì)算任意兩點(diǎn)之間的最短路徑，得到最短路徑圖；最后采用MDS算法構(gòu)建低維空間；在得到該低維空間之后，由用戶在空間中任意指定兩點(diǎn)作為起點(diǎn)和終點(diǎn)，兩點(diǎn)之間最短路徑所包含的點(diǎn)作為新生成的動(dòng)畫幀。在利用降維建立低維空間的過程中，很重要的一點(diǎn)是降維后維度的選擇，如果維度過大，則造成信息的冗余，而如果維度過小，則導(dǎo)致信息的缺失影響動(dòng)畫序列的生成。圖5給出了一種判斷維度的方法即通過分析殘差分量的變化來判斷，當(dāng)殘差分量沒有太多變化的時(shí)，則為合適的維度。
至此，通過角色提取，距離計(jì)算，低維空間建立以及用戶指定這些步驟，可重用已有的卡通數(shù)據(jù)建立新的卡通動(dòng)畫序列。
實(shí)施例 國(guó)產(chǎn)動(dòng)畫片中最有名的是已西游記為主題的系列動(dòng)畫片，包括《大鬧天宮》、《三打白骨精》等，然而隨著老一輩藝術(shù)家的辭世，目前已很難制作出與這些經(jīng)典動(dòng)畫片具有相同風(fēng)格的作品了。下面結(jié)合前面所述的具體技術(shù)方案重用這些動(dòng)畫片中的幀得到新的動(dòng)畫序列的步驟，如下 (1)利用前面描述的基于圖像中的灰度信息，計(jì)算圖像中每幀的梯度并檢測(cè)出角色的輪廓，并對(duì)輪廓采用像素填充算法獲得角色的側(cè)影。具體來說，對(duì)于任意的卡通幀提取輪廓的基本思路是逐一計(jì)算每個(gè)像素點(diǎn)在灰度上的二階導(dǎo)數(shù)，并可通過Laplacian of Gaussian濾波器(LOG)近似得到，當(dāng)其中某一點(diǎn)上的二階導(dǎo)數(shù)為零時(shí)，則該點(diǎn)被定為邊界的一部份；提取得邊界圖像仍存在一部分噪音，需采用卷積的方式去除圖像中的噪音，去噪的公式為 其中，A是帶有噪聲的圖像矩陣，F(xiàn)則是用于過濾的矩陣，且0≤i＜Ma+4，0≤j＜Na+4；過濾后得到角色的封閉輪廓，接著采用像素填充算法，即在輪廓中選取一個(gè)點(diǎn)作為起始點(diǎn)，并利用八通圖對(duì)整個(gè)輪廓進(jìn)行深度優(yōu)先的遍歷，當(dāng)遇到邊界時(shí)，則停止遍歷并返回上一層，結(jié)束時(shí)所有被遍歷到的點(diǎn)都作為前景上的點(diǎn)；結(jié)合原始圖像和經(jīng)過區(qū)域填充的灰度圖像，可將角色從原始圖像中分割出來。
(2)在每幀中采用光流跟蹤算法計(jì)算當(dāng)前幀的運(yùn)動(dòng)屬性，包括運(yùn)動(dòng)方向和速度；通過前景分割可得到視頻中相鄰兩幀的前景角色I(xiàn)i和Ii+1，首先采用幾何平均計(jì)算出兩個(gè)角色的質(zhì)心Ci和Ci+1，因此角色之間的相對(duì)位移的計(jì)算公式是 卡通視頻中鏡頭的位移可基于相鄰兩幀通過光流跟蹤計(jì)算得到，為了找到幀Ii中像素(x0，y0)在幀Ii+1上的位置，在Ii+1的像素(x0，y0)周圍設(shè)計(jì)一個(gè)正方形的區(qū)域進(jìn)行搜索，當(dāng)相關(guān)度匹配最大化時(shí)，則認(rèn)為找到了對(duì)應(yīng)的位置，計(jì)算公式為 其中，Wi和Wi+1是幀Ii和Ii+1上用于匹配的正方形區(qū)域；依據(jù)兩個(gè)相匹配的像素可計(jì)算得到像素的位移向量，通過平均所有像素的位置向量，可得到圖像整體位移即相機(jī)的位移，計(jì)算機(jī)公式為 再通過合并角色的相對(duì)位移和相機(jī)位移可得到角色的運(yùn)動(dòng)方向和速度，計(jì)算公式為 (3)針對(duì)提取的角色輪廓計(jì)算兩幀輪廓上的相似度，然后設(shè)定合理的權(quán)值并綜合考慮兩幀在運(yùn)動(dòng)屬性和邊界上的差異計(jì)算它們之間的距離，并構(gòu)建距離矩陣；首先對(duì)比任意兩個(gè)角色的輪廓計(jì)算輪廓上的相似度，計(jì)算公式為 其中，Ei和Ej是幀Ii和Ij的邊界集合，且h(Ei，Ej)是計(jì)算兩個(gè)集合之間的Hausdorff距離，計(jì)算公式為 其中，Pa和Pb是Ii和Ij的邊界上任意兩點(diǎn)，‖pa-pb‖是這兩點(diǎn)之間的歐式距離；通過合并運(yùn)動(dòng)屬性上的差距以及邊界上的差距計(jì)算兩幀的距離，計(jì)算公式為 D(Ii，Ij)＝αDH(Ii，Ij)+(1-α)DM(Ii，Ij) 其中，α作為合并用的權(quán)重，DG(Ii，Ij)代表兩幀在邊界上的差距，而DM(Ii，Ij)表示兩幀在運(yùn)動(dòng)屬性上的差距，計(jì)算公式為 (4)采用流形學(xué)習(xí)算法Isomap構(gòu)建低維空間，首先依據(jù)計(jì)算得到的距離矩陣，確定每個(gè)結(jié)點(diǎn)周圍的鄰近結(jié)點(diǎn)，并建立無向連通圖，由于這些樣本點(diǎn)處在一個(gè)流形上，因此任意兩點(diǎn)的距離可通過測(cè)地距離即兩點(diǎn)在流形上的最短路徑計(jì)算得到，最后采用MDS算法構(gòu)建低維空間；在得到該低維空間之后，由用戶在空間中任意指定兩點(diǎn)作為起點(diǎn)和終點(diǎn)，兩點(diǎn)之間最短路徑所包含的點(diǎn)作為新生成的動(dòng)畫幀。
本實(shí)施例中，通過以上步驟重用已有的動(dòng)畫幀，獲得平滑的動(dòng)畫序列。附圖6顯示了其中的一幀的效果。圖中的兩行是重構(gòu)得到的動(dòng)畫序列，下面的編號(hào)代表原始幀號(hào)。
權(quán)利要求
1.一種基于視頻提取和重用的卡通動(dòng)畫制作方法，其特征在于包括以下步驟
(1)基于圖像中的灰度信息，計(jì)算圖像中每幀的梯度并檢測(cè)出角色的輪廓，并對(duì)輪廓采用像素填充算法獲得角色的側(cè)影并從動(dòng)畫幀中提取角色；
(2)對(duì)每幀，采用光流跟蹤算法計(jì)算當(dāng)前幀的運(yùn)動(dòng)屬性，包括運(yùn)動(dòng)方向和速度；
(3)基于提取的角色輪廓計(jì)算兩幀輪廓上的相似度，然后設(shè)定權(quán)值并計(jì)算兩幀在運(yùn)動(dòng)屬性和邊界上的距離，構(gòu)建距離矩陣；
(4)依據(jù)步驟(3)中計(jì)算得到的距離矩陣，采用流形學(xué)習(xí)算法將提取的卡通角色投影到低維空間并建立無向圖，然后由用戶在無向圖中任取兩點(diǎn)作為起點(diǎn)和終點(diǎn)并構(gòu)建最短路徑，路徑上的組成卡通幀序列。
2.根據(jù)權(quán)利要求1所述的一種基于視頻提取和重用的卡通動(dòng)畫制作方法，其特征在于，所述的基于圖像中的灰度信息，計(jì)算圖像中每幀的梯度并檢測(cè)出角色的輪廓，并對(duì)輪廓采用像素填充算法獲得角色的側(cè)影并從動(dòng)畫幀中提取角色提取輪廓的基本思路是逐一計(jì)算每個(gè)像素點(diǎn)在灰度上的二階導(dǎo)數(shù)，并可通過Laplacian of Gaussian濾波器(LOG)近似得到，當(dāng)其中某一點(diǎn)上的二階導(dǎo)數(shù)為零時(shí)，則該點(diǎn)被定為邊界的一部份；提取得邊界圖像仍存在一部分噪音，需采用卷積的方式去除圖像中的噪音，去噪的公式為
其中，A是帶有噪聲的圖像矩陣，F(xiàn)則是用于過濾的矩陣，且0≤i＜Ma+4，0≤j＜Na+4；過濾后得到角色的封閉輪廓，接著采用像素填充算法，即在輪廓中選取一個(gè)點(diǎn)作為起始點(diǎn)，并利用八通圖對(duì)整個(gè)輪廓進(jìn)行深度優(yōu)先的遍歷，當(dāng)遇到邊界時(shí)，則停止遍歷并返回上一層，結(jié)束時(shí)所有被遍歷到的點(diǎn)都作為前景上的點(diǎn)；結(jié)合原始圖像和經(jīng)過區(qū)域填充的灰度圖像，可將角色從原始圖像中分割出來。
3.根據(jù)權(quán)利要求1所述的一種基于視頻提取和重用的卡通動(dòng)畫制作方法，其特征在于，所述的對(duì)每幀采用光流跟蹤算法計(jì)算當(dāng)前幀的運(yùn)動(dòng)屬性，包括運(yùn)動(dòng)方向和速度；通過前景分割可得到視頻中相鄰兩幀的前景角色I(xiàn)i和Ii+1，首先采用幾何平均計(jì)算出兩個(gè)角色的質(zhì)心Ci和Ci+1，因此角色之間的相對(duì)位移的計(jì)算公式是
卡通視頻中鏡頭的位移可基于相鄰兩幀通過光流跟蹤計(jì)算得到，為了找到幀Ii中像素(x0，y0)在幀Ii+1上的位置，在Ii+1的像素(x0，y0)周圍設(shè)計(jì)一個(gè)正方形的區(qū)域進(jìn)行搜索，當(dāng)相關(guān)度匹配最大化時(shí)，則認(rèn)為找到了對(duì)應(yīng)的位置，計(jì)算公式為
其中，Wi和Wi+1是幀Ii和Ii+1上用于匹配的正方形區(qū)域；依據(jù)兩個(gè)相匹配的像素可計(jì)算得到像素的位移向量，通過平均所有像素的位置向量，可得到圖像整體位移即相機(jī)的位移，計(jì)算機(jī)公式為
再通過合并角色的相對(duì)位移和相機(jī)位移可得到角色的運(yùn)動(dòng)方向和速度，計(jì)算公式為
4.根據(jù)權(quán)利要求1所述的一種基于視頻提取和重用的卡通動(dòng)畫制作方法，其特征在于，所述的基于提取的角色輪廓計(jì)算兩幀輪廓上的相似度，然后設(shè)定權(quán)值并計(jì)算兩幀在運(yùn)動(dòng)屬性和邊界上的距離，構(gòu)建距離矩陣首先對(duì)比任意兩個(gè)角色的輪廓計(jì)算輪廓上的相似度，計(jì)算公式為
其中，Ei和Ej是幀Ii和Ij的邊界集合，且h(Ei，Ej)是計(jì)算兩個(gè)集合之間的Hausdorff距離，計(jì)算公式為
其中，Pa和Pb是Ii和Ij的邊界上任意兩點(diǎn)，‖pa-pb‖是這兩點(diǎn)之間的歐式距離；通過合并運(yùn)動(dòng)屬性上的差距以及邊界上的差距計(jì)算兩幀的距離，計(jì)算公式為
D(Ii，Ij)＝αDH(Ii，Ij)+(1-α)DM(Ii，Ij)8
α作為合并用的權(quán)重，DG(Ii，Ij)代表兩幀在邊界上的差距，而DM(Ii，Ij)表示兩幀在運(yùn)動(dòng)屬性上的差距，計(jì)算公式為
5.根據(jù)權(quán)利要求1所述的一種基于視頻提取和重用的卡通動(dòng)畫制作方法，其特征在于，所述的依據(jù)計(jì)算得到的距離矩陣，采用流形學(xué)習(xí)算法將提取的卡通角色幀投影到低維空間并建立無向圖，然后由用戶在無向圖中任取兩點(diǎn)作為起點(diǎn)和終點(diǎn)并構(gòu)建最短路徑，路徑上的組成卡通幀序列首先依據(jù)距離矩陣確定任意一點(diǎn)與周圍若干鄰居結(jié)點(diǎn)之間的邊長(zhǎng)為最短路徑，其中鄰居結(jié)點(diǎn)的個(gè)數(shù)是提前確定的，由此構(gòu)建出無向圖；然后基于該無向圖計(jì)算任意兩點(diǎn)之間的最短路徑，得到最短路徑圖；最后采用MDS算法構(gòu)建低維空間；在得到該低維空間之后，由用戶在空間中任意指定兩點(diǎn)作為起點(diǎn)和終點(diǎn)，兩點(diǎn)之間最短路徑所包含的點(diǎn)作為新生成的動(dòng)畫幀。
全文摘要
本發(fā)明公開了一種基于視頻提取和重用的卡通動(dòng)畫制作方法。首先將卡通視頻分解為卡通幀；之后，采用基于邊界的前景分割技術(shù)提取卡通角色；之后，利用角色在邊界上的相似度計(jì)算任意兩幀角色之間的距離并得到距離矩陣；之后依據(jù)得到的距離矩陣采用流形學(xué)習(xí)的算法構(gòu)建無向圖；最后，由用戶在無向圖中指定任意兩點(diǎn)并建立兩點(diǎn)之間的最短路徑，路徑上所包含的幀組成一段平滑的動(dòng)畫幀序列。本方法通過設(shè)計(jì)出一個(gè)基于邊界的前景提取技術(shù)，有效的將卡通角色從復(fù)雜背景中提取出來；通過光流跟蹤技術(shù)計(jì)算每幀中角色的運(yùn)動(dòng)屬性，使得角色之間的相似度計(jì)算更加精確；通過流形學(xué)習(xí)構(gòu)建出的卡通數(shù)據(jù)重用平臺(tái)，使得用戶能夠方便，快捷的制作卡通動(dòng)畫。
文檔編號(hào)G06T13/00GK101216948SQ20081005914
公開日2008年7月9日 申請(qǐng)日期2008年1月14日 優(yōu)先權(quán)日2008年1月14日
發(fā)明者莊越挺, 俊 肖, 俊 俞 申請(qǐng)人:浙江大學(xué)