專利名稱：：形態(tài)變形裝置、物體動(dòng)作編碼裝置以及物體動(dòng)作解碼裝置的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種對(duì)物體的形態(tài)進(jìn)行變形的形態(tài)變形裝置、物體動(dòng)作(形態(tài)變形)編碼裝置以及物體動(dòng)作(形態(tài)變形)解碼裝置，特別是一種讓面部的一部分區(qū)域的形狀變形從而給出表情的形態(tài)變形裝置、物體動(dòng)作(形態(tài)變形)編碼裝置以及物體動(dòng)作(形態(tài)變形)解碼裝置。
背景技術(shù)：
：近年來(lái)，在虛擬現(xiàn)實(shí)(VR)以及計(jì)算機(jī)圖形(GC)的領(lǐng)域中，為了給予表情，而采用變形面部圖像的技術(shù)。例如，檢測(cè)出某個(gè)人物的面部的表情變化，給同一個(gè)人物或其他人物的面部圖像實(shí)施相同的變化，通過(guò)這樣與特定的人物同步，實(shí)現(xiàn)該人的表情發(fā)生了變化的擬人化代理。這樣的面部表情合成的技術(shù)中，大體上可以分為兩個(gè)流派。一個(gè)是將與面部皮膚下的表情肌腱連動(dòng)的皮膚表面作為物理模型進(jìn)行處理，根據(jù)肌肉·骨的運(yùn)動(dòng)求解運(yùn)動(dòng)方程式，通過(guò)這樣，讓相當(dāng)于皮膚表面的線框模型運(yùn)動(dòng)的方法。該以往技術(shù)例如在D.Terzopoulos與K.Waters的“analysisandSynthesisofFacialImageSequencesUsingPhysicalandAnatomicalModels”，(IEEETrans，PAMI，vol.15，No.6，pp.569-579，June1993)中進(jìn)行了說(shuō)明。另一個(gè)是給線框模型直接施加規(guī)則的幾何學(xué)的變形從而制作表情的方法。該以往技術(shù)例如在特開(kāi)平8-96162號(hào)公報(bào)中進(jìn)行了說(shuō)明。另外，心理學(xué)家Ekman等所提出的表情描述法FACS(FacialActionCodingSystem)，也在信息學(xué)的領(lǐng)域中廣泛應(yīng)用了表情研究(例如，“FacialActioncodingsystem”，(ConsultingPsychologistPress，1977))。FACS是一種根據(jù)面部肌肉的解剖學(xué)知識(shí)，將“提升眉毛內(nèi)側(cè)”、“橫拉嘴唇兩端”、“張大嘴巴”、“瞇眼”等合計(jì)44個(gè)動(dòng)作單位(AUActionUnit)用作要素，對(duì)面部動(dòng)作進(jìn)行了總結(jié)且客觀地描述的方法?？梢哉f(shuō)，通過(guò)AU的組合能夠描述人類的任一個(gè)表情。該FCAS，一般具有與給線框模型直接施加規(guī)則的幾何學(xué)的變形從而制作表情的方法組合使用的例子。如上所述，作為面部表情合成的技術(shù)，以前，使用幾何學(xué)的變形的方法與使用物理模型的方法是公知的。使用幾何學(xué)的變形的方法中，由于用來(lái)顯示出表情的規(guī)則只通過(guò)點(diǎn)的移動(dòng)來(lái)定義，因此具有能夠通過(guò)較少的計(jì)算量進(jìn)行高速處理的優(yōu)點(diǎn)。但是，面部模型中很難反映出個(gè)人的特征，另外還無(wú)法實(shí)現(xiàn)自然的表情。與此相對(duì)，使用物理模型的方法中，由于能夠直接表現(xiàn)出表情肌腱的運(yùn)動(dòng)，因此能夠平滑地表現(xiàn)出表情的生成過(guò)程，且通過(guò)變更表情肌腱的配置，還能夠?qū)?yīng)各種各樣的面部的容貌。但是，存在計(jì)算量變得龐大的問(wèn)題。與上述相關(guān)，特開(kāi)平3-74777號(hào)公報(bào)中公開(kāi)了一種面部圖像合成裝置。根據(jù)該現(xiàn)有例，將基于人類的本能動(dòng)作或無(wú)意識(shí)動(dòng)作的運(yùn)動(dòng)參數(shù)以及表情參數(shù)，添加到包括表情以及運(yùn)動(dòng)參數(shù)的面部圖像信息中，根據(jù)它來(lái)合成面部圖像。另外，特開(kāi)平6-76044中公布了表情碼的再生顯示裝置。該現(xiàn)有例的裝置，具有設(shè)定表情產(chǎn)生條件的表情產(chǎn)生條件輸入裝置。運(yùn)算處理裝置，具有按照來(lái)自表情產(chǎn)生條件輸入裝置的指示信號(hào)，計(jì)算面部中的前額、眉毛、嘴巴等可動(dòng)部分的移動(dòng)量、移動(dòng)方向、形態(tài)變化，根據(jù)表情的醫(yī)學(xué)解析來(lái)再生表情要素編碼的表情編碼再生部。表情顯示裝置按照運(yùn)算處理裝置所再生的表情要素編碼，再生顯示面部的形態(tài)，同時(shí)對(duì)前額、眉毛、眼睛、嘴巴等進(jìn)行移動(dòng)、變形。另外，特開(kāi)平6-76058號(hào)公報(bào)中公布了一種表情的編碼裝置。該現(xiàn)有例的表情編碼裝置中，圖像輸入裝置將面部圖像取為電氣信號(hào)并進(jìn)行編碼，生成給定的面部圖像數(shù)據(jù)。特征部位提取處理部，接收來(lái)自圖像輸入裝置的給定面部圖像數(shù)據(jù)，根據(jù)特征部位提取條件，提取特征部位圖像。表情要素提取處理部，根據(jù)給定的表情要素與特征部位的關(guān)聯(lián)規(guī)則，從該特征部位圖像提取表情要素，生成表情要素信息。表情要素定量化處理部，根據(jù)給定的表情要素定量化規(guī)則，對(duì)該表情要素信息進(jìn)行表情要素定量化處理，計(jì)算出表情要素編碼。另外，存儲(chǔ)部保存該表情要素編碼。表情要素編碼輸出裝置，輸出保存在運(yùn)算處理裝置中的表情要素編碼。另外，特開(kāi)平8-305878中公布了面部圖像生成裝置。該現(xiàn)有例的面部圖像生成裝置中，面部圖像生成部選擇形成面部的各個(gè)部位的部件圖像，生成面部圖像。表情給出部，對(duì)根據(jù)所指定的表情形成面部圖像的部件圖像，實(shí)施圖像變形、顯示位置移動(dòng)以及顯示·不顯示處理，對(duì)該面部圖像給予表情變化。另外，特開(kāi)2002-304638(P2002-304638A)中公布了表情動(dòng)畫(huà)生成裝置。該現(xiàn)有例的表情動(dòng)畫(huà)生成裝置中，表情差值數(shù)據(jù)提取部，從對(duì)象人物的表情面部樣品中提取特征點(diǎn)，根據(jù)特征點(diǎn)將表情面部樣品分割成多個(gè)部件，求出伴隨著對(duì)各個(gè)部件所指定的兩個(gè)不同表情間的表情過(guò)渡變化的形狀以及紋理的差值，得到差值形狀數(shù)據(jù)與差值紋理。動(dòng)作模式設(shè)定部，指定用來(lái)規(guī)定各個(gè)部件的時(shí)間變化的動(dòng)作模式函數(shù)。時(shí)序表情圖像合成部，以給定的時(shí)間間隔，生成根據(jù)動(dòng)作模式函數(shù)與差值形狀數(shù)據(jù)所計(jì)算出的任意時(shí)刻的中間差值形狀數(shù)據(jù)，與根據(jù)動(dòng)作模式函數(shù)與差值紋理所計(jì)算出任意時(shí)刻中的中間差值紋理，生成各個(gè)給定時(shí)間間隔的時(shí)序表情形狀數(shù)據(jù)以及時(shí)序表情紋理。表情動(dòng)畫(huà)再生部，通過(guò)將時(shí)序表情紋理映射到基于時(shí)序表情形狀數(shù)據(jù)的形狀中，在每個(gè)所生成的給定時(shí)間間隔，連續(xù)顯示出時(shí)序表情圖像，通過(guò)這樣來(lái)生成表情動(dòng)畫(huà)。另外，特開(kāi)2002-329214(P2002-329214A)中公布了一種表情合成裝置。該現(xiàn)有例的表情合成方法使用計(jì)算機(jī)圖形。該合成方法包括將面部的表情模型，作為面部的特征點(diǎn)的數(shù)據(jù)輸入的工序；提取表情模型的被括約肌所包圍的大致橢圓形的括約肌區(qū)域，將位于括約肌區(qū)域的長(zhǎng)軸上方的區(qū)域，規(guī)定為被長(zhǎng)軸與半橢圓形狀所包圍的半橢圓區(qū)域的提取工序；檢索半橢圓區(qū)域中所含有的特征點(diǎn)的工序；計(jì)算面部表情變化了的情況下的半橢圓區(qū)域所包括的特征點(diǎn)的移動(dòng)矢量的計(jì)算工序；以及按照移動(dòng)矢量移動(dòng)特征點(diǎn)，合成表情變化后的表情模型的工序。
發(fā)明內(nèi)容本發(fā)明的目的在于，削減在實(shí)現(xiàn)面部表情合成等形態(tài)變化時(shí)的計(jì)算量。本發(fā)明的觀點(diǎn)中，形態(tài)變形編碼裝置具備計(jì)算出表示形態(tài)變化前的物體之形態(tài)的變化前形態(tài)數(shù)據(jù)，與表示上述形態(tài)變化后的上述物體之形態(tài)的變化后形態(tài)數(shù)據(jù)之間的差值數(shù)據(jù)的計(jì)算部，以及其根據(jù)上述變化前形態(tài)數(shù)據(jù)與上述差值數(shù)據(jù)，決定上述物體的產(chǎn)生上述形態(tài)變化的動(dòng)作區(qū)域，以及為了進(jìn)行上述形態(tài)變化而施加給上述動(dòng)作區(qū)域的外力的決定部。這里，上述計(jì)算部具備根據(jù)三維模型，將上述變化前形態(tài)數(shù)據(jù)與上述變化后形態(tài)數(shù)據(jù)，變換成變化前形態(tài)模型數(shù)據(jù)與變化后形態(tài)模型數(shù)據(jù)的變換部，以及根據(jù)上述變化前形態(tài)模型數(shù)據(jù)與上述變化后形態(tài)模型數(shù)據(jù)之間的差，計(jì)算出上述差值數(shù)據(jù)的差值計(jì)算部。上述模型可以是三維多邊形網(wǎng)格模型，上述變化前形態(tài)數(shù)據(jù)與上述變化后形態(tài)數(shù)據(jù)可以是三維數(shù)據(jù)。上述動(dòng)作區(qū)域包括多個(gè)小區(qū)域，上述多個(gè)小區(qū)域分別包括多個(gè)控制點(diǎn)；上述外力，作為根據(jù)上述多個(gè)小區(qū)域各自的物理模型構(gòu)造，而在上述形態(tài)變化的前后讓上述多個(gè)小區(qū)域獨(dú)立變化所需要的外力進(jìn)行計(jì)算。這種情況下，上述物理模型構(gòu)造，可以采用控制點(diǎn)之間通過(guò)彈簧與減震器相結(jié)合的物理模型構(gòu)造。最好讓所有上述多個(gè)小區(qū)域中，上述控制點(diǎn)的個(gè)數(shù)以及上述物理模型構(gòu)造均相同。另外，上述物體包括人的面部，上述形態(tài)變化前的物體的形態(tài)表示無(wú)表情的面部的狀態(tài)，上述形態(tài)變化后的物體形態(tài)表示顯示出了表情的面部的狀態(tài)。另外，本發(fā)明的另一觀點(diǎn)中，形態(tài)變形解碼裝置具備根據(jù)表示形態(tài)變化前的物體形態(tài)的變化前形態(tài)數(shù)據(jù)，與施加給對(duì)應(yīng)于形態(tài)變化的動(dòng)作區(qū)域的外力的信息，決定上述動(dòng)作區(qū)域內(nèi)的控制點(diǎn)的移動(dòng)位置的解碼部，以及根據(jù)上述變化前形態(tài)數(shù)據(jù)與上述多個(gè)控制點(diǎn)各自的移動(dòng)位置，生成表示上述形態(tài)變化后的上述物體形態(tài)的變化后形態(tài)數(shù)據(jù)的形態(tài)生成部。上述動(dòng)作區(qū)域包括多個(gè)小區(qū)域，上述多個(gè)小區(qū)域分別包括多個(gè)控制點(diǎn)；上述多個(gè)小區(qū)域的各個(gè)上述控制點(diǎn)的移動(dòng)位置，使用物理模型通過(guò)上述多個(gè)小區(qū)域單位進(jìn)行決定。這里，可以讓上述變化前形態(tài)數(shù)據(jù)是三維數(shù)據(jù)；上述解碼部具備根據(jù)上述形態(tài)變化前的上述物體形態(tài)的三維模型與上述變化前形態(tài)數(shù)據(jù)，生成變化前形態(tài)模型數(shù)據(jù)的模型數(shù)據(jù)生成部；以及根據(jù)上述外力信息，由上述變化前形態(tài)模型數(shù)據(jù)，決定上述動(dòng)作區(qū)域內(nèi)的控制點(diǎn)各自的移動(dòng)位置的移動(dòng)量計(jì)算部?；蛘?，可以讓上述變化前形態(tài)數(shù)據(jù)是三維數(shù)據(jù)；上述解碼部具備根據(jù)三維多邊形網(wǎng)格模型與上述變化前形態(tài)數(shù)據(jù)，生成變化前形態(tài)網(wǎng)格模型數(shù)據(jù)的網(wǎng)格模型數(shù)據(jù)生成部；以及根據(jù)上述外力信息，由上述變化前形態(tài)網(wǎng)格模型數(shù)據(jù)，決定上述動(dòng)作區(qū)域內(nèi)的控制點(diǎn)各自的移動(dòng)位置的移動(dòng)量計(jì)算部。另外，最好還具備動(dòng)作內(nèi)插部，其在上述多個(gè)小區(qū)域的每一個(gè)中，將上述小區(qū)域中所含有的控制點(diǎn)以外的非控制點(diǎn)的移動(dòng)位置，根據(jù)該非控制點(diǎn)附近的上述控制點(diǎn)的移動(dòng)位置進(jìn)行計(jì)算。上述形態(tài)生成部，根據(jù)上述變化前形態(tài)數(shù)據(jù)與上述多個(gè)控制點(diǎn)各自的移動(dòng)位置，以上述多個(gè)小區(qū)域單位，生成上述形態(tài)變化后的上述物體的形態(tài)。此時(shí)，可以還具有將上述形態(tài)變化后的上述多個(gè)小區(qū)域中的相鄰者之間的邊界部分中所產(chǎn)生的不連續(xù)場(chǎng)所平滑化的相鄰小區(qū)域調(diào)整部。另外，還可以還具備將上述形態(tài)變化后的上述動(dòng)作區(qū)域與其周圍的未動(dòng)作區(qū)域之間的邊界部分中所產(chǎn)生的不連續(xù)場(chǎng)所平滑化的未動(dòng)作調(diào)整部。這里，上述多個(gè)小區(qū)域各自的物理模型中，上述控制點(diǎn)通過(guò)彈簧與減震器相結(jié)合?？梢宰屔鲜鑫矬w包括人的面部，上述形態(tài)變化前的形態(tài)表示無(wú)表情的面部，上述形態(tài)變化后的形態(tài)表示顯示出了表情的面部。還可以具備根據(jù)上述變化后形態(tài)數(shù)據(jù)，驅(qū)動(dòng)具有撓性的上述物體中的上述動(dòng)作區(qū)域的三維執(zhí)行器群。另外，本發(fā)明的另一觀點(diǎn)中，形態(tài)變形編碼解碼裝置具備上述任一個(gè)形態(tài)變形編碼裝置、權(quán)利要求8～17中任一個(gè)所述的形態(tài)變形解碼裝置、以及將上述形態(tài)變形編碼裝置所產(chǎn)生的上述動(dòng)作區(qū)域與上述外力信息，經(jīng)通信通路傳輸給上述形態(tài)變形解碼裝置的傳輸裝置。另外，本發(fā)明的另一觀點(diǎn)中，形態(tài)變形編碼方法通過(guò)計(jì)算出表示形態(tài)變化前的物體之形態(tài)的變化前形態(tài)數(shù)據(jù)，與表示上述形態(tài)變化后的上述物體之形態(tài)的變化后形態(tài)數(shù)據(jù)之間的差值數(shù)據(jù)的步驟；以及根據(jù)上述變化前形態(tài)數(shù)據(jù)與上述差值數(shù)據(jù)，決定上述物體的產(chǎn)生上述形態(tài)變化的動(dòng)作區(qū)域，以及為了進(jìn)行上述形態(tài)變化而施加給上述動(dòng)作區(qū)域的外力的步驟、來(lái)實(shí)現(xiàn)。這里，上述計(jì)算步驟可以通過(guò)根據(jù)三維模型，將上述變化前形態(tài)數(shù)據(jù)與上述變化后形態(tài)數(shù)據(jù)，變換成變化前形態(tài)模型數(shù)據(jù)與變化后形態(tài)模型數(shù)據(jù)的步驟；以及根據(jù)上述變化前形態(tài)模型數(shù)據(jù)與上述變化后形態(tài)模型數(shù)據(jù)之間的差，計(jì)算出上述差值數(shù)據(jù)的步驟來(lái)實(shí)現(xiàn)?？梢宰屔鲜瞿Ｐ褪侨S多邊形網(wǎng)格模型，上述變化前形態(tài)數(shù)據(jù)與上述變化后形態(tài)數(shù)據(jù)是三維數(shù)據(jù)?？梢宰屔鲜鰟?dòng)作區(qū)域包括多個(gè)小區(qū)域，上述多個(gè)小區(qū)域分別包括多個(gè)控制點(diǎn)；上述外力，作為根據(jù)上述多個(gè)小區(qū)域各自的物理模型構(gòu)造，而在上述形態(tài)變化的前后讓上述多個(gè)小區(qū)域獨(dú)立變化所需要的外力被計(jì)算。上述物理模型構(gòu)造，最好采用控制點(diǎn)之間通過(guò)彈簧與減震器相結(jié)合的物理模型構(gòu)造。另外，最好讓所有上述多個(gè)小區(qū)域中，上述控制點(diǎn)的個(gè)數(shù)以及上述物理模型構(gòu)造均相同。上述物體包括人的面部，上述形態(tài)變化前的物體的形態(tài)表示無(wú)表情的面部的狀態(tài)，上述形態(tài)變化后的物體形態(tài)表示顯示出了表情的面部的狀態(tài)。本發(fā)明的另一觀點(diǎn)中，形態(tài)變形解碼方法通過(guò)根據(jù)表示形態(tài)變化前的物體形態(tài)的變化前形態(tài)數(shù)據(jù)，與施加給對(duì)應(yīng)于形態(tài)變化的動(dòng)作區(qū)域的外力的信息，決定上述動(dòng)作區(qū)域內(nèi)的控制點(diǎn)的移動(dòng)位置的步驟；以及根據(jù)上述變化前形態(tài)數(shù)據(jù)與上述多個(gè)控制點(diǎn)各自的移動(dòng)位置，生成表示上述形態(tài)變化后的上述物體形態(tài)的變化后形態(tài)數(shù)據(jù)的步驟來(lái)實(shí)現(xiàn)。上述動(dòng)作區(qū)域包括多個(gè)小區(qū)域，上述多個(gè)小區(qū)域分別包括多個(gè)控制點(diǎn)；上述多個(gè)小區(qū)域的各個(gè)上述控制點(diǎn)的移動(dòng)位置，使用物理模型通過(guò)上述多個(gè)小區(qū)域單位進(jìn)行決定。這里，上述變化前形態(tài)數(shù)據(jù)是三維數(shù)據(jù)；上述決定移動(dòng)位置的步驟通過(guò)根據(jù)上述形態(tài)變化前的上述物體形態(tài)的三維模型與上述變化前形態(tài)數(shù)據(jù)，生成變化前形態(tài)模型數(shù)據(jù)的步驟；以及根據(jù)上述外力信息，由上述變化前形態(tài)模型數(shù)據(jù)，決定上述動(dòng)作區(qū)域內(nèi)的控制點(diǎn)各自的移動(dòng)位置的步驟來(lái)實(shí)現(xiàn)?；蛘?，上述變化前形態(tài)數(shù)據(jù)是三維數(shù)據(jù)；上述決定移動(dòng)位置的步驟通過(guò)根據(jù)三維多邊形網(wǎng)格模型與上述變化前形態(tài)數(shù)據(jù)，生成變化前形態(tài)網(wǎng)格模型數(shù)據(jù)的步驟；以及根據(jù)上述外力信息，由上述變化前形態(tài)網(wǎng)格模型數(shù)據(jù)，決定上述動(dòng)作區(qū)域內(nèi)的控制點(diǎn)各自的移動(dòng)位置的步驟來(lái)實(shí)現(xiàn)。還可以具有在上述多個(gè)小區(qū)域的每一個(gè)中，將上述小區(qū)域中所含有的控制點(diǎn)以外的非控制點(diǎn)的移動(dòng)位置，根據(jù)該非控制點(diǎn)附近的上述控制點(diǎn)的移動(dòng)位置進(jìn)行計(jì)算的步驟。此時(shí)，上述生成變化后形態(tài)數(shù)據(jù)的步驟，根據(jù)上述變化前形態(tài)數(shù)據(jù)與上述多個(gè)控制點(diǎn)各自的移動(dòng)位置，以上述多個(gè)小區(qū)域單位，生成上述形態(tài)變化后的上述物體的形態(tài)。另外，還可以具有將上述形態(tài)變化后的上述多個(gè)小區(qū)域中的相鄰者之間的邊界部分中所產(chǎn)生的不連續(xù)場(chǎng)所平滑化的步驟，還可以具有將上述形態(tài)變化后的上述動(dòng)作區(qū)域與其周圍的未動(dòng)作區(qū)域之間的邊界部分中所產(chǎn)生的不連續(xù)場(chǎng)所平滑化的步驟。最好讓上述多個(gè)小區(qū)域各自的物理模型中，上述控制點(diǎn)通過(guò)彈簧與減震器相結(jié)合，上述物體包括人的面部，上述形態(tài)變化前的形態(tài)表示無(wú)表情的面部，上述形態(tài)變化后的形態(tài)表示顯示出了表情的面部?；蛘?，還可以讓上述物體是機(jī)器人；還具備根據(jù)上述變化后形態(tài)數(shù)據(jù)，驅(qū)動(dòng)具有撓性的上述物體中的上述動(dòng)作區(qū)域的步驟。本發(fā)明的另一觀點(diǎn)中，形態(tài)變形編碼解碼方法通過(guò)通過(guò)上述任一個(gè)形態(tài)變形編碼方法，生成上述動(dòng)作區(qū)域的信息與上述外力的信息的步驟；將上述動(dòng)作區(qū)域的信息與上述外力信息通過(guò)通信通路進(jìn)行傳輸?shù)牟襟E；以及通過(guò)上述任一個(gè)形態(tài)變形解碼方法，根據(jù)上述所傳輸?shù)膭?dòng)作區(qū)域的信息，與上述所傳輸?shù)耐饬Φ男畔?，生成表示上述物體的形態(tài)的變化后形態(tài)數(shù)據(jù)的步驟來(lái)實(shí)現(xiàn)。另外，本發(fā)明的另一觀點(diǎn)中，本發(fā)明涉及一種用來(lái)實(shí)現(xiàn)上述任一個(gè)形態(tài)變形編碼方法或上述任一個(gè)形態(tài)變形解碼方法的計(jì)算機(jī)可讀軟件產(chǎn)品。根據(jù)本發(fā)明，能夠削減在使用物理模型實(shí)現(xiàn)面部表情合成等時(shí)的計(jì)算量。使用彈簧模型等物理模型合成面部表情的以往的方法中，將設(shè)有表情肌腱的區(qū)域全體作為1個(gè)區(qū)域，根據(jù)外力對(duì)該區(qū)域內(nèi)所含有的各個(gè)點(diǎn)的移動(dòng)位置進(jìn)行計(jì)算，因此計(jì)算量非常龐大，但本發(fā)明中，通過(guò)相當(dāng)小的小區(qū)域單位獨(dú)立計(jì)算各個(gè)控制點(diǎn)的移動(dòng)位置。另外，將求出對(duì)應(yīng)于外力的移動(dòng)位置的對(duì)象，限定未屬于小區(qū)域的點(diǎn)的一部分之控制點(diǎn)，作為剩下的點(diǎn)的非控制點(diǎn)，通過(guò)內(nèi)插等根據(jù)該非控制點(diǎn)附近的控制點(diǎn)的移動(dòng)位置來(lái)求出。另外，能夠讓將動(dòng)作區(qū)域分割成多個(gè)小區(qū)域，在小區(qū)域單位中獨(dú)立計(jì)算移動(dòng)位置的情況下所容易產(chǎn)生的小區(qū)域之間的邊界部分的級(jí)差等，變得不明顯，讓動(dòng)作區(qū)域與其周圍的未動(dòng)作區(qū)域之間的邊界部分中所產(chǎn)生的級(jí)差等變得不明顯。另外，小區(qū)域的物理模型構(gòu)造，使用控制點(diǎn)之間通過(guò)彈簧與減震器相結(jié)合的物理模型構(gòu)造，因此能夠再現(xiàn)出接近表情肌腱的動(dòng)作的動(dòng)作。此時(shí)，由于所有小區(qū)域的控制點(diǎn)的個(gè)數(shù)以及物理模型構(gòu)造相等，因此能夠減少在計(jì)算控制點(diǎn)的移動(dòng)位置時(shí)的參數(shù)，另外還能夠進(jìn)一步削減計(jì)算量。在物體模型包括人的面部模型，經(jīng)時(shí)形態(tài)變化包括人的面部的表情變化時(shí)，能夠合成人的面部的表情。另外，根據(jù)本發(fā)明，能夠通過(guò)較少的計(jì)算量，求出作為在物體的形態(tài)變化前后不同的區(qū)域的動(dòng)作區(qū)域，以及施加給包括在該動(dòng)作區(qū)域中的各個(gè)控制點(diǎn)的外力。使用彈簧模型等物理模型合成面部表情的以往的方法中，將設(shè)有表情肌腱的區(qū)域全體作為1個(gè)區(qū)域，根據(jù)該區(qū)域內(nèi)所含有的各個(gè)點(diǎn)的移動(dòng)量計(jì)算外力，因此計(jì)算量非常龐大，但本發(fā)明中，通過(guò)相當(dāng)小的小區(qū)域單位，獨(dú)立地根據(jù)各個(gè)控制點(diǎn)的移動(dòng)量計(jì)算外力。小區(qū)域的物理模型構(gòu)造，使用控制點(diǎn)之間通過(guò)彈簧與減震器相結(jié)合的物理模型構(gòu)造，因此能夠計(jì)算出用來(lái)再現(xiàn)接近表情肌腱動(dòng)作的動(dòng)作的外力。由于所有小區(qū)域的控制點(diǎn)的個(gè)數(shù)以及物理模型構(gòu)造相同，因此能夠進(jìn)一步削減外力計(jì)算所需要的計(jì)算量，還能夠減少必要的參數(shù)。在物體包括人的面部，形態(tài)變化前為無(wú)表情狀態(tài)，形態(tài)變化后為顯示出表情的狀態(tài)時(shí)，能夠計(jì)算出為了讓人的面部成為無(wú)表情或某個(gè)表情的面部所需要的外力。另外，能夠通過(guò)較少的計(jì)算量，生成物體的三維數(shù)據(jù)根據(jù)外力信息進(jìn)行了變形(變換)的三維數(shù)據(jù)。在使用彈簧模型等物理模型合成面部表情的以往的方法中，將設(shè)有表情肌腱的區(qū)域全體作為1個(gè)區(qū)域，根據(jù)外力對(duì)該區(qū)域內(nèi)所含有的各個(gè)點(diǎn)的移動(dòng)位置進(jìn)行計(jì)算，因此計(jì)算量非常龐大，但本發(fā)明中，通過(guò)相當(dāng)小的小區(qū)域單位獨(dú)立計(jì)算各個(gè)控制點(diǎn)的移動(dòng)位置。能夠通過(guò)較少的計(jì)算量，生成物體的圖像根據(jù)外力信息變形了的圖像。在使用彈簧模型等物理模型合成面部表情的以往的方法中，將設(shè)有表情肌腱的區(qū)域全體作為1個(gè)區(qū)域，根據(jù)外力對(duì)該區(qū)域內(nèi)所含有的各個(gè)點(diǎn)的移動(dòng)位置進(jìn)行計(jì)算，因此計(jì)算量非常龐大，但本發(fā)明中，通過(guò)相當(dāng)小的小區(qū)域單位獨(dú)立計(jì)算各個(gè)控制點(diǎn)的移動(dòng)位置。例如，能夠根據(jù)用來(lái)“張大嘴巴”的外力信息與用來(lái)“上翻上眼瞼”的外力信息等多個(gè)外力信息，計(jì)算出對(duì)應(yīng)于形態(tài)變化前的三維數(shù)據(jù)以及圖像的形態(tài)變化后的各個(gè)控制點(diǎn)的移動(dòng)量。另外，能夠讓將動(dòng)作區(qū)域分割成多個(gè)小區(qū)域，在小區(qū)域單位中獨(dú)立計(jì)算移動(dòng)位置的情況下所容易產(chǎn)生的小區(qū)域之間的邊界部分的級(jí)差等，變得不明顯，讓動(dòng)作區(qū)域與其周圍的未動(dòng)作區(qū)域之間的邊界部分中所產(chǎn)生的級(jí)差等變得不明顯。小區(qū)域的物理模型構(gòu)造，使用控制點(diǎn)之間通過(guò)彈簧與減震器相結(jié)合的物理模型構(gòu)造，因此能夠再現(xiàn)出接近表情肌腱的動(dòng)作的動(dòng)作，由于物體包括人的面部，形態(tài)變化前為無(wú)表情狀態(tài)，形態(tài)變化后為顯示出某個(gè)表情的狀態(tài)，因此能夠給人的無(wú)表情面部添加某個(gè)表情。根據(jù)本發(fā)明，通過(guò)檢測(cè)出某個(gè)人物面部的表情變化，將與其相同的變化施加給同一人物或其他人物的面部圖像等，能夠通過(guò)較少的計(jì)算量，實(shí)現(xiàn)表情與特定人物同步的擬人化代理。使用彈簧模型等物理模型合成面部表情的以往的方法中，將設(shè)有表情肌腱的區(qū)域全體作為1個(gè)區(qū)域，根據(jù)該區(qū)域內(nèi)所含有的各個(gè)點(diǎn)的移動(dòng)位置計(jì)算外力，因此計(jì)算量非常龐大，但本發(fā)明中，通過(guò)相當(dāng)小的小區(qū)域單位，獨(dú)立地根據(jù)各個(gè)控制點(diǎn)的移動(dòng)位置計(jì)算外力。在使用彈簧模型等物理模型合成面部表情的以往的方法中，將設(shè)有表情肌腱的區(qū)域全體作為1個(gè)區(qū)域，根據(jù)外力對(duì)該區(qū)域內(nèi)所含有的各個(gè)點(diǎn)的移動(dòng)位置進(jìn)行計(jì)算，因此計(jì)算量非常龐大，但本發(fā)明中，通過(guò)相當(dāng)小的小區(qū)域單位獨(dú)立計(jì)算各個(gè)控制點(diǎn)的移動(dòng)位置。能夠削減用來(lái)在機(jī)器人的頭部中安裝的面具等物體中顯示出表情的計(jì)算量。在使用彈簧模型等物理模型合成面部表情的以往的方法中，將設(shè)有表情肌腱的區(qū)域全體作為1個(gè)區(qū)域，根據(jù)外力對(duì)該區(qū)域內(nèi)所含有的各個(gè)點(diǎn)的移動(dòng)位置進(jìn)行計(jì)算，因此計(jì)算量非常龐大，但本發(fā)明中，通過(guò)相當(dāng)小的小區(qū)域單位獨(dú)立計(jì)算各個(gè)控制點(diǎn)的移動(dòng)位置。圖1為本發(fā)明的原理說(shuō)明圖。圖2為說(shuō)明本發(fā)明的第1實(shí)施例的相關(guān)形態(tài)變形裝置的構(gòu)成的框圖。圖3為說(shuō)明本發(fā)明的第1實(shí)施例的相關(guān)形態(tài)變形裝置中的動(dòng)作區(qū)域指定部的處理例的流程圖。圖4為說(shuō)明本發(fā)明的第1實(shí)施例的相關(guān)形態(tài)變形裝置中的動(dòng)作區(qū)域分割部的處理例的流程圖。圖5為說(shuō)明本發(fā)明的第1實(shí)施例的相關(guān)形態(tài)變形裝置中的控制點(diǎn)數(shù)據(jù)的構(gòu)成例的圖。圖6為說(shuō)明本發(fā)明的第1實(shí)施例的相關(guān)形態(tài)變形裝置中的控制點(diǎn)動(dòng)作部的處理例的流程圖。圖7A為本發(fā)明的第1實(shí)施例的相關(guān)形態(tài)變形裝置中的動(dòng)作內(nèi)插部的動(dòng)作示意圖。圖7B為本發(fā)明的第1實(shí)施例的相關(guān)形態(tài)變形裝置中的動(dòng)作內(nèi)插部的動(dòng)作示意圖。圖8為說(shuō)明本發(fā)明的第1實(shí)施例的相關(guān)形態(tài)變形裝置中的動(dòng)作內(nèi)插部的處理例的流程圖。圖9為本發(fā)明的第2實(shí)施例的相關(guān)形態(tài)變形裝置的框圖。圖10A為說(shuō)明小區(qū)域的邊界部分中產(chǎn)生了級(jí)差等不連續(xù)處的狀態(tài)的圖。圖10B為說(shuō)明小區(qū)域的邊界部分中產(chǎn)生了級(jí)差等不連續(xù)處的狀態(tài)的圖。圖10C為說(shuō)明小區(qū)域的邊界部分中產(chǎn)生了級(jí)差等不連續(xù)處的狀態(tài)的圖。圖11為說(shuō)明本發(fā)明的第2實(shí)施例的相關(guān)形態(tài)變形裝置中的相鄰小區(qū)域調(diào)整部的處理例的流程圖。圖12為說(shuō)明通過(guò)本發(fā)明的第2實(shí)施例的相關(guān)形態(tài)變形裝置中的相鄰小區(qū)域調(diào)整部所進(jìn)行的平滑化處理的流程圖。圖13為本發(fā)明的第2實(shí)施例的相關(guān)形態(tài)變形裝置中的相鄰小區(qū)域調(diào)整部的動(dòng)作說(shuō)明圖。圖14為本發(fā)明的第3實(shí)施例的相關(guān)形態(tài)變形裝置的框圖。圖15A為說(shuō)明動(dòng)作區(qū)域與未動(dòng)作區(qū)域之間的邊界部分中產(chǎn)生了級(jí)差等不連續(xù)處的狀態(tài)的圖。圖15B為說(shuō)明動(dòng)作區(qū)域與未動(dòng)作區(qū)域之間的邊界部分中產(chǎn)生了級(jí)差等不連續(xù)處的狀態(tài)的圖。圖16為說(shuō)明通過(guò)本發(fā)明的第3實(shí)施例的相關(guān)形態(tài)變形裝置中的未動(dòng)作區(qū)域調(diào)整部所進(jìn)行的平滑化處理的流程圖。圖17為本發(fā)明的第3實(shí)施例的相關(guān)形態(tài)變形裝置中的未動(dòng)作區(qū)域調(diào)整部的動(dòng)作說(shuō)明圖。圖18為本發(fā)明的第4實(shí)施例的相關(guān)面部動(dòng)作(形態(tài)變形)編碼裝置的框圖。圖19為說(shuō)明本發(fā)明的第4實(shí)施例的相關(guān)面部動(dòng)作(形態(tài)變形)編碼裝置中所使用的面部三角多邊形網(wǎng)格模型之一例的圖。圖20為本發(fā)明的第4實(shí)施例的相關(guān)面部動(dòng)作(形態(tài)變形)編碼裝置中的三維差值計(jì)算部的動(dòng)作示意圖。圖21為說(shuō)明本發(fā)明的第4實(shí)施例的相關(guān)面部動(dòng)作(形態(tài)變形)編碼裝置中的三維差值計(jì)算部所生成的三維差值數(shù)據(jù)的內(nèi)容例的圖。圖22A為本發(fā)明的第4實(shí)施例的相關(guān)面部動(dòng)作(形態(tài)變形)編碼裝置中的外力計(jì)算部的動(dòng)作說(shuō)明圖。圖22B為本發(fā)明的第4實(shí)施例的相關(guān)面部動(dòng)作(形態(tài)變形)編碼裝置中的外力計(jì)算部的動(dòng)作說(shuō)明圖。圖23為本發(fā)明的第5實(shí)施例的相關(guān)面部動(dòng)作(形態(tài)變形)解碼裝置的框圖。圖24為本發(fā)明的第6實(shí)施例的相關(guān)面部動(dòng)作(形態(tài)變形)解碼裝置的框圖。圖25為本發(fā)明的第7實(shí)施例的相關(guān)面部動(dòng)作(形態(tài)變形)編碼裝置的框圖。圖26為本發(fā)明的第8實(shí)施例的相關(guān)面部動(dòng)作(形態(tài)變形)解碼裝置的框圖。圖27為本發(fā)明的第9實(shí)施例的相關(guān)面部動(dòng)作(形態(tài)變形)解碼裝置的框圖。圖28為本發(fā)明的第10實(shí)施例的相關(guān)面部動(dòng)作(形態(tài)變形)編碼解碼裝置的框圖。圖29為本發(fā)明的第11實(shí)施例的相關(guān)面部動(dòng)作(形態(tài)變形)編碼解碼裝置的框圖。圖30為本發(fā)明的第12實(shí)施例的相關(guān)使用形態(tài)變形解碼裝置的機(jī)器人控制裝置的框圖。具體實(shí)施例方式首先，對(duì)照附圖對(duì)本發(fā)明的基本原理進(jìn)行詳細(xì)說(shuō)明。參照?qǐng)D1，本發(fā)明中所使用的面部模型之一例中，在面部全體的區(qū)域1000中，至少設(shè)定了1個(gè)動(dòng)作區(qū)域1001。動(dòng)作區(qū)域1001是變形的對(duì)象區(qū)域，對(duì)應(yīng)于應(yīng)當(dāng)顯示的表情來(lái)決定。例如，在FACS中的每個(gè)動(dòng)作單位(AUActionunit)中，將生長(zhǎng)有產(chǎn)生該動(dòng)作單位的表情肌腱的部分設(shè)定為1個(gè)動(dòng)作區(qū)域?？梢栽趯o(wú)表情面部與某面部表情動(dòng)作面部進(jìn)行比較時(shí)，將不同的區(qū)域設(shè)為動(dòng)作區(qū)域。本發(fā)明中，將這樣的動(dòng)作區(qū)域1001，分割成多個(gè)小區(qū)域1002，以各個(gè)小區(qū)域1002單位計(jì)算對(duì)應(yīng)于外力的移動(dòng)量。屬于1個(gè)小區(qū)域1002中的點(diǎn)(像素)，分為通過(guò)黑圓點(diǎn)所表示的多個(gè)(3個(gè)以上)控制點(diǎn)1003，以及控制點(diǎn)以外的通過(guò)白圈所表示的非控制點(diǎn)1004，控制點(diǎn)1003之間通過(guò)彈簧1005與減震器1006(damper)相連接。另外，外力如圖1中的箭頭1007所示，只作用給控制點(diǎn)1003。各個(gè)小區(qū)域1002中的計(jì)算，屬于該小區(qū)域1002的各個(gè)控制點(diǎn)1003的移動(dòng)量，根據(jù)作用給該控制點(diǎn)1003的外力，以及彈簧1005與減震器1006的常數(shù)來(lái)計(jì)算，控制點(diǎn)1003以外的非控制點(diǎn)1004的移動(dòng)量，根據(jù)位于該非控制點(diǎn)1004附近的多個(gè)控制點(diǎn)1003的移動(dòng)量，通過(guò)內(nèi)插等來(lái)計(jì)算。通過(guò)這樣，各個(gè)小區(qū)域1002全體，由作用給內(nèi)部控制點(diǎn)1003的外力一體移動(dòng)，所有的小區(qū)域1002同樣移動(dòng)。結(jié)果導(dǎo)致動(dòng)作區(qū)域1001變形，能夠顯示出所期望的表情。這樣，動(dòng)作區(qū)域1001被分割為一邊作為彈簧模型互相作用，一邊一體運(yùn)動(dòng)的小區(qū)域1002，只對(duì)各個(gè)小區(qū)域1002中互相通過(guò)彈簧1005與減震器1006相連接的多個(gè)控制點(diǎn)1003作用外力1007，小區(qū)域1002全體，通過(guò)使用將該外力1007作用在控制點(diǎn)1003而進(jìn)行拖動(dòng)從而進(jìn)行動(dòng)作的模型，來(lái)再現(xiàn)動(dòng)作單位的動(dòng)作。該模型中的動(dòng)作單位的動(dòng)作，通過(guò)小區(qū)域1002單位而不是動(dòng)作區(qū)域1001單位中的彈簧模型計(jì)算來(lái)表現(xiàn)，因此，參數(shù)設(shè)定較簡(jiǎn)單，削減了計(jì)算量。另外，由于不處理直接移動(dòng)量而是進(jìn)行外力計(jì)算，因此具有能夠分離表情的表現(xiàn)時(shí)的個(gè)人性與表情動(dòng)作的普遍性等的優(yōu)點(diǎn)。接下來(lái)，對(duì)計(jì)算1個(gè)小區(qū)域1002內(nèi)的控制點(diǎn)1003的移動(dòng)位置的具體方法進(jìn)行說(shuō)明。作為一例，對(duì)彈簧1005與減震器1006的常數(shù)都相等的情況下的移動(dòng)位置的計(jì)算方法進(jìn)行說(shuō)明。該例子能夠象如下那樣進(jìn)行定型化。也即，設(shè)1個(gè)小區(qū)域內(nèi)存在n(n＞＝3)個(gè)控制點(diǎn)，第i個(gè)控制點(diǎn)的質(zhì)量為Mi，對(duì)其進(jìn)行作用的外力為fi，連接第i與第j控制點(diǎn)的彈簧、減震器的常數(shù)分別為Kij、Dij。此時(shí)，如果設(shè)彈簧的基準(zhǔn)位置為li，則第i個(gè)控制點(diǎn)的位置xi通過(guò)下述式(1)來(lái)表示。Mix··i=-Σj≠iDij(x·i-x·j)-Σj≠iKij(xi-xj)+Fi...(1)]]>且[公式2]Fi=fi+Σj≠iKij(li-lj)]]>這里，如果替換為[公式3]x=(x1,x·1,···,xn,x·n)J,u=(F1,···,FN)T]]>則式(1)能夠重寫(xiě)為通過(guò)[公式4]ddtx=Ax+Bu...(2)]]>所表示的線形控制系統(tǒng)的標(biāo)準(zhǔn)公式。且A、B分別為如下所表示的2n×2n、2n×n的矩陣。A=01···00···00-Σj≠1kij-Σj≠1dij···k1fd1j···k1nd1n························00···01···00ki1di1···-Σj≠ikij-Σj≠idij···kindin························00···00···01kn1dn1···knjdnj···-Σj≠nknj-Σj≠ndnj...(3)]]>且kij＝Kij/Mi，dij＝Dij/Mi。B=0···0m1···0·········0···00···mn...(4)]]>且mi＝1/Mi。上述式(3)的解析解，通過(guò)下述的式(5)來(lái)表示。x(t)=eAtx(0)+∫t0eA(t-τ)Bu(τ)dτ...(5)]]>且[公式8]eAt=1+At+···+tn-1(n-1)!An-1+··...(6)]]>式(5)的解有時(shí)因?yàn)锳、B而不存在，有時(shí)即使存在t也無(wú)限大從而發(fā)散。但是，本發(fā)明的模型中，在u一定，且質(zhì)量Mi、彈簧系數(shù)Kij、減震器常數(shù)Dij一定的情況下，也即在mi、ki、di為一定值m、k、d的情況下，質(zhì)點(diǎn)數(shù)n時(shí)的指數(shù)函數(shù)形式矩陣eAt，P(t)、Q(t)為2×2的矩陣，各要素分別如下所示。P11(t)=1n+e-nd2t(n-1ncoshλnt+(n-1)d2λnsinhλnt)]]>[公式10]P12(t)=tn+e-nd2t((n-1)nλnsinhλnt)]]>[公式11]P21(t)=-e-nd2t((n-1)kλnsinhλnt)]]>[公式12]P22(t)=1n+e-nd2t(n-1ncoshλnt-(n-1)d2λnsinhλnt)]]>[公式13]Q11(t)=1n-e-nd2t(1ncoshλnt+d2λnsinhλnt)]]>[公式14]Q12(t)=tn-e-nd2t(1nλnsinhλnt)]]>[公式15]Q21(t)=e-nd2t(kλnsinhλnt)]]>[公式16]Q22(t)=1n-e-nd2t(1ncoshλnt-d2λnsinhλnt)]]>且，設(shè)[公式17]λn=n2d24-nk]]>此時(shí)，式(6)的矩陣可以通過(guò)[公式18]來(lái)表示。由于系統(tǒng)的固有值-nd/2+2λn、-nd/2-λn的實(shí)數(shù)部一定是負(fù)的，因此在t無(wú)限大時(shí)不會(huì)發(fā)散。所以，給出t與參數(shù)m、k、d，如果u一定，則式(5)變?yōu)閤(t)與x(0)、u的一次式。但是，m、n通常以兩者的積的形式出現(xiàn)，無(wú)法分離，因此可以認(rèn)為是1個(gè)常數(shù)(綜合為u)。通過(guò)這樣，在給出了t的情況下，參數(shù)變成只有k、d。參數(shù)k、d的給出方法是自由的，但根據(jù)λn的根號(hào)內(nèi)的值是正、0、負(fù)中的任一個(gè)，而分別進(jìn)行過(guò)衰減、臨界衰減、衰減振動(dòng)等的動(dòng)作。該3種動(dòng)作(詳細(xì)地是V.D.Bulger、M.G.Olson著，戶田、田上譯“力學(xué)新視點(diǎn)”，培風(fēng)館，1975)，均隨著t變得無(wú)窮大而衰減，但只有衰減振動(dòng)一邊反復(fù)進(jìn)行周期增減，一邊進(jìn)行衰減，臨界振動(dòng)比過(guò)衰減更早收斂。以下，對(duì)進(jìn)行不會(huì)周期增減的較快運(yùn)動(dòng)的臨界衰減的情況下的實(shí)施例進(jìn)行說(shuō)明。如果給出滿足參數(shù)t、k、d與式(2)的界限條件的初速度0的條件[公式19]x·i(0)=0]]>則式(5)由于[公式20]xi(t)=P11(t)xi(0)+Q11(t)Σj≠ixj(0)+∫t0(P12(t-τ)Fi+Q12(t-τ)Σj≠iFj)dτ...(8)]]>而變?yōu)橥饬i的一次式，根據(jù)式(8)能夠容易地計(jì)算出移動(dòng)位置xi(t)。另外，時(shí)刻t中的速度為[公式21]x·i(t)=P21(t)xi(0)+Q21(t)Σj≠ixj(0)+∫t0(P22(t-τ)Fi+Q22(t-τ)Σj≠iFj)dτ...(9)]]>在[公式22][公式23][公式24]變?yōu)?時(shí)的t收斂。本發(fā)明中，如圖1所示，將動(dòng)作區(qū)域1001分割成多個(gè)小區(qū)域1002，以各個(gè)小區(qū)域1002單位計(jì)算各個(gè)控制點(diǎn)1003對(duì)應(yīng)于外力1007的移動(dòng)量。因此，本發(fā)明中，即使在根據(jù)各個(gè)控制點(diǎn)1003的移動(dòng)量計(jì)算外力1007的情況下，也以各個(gè)小區(qū)域1002單位根據(jù)各個(gè)控制點(diǎn)1003的移動(dòng)量來(lái)計(jì)算外力1007。該外力的計(jì)算中也能夠使用上述式(8)。以上，使用小區(qū)域1002的控制點(diǎn)1003之間通過(guò)彈簧1005與減震器1006相連接的構(gòu)造的物理模型。但是，還可以使用結(jié)構(gòu)更加簡(jiǎn)單的與外力單純成正比的物理模型，或與任一個(gè)控制點(diǎn)或小區(qū)域的重心等特定點(diǎn)之間的距離的二次方成反比的重力模型或電磁力模型等其他種類的物理模型。這種情況下，通過(guò)求解各個(gè)對(duì)應(yīng)的方程式，能夠計(jì)算出小區(qū)域1002內(nèi)的控制點(diǎn)1003的移動(dòng)量。圖2為說(shuō)明基于本發(fā)明的第1實(shí)施例的形態(tài)變形裝置的構(gòu)成的框圖。形態(tài)變形裝置，將人的無(wú)表情面部圖像變形成表情動(dòng)作面部圖像。本實(shí)施例的形態(tài)變形裝置，具有處理裝置CNT1、存儲(chǔ)裝置M1～M6、顯示裝置DPY以及輸入裝置KEY。多個(gè)存儲(chǔ)裝置M1～M6，例如由磁盤構(gòu)成，其中，存儲(chǔ)裝置M1存儲(chǔ)人的無(wú)表情面部的相關(guān)輸入數(shù)據(jù)S1。存儲(chǔ)裝置M6存儲(chǔ)人的表情動(dòng)作面部的相關(guān)輸出數(shù)據(jù)S6。剩下的存儲(chǔ)裝置M2～M5，存儲(chǔ)中間結(jié)果以及處理過(guò)程中需要的控制數(shù)據(jù)。顯示裝置DPY例如是液晶顯示器，顯示出作為輸出數(shù)據(jù)S6而得到的表情動(dòng)作面部圖像，用來(lái)顯示處理過(guò)程的數(shù)據(jù)。輸入裝置KEY例如由鍵盤與鼠標(biāo)構(gòu)成，用來(lái)從使用者接收各種數(shù)據(jù)與命令?？刂蒲b置CNT1，例如由計(jì)算機(jī)的中央處理裝置構(gòu)成，執(zhí)行本實(shí)施例的形態(tài)變形裝置的主要處理?？刂蒲b置CNT1具有動(dòng)作區(qū)域指定部1、動(dòng)作區(qū)域分割部2、控制點(diǎn)動(dòng)作部3以及動(dòng)作內(nèi)插部4。控制裝置CNT1的各個(gè)功能部1～4，能夠通過(guò)構(gòu)成控制裝置CNT1的計(jì)算機(jī)與形態(tài)變形裝置用程序來(lái)實(shí)現(xiàn)。形態(tài)變形裝置用程序記錄在磁盤等計(jì)算機(jī)可讀記錄介質(zhì)PM1中，在計(jì)算機(jī)的起動(dòng)等時(shí)讀取到該計(jì)算機(jī)中，通過(guò)控制該計(jì)算機(jī)的運(yùn)行，來(lái)在該計(jì)算機(jī)上實(shí)現(xiàn)各個(gè)功能部1～4。接下來(lái)，對(duì)基于本發(fā)明的本實(shí)施例的形態(tài)變形裝置的動(dòng)作進(jìn)行說(shuō)明?？刂蒲b置CNT1，輸入存儲(chǔ)在存儲(chǔ)裝置M1中的輸入數(shù)據(jù)S1并處理，最終將輸出數(shù)據(jù)S6輸出給存儲(chǔ)裝置M6，同時(shí)，控制顯示裝置DPY來(lái)顯示輸出數(shù)據(jù)S6。該過(guò)程中，控制裝置CNT裝載存儲(chǔ)在存儲(chǔ)裝置M3中的控制點(diǎn)數(shù)據(jù)S3并利用，在存儲(chǔ)裝置M2、M4以及M5中，適當(dāng)保存動(dòng)作區(qū)域指定完成數(shù)據(jù)S2、小區(qū)域分割完成數(shù)據(jù)S4以及初始3D坐標(biāo)調(diào)整完成控制點(diǎn)數(shù)據(jù)S3’、終端3D坐標(biāo)設(shè)定完成控制點(diǎn)數(shù)據(jù)S3”。以下進(jìn)行詳細(xì)說(shuō)明。首先對(duì)控制裝置CNT1的動(dòng)作區(qū)域指定部1進(jìn)行說(shuō)明。動(dòng)作區(qū)域指定部1，從存儲(chǔ)裝置M1輸入輸入數(shù)據(jù)S1，由用戶將該輸入數(shù)據(jù)S1的所期望區(qū)域指定為動(dòng)作區(qū)域。這里，應(yīng)當(dāng)指定為動(dòng)作區(qū)域的所期望區(qū)域，對(duì)應(yīng)于應(yīng)當(dāng)顯示的表情而被預(yù)先設(shè)定。本實(shí)施例的情況下，在FACS中的每個(gè)動(dòng)作單位中，將生長(zhǎng)有產(chǎn)生該動(dòng)作單位的表情肌腱的部分指定為動(dòng)作區(qū)域。例如，F(xiàn)ACS的No.27的動(dòng)作單位，具有“嘴巴張大”的內(nèi)容，在進(jìn)行該動(dòng)作單位的動(dòng)作的情況下，將包括口部的區(qū)域指定為動(dòng)作區(qū)域。此時(shí)，為了進(jìn)行后面的控制點(diǎn)數(shù)據(jù)S3的搜索，由用戶從輸入裝置KEY輸入該動(dòng)作單位的編號(hào)(No.)，保存在控制裝置CNT1的內(nèi)部。關(guān)于由動(dòng)作區(qū)域指定部1所指定的動(dòng)作區(qū)域的相關(guān)信息，被附加了輸入數(shù)據(jù)S1的圖像以及三維數(shù)據(jù)，并作為動(dòng)作區(qū)域指定完成數(shù)據(jù)S2保存在存儲(chǔ)裝置M2中。例如，在輸入圖像是RGB彩色圖像的情況下，動(dòng)作區(qū)域指定完成數(shù)據(jù)S2，作為給各個(gè)圖像中添加了1比特的α之后的RGBα保存起來(lái)，可以考慮α的值在動(dòng)作區(qū)域中設(shè)為1，此外設(shè)為0的方法。同樣，在三維數(shù)據(jù)的情況下，以(x、y、z、α)的形式保存。指定的方法考慮例如通過(guò)使用GUI的工具來(lái)顯示出圖像或三維數(shù)據(jù)，之后通過(guò)鼠標(biāo)或圖形輸入板(tablet)來(lái)指定動(dòng)作區(qū)域的方法。對(duì)照?qǐng)D3對(duì)動(dòng)作區(qū)域指定部1的具體例子進(jìn)行說(shuō)明。首先，動(dòng)作區(qū)域指定部1，從存儲(chǔ)裝置M1裝載某個(gè)人物的面部的無(wú)表情圖像來(lái)作為輸入數(shù)據(jù)S1，顯示在顯示裝置DPY的畫(huà)面(步驟F101)中。接下來(lái)，動(dòng)作區(qū)域指定部1從用戶接收FACS的動(dòng)作單位編號(hào)(步驟F102)。動(dòng)作區(qū)域指定部1，對(duì)FACS的各個(gè)動(dòng)作單位編號(hào)，保存有表示生長(zhǎng)有產(chǎn)生該動(dòng)作單位的表情肌腱的面部區(qū)域的典型動(dòng)作區(qū)域的一覽，從一覽中取得與用戶所輸入的動(dòng)作單位編號(hào)相對(duì)應(yīng)的動(dòng)作區(qū)域，并顯示在顯示裝置DPY中(步驟F103)。圖3中通過(guò)虛線顯示出了動(dòng)作區(qū)域。接下來(lái)，動(dòng)作區(qū)域指定部1，按照用戶所進(jìn)行的鼠標(biāo)拖動(dòng)操作等，移動(dòng)動(dòng)作區(qū)域的顯示場(chǎng)所，且調(diào)整動(dòng)作區(qū)域的大小或形狀(步驟F104)。圖中，假設(shè)FACS的No.27的動(dòng)作單位，在包括嘴巴的適當(dāng)范圍中調(diào)整動(dòng)作區(qū)域。接下來(lái)，動(dòng)作區(qū)域指定部1，將所指定的動(dòng)作區(qū)域的相關(guān)信息，通過(guò)上述方法附加給輸入數(shù)據(jù)S1，生成動(dòng)作區(qū)域指定完成數(shù)據(jù)S2，保存在存儲(chǔ)裝置M2(步驟F105)中。接下來(lái)，對(duì)動(dòng)作區(qū)域分割部2進(jìn)行說(shuō)明。動(dòng)作區(qū)域分割部2，從存儲(chǔ)裝置M2輸入動(dòng)作區(qū)域指定完成數(shù)據(jù)S2，根據(jù)由存儲(chǔ)裝置M3所輸入的控制點(diǎn)數(shù)據(jù)S3，生成將動(dòng)作區(qū)域指定完成數(shù)據(jù)S2中的動(dòng)作區(qū)域分割成了多個(gè)小區(qū)域的小區(qū)域分割完成數(shù)據(jù)S4，與控制點(diǎn)數(shù)據(jù)S3的信息(初始3D坐標(biāo)調(diào)整完成控制數(shù)據(jù)S3’)一起保存在存儲(chǔ)裝置M4中。該小區(qū)域分割完成數(shù)據(jù)S4以及初始3D坐標(biāo)調(diào)整完成控制數(shù)據(jù)S3’，相當(dāng)于對(duì)照?qǐng)D1所說(shuō)明的面部模型。以下，對(duì)照?qǐng)D4對(duì)動(dòng)作區(qū)域分割部2的處理的詳細(xì)內(nèi)容進(jìn)行說(shuō)明。首先，動(dòng)作區(qū)域分割部2，從存儲(chǔ)裝置M2裝載動(dòng)作區(qū)域指定完成數(shù)據(jù)S2，根據(jù)需要進(jìn)行放大并在顯示裝置DPY中顯示，從而將該動(dòng)作區(qū)域的全體顯示出來(lái)(步驟F111)。接下來(lái)，動(dòng)作區(qū)域分割部2，從存儲(chǔ)裝置M3裝載與通過(guò)動(dòng)作區(qū)域指定完成數(shù)據(jù)S2所指定的動(dòng)作區(qū)域相對(duì)應(yīng)的控制點(diǎn)數(shù)據(jù)S3，顯示在顯示裝置DPY中(步驟F112)。例如，在通過(guò)動(dòng)作區(qū)域指定完成數(shù)據(jù)S2所指定的動(dòng)作區(qū)域是FACS的No.27的動(dòng)作單位(嘴巴張大)的情況下，裝載對(duì)應(yīng)于No.27的動(dòng)作單位的控制點(diǎn)數(shù)據(jù)并顯示。對(duì)應(yīng)于某個(gè)動(dòng)作單位的控制點(diǎn)數(shù)據(jù)S3，包括關(guān)于產(chǎn)生該動(dòng)作單位的表情肌腱的端部與均等設(shè)置在內(nèi)部的多個(gè)控制點(diǎn)的信息。圖5中顯示了1個(gè)控制點(diǎn)數(shù)據(jù)的構(gòu)成例。本例中，控制點(diǎn)數(shù)據(jù)包括作為分配給該控制點(diǎn)數(shù)據(jù)的識(shí)別碼的控制點(diǎn)編號(hào)(m)2001、作為該控制點(diǎn)數(shù)據(jù)的初始3維坐標(biāo)的初始3D坐標(biāo)(X0、Y0、Z0)2002、分配給該控制點(diǎn)數(shù)據(jù)的標(biāo)簽編號(hào)2003、作用于該控制點(diǎn)數(shù)據(jù)的外力(fx、fy、fz)、作為該控制點(diǎn)數(shù)據(jù)的移動(dòng)后的三維坐標(biāo)的終端3D坐標(biāo)(Xt、Yt、Zt)2005、以及與連接該控制點(diǎn)數(shù)據(jù)的其他控制點(diǎn)數(shù)據(jù)之間的連接信息2006。這里，屬于同一個(gè)小區(qū)域的控制點(diǎn)數(shù)據(jù)中設(shè)有相同的標(biāo)簽編號(hào)2003。另外，初始3D坐標(biāo)2002中，標(biāo)準(zhǔn)面部中的控制點(diǎn)的標(biāo)準(zhǔn)位置被初始設(shè)定，控制點(diǎn)的起初的顯示根據(jù)該初期3D坐標(biāo)來(lái)進(jìn)行。終端3D坐標(biāo)2005在裝載時(shí)刻為NULL值，在后面的移動(dòng)量的計(jì)算時(shí)設(shè)定其值。連接信息2006中，設(shè)有介在于連接目的地的控制點(diǎn)數(shù)據(jù)的控制點(diǎn)編號(hào)、以及與連接目的地的控制點(diǎn)數(shù)據(jù)之間的彈簧以及減震器的常數(shù)等。另外，在所有控制點(diǎn)之間通過(guò)相同常數(shù)的彈簧與減震器相連接的情況下，不需要在所有控制點(diǎn)數(shù)據(jù)的連接信息2006中設(shè)定這些信息，可以只在某一處中設(shè)定。接下來(lái)，動(dòng)作區(qū)域分割部2，按照用戶所進(jìn)行的鼠標(biāo)拖動(dòng)操作等，將各個(gè)控制點(diǎn)的位置移動(dòng)到所期望的場(chǎng)所，且進(jìn)行微調(diào)(步驟F113)。對(duì)應(yīng)于該調(diào)整，將控制點(diǎn)數(shù)據(jù)的初始3D坐標(biāo)2002，更新為無(wú)表情面部圖像的像素中的最接近該控制點(diǎn)數(shù)據(jù)的像素的三維坐標(biāo)。例如，在具有初始3D坐標(biāo)2002(Xa、Ya、Za)的某個(gè)控制點(diǎn)，移動(dòng)到了三維坐標(biāo)(Xb、Yb、Zb)時(shí)，如果設(shè)最接近該坐標(biāo)(Xb、Yb、Zb)的無(wú)表情面部圖像中的像素的三維坐標(biāo)為(Xc、Yc、Zc)，便將該控制點(diǎn)的初始3D坐標(biāo)2002更新為(Xc、Yc、Zc)。這樣，將控制點(diǎn)的位置映射到無(wú)表情面部圖像的像素。接下來(lái)，動(dòng)作區(qū)域分割部2，通過(guò)控制點(diǎn)對(duì)動(dòng)作區(qū)域進(jìn)行Voronoi(莫洛諾依)分割，給通過(guò)Voronoi分割所確定的區(qū)域分配該控制點(diǎn)的標(biāo)簽編號(hào)2003。通過(guò)將被分配了相同標(biāo)簽編號(hào)2003的相鄰Voronoi區(qū)域集中成1個(gè)小區(qū)域，將動(dòng)作區(qū)域分割成多個(gè)小區(qū)域(步驟F114)。各個(gè)小區(qū)域中，被分配了與分配給構(gòu)成它的Voronoi區(qū)域的標(biāo)簽編號(hào)相同的標(biāo)簽編號(hào)。因此，產(chǎn)生了標(biāo)簽編號(hào)數(shù)目個(gè)小區(qū)域。接下來(lái)，在動(dòng)作區(qū)域指定完成數(shù)據(jù)S2中的分割區(qū)域內(nèi)的各個(gè)像素中，生成被附加了包括該像素的小區(qū)域的標(biāo)簽編號(hào)的圖像，作為小區(qū)域分割完成數(shù)據(jù)S4，與初始3D坐標(biāo)調(diào)整完成的控制點(diǎn)數(shù)據(jù)S3’一起保存在存儲(chǔ)裝置M4中(步驟F115)。將小區(qū)域與小區(qū)域的邊界上的像素，當(dāng)做屬于這些多個(gè)小區(qū)域的像素。小區(qū)域分割完成數(shù)據(jù)S4，還可以使用在各個(gè)標(biāo)簽編號(hào)中，記錄有該標(biāo)簽編號(hào)的小區(qū)域中所含有的像素的信息的數(shù)據(jù)。接下來(lái)，對(duì)控制點(diǎn)動(dòng)作部3的動(dòng)作進(jìn)行說(shuō)明?？刂泣c(diǎn)動(dòng)作部3，從存儲(chǔ)裝置M4輸入初始3D坐標(biāo)調(diào)整完成的控制點(diǎn)數(shù)據(jù)S3’，在各個(gè)小區(qū)域中，計(jì)算該小區(qū)域中所包括的所有控制點(diǎn)的移動(dòng)位置。計(jì)算方法由包括該控制點(diǎn)的小區(qū)域通過(guò)什么樣的物理模型來(lái)表現(xiàn)所決定。如果是像參照?qǐng)D1所說(shuō)明的那樣，小區(qū)域中的控制點(diǎn)通過(guò)彈簧或減震器相連接的物理模型，則能夠像以上已經(jīng)詳細(xì)說(shuō)明了的那樣，給出初始位置與初速度的界限條件，通過(guò)求解二階常微分方程式來(lái)計(jì)算移動(dòng)位置。作為更為簡(jiǎn)單的構(gòu)造的與外力單純成正比的模型，以及與距離控制點(diǎn)的一點(diǎn)或重心等特定點(diǎn)的距離的二次方成反比的重力、電磁力模型等，也能夠通過(guò)求解與其分別相對(duì)應(yīng)的方程式，來(lái)進(jìn)行解析計(jì)算。對(duì)照?qǐng)D6，對(duì)控制點(diǎn)動(dòng)作部3的具體動(dòng)作例子進(jìn)行說(shuō)明。首先，控制點(diǎn)動(dòng)作部3，從存儲(chǔ)裝置M4輸入初始3D坐標(biāo)調(diào)整完成的控制點(diǎn)數(shù)據(jù)S3’(步驟F121)。接下來(lái)，觀察1個(gè)小區(qū)域，也即1個(gè)標(biāo)簽編號(hào)(步驟F122)。接下來(lái)，計(jì)算屬于所觀察的小區(qū)域的所有控制點(diǎn)的移動(dòng)位置，設(shè)定為該控制點(diǎn)的終端3D坐標(biāo)2005(步驟F123)。屬于所觀察的小區(qū)域的所有控制點(diǎn)是指，具有與該小區(qū)域的標(biāo)簽編號(hào)相同的標(biāo)簽編號(hào)2003的控制點(diǎn)。在如對(duì)照?qǐng)D1所述，小區(qū)域中的控制點(diǎn)通過(guò)彈簧與減震器相連接的構(gòu)造的情況下，通過(guò)將給定參數(shù)帶入到式(7)中，能夠根據(jù)各個(gè)控制點(diǎn)數(shù)據(jù)的初始3D坐標(biāo)2002與外力2004，計(jì)算出終端3D坐標(biāo)。這里，給定的參數(shù)，在式(7)的情況下，相當(dāng)于前述的t、k、d。這既可以附加給控制點(diǎn)數(shù)據(jù)S3，從存儲(chǔ)裝置M3裝載，也可以預(yù)先設(shè)置在控制點(diǎn)動(dòng)作部3中?？刂泣c(diǎn)動(dòng)作部3，計(jì)算出屬于1個(gè)小區(qū)域的所有控制點(diǎn)的移動(dòng)位置，設(shè)定為該控制點(diǎn)數(shù)據(jù)的終端3D坐標(biāo)2005之后，便將觀察點(diǎn)移動(dòng)到下一個(gè)小區(qū)域(步驟F124)，返回步驟F123，重復(fù)與上述相同的處理。重復(fù)執(zhí)行該處理，直到對(duì)所有小區(qū)域的處理完成之后(步驟F125中是)，將設(shè)置了終端3D坐標(biāo)2005的控制點(diǎn)數(shù)據(jù)S3”，保存到存儲(chǔ)裝置M5中(步驟F126)。接下來(lái)，對(duì)動(dòng)作內(nèi)插部4的動(dòng)作進(jìn)行說(shuō)明。動(dòng)作內(nèi)插部4從存儲(chǔ)裝置M4輸入小區(qū)域分割完成數(shù)據(jù)S4，同時(shí)從存儲(chǔ)裝置M5輸入終端3D坐標(biāo)設(shè)定完成控制點(diǎn)數(shù)據(jù)S3”，根據(jù)該小區(qū)域內(nèi)的控制點(diǎn)的移動(dòng)位置，通過(guò)如圖7A與圖7B所示的線形內(nèi)插與外插，計(jì)算出各個(gè)小區(qū)域中的控制點(diǎn)以外的像素的移動(dòng)位置，生成表情動(dòng)作面部的圖像或三維數(shù)據(jù)，作為輸出數(shù)據(jù)S6保存在存儲(chǔ)裝置M6中。也可以使用樣條等高次內(nèi)插、外插進(jìn)行計(jì)算。保存在存儲(chǔ)裝置M6中的輸出數(shù)據(jù)S6，自動(dòng)或根據(jù)來(lái)自輸入裝置KEY的命令，顯示在顯示裝置DPY中。對(duì)照?qǐng)D8對(duì)動(dòng)作內(nèi)插部4的具體動(dòng)作進(jìn)行說(shuō)明。首先，動(dòng)作內(nèi)插部4，從存儲(chǔ)裝置M4以及存儲(chǔ)裝置M5，輸入小區(qū)域分割完成數(shù)據(jù)S4以及終端3D坐標(biāo)設(shè)定完成控制點(diǎn)數(shù)據(jù)S3”(步驟F131)。接下來(lái)，觀察小區(qū)域分割完成數(shù)據(jù)S4中的動(dòng)作區(qū)域內(nèi)的1個(gè)小區(qū)域(步驟F132)，并觀察該小區(qū)域內(nèi)的1個(gè)像素(步驟F133)。從終端3D坐標(biāo)設(shè)定完成控制點(diǎn)數(shù)據(jù)S3，查找該像素所屬的觀察中的小區(qū)域內(nèi)的控制點(diǎn)中，具有最接近該像素的三維坐標(biāo)的初始3D坐標(biāo)的3個(gè)控制點(diǎn)數(shù)據(jù)(步驟F134)。接下來(lái)，對(duì)所搜索出的3個(gè)控制點(diǎn)數(shù)據(jù)中的任一個(gè)初始3D坐標(biāo)，是否與所觀察的像素的三維坐標(biāo)相一致進(jìn)行判斷(步驟F135)。如果相一致，則所觀察的像素是控制點(diǎn)，因此將相一致的控制點(diǎn)數(shù)據(jù)的終端3D坐標(biāo)，作為觀察小區(qū)域中的觀察像素的終端3D坐標(biāo)保存起來(lái)(步驟F136)。另外，如果不一致，則所觀察的像素不是控制點(diǎn)，因此根據(jù)3個(gè)控制點(diǎn)數(shù)據(jù)的終端3D坐標(biāo)，通過(guò)如圖7A與圖7B所示的方法，計(jì)算出觀察像素的移動(dòng)位置(步驟F137)，將所計(jì)算出的移動(dòng)位置，作為觀察小區(qū)域中的觀察像素的終端3D坐標(biāo)保存起來(lái)(步驟F138)。動(dòng)作內(nèi)插部4，一旦結(jié)束了對(duì)觀察小區(qū)域內(nèi)的1個(gè)像素的處理，便將觀察點(diǎn)移動(dòng)到觀察小區(qū)域內(nèi)的下一個(gè)像素(步驟F139)，重復(fù)與上述處理相同的處理。一旦結(jié)束了對(duì)觀察小區(qū)域內(nèi)的所有像素的處理(步驟S140中的是)，便將觀察點(diǎn)移動(dòng)到動(dòng)作區(qū)域內(nèi)的下一個(gè)小區(qū)域(步驟S141)，重復(fù)與上述處理相同的處理。當(dāng)對(duì)動(dòng)作區(qū)域內(nèi)的所有小區(qū)域內(nèi)的像素的處理完成之后(步驟F142中的是)，包含有動(dòng)作區(qū)域內(nèi)的各個(gè)像素的終端3D坐標(biāo)的輸出數(shù)據(jù)S6，保存到存儲(chǔ)裝置M6中(步驟F143)。圖9中示出了基于本發(fā)明的第2實(shí)施例的形態(tài)變形裝置。對(duì)照?qǐng)D9，基于第2實(shí)施例的形態(tài)變形裝置，將人的無(wú)表情面部圖像變形成表情動(dòng)作面部圖像。第2實(shí)施例的形態(tài)變形裝置，具有存儲(chǔ)裝置M7，以及處理裝置CNT1還具有相鄰小區(qū)域調(diào)整部5這一點(diǎn)，與圖2所示的第1實(shí)施例的形態(tài)變形裝置不同，其他點(diǎn)均與第1實(shí)施例的形態(tài)變形裝置相同。第2實(shí)施例中，將動(dòng)作區(qū)域分割成多個(gè)小區(qū)域，以各個(gè)小區(qū)域單位獨(dú)立計(jì)算移動(dòng)量，因此如果相鄰小區(qū)域的移動(dòng)量中存在明顯的差，則在這些小區(qū)域的邊界部分中便會(huì)產(chǎn)生級(jí)差等不連續(xù)場(chǎng)所。例如，如圖10A所示，在移動(dòng)前互相連接的2個(gè)小區(qū)域1001、1002，一旦其移動(dòng)量中產(chǎn)生差，便有可能如圖10B所示，變?yōu)榛ハ嚯x開(kāi)的狀態(tài)，或如圖10C所示，互相有一部分重疊。本實(shí)施例的相鄰小區(qū)域調(diào)整部5，具有對(duì)這樣的小區(qū)域的邊界部分中所產(chǎn)生的不連續(xù)狀態(tài)進(jìn)行調(diào)整的功能。另外，相鄰小區(qū)域調(diào)整部5與其他功能部1～4一樣，能夠通過(guò)存儲(chǔ)在記錄介質(zhì)PMl中的程序與構(gòu)成處理裝置CNT1的計(jì)算機(jī)來(lái)實(shí)現(xiàn)。接下來(lái)，對(duì)照?qǐng)D11對(duì)相鄰小區(qū)域調(diào)整部5的動(dòng)作進(jìn)行說(shuō)明。首先，相鄰小區(qū)域調(diào)整部5，從存儲(chǔ)裝置M4以及存儲(chǔ)裝置M6輸入小區(qū)域分割完成數(shù)據(jù)S4以及輸出數(shù)據(jù)S6(步驟F201)。接下來(lái)，根據(jù)小區(qū)域分割完成數(shù)據(jù)S4，對(duì)所有小區(qū)域的邊界點(diǎn)都進(jìn)行搜索(步驟F202)。小區(qū)域的邊界點(diǎn)是指，位于相鄰的多個(gè)小區(qū)域的邊界上的像素。由于這樣的像素屬于多個(gè)小區(qū)域，因此能夠從小區(qū)域分割完成數(shù)據(jù)S4，將屬于多個(gè)小區(qū)域的像素全部提取。接下來(lái)，相鄰小區(qū)域調(diào)整部5，觀察在步驟F202中所找出的邊界點(diǎn)之一個(gè)(步驟F203)，從小區(qū)域分割完成數(shù)據(jù)S4中搜索該邊界點(diǎn)所屬的小區(qū)域，從輸出數(shù)據(jù)S6中取得所屬的所有小區(qū)域中的終端3D坐標(biāo)，求出其平均值(也可以是中位數(shù))(步驟F204)。例如，在圖10A中所示的某一個(gè)邊界點(diǎn)1100，移動(dòng)后如圖10B或圖10C所示，關(guān)于小區(qū)域1101變?yōu)榻K端3D坐標(biāo)(Xa、Ya、Za)的點(diǎn)1103-1，關(guān)于小區(qū)域1102變?yōu)榻K端3D坐標(biāo)(Xb、Yb、Zb)的點(diǎn)1103-2的情況下，計(jì)算出{(Xa+Xb)/2、(Ya+Yb)/2、(Za+Zb)/2}。接下來(lái)，通過(guò)該所計(jì)算出的平均值，更新屬于該邊界點(diǎn)的所有小區(qū)域中的終端3D坐標(biāo)(步驟F205)。也即，將點(diǎn)1103-1的終端3D坐標(biāo)(Xa、Ya、Za)更新為{(Xa+Xb)/2、(Ya+Yb)/2、(Za+Zb)/2}，同樣，將點(diǎn)1103-2的終端3D坐標(biāo)(Xb、Yb、Zb)更新為{(Xa+Xb)/2、(Ya+Yb)/2、(Za+Zb)/2}。該更新在輸入給處理裝置CNT1內(nèi)的輸出數(shù)據(jù)S6的拷貝上進(jìn)行。相鄰小區(qū)域調(diào)整部5，結(jié)束了對(duì)1個(gè)邊界點(diǎn)的處理之后，便將觀察點(diǎn)移動(dòng)到下一個(gè)邊界點(diǎn)(步驟F206)，回到步驟F204，重復(fù)與上述處理相同的處理。一旦結(jié)束了對(duì)所有邊界點(diǎn)的處理(步驟F207中的是)，便進(jìn)行下一個(gè)小區(qū)域邊界部的平滑化處理(步驟F208)。小區(qū)域邊界部的平滑化處理中，相鄰小區(qū)域調(diào)整部5，對(duì)各個(gè)小區(qū)域，通過(guò)將在步驟S205中變更了終端3D坐標(biāo)之后的邊界點(diǎn)的變更量，傳輸給該邊界點(diǎn)附近的像素，而將邊界部平滑化。該平滑化處理F208的詳細(xì)內(nèi)容如圖12所示。首先，相鄰小區(qū)域調(diào)整部5，觀察1個(gè)小區(qū)域(步驟F211)，將校正系數(shù)初始化為相當(dāng)小，且接近1的值(步驟F212)。接下來(lái)，計(jì)算觀察小區(qū)域中的與相鄰小區(qū)域之間的所有邊界點(diǎn)的3D校正量(步驟F213)。邊界點(diǎn)的3D校正量是指，存在于輸出數(shù)據(jù)S6中的觀察小區(qū)域中的該邊界點(diǎn)的終端3D坐標(biāo)，與圖11的步驟F204所計(jì)算出的該邊界點(diǎn)所屬的所有小區(qū)域中的終端3D坐標(biāo)的平均值之間的差值。例如，如果設(shè)某個(gè)邊界點(diǎn)的某個(gè)小區(qū)域中的終端3D坐標(biāo)為(Xa、Ya、Za)，圖11的步驟F204所計(jì)算出的該邊界點(diǎn)所屬的所有小區(qū)域中的終端3D坐標(biāo)的平均值為{(Xa+Xb)/2、(Ya+Yb)/2、(Za+Zb)/2}，則3D校正量為{(Xa+Xb)/2}-Xa、{(Ya+Yb)/2}-Ya、{(Za+Zb)/2}-Za。接下來(lái)，相鄰小區(qū)域調(diào)整部5，將所觀察的小區(qū)域中的接近邊界點(diǎn)的所有像素作為內(nèi)接點(diǎn)進(jìn)行搜索(步驟F214)。例如，在觀察如圖13所示，在相接的兩個(gè)小區(qū)域1101、1102中的小區(qū)域1101的情況下，由于位于與小區(qū)域1102之間的邊界上的像素a～f為當(dāng)初的邊界點(diǎn)，因此求出與像素a～f相接的像素g～l為內(nèi)接點(diǎn)。接下來(lái)，相鄰小區(qū)域調(diào)整部5，觀察1個(gè)內(nèi)接點(diǎn)(步驟F215)，計(jì)算出與該內(nèi)接點(diǎn)相接的所有邊界點(diǎn)的3D校正量的平均值(也可以是中位數(shù))(步驟F216)。例如，在將圖13的像素g觀察為1個(gè)內(nèi)接點(diǎn)的情況下，由于與其相接的邊界點(diǎn)為像素a、b，因此相鄰小區(qū)域調(diào)整部5，計(jì)算出像素a的3D校正量與像素b的3D校正量的平均值。接下來(lái)，相鄰小區(qū)域調(diào)整部5，將給該所計(jì)算出的3D校正量的平均值乘上校正系數(shù)所得到的3D校正量，相加給該內(nèi)接點(diǎn)的終端3D坐標(biāo)(步驟F217)。之后，將該內(nèi)接點(diǎn)作為新的邊界點(diǎn)(步驟F218)。相鄰小區(qū)域調(diào)整部5結(jié)束了對(duì)1個(gè)內(nèi)接點(diǎn)的處理之后，便將觀察點(diǎn)移動(dòng)到下一個(gè)內(nèi)接點(diǎn)(步驟F219)。例如，一旦圖13的像素g的處理結(jié)束，便將觀察點(diǎn)移動(dòng)到下一個(gè)像素h，回到步驟F216，重復(fù)與上述處理相同的處理。這樣，對(duì)在步驟F214中所找出的所有內(nèi)接點(diǎn)g～l的處理結(jié)束之后(步驟F220中的是)，相鄰小區(qū)域調(diào)整部5，便將校正系數(shù)的值減去預(yù)先設(shè)定的一定值(例如0.1、0.2等)(步驟F221)。如果校正系數(shù)的值大于0(步驟F222中的是)，處理便返回步驟F214。圖13的情況下，由于像素g～l的處理結(jié)束后，便將這些像素g～l作為新的邊界點(diǎn)，因此步驟F221中所搜索出的新的內(nèi)接點(diǎn)的集合變?yōu)橄袼豰～r。這樣，將起初的邊界點(diǎn)a～f的3D校正量傳輸給相鄰的像素，從而平滑化。如果校正系數(shù)的值變?yōu)?以下，相鄰小區(qū)域調(diào)整部5便結(jié)束對(duì)所觀察的小區(qū)域的平滑化處理，將觀察點(diǎn)移動(dòng)到下一個(gè)小區(qū)域(步驟F223)，回到步驟F212，重復(fù)與上述處理相同的處理。相鄰小區(qū)域調(diào)整部5，結(jié)束了對(duì)所有小區(qū)域的處理之后(步驟F224中的是)，便結(jié)束小區(qū)域邊界部的平滑化處理F208。相鄰小區(qū)域調(diào)整部5，在小區(qū)域邊界部的平滑化處理結(jié)束之后，便將相鄰小區(qū)域調(diào)整完成數(shù)據(jù)S7，也即對(duì)輸出數(shù)據(jù)S6中的小區(qū)域的邊界部分中所產(chǎn)生的不連續(xù)狀態(tài)進(jìn)行了調(diào)整的輸出數(shù)據(jù)，輸出給存儲(chǔ)裝置M7。存儲(chǔ)裝置M7中所保存的輸出數(shù)據(jù)S7，自動(dòng)或?qū)?yīng)于來(lái)自輸入裝置KEY的命令，顯示在顯示裝置DPY中。圖14中示出了基于本發(fā)明的第3實(shí)施例的形態(tài)變形裝置。第3實(shí)施例的形態(tài)變形裝置，將人的無(wú)表情面部圖像變形成表情動(dòng)作面部圖像。第3實(shí)施例的形態(tài)變形裝置與第2實(shí)施例的形態(tài)變形裝置相同，但在具有存儲(chǔ)裝置M8，以及處理裝置CNT1還具有未動(dòng)作區(qū)域調(diào)整部6這一點(diǎn)，與圖9所示的第2實(shí)施例的形態(tài)變形裝置不同。如圖1所示，在面部全體的區(qū)域1000上設(shè)定至少1個(gè)動(dòng)作區(qū)域1001，如果將動(dòng)作區(qū)域1001作為變形的對(duì)象，則在表情動(dòng)作時(shí)，動(dòng)作區(qū)域1001與未動(dòng)作區(qū)域的邊界部分中有可能產(chǎn)生級(jí)差等不連續(xù)場(chǎng)所。例如圖15A所示，在無(wú)表情圖像中相接的動(dòng)作區(qū)域1201與未動(dòng)作區(qū)域1202，由于其中只有動(dòng)作區(qū)域1201發(fā)生了移動(dòng)，因此有可能如圖15B所示，產(chǎn)生了動(dòng)作區(qū)域1201與未動(dòng)作區(qū)域1202相重疊的部分1203，或動(dòng)作區(qū)域1201與未動(dòng)作區(qū)域1202之間產(chǎn)生縫隙1204的情況。本實(shí)施例的未動(dòng)作區(qū)域調(diào)整部6，具有對(duì)這樣的動(dòng)作區(qū)域與未動(dòng)作區(qū)域之間的邊界部分中所產(chǎn)生的不連續(xù)狀態(tài)進(jìn)行調(diào)整的功能。另外，未動(dòng)作區(qū)域調(diào)整部6與其他功能部1～5一樣，能夠通過(guò)存儲(chǔ)在記錄介質(zhì)PM1中的程序與構(gòu)成處理裝置CNT1的計(jì)算機(jī)來(lái)實(shí)現(xiàn)。接下來(lái)，對(duì)照?qǐng)D16對(duì)未動(dòng)作區(qū)域調(diào)整部16的動(dòng)作進(jìn)行說(shuō)明。首先，未動(dòng)作區(qū)域調(diào)整部6，從存儲(chǔ)裝置M2以及存儲(chǔ)裝置M7輸入動(dòng)作區(qū)域指定完成數(shù)據(jù)S2以及相鄰小區(qū)域調(diào)整完成數(shù)據(jù)S7(步驟F301)。接下來(lái)，未動(dòng)作區(qū)域調(diào)整部6，將校正系數(shù)初始化為相當(dāng)小，且接近1的值(步驟F302)，根據(jù)動(dòng)作區(qū)域指定完成數(shù)據(jù)S2，計(jì)算所有內(nèi)邊界點(diǎn)的3D移動(dòng)量(步驟F303)。內(nèi)邊界點(diǎn)是指，屬于動(dòng)作區(qū)域的像素中的位于與未動(dòng)作區(qū)域之間的邊界上的像素。例如圖17所示，如果涂了陰影的方格為屬于起初的動(dòng)作區(qū)域的像素，則位于與沒(méi)有涂陰影的方格的未動(dòng)作區(qū)域之間的邊界上的像素a、b、c等，便是內(nèi)邊界點(diǎn)。另外，內(nèi)邊界點(diǎn)的3D移動(dòng)量是指，該內(nèi)邊界點(diǎn)的動(dòng)作區(qū)域指定完成數(shù)據(jù)S2上的3D坐標(biāo)(也即無(wú)表情時(shí)的位置)，與相鄰小區(qū)域調(diào)整完成輸出數(shù)據(jù)S7上的3D坐標(biāo)(也即表情動(dòng)作時(shí)的位置)之間的差值。接下來(lái)，未動(dòng)作區(qū)域調(diào)整部6，根據(jù)動(dòng)作區(qū)域指定完成數(shù)據(jù)S2，搜索所有的外邊界點(diǎn)(步驟F304)。外邊界點(diǎn)是指，未動(dòng)作區(qū)域的像素中的位于與動(dòng)作區(qū)域之間的邊界上的像素。例如圖17的例子中，像素d、e、f等是外邊界點(diǎn)。接下來(lái)，未動(dòng)作區(qū)域調(diào)整部6，觀察在步驟F304中所找出的外邊界點(diǎn)之一個(gè)(步驟F305)，求出與該外邊界點(diǎn)相接的所有內(nèi)邊界點(diǎn)的3D移動(dòng)量的平均值(也可以是中位數(shù))(步驟F306)。例如在將圖17所示的像素e作為外邊界點(diǎn)觀察的情況下，由于與該像素e相接的所有內(nèi)邊界點(diǎn)為像素a、b、c，因此計(jì)算出它們的3D移動(dòng)量的平均值。接下來(lái)，將給該所計(jì)算出的平均值乘上校正系數(shù)所得到的3D移動(dòng)量，與該外邊界點(diǎn)的終端3D坐標(biāo)相加(步驟F307)。之后，將該外邊界點(diǎn)作為動(dòng)作區(qū)域的點(diǎn)進(jìn)行處理(步驟F308)。結(jié)束了對(duì)1個(gè)外邊界點(diǎn)的處理之后，便將觀察點(diǎn)移動(dòng)到下一個(gè)外邊界點(diǎn)(步驟F309)。例如，圖17的像素e的處理結(jié)束之后，將觀察點(diǎn)移動(dòng)到下一個(gè)像素f，回到步驟F306，重復(fù)與上述處理相同的處理。這樣，一旦結(jié)束了對(duì)步驟F304中所找出的所有外邊界點(diǎn)的處理(步驟F310中的是)，未動(dòng)作區(qū)域調(diào)整部6便將校正系數(shù)的值減去預(yù)先設(shè)定的一定值(例如0.1或0.2等)(步驟F311)。如果校正系數(shù)的值大于0(步騾F312中的是)，便回到步驟F304的處理。圖17的情況下，結(jié)束了像素d～f等的處理之后，由于將這些像素d～f等作為新的動(dòng)作區(qū)域進(jìn)行處理，因此步驟F304中所找出的新的外邊界點(diǎn)的集合變?yōu)橄袼豨～m等。這樣，將起初的邊界點(diǎn)a～c的3D移動(dòng)量傳輸給未動(dòng)作區(qū)域的像素，進(jìn)行平滑化。未動(dòng)作區(qū)域調(diào)整部6，在校正系數(shù)的值變?yōu)?以下時(shí)，結(jié)束未動(dòng)作區(qū)域的調(diào)整處理，將未動(dòng)作區(qū)域調(diào)整完成數(shù)據(jù)S8，也即對(duì)相鄰小區(qū)域調(diào)整完成輸出數(shù)據(jù)S7中的動(dòng)作區(qū)域與未動(dòng)作區(qū)域的邊界部分中所產(chǎn)生的不連續(xù)狀態(tài)進(jìn)行了調(diào)整的輸出數(shù)據(jù)，輸出給存儲(chǔ)裝置M8。存儲(chǔ)裝置M8中所保存的輸出數(shù)據(jù)S8，自動(dòng)或?qū)?yīng)于來(lái)自輸入裝置KEY的命令，顯示在顯示裝置DPY中。圖13的構(gòu)成中，在相鄰小區(qū)域調(diào)整部5的執(zhí)行之后，執(zhí)行未動(dòng)作區(qū)域調(diào)整部6，但也可以在最初執(zhí)行未動(dòng)作區(qū)域調(diào)整部6，生成從輸出數(shù)據(jù)S6中消除了動(dòng)作區(qū)域與未動(dòng)作區(qū)域之間的邊界部分的不連續(xù)性的數(shù)據(jù)，接下來(lái)再執(zhí)行相鄰小區(qū)域調(diào)整部5，進(jìn)一步生成消除了小區(qū)域間的邊界部分的不連續(xù)性的數(shù)據(jù)。另外，也可以省略相鄰小區(qū)域調(diào)整部5，只進(jìn)行基于未動(dòng)作區(qū)域調(diào)整部6的調(diào)整。圖18為本發(fā)明的第4實(shí)施例的面部動(dòng)作編碼裝置的框圖，根據(jù)某個(gè)人物的無(wú)表情時(shí)與表情動(dòng)作時(shí)的面部三維數(shù)據(jù)，計(jì)算出表情動(dòng)作時(shí)的動(dòng)作區(qū)域與外力并輸出。本實(shí)施例的面部動(dòng)作編碼裝置，包括處理裝置CNT11、存儲(chǔ)裝置M11～M15、顯示裝置DPY、以及輸入裝置KEY。多個(gè)存儲(chǔ)裝置M11～M15，例如由磁盤構(gòu)成，其中，存儲(chǔ)裝置M11保存作為輸入數(shù)據(jù)的無(wú)表情面部3D數(shù)據(jù)S100以及表情動(dòng)作面部3D數(shù)據(jù)S101，存儲(chǔ)裝置M15保存作為輸出數(shù)據(jù)的表情動(dòng)作的外力數(shù)據(jù)S12以及表情動(dòng)作的動(dòng)作區(qū)域S13，剩下的存儲(chǔ)裝置M12～M14保存中間結(jié)果以及處理過(guò)程中需要的控制數(shù)據(jù)。顯示裝置DPY例如由液晶顯示器構(gòu)成，用來(lái)顯示處理過(guò)程的數(shù)據(jù)等。輸入裝置KEY例如由鍵盤與鼠標(biāo)構(gòu)成，用來(lái)從使用者接收各種數(shù)據(jù)與命令?？刂蒲b置CNT11，例如由計(jì)算機(jī)的中央處理裝置構(gòu)成，執(zhí)行本實(shí)施例的面部動(dòng)作編碼裝置的主要處理?？刂蒲b置CNT11具有3D面部模型給出部101、3D差值計(jì)算部102以及外力計(jì)算部103?？刂蒲b置CNT11的各個(gè)功能部101～103，能夠通過(guò)構(gòu)成控制裝置CNT11的計(jì)算機(jī)與面部動(dòng)作編碼裝置用程序來(lái)實(shí)現(xiàn)。面部動(dòng)作編碼裝置用程序記錄在磁盤等計(jì)算機(jī)可讀記錄介質(zhì)PM11中，在計(jì)算機(jī)的起動(dòng)等時(shí)讀取到該計(jì)算機(jī)中，通過(guò)控制該計(jì)算機(jī)的運(yùn)行，來(lái)在該計(jì)算機(jī)上實(shí)現(xiàn)各個(gè)功能部101～103。接下來(lái)，對(duì)本實(shí)施例的相關(guān)面部動(dòng)作編碼裝置的動(dòng)作進(jìn)行說(shuō)明?？刂蒲b置CNT11，首先使用3D面部模型給出部101，輸入存儲(chǔ)在存儲(chǔ)裝置M11中的編碼用中所使用的人物的無(wú)表情面部三維數(shù)據(jù)S100與表情動(dòng)作面部三維數(shù)據(jù)S101，讓在存儲(chǔ)裝置M12中預(yù)先準(zhǔn)備的面部三角多邊形網(wǎng)格模型S105匹配各個(gè)數(shù)據(jù)，通過(guò)這樣，生成無(wú)表情時(shí)與表情動(dòng)作時(shí)各個(gè)面部三角多邊形網(wǎng)格模型S102、S103，保存在存儲(chǔ)裝置M13中。接下來(lái)，使用3D差值計(jì)算部102，從存儲(chǔ)裝置M13輸入無(wú)表情時(shí)與表情動(dòng)作時(shí)各自的面部三角多邊形網(wǎng)格模型S102、S103，通過(guò)對(duì)兩者進(jìn)行比較，生成包括表情從無(wú)表情面部變化成了表情動(dòng)作面部時(shí)的動(dòng)作(移動(dòng))了的多邊形及其各個(gè)頂點(diǎn)的移動(dòng)前后的三維坐標(biāo)的3D差值數(shù)據(jù)S104，保存在存儲(chǔ)裝置M14中。接下來(lái)，使用外力計(jì)算部103，從存儲(chǔ)裝置M14輸入3D差值數(shù)據(jù)S104，為了將無(wú)表情面部變形成表情動(dòng)作面部，而通過(guò)上述式(7)計(jì)算應(yīng)當(dāng)施加給無(wú)表情面部的面部三角多邊形的各個(gè)頂點(diǎn)的外力，將包括表情從無(wú)表情面部變化成了表情動(dòng)作面部時(shí)的動(dòng)作(移動(dòng))了的多邊形的信息的表情動(dòng)作的動(dòng)作區(qū)域S13，以及包括施加給該多邊形的各個(gè)頂點(diǎn)的外力的表情動(dòng)作的外力數(shù)據(jù)S12，輸出給存儲(chǔ)裝置M15。以下進(jìn)行更加詳細(xì)的說(shuō)明。輸入給三維面部模型給出部101的無(wú)表情時(shí)與表情動(dòng)作時(shí)的面部三維數(shù)據(jù)S100、S101，由取得面部三維數(shù)據(jù)的部分來(lái)取得，保存到存儲(chǔ)裝置M11中。面部三維數(shù)據(jù)，可以是通過(guò)光照型的測(cè)距儀、基于立體·多眼照相機(jī)的立體圖像測(cè)量、MRI測(cè)量、紅外線測(cè)量等任意部分所測(cè)量出的數(shù)據(jù)，或者也可以以通過(guò)人工的三維計(jì)算機(jī)圖形所生成的數(shù)據(jù)。另外，作為附隨三維數(shù)據(jù)的信息的紋理，最好能夠?qū)?yīng)兩個(gè)面部數(shù)據(jù)之間的部位，但在存在找到了兩個(gè)面部數(shù)據(jù)之間的部位的對(duì)應(yīng)的其他部位的情況下，則不是必需的。例如，在通過(guò)光照型測(cè)距儀取得的情況下，考慮在面部粘貼反射光的特殊標(biāo)記，在通過(guò)紅外線圖像取得的情況下，考慮粘貼具有與體溫不同的溫度的標(biāo)記來(lái)取得。即使在取得紋理的情況下，在面部的一部分中描繪了標(biāo)記等情況下，面部全體的紋理也不是必需的。存儲(chǔ)裝置M12中，保存有如圖19所示的面部三角多邊形網(wǎng)格模型S105。雖然多邊形數(shù)以及各個(gè)多邊形的大小是任意的，但生成為讓三角網(wǎng)格的頂點(diǎn)的一部分與面部的特征點(diǎn)相對(duì)應(yīng)。三維面部模型給出部101，通過(guò)讓面部三角多邊形網(wǎng)格模型S105與無(wú)表情面部三維數(shù)據(jù)S100匹配，來(lái)生成三維化無(wú)表情面部三角多邊形網(wǎng)格模型S102。具體地說(shuō)，在顯示裝置DPY的畫(huà)面中顯示出無(wú)表情面部三維數(shù)據(jù)S100與面部三角多邊形網(wǎng)格模型S105，通過(guò)用戶的來(lái)自輸入裝置KEY的操作，將面部三角多邊形網(wǎng)格模型S105的各個(gè)頂點(diǎn)，映射到應(yīng)當(dāng)與該頂點(diǎn)相對(duì)應(yīng)的面部的特征點(diǎn)中。還能夠找到無(wú)表情面部三維數(shù)據(jù)S100的特征點(diǎn)的線索，來(lái)自動(dòng)對(duì)應(yīng)面部三角多邊形網(wǎng)格模型S105的一部分的頂點(diǎn)。例如，在面部三角多邊形網(wǎng)格模型S105的某個(gè)特定多邊形的某個(gè)特定頂點(diǎn)，是對(duì)應(yīng)于鼻子的前端部的頂點(diǎn)的情況下，能夠檢測(cè)出附著在鼻子的前端部的標(biāo)記的位置，自動(dòng)進(jìn)行對(duì)應(yīng)。三維面部模型給出部101，給面部三角多邊形網(wǎng)格模型S105中的各個(gè)多邊形的各個(gè)頂點(diǎn)，分配對(duì)應(yīng)于該頂點(diǎn)的無(wú)表情面部三維數(shù)據(jù)S100的點(diǎn)的三維坐標(biāo)，給所有多邊形的頂點(diǎn)都分配了無(wú)表情面部三維數(shù)據(jù)S100的點(diǎn)的三維坐標(biāo)之后，作為三維無(wú)表情面部三角多邊形網(wǎng)格模型S102保存在存儲(chǔ)裝置M13中。用同樣的方法，三維面部模型給出部101，通過(guò)讓面部三角多邊形網(wǎng)格模型S105匹配表情面部三維數(shù)據(jù)S101，生成三維表情動(dòng)作面部三角多邊形網(wǎng)格模型S103。三維差值計(jì)算部102，在各個(gè)多邊形的各個(gè)頂點(diǎn)分配有無(wú)表情面部的三維坐標(biāo)的三維化無(wú)表情面部三角多邊形網(wǎng)格模型S102，與各個(gè)多邊形的各個(gè)頂點(diǎn)分配有表情動(dòng)作面部的三維坐標(biāo)的三維化表情動(dòng)作面部三角多邊形網(wǎng)格模型S103之間的相同多邊形的相同頂點(diǎn)之間，取得三維坐標(biāo)的差。例如，三維差值計(jì)算部102，如果設(shè)模型S102與S103的相同多邊形為圖20所示的S102-1、S103-1，則在相同頂點(diǎn)a與a’之間，相同頂點(diǎn)b與b’之間，相同頂點(diǎn)c與c’之間取得三維坐標(biāo)的差。之后，將三維坐標(biāo)的差的標(biāo)準(zhǔn)也即距離為預(yù)先確定的閾值以上的區(qū)域，設(shè)為表情時(shí)的動(dòng)作區(qū)域，將區(qū)域外設(shè)為未動(dòng)作區(qū)域。本實(shí)施例中，由于點(diǎn)只有三角多邊形的頂點(diǎn)，因此以多邊形單位決定動(dòng)作區(qū)域。也即，如果多邊形的三個(gè)頂點(diǎn)的任一個(gè)是動(dòng)作區(qū)域的點(diǎn)，則該多邊形為動(dòng)作區(qū)域，如果不是，則多邊形為未動(dòng)作區(qū)域。另外，本實(shí)施例中，對(duì)動(dòng)作區(qū)域進(jìn)行了分割的小區(qū)域是各個(gè)三角多邊形。三維差值計(jì)算部102，將包括通過(guò)這樣所確定的動(dòng)作區(qū)域的面部三角多邊形網(wǎng)格的多邊形編號(hào)、分配到該頂點(diǎn)的無(wú)表情面部以及表情動(dòng)作面部的三維坐標(biāo)的數(shù)據(jù)，作為三維差值數(shù)據(jù)S104，保存在存儲(chǔ)裝置M14中。圖21中示出了三維差值數(shù)據(jù)S104的內(nèi)容例。對(duì)面部三角多邊形網(wǎng)格模型S105的各個(gè)多邊形設(shè)定多邊形編號(hào)m，設(shè)定各個(gè)多邊形頂點(diǎn)的頂點(diǎn)編號(hào)i，包括表示含有該頂點(diǎn)的多邊形是否是動(dòng)作區(qū)域的標(biāo)志位、對(duì)應(yīng)于該頂點(diǎn)的無(wú)表情面部的三維坐標(biāo)、以及對(duì)應(yīng)于該頂點(diǎn)的表情動(dòng)作面部的三維坐標(biāo)。外力計(jì)算部103，根據(jù)三維差值數(shù)據(jù)S104輸入成為動(dòng)作區(qū)域的多邊形的數(shù)據(jù)，使用該多邊形的頂點(diǎn)的無(wú)表情時(shí)的三維坐標(biāo)、表情動(dòng)作時(shí)的三維坐標(biāo)、以及必要的參數(shù)，計(jì)算將各個(gè)頂點(diǎn)的位置從無(wú)表情時(shí)的位置向表情動(dòng)作時(shí)的位置移動(dòng)所需要外力。具體地說(shuō)，外力計(jì)算部103，對(duì)上述式(7)給出參數(shù)t、k、d、作為無(wú)表情時(shí)的控制點(diǎn)的三維坐標(biāo)xi(0)、作為表情動(dòng)作時(shí)的控制點(diǎn)的三維坐標(biāo)xi(t)、及其初始條件，計(jì)算出外力Fi?？刂泣c(diǎn)的取得方法在多邊形內(nèi)是自由的，但最簡(jiǎn)單的例子是，本實(shí)施例中如圖22A以及圖22B所示，將多邊形的三頂點(diǎn)取為控制點(diǎn)。這種情況下，式(6)的矩陣的要素可以作為n＝3來(lái)計(jì)算。圖23為基于本發(fā)明的第5實(shí)施例的面部動(dòng)作解碼裝置的框圖，根據(jù)表情動(dòng)作時(shí)的外力信息，對(duì)某個(gè)人物的無(wú)表情時(shí)的面部三維數(shù)據(jù)進(jìn)行變形，生成該人物的表情動(dòng)作時(shí)的面部三維數(shù)據(jù)并輸出。本實(shí)施例的面部動(dòng)作解碼裝置，包括處理裝置CNT21、存儲(chǔ)裝置M21～M26、顯示裝置DPY、以及輸入裝置KEY。多個(gè)存儲(chǔ)裝置M21～M26，例如由磁盤構(gòu)成。存儲(chǔ)裝置M21、M22保存作為輸入數(shù)據(jù)的無(wú)表情面部3D數(shù)據(jù)S300以及表情動(dòng)作時(shí)的外力信息S30，存儲(chǔ)裝置M26存儲(chǔ)作為輸出數(shù)據(jù)的表情面部3D數(shù)據(jù)32，剩下的存儲(chǔ)裝置M23～M25保存中間結(jié)果以及處理過(guò)程中需要的控制數(shù)據(jù)。顯示裝置DPY例如由液晶顯示器構(gòu)成，用來(lái)顯示所生成的表情面部3D數(shù)據(jù)32以及處理過(guò)程的數(shù)據(jù)等。輸入裝置KEY例如由鍵盤與鼠標(biāo)構(gòu)成，用來(lái)從使用者接收各種數(shù)據(jù)與命令?？刂蒲b置CNT21，例如由計(jì)算機(jī)的中央處理裝置構(gòu)成，執(zhí)行本實(shí)施例的面部動(dòng)作解碼裝置的主要處理?？刂蒲b置CNT21具有3D面部模型對(duì)應(yīng)部301、移動(dòng)量計(jì)算部302以及表情生成部31。控制裝置CNT21的各個(gè)功能部301、302以及31，能夠通過(guò)構(gòu)成控制裝置CNT21的計(jì)算機(jī)與面部動(dòng)作解碼裝置用程序來(lái)實(shí)現(xiàn)。面部動(dòng)作解碼裝置用程序記錄在磁盤等計(jì)算機(jī)可讀記錄介質(zhì)PM21中，在計(jì)算機(jī)的起動(dòng)等時(shí)讀取到該計(jì)算機(jī)中，通過(guò)控制該計(jì)算機(jī)的運(yùn)行，來(lái)在該計(jì)算機(jī)上實(shí)現(xiàn)各個(gè)功能部301、302、31。接下來(lái)，對(duì)本實(shí)施例的相關(guān)面部動(dòng)作解碼裝置的動(dòng)作進(jìn)行說(shuō)明。控制裝置CNT21，首先使用3D面部模型對(duì)應(yīng)部301，輸入保存在存儲(chǔ)裝置M21中的解碼用中所使用的某個(gè)人物的無(wú)表情面部三維數(shù)據(jù)S300，對(duì)應(yīng)于該數(shù)據(jù)讓在存儲(chǔ)裝置M23中預(yù)先準(zhǔn)備的面部三角多邊形網(wǎng)格模型S105匹配，通過(guò)這樣，生成三維化無(wú)表情面部三角多邊形網(wǎng)格模型S302，保存在存儲(chǔ)裝置M24中。接下來(lái)，使用移動(dòng)量計(jì)算部302，按照保存在存儲(chǔ)裝置M22中的表情動(dòng)作的外力信息S30，計(jì)算存儲(chǔ)在存儲(chǔ)裝置M24中的三維化無(wú)表情面部三角多邊形網(wǎng)格模型S302的動(dòng)作區(qū)域中的各個(gè)控制點(diǎn)的移動(dòng)位置，作為控制點(diǎn)的移動(dòng)位置數(shù)據(jù)S303保存在存儲(chǔ)裝置M25中。接下來(lái)，使用表情生成部31，根據(jù)保存在存儲(chǔ)裝置M25中的控制點(diǎn)的移動(dòng)位置數(shù)據(jù)S303，對(duì)保存在存儲(chǔ)裝置M21中的無(wú)表情面部三維數(shù)據(jù)S300進(jìn)行變形，生成表情動(dòng)作時(shí)的表情動(dòng)作面部的三維數(shù)據(jù)，作為表情面部3D數(shù)據(jù)S32保存在存儲(chǔ)裝置M26中，另外，還在顯示裝置DPY中進(jìn)行顯示。以下進(jìn)行詳細(xì)說(shuō)明。存儲(chǔ)裝置M22的表情動(dòng)作的外力信息S30，使用通過(guò)圖18所示的第4實(shí)施例的面部動(dòng)作編碼裝置所生成的表情動(dòng)作的外力數(shù)據(jù)S12以及相當(dāng)于表情動(dòng)作的動(dòng)作區(qū)域S13的信息。另外，保存在存儲(chǔ)裝置M23中的面部三角多邊形網(wǎng)格模型S105，使用與圖18中所示的第4實(shí)施例的面部動(dòng)作編碼裝置中所使用的面部三角多邊形網(wǎng)格模型S105相同的模型。三維面部模型對(duì)應(yīng)部301，使用與圖18所示的第4實(shí)施例的面部動(dòng)作編碼裝置的三維面部模型給出部101相同的方法，通過(guò)將無(wú)表情面部三維數(shù)據(jù)S300與面部三角多邊形網(wǎng)格模型S105匹配，來(lái)生成三維無(wú)表情面部三角多邊形網(wǎng)格模型S302。也即，給面部三角多邊形網(wǎng)格模型S105中的各個(gè)多邊形的各個(gè)頂點(diǎn)，分配對(duì)應(yīng)于該頂點(diǎn)的無(wú)表情面部三維數(shù)據(jù)S300的點(diǎn)的三維坐標(biāo)，給所有多邊形的頂點(diǎn)都分配了無(wú)表情面部三維數(shù)據(jù)S300的點(diǎn)的三維坐標(biāo)之后，將該結(jié)果作為三維化無(wú)表情面部三角多邊形網(wǎng)格模型S302保存在存儲(chǔ)裝置M24中。移動(dòng)量計(jì)算部302，從存儲(chǔ)裝置M22輸入對(duì)應(yīng)于面部三角多邊形網(wǎng)格模型S105的表情動(dòng)作時(shí)的外力信息S30，通過(guò)與圖2的第1實(shí)施例的控制點(diǎn)動(dòng)作部3相同的方法，計(jì)算表情動(dòng)作時(shí)的控制點(diǎn)的移動(dòng)位置S303。例如，在使用與圖18的實(shí)施例4相同的面部三角多邊形網(wǎng)格模型的情況下，移動(dòng)量計(jì)算部302，使用多邊形的三個(gè)頂點(diǎn)的三維坐標(biāo)與作用給外力信息S30中所記錄的多邊形的頂點(diǎn)的外力，將上述式(6)的要素作為n＝3，計(jì)算出上述式(7)，通過(guò)這樣，計(jì)算各個(gè)多邊形的頂點(diǎn)的表情動(dòng)作時(shí)的移動(dòng)位置。表情生成部31，由于構(gòu)成存儲(chǔ)在存儲(chǔ)裝置M21中的無(wú)表情面部3D數(shù)據(jù)S300的點(diǎn)中，與面部三角多邊形網(wǎng)格模型S105的動(dòng)作區(qū)域中的多邊形的頂點(diǎn)相對(duì)應(yīng)的點(diǎn)的移動(dòng)位置已經(jīng)在位置數(shù)據(jù)S303中計(jì)算出來(lái)了，因此通過(guò)與圖2的第1實(shí)施例的動(dòng)作內(nèi)插部4相同的方法，計(jì)算出此外的點(diǎn)(多邊形內(nèi)的點(diǎn))的移動(dòng)位置。例如，在使用面部三角多邊形網(wǎng)格模型的情況下，表情生成部31，根據(jù)頂點(diǎn)的移動(dòng)位置通過(guò)內(nèi)插計(jì)算出各個(gè)多邊形內(nèi)點(diǎn)的移動(dòng)位置。之后，將無(wú)表情面部3D數(shù)據(jù)S300的各個(gè)點(diǎn)的三維坐標(biāo)校準(zhǔn)其移動(dòng)位置，生成表情面部三維數(shù)據(jù)S32。但是，由于多邊形的頂點(diǎn)一般包括在多個(gè)不同的多邊形中，因此如圖10所述，在相鄰的小區(qū)域(該情況下為多邊形)的邊界部分中容易產(chǎn)生級(jí)差。因此，最好在表情生成部31中，通過(guò)加入與圖9的第2實(shí)施例的相鄰小區(qū)域調(diào)整部5相同的功能，來(lái)消除級(jí)差等。另外，還可以通過(guò)將與圖14的第3實(shí)施例的未動(dòng)作區(qū)域調(diào)整部6相同的功能，添加給表情生成部31，將動(dòng)作區(qū)域與未動(dòng)作區(qū)域之間的邊界部分中所產(chǎn)生的級(jí)差等消除。圖23的第5實(shí)施例中，根據(jù)唯一的表情動(dòng)作的外力信息S30，對(duì)某個(gè)人物的無(wú)表情時(shí)的面部三維數(shù)據(jù)S300進(jìn)行變形，但也可以根據(jù)各個(gè)不同的多個(gè)表情動(dòng)作的外力信息S30，對(duì)無(wú)表情面部三維數(shù)據(jù)S300進(jìn)行變形。這種情況下，移動(dòng)量計(jì)算部302，通過(guò)將作用給相同控制點(diǎn)的外力相加，將多個(gè)表情動(dòng)作的外力信息S30合成為1個(gè)外力信息，根據(jù)該合成外力來(lái)計(jì)算控制點(diǎn)的移動(dòng)位置數(shù)據(jù)S303。通過(guò)這樣，在計(jì)算出對(duì)應(yīng)于多個(gè)外力信息S30的最終的控制點(diǎn)移動(dòng)位置數(shù)據(jù)，或根據(jù)各個(gè)外力信息S30計(jì)算出控制點(diǎn)的移動(dòng)位置數(shù)據(jù)S303之后，通過(guò)求出作用給相同控制點(diǎn)的移動(dòng)位置的平均值，來(lái)計(jì)算出對(duì)應(yīng)多個(gè)外力信息S30的最終控制點(diǎn)的移動(dòng)位置數(shù)據(jù)。圖24為基于本發(fā)明的第6實(shí)施例的面部動(dòng)作解碼裝置的框圖，根據(jù)表情動(dòng)作時(shí)的外力信息，對(duì)某個(gè)人物的無(wú)表情時(shí)的面部圖像(二維面部圖像)進(jìn)行變形，生成該人物的表情動(dòng)作時(shí)的面部圖像(二維面部圖像)并輸出。也即，本實(shí)施例的面部動(dòng)作解碼裝置中，將圖23所示的第5實(shí)施例的面部動(dòng)作解碼裝置中的無(wú)表情面部三維數(shù)據(jù)S300，替換成無(wú)表情面部圖像S301，將輸出的表情面部三維數(shù)據(jù)S32替換成表情面部圖像S32。本實(shí)施例的面部動(dòng)作解碼裝置，包括處理裝置CNT31、存儲(chǔ)裝置M31～M36、顯示裝置DPY、以及輸入裝置KEY。多個(gè)存儲(chǔ)裝置M31～M36，例如由磁盤構(gòu)成。存儲(chǔ)裝置M31、M32存儲(chǔ)作為輸入數(shù)據(jù)的無(wú)表情面部圖像S301以及表情動(dòng)作時(shí)的外力信息S30，存儲(chǔ)裝置M36存儲(chǔ)作為輸出數(shù)據(jù)的表情面部圖像S33，剩下的存儲(chǔ)裝置M33～M35保存中間結(jié)果以及處理過(guò)程中需要的控制數(shù)據(jù)。顯示裝置DPY例如由液晶顯示器構(gòu)成，用來(lái)顯示所生成的表情面部圖像S33以及處理過(guò)程的數(shù)據(jù)等。輸入裝置KEY例如由鍵盤與鼠標(biāo)構(gòu)成，用來(lái)從使用者接收各種數(shù)據(jù)與命令。控制裝置CNT31，例如由計(jì)算機(jī)的中央處理裝置構(gòu)成，執(zhí)行本實(shí)施例的面部動(dòng)作解碼裝置的主要處理。控制裝置CNT31具有面部圖像三維化部300、移動(dòng)量計(jì)算部302以及表情圖像生成部33?？刂蒲b置CNT31的各個(gè)功能部300、302以及33，能夠通過(guò)構(gòu)成控制裝置CNT31的計(jì)算機(jī)與面部動(dòng)作解碼裝置用程序來(lái)實(shí)現(xiàn)。面部動(dòng)作解碼裝置用程序記錄在磁盤等計(jì)算機(jī)可讀記錄介質(zhì)PM31中，在計(jì)算機(jī)的起動(dòng)等時(shí)讀取到該計(jì)算機(jī)中，通過(guò)控制該計(jì)算機(jī)的運(yùn)行，來(lái)在該計(jì)算機(jī)上實(shí)現(xiàn)各個(gè)功能部300、302、33。接下來(lái)，對(duì)本實(shí)施例的相關(guān)面部動(dòng)作解碼裝置的動(dòng)作進(jìn)行說(shuō)明?？刂蒲b置CNT31，首先使用面部圖像三維化部300，輸入保存在存儲(chǔ)裝置M31中的解碼用中所使用的某個(gè)人物的無(wú)表情面部圖像S301，通過(guò)粘貼在預(yù)先存儲(chǔ)在存儲(chǔ)裝置M33中的無(wú)表情面部的三維模型S302，來(lái)生成解碼用無(wú)表情面部三維數(shù)據(jù)S300，保存在存儲(chǔ)裝置M34中。該所保存的無(wú)表情面部三維數(shù)據(jù)S300，相當(dāng)于圖23的第5實(shí)施例的三維化無(wú)表情面部三角多邊形網(wǎng)格模型S302。接下來(lái)，與圖23的第5實(shí)施例一樣，使用移動(dòng)量計(jì)算部302，按照保存在存儲(chǔ)裝置M32中的表情動(dòng)作的外力信息S30，計(jì)算存儲(chǔ)在存儲(chǔ)裝置M34中的無(wú)表情面部三維數(shù)據(jù)S300的動(dòng)作區(qū)域中的各個(gè)控制點(diǎn)的移動(dòng)位置，作為控制點(diǎn)的移動(dòng)位置數(shù)據(jù)S303保存在存儲(chǔ)裝置M35中。接下來(lái)，使用表情圖像生成部33，通過(guò)與圖23的第5實(shí)施例的表情生成部31相同的處理，根據(jù)保存在存儲(chǔ)裝置M35中的控制點(diǎn)的移動(dòng)位置數(shù)據(jù)S303，對(duì)保存在存儲(chǔ)裝置M34中的無(wú)表情面部三維數(shù)據(jù)S300進(jìn)行變形，生成表情動(dòng)作時(shí)的表情動(dòng)作面部的三維數(shù)據(jù)。接下來(lái)，根據(jù)該三維數(shù)據(jù)生成表情面部圖像S33，保存在存儲(chǔ)裝置M36中，另外，還在顯示裝置DPY中進(jìn)行顯示。以下進(jìn)行詳細(xì)說(shuō)明。存儲(chǔ)裝置M32的表情動(dòng)作的外力信息S30，使用相當(dāng)于通過(guò)圖18所示的第4實(shí)施例的面部動(dòng)作編碼裝置所生成的表情動(dòng)作的外力數(shù)據(jù)S12以及表情動(dòng)作的動(dòng)作區(qū)域S13的信息。另外，保存在存儲(chǔ)裝置M33中的無(wú)表情面部的三維模型S302，使用采用與圖18中所示的第4實(shí)施例的面部動(dòng)作編碼裝置中所使用的面部三角多邊形網(wǎng)格模型S105相同的網(wǎng)格模型的某個(gè)人物的三維模型。面部圖像三維化部300，被輸入解碼用無(wú)表情面部圖像S301與無(wú)表情面部的三維模型S302，將解碼用無(wú)表情面部圖像S301粘貼到無(wú)表情面部的三維模型S302上，生成解碼用無(wú)表情面部三維數(shù)據(jù)S300。粘貼方法的例子，將特定人物的無(wú)表情面部三維數(shù)據(jù)作為面部三維模型登錄，讓該面部模型的特征點(diǎn)與解碼用無(wú)表情面部圖像S301的特征點(diǎn)相對(duì)應(yīng)，對(duì)于特征點(diǎn)以外的點(diǎn)，根據(jù)與特征點(diǎn)之間的相對(duì)位置關(guān)系通過(guò)圖7所示的內(nèi)插、外插來(lái)進(jìn)行對(duì)應(yīng)。如果給出了該對(duì)應(yīng)，則能夠?qū)殡S有解碼用無(wú)表情面部圖像S301的作為面部三維模型S302的紋理信息者，作為解碼用無(wú)表情面部三維數(shù)據(jù)S300進(jìn)行處理。另外，上述特定人物的無(wú)表情面部三維數(shù)據(jù)S302，不需要是真實(shí)的人物，也可以是取真實(shí)人物的無(wú)表情面部三維數(shù)據(jù)的平均值的平均面部。粘貼方法的其他例子，還有如圖19所示的將三角網(wǎng)格的頂點(diǎn)之一部分與面部的特征點(diǎn)相對(duì)應(yīng)的面部網(wǎng)格模型，用作無(wú)表情面部的三維模型S302的方法。根據(jù)圖19可以得知，將全體為模仿面部的三維形狀的三維坐標(biāo)賦予三角網(wǎng)格的各個(gè)頂點(diǎn)?？梢詫⒃撁娌烤W(wǎng)格模型看作人工制作的非常粗糙表現(xiàn)的面部三維數(shù)據(jù)，通過(guò)特征點(diǎn)單位將解碼用無(wú)表情面部圖像S301與面部網(wǎng)格模型對(duì)應(yīng)起來(lái)，特征點(diǎn)以外的點(diǎn)通過(guò)如圖7所示的內(nèi)插、外插來(lái)對(duì)應(yīng)，與無(wú)表情面部三維數(shù)據(jù)的情況下一樣，生成解碼用無(wú)表情面部三維數(shù)據(jù)S300。表情圖像生成部33，在與實(shí)施例5的表情生成部31一樣生成了解碼時(shí)的表情動(dòng)作面部的三維數(shù)據(jù)之后，將該面部三維數(shù)據(jù)投影到指定的視圖中，生成解碼時(shí)的表情動(dòng)作面部圖像S33，輸出給存儲(chǔ)裝置M36。圖24的第6實(shí)施例中，根據(jù)唯一的表情動(dòng)作的外力信息S30，對(duì)某個(gè)人物的無(wú)表情時(shí)的面部圖像S301進(jìn)行變形，但也可以與圖23的第5實(shí)施例一樣，根據(jù)各個(gè)不同的多個(gè)表情動(dòng)作的外力信息S30，對(duì)無(wú)表情面部三圖像S301進(jìn)行變形。另外，第5實(shí)施例中，輸入無(wú)表情面部三維數(shù)據(jù)S300，輸出表情動(dòng)作面部的三維數(shù)據(jù)S32，第6實(shí)施例中，輸入無(wú)表情面部圖像S301，輸出表情動(dòng)作面部圖像S33。作為其他例子，還可以考慮輸入無(wú)表情面部三維數(shù)據(jù)S300，輸出表情動(dòng)作面部圖像S33的面部動(dòng)作解碼裝置，以及輸入無(wú)表情面部圖像S301，輸出表情動(dòng)作面部的三維數(shù)據(jù)S32的面部動(dòng)作解碼裝置。圖25為基于本發(fā)明的第7實(shí)施例的面部動(dòng)作編碼裝置的框圖，與第4實(shí)施例一樣，根據(jù)某個(gè)人物的無(wú)表情時(shí)與表情動(dòng)作時(shí)的面部三維數(shù)據(jù)，計(jì)算出表情動(dòng)作時(shí)的動(dòng)作區(qū)域與外力并輸出。本實(shí)施例的面部動(dòng)作編碼裝置，包括處理裝置CNT41、存儲(chǔ)裝置M41～M43、顯示裝置DPY、以及輸入裝置KEY。多個(gè)存儲(chǔ)裝置M41～M43，例如由磁盤構(gòu)成，存儲(chǔ)裝置M41存儲(chǔ)作為輸入數(shù)據(jù)的無(wú)表情面部3D數(shù)據(jù)S100以及表情動(dòng)作面部3D數(shù)據(jù)S101，存儲(chǔ)裝置M43存儲(chǔ)作為輸出數(shù)據(jù)的表情動(dòng)作的外力數(shù)據(jù)S12以及表情動(dòng)作的動(dòng)作區(qū)域S13，剩下的存儲(chǔ)裝置M42保存中間結(jié)果。顯示裝置DPY例如由液晶顯示器構(gòu)成，用來(lái)顯示處理過(guò)程的數(shù)據(jù)等。輸入裝置KEY例如由鍵盤與鼠標(biāo)構(gòu)成，用來(lái)從使用者接收各種數(shù)據(jù)與命令?？刂蒲b置CNT41，例如由計(jì)算機(jī)的中央處理裝置構(gòu)成，執(zhí)行本實(shí)施例的面部動(dòng)作編碼裝置的主要處理?？刂蒲b置CNT41具有差值計(jì)算部10以及外力計(jì)算部11。控制裝置CNT41的各個(gè)功能部10、11，能夠通過(guò)構(gòu)成控制裝置CNT41的計(jì)算機(jī)與面部動(dòng)作編碼裝置用程序來(lái)實(shí)現(xiàn)。面部動(dòng)作編碼裝置用程序記錄在磁盤等計(jì)算機(jī)可讀記錄介質(zhì)PM41中，在計(jì)算機(jī)的起動(dòng)等時(shí)讀取到該計(jì)算機(jī)中，通過(guò)控制該計(jì)算機(jī)的運(yùn)行，來(lái)在該計(jì)算機(jī)上實(shí)現(xiàn)各個(gè)功能部10、11。接下來(lái)，對(duì)本實(shí)施例的相關(guān)面部動(dòng)作編碼裝置的動(dòng)作進(jìn)行說(shuō)明?？刂蒲b置CNT41，首先使用差值計(jì)算部10，輸入保存在存儲(chǔ)裝置M11中的編碼用中所使用的人物的無(wú)表情面部三維數(shù)據(jù)S100與表情動(dòng)作面部三維數(shù)據(jù)S101，根據(jù)該輸入數(shù)據(jù)生成三維坐標(biāo)差S11，保存在存儲(chǔ)裝置M42中。差值計(jì)算部10具體進(jìn)行以下的處理。差值計(jì)算部10，將無(wú)表情時(shí)與表情動(dòng)作時(shí)的面部三維數(shù)據(jù)S100、S101的相同部位間(例如無(wú)表情面部右眼眼角與表情動(dòng)作面部右眼眼角等)對(duì)應(yīng)起來(lái)。對(duì)應(yīng)方法既可以將上述標(biāo)記等作為線索來(lái)自動(dòng)進(jìn)行，又可以將雙方圖像顯示在顯示裝置DPY中，使用GUI的工具，通過(guò)用戶的手動(dòng)來(lái)進(jìn)行對(duì)應(yīng)。由于現(xiàn)實(shí)中很難在所有點(diǎn)中進(jìn)行對(duì)應(yīng)，因此較為妥當(dāng)?shù)氖侵辉谟袠?biāo)記的部分或眼、嘴、鼻等特征部位中進(jìn)行對(duì)應(yīng)，其他部分使用線形內(nèi)插等方法，通過(guò)與特征部位之間的相對(duì)位置來(lái)進(jìn)行對(duì)應(yīng)。對(duì)應(yīng)結(jié)束之后在無(wú)表情面部三維數(shù)據(jù)S100與表情動(dòng)作面部的三維數(shù)據(jù)S101的對(duì)應(yīng)點(diǎn)之間，計(jì)算出三維坐標(biāo)的差。接下來(lái)，將三維坐標(biāo)的差的標(biāo)準(zhǔn)(norm)也即距離為預(yù)先設(shè)定的閾值以上的區(qū)域，或該動(dòng)作中附著有表情肌腱的區(qū)域這種被加以限制的區(qū)域，作為表情時(shí)的動(dòng)作區(qū)域，將區(qū)域外作為未動(dòng)作區(qū)域。之后，對(duì)于屬于動(dòng)作區(qū)域的點(diǎn)(動(dòng)作點(diǎn))，將無(wú)表情面部三維數(shù)據(jù)的位置(三維坐標(biāo)或?qū)⑵渫队暗綀A筒等二維面上時(shí)在該面的坐標(biāo)上的二維坐標(biāo))與該三維坐標(biāo)差，作為三維坐標(biāo)差S11輸出。外力計(jì)算部11，使用只與動(dòng)作點(diǎn)相關(guān)的記錄有無(wú)表情面部三維數(shù)據(jù)的位置以及該三維坐標(biāo)差的三維坐標(biāo)差S11，計(jì)算將該動(dòng)作點(diǎn)的位置從無(wú)表情面部三維數(shù)據(jù)的位置移動(dòng)三維坐標(biāo)差所需要的外力，作為表情動(dòng)作用外力數(shù)據(jù)S12輸出。另外，輸出產(chǎn)生了外力所作用的表情動(dòng)作的動(dòng)作區(qū)域S13。動(dòng)作區(qū)域S13如圖1所述，分割成由彈簧與減震器互相連接的3點(diǎn)以上的控制點(diǎn)受到外力，拖動(dòng)控制點(diǎn)從而一體運(yùn)動(dòng)的小區(qū)域，小區(qū)域各自的動(dòng)作成為全體動(dòng)作區(qū)域的動(dòng)作。各個(gè)小區(qū)域中的力學(xué)系統(tǒng)，通過(guò)假設(shè)全面彈簧與減震器具有相同彈簧常數(shù)與減震器常數(shù)，能夠如前所述進(jìn)行定型化。圖26為基于本發(fā)明的第8實(shí)施例的框圖，與圖23的第5實(shí)施例一樣，示出了一種在面部動(dòng)作解碼裝置中使用本發(fā)明的實(shí)施例，根據(jù)表情動(dòng)作時(shí)的外力信息，對(duì)某個(gè)人物的無(wú)表情時(shí)的面部三維數(shù)據(jù)進(jìn)行變形，生成該人物的表情動(dòng)作時(shí)的面部三維數(shù)據(jù)并輸出。本實(shí)施例的面部動(dòng)作解碼裝置，包括處理裝置CNT51、存儲(chǔ)裝置M51～M54、顯示裝置DPY、以及輸入裝置KEY。多個(gè)存儲(chǔ)裝置M51～M54，例如由磁盤構(gòu)成，其中，存儲(chǔ)裝置M51、M52存儲(chǔ)作為輸入數(shù)據(jù)的無(wú)表情面部3D數(shù)據(jù)S300以及表情動(dòng)作時(shí)的外力信息S30，存儲(chǔ)裝置M54存儲(chǔ)作為輸出數(shù)據(jù)的表情面部3D數(shù)據(jù)32，剩下的存儲(chǔ)裝置M53保存中間結(jié)果。顯示裝置DPY例如由液晶顯示器構(gòu)成，用來(lái)顯示所生成的表情面部3D數(shù)據(jù)S32以及處理過(guò)程的數(shù)據(jù)等。輸入裝置KEY例如由鍵盤與鼠標(biāo)構(gòu)成，用來(lái)從使用者接收各種數(shù)據(jù)與命令?？刂蒲b置CNT51，例如由計(jì)算機(jī)的中央處理裝置構(gòu)成，執(zhí)行本實(shí)施例的面部動(dòng)作解碼裝置的主要處理?？刂蒲b置CNT51具有外力解碼部30以及表情生成部31?？刂蒲b置CNT51的各個(gè)功能部30、31，能夠通過(guò)構(gòu)成控制裝置CNT51的計(jì)算機(jī)與面部動(dòng)作解碼裝置用程序來(lái)實(shí)現(xiàn)。面部動(dòng)作解碼裝置用程序記錄在磁盤等計(jì)算機(jī)可讀記錄介質(zhì)PM51中，在計(jì)算機(jī)的起動(dòng)等時(shí)讀取到該計(jì)算機(jī)中，通過(guò)控制該計(jì)算機(jī)的運(yùn)行，來(lái)在該計(jì)算機(jī)上實(shí)現(xiàn)各個(gè)功能部30、31。接下來(lái)，對(duì)本實(shí)施例的相關(guān)面部動(dòng)作解碼裝置的動(dòng)作進(jìn)行說(shuō)明?？刂蒲b置CNT51，首先使用外力解碼部30，輸入保存在存儲(chǔ)裝置M51中的無(wú)表情面部三維數(shù)據(jù)S300與保存在存儲(chǔ)裝置M52中的無(wú)表情動(dòng)作的外力信息S30。這里，無(wú)表情動(dòng)作的外力信息S30，是將圖25的實(shí)施例7中的表情動(dòng)作的外力數(shù)據(jù)S12與表情動(dòng)作的動(dòng)作區(qū)域S13綜合起來(lái)所得到的。具體地說(shuō)，動(dòng)作區(qū)域S13，保存為通過(guò)以表示面部的一部分的區(qū)域、雙眼或嘴縫等特征點(diǎn)的位置或距離為基準(zhǔn)的相對(duì)位置所描述的區(qū)域。保存格式考慮將面部投射到平面、圓筒、球面等平面上，通過(guò)二維坐標(biāo)進(jìn)行保存的方法。另外，本發(fā)明中將動(dòng)作區(qū)域分割為小區(qū)域，因此即使在二維坐標(biāo)上也將動(dòng)作區(qū)域分割為小區(qū)域。關(guān)于這一點(diǎn)，如果假設(shè)地球?yàn)槊娌?，地球上的一部分大陸為?dòng)作區(qū)域，該大陸內(nèi)的國(guó)家為小區(qū)域，則認(rèn)為世界地圖為動(dòng)作區(qū)域的投影面，就較容易理解。為了生成控制點(diǎn)的組而事先給小區(qū)域加上編號(hào)。外力數(shù)據(jù)S12，保存有施加給小區(qū)域的控制點(diǎn)的外力三維矢量與小區(qū)域的編號(hào)、以及與動(dòng)作區(qū)域相同的二維坐標(biāo)上的控制點(diǎn)的位置。外力解碼部30，根據(jù)無(wú)表情面部三維數(shù)據(jù)S300與無(wú)表情動(dòng)作的外力信息S30，例如如下那樣生成控制點(diǎn)的表情移動(dòng)位置數(shù)據(jù)S31，保存在存儲(chǔ)裝置M53中。首先，外力解碼部30，將無(wú)表情面部三維數(shù)據(jù)展開(kāi)為通過(guò)以與外力信息S30的動(dòng)作區(qū)域相同的面部特征點(diǎn)的位置或距離為基準(zhǔn)的相對(duì)位置所描述的格式。接下來(lái)，在該所展開(kāi)的格式中找出對(duì)應(yīng)于外力信息S30的動(dòng)作區(qū)域的部分，將該部分作為無(wú)表情面部三維數(shù)據(jù)S300的動(dòng)作區(qū)域。對(duì)于小區(qū)域與控制點(diǎn)也一樣，找出無(wú)表情面部三維數(shù)據(jù)S300的對(duì)應(yīng)區(qū)域、對(duì)應(yīng)點(diǎn)。該處理既可以將無(wú)表情面部三維數(shù)據(jù)S300顯示在顯示裝置DPY中，由用戶通過(guò)GUI等工具手動(dòng)進(jìn)行外力信息30中所描述的控制點(diǎn)、小區(qū)域之間的對(duì)應(yīng)，也可以根據(jù)特征點(diǎn)來(lái)自動(dòng)進(jìn)行。如果找到了無(wú)表情面部三維數(shù)據(jù)S300的對(duì)應(yīng)控制點(diǎn)，則外力解碼部30便將該點(diǎn)的三維坐標(biāo)分配給上述式(7)的xi(0)。另外，從外力信息S30中讀取該控制點(diǎn)(的對(duì)應(yīng)點(diǎn))的外力，作為上述式(7)的外力Fi。對(duì)所有控制點(diǎn)進(jìn)行了該處理之后，給出參數(shù)d與表示表情動(dòng)作的強(qiáng)度的t，以外力信息30的小區(qū)域編號(hào)相同的控制點(diǎn)組，根據(jù)上述式(7)計(jì)算表情動(dòng)作后的控制點(diǎn)的三維位置xi(t)。將該移動(dòng)后的控制點(diǎn)的三維位置信息，與位置解碼用無(wú)表情面部三維數(shù)據(jù)S300中的動(dòng)作區(qū)域、小區(qū)域、控制點(diǎn)的上述格式中的位置信息，作為控制點(diǎn)的表情動(dòng)作移動(dòng)位置S31。表情生成部31，將無(wú)表情面部三維數(shù)據(jù)S300的控制點(diǎn)移動(dòng)到通過(guò)表情動(dòng)作移動(dòng)位置S31所表示的位置上，其他點(diǎn)根據(jù)與屬于同一個(gè)小區(qū)域的控制點(diǎn)之間的相對(duì)位置，通過(guò)內(nèi)插、外插計(jì)算出移動(dòng)位置的三維坐標(biāo)，將面部三維數(shù)據(jù)S300中的對(duì)應(yīng)位置移動(dòng)到該移動(dòng)位置上。將所有的動(dòng)作區(qū)域中的點(diǎn)移動(dòng)之后，便完成了表情動(dòng)作面部的三維數(shù)據(jù)S32。如果解碼用無(wú)表情動(dòng)作面部三維數(shù)據(jù)S300中附加有紋理，則表情動(dòng)作面部的三維數(shù)據(jù)S32就變成了附加有顏色信息的面部三維數(shù)據(jù)。另外，與圖23中所示的實(shí)施例5的表情生成部31一樣，可以在表情生成部31中，通過(guò)加入與圖9的相鄰小區(qū)域調(diào)整部5相同的功能，來(lái)消除小區(qū)域的邊界部分中的級(jí)差等，另外，還可以通過(guò)將與圖14的未動(dòng)作區(qū)域調(diào)整部6相同的功能，添加給表情生成部31，將動(dòng)作區(qū)域與未動(dòng)作區(qū)域之間的邊界部分中所產(chǎn)生的級(jí)差等消除。圖26的第8實(shí)施例中，根據(jù)唯一的表情動(dòng)作的外力信息S30，對(duì)某個(gè)人物的無(wú)表情時(shí)的面部三維數(shù)據(jù)S300進(jìn)行變形，但也可以根據(jù)各個(gè)不同的多個(gè)表情動(dòng)作的外力信息S30，對(duì)無(wú)表情面部三維數(shù)據(jù)S300進(jìn)行變形。這種情況下，外力解碼部30，通過(guò)將作用給相同控制點(diǎn)的外力相加，將多個(gè)表情動(dòng)作的外力信息S30合成為1個(gè)外力信息，根據(jù)該合成外力來(lái)計(jì)算控制點(diǎn)的表情動(dòng)作移動(dòng)位置數(shù)據(jù)S31，通過(guò)這樣，在計(jì)算出對(duì)應(yīng)于多個(gè)外力信息S30的最終的控制點(diǎn)的表情動(dòng)作移動(dòng)位置數(shù)據(jù)，或根據(jù)各個(gè)外力信息S30計(jì)算出控制點(diǎn)的表情動(dòng)作移動(dòng)位置數(shù)據(jù)S31之后，通過(guò)求出作用給相同控制點(diǎn)的移動(dòng)位置的平均值，來(lái)計(jì)算出對(duì)應(yīng)多個(gè)外力信息S30的最終控制點(diǎn)的表情動(dòng)作移動(dòng)位置數(shù)據(jù)。圖27為基于本發(fā)明的第9實(shí)施例的框圖，示出了一種在面部動(dòng)作解碼裝置中使用本發(fā)明的實(shí)施例，根據(jù)表情動(dòng)作時(shí)的外力信息，對(duì)某個(gè)人物的無(wú)表情時(shí)的面部圖像(二維面部圖像)進(jìn)行變形，生成該人物的表情動(dòng)作時(shí)的面部圖像(二維面部圖像)并輸出。也即，本實(shí)施例的面部動(dòng)作解碼裝置中，將圖26所示的實(shí)施例8的面部動(dòng)作解碼裝置中所輸入的無(wú)表情面部三維數(shù)據(jù)S300，替換成無(wú)表情面部圖像S301，將輸出的面部表情三維數(shù)據(jù)S32替換成表情面部圖像S32。本實(shí)施例的面部動(dòng)作解碼裝置，包括處理裝置CNT61、存儲(chǔ)裝置M61～M66、顯示裝置DPY、以及輸入裝置KEY。多個(gè)存儲(chǔ)裝置M61～M66，例如由磁盤構(gòu)成，其中，存儲(chǔ)裝置M61、M62存儲(chǔ)作為輸入數(shù)據(jù)的無(wú)表情面部圖像S301以及表情動(dòng)作時(shí)的外力信息S30，存儲(chǔ)裝置M66存儲(chǔ)作為輸出數(shù)據(jù)的表情面部圖像S33，剩下的存儲(chǔ)裝置M63～M65保存中間結(jié)果以及處理過(guò)程中需要的控制數(shù)據(jù)。顯示裝置DPY例如由液晶顯示器構(gòu)成，用來(lái)顯示所生成的表情面部圖像S33以及處理過(guò)程的數(shù)據(jù)等。輸入裝置KEY例如由鍵盤與鼠標(biāo)構(gòu)成，用來(lái)從使用者接收各種數(shù)據(jù)與命令?？刂蒲b置CNT61，例如由計(jì)算機(jī)的中央處理裝置構(gòu)成，執(zhí)行本實(shí)施例的面部動(dòng)作解碼裝置的主要處理?？刂蒲b置CNT61具有面部圖像三維化部32、外力解碼部30以及表情圖像生成部33?？刂蒲b置CNT61的各個(gè)功能部32、30以及33，能夠通過(guò)構(gòu)成控制裝置CNT61的計(jì)算機(jī)與面部動(dòng)作解碼裝置用程序來(lái)實(shí)現(xiàn)。面部動(dòng)作解碼裝置用程序記錄在磁盤等計(jì)算機(jī)可讀記錄介質(zhì)PM61中，在計(jì)算機(jī)的起動(dòng)等時(shí)讀取到該計(jì)算機(jī)中，通過(guò)控制該計(jì)算機(jī)的運(yùn)行，來(lái)在該計(jì)算機(jī)上實(shí)現(xiàn)各個(gè)功能部32、30、33。接下來(lái)，對(duì)本實(shí)施例的相關(guān)面部動(dòng)作解碼裝置的動(dòng)作進(jìn)行說(shuō)明?？刂蒲b置CNT61，首先使用面部圖像三維化部32，輸入保存在存儲(chǔ)裝置M61中的解碼用中所使用的某個(gè)人物的無(wú)表情面部圖像S301，通過(guò)粘貼在預(yù)先存儲(chǔ)在存儲(chǔ)裝置M63中的無(wú)表情面部的三維模型S302中，來(lái)生成解碼用無(wú)表情面部三維數(shù)據(jù)S300，保存在存儲(chǔ)裝置M64中。接下來(lái)，與圖26的第8實(shí)施例一樣，使用外力解碼部30，按照保存在存儲(chǔ)裝置M62中的表情動(dòng)作的外力信息S30，計(jì)算存儲(chǔ)在存儲(chǔ)裝置M64中的解碼用無(wú)表情面部三維數(shù)據(jù)S300的動(dòng)作區(qū)域中的各個(gè)控制點(diǎn)的移動(dòng)位置，作為控制點(diǎn)的表情動(dòng)作移動(dòng)位置數(shù)據(jù)S31保存在存儲(chǔ)裝置M65中。接下來(lái)，使用表情圖像生成部33，與圖26的第8實(shí)施例的表情生成部31一樣，根據(jù)保存在存儲(chǔ)裝置M65中的控制點(diǎn)的表情動(dòng)作移動(dòng)位置數(shù)據(jù)S31，對(duì)保存在存儲(chǔ)裝置M64中的復(fù)原用無(wú)表情面部三維數(shù)據(jù)S300進(jìn)行變形，生成表情動(dòng)作時(shí)的表情動(dòng)作面部的三維數(shù)據(jù)。接下來(lái)，將該三維數(shù)據(jù)投影到指定的視圖中，生成解碼時(shí)的表情動(dòng)作面部圖像S33，輸出給存儲(chǔ)裝置M36。另外，第8實(shí)施例中，輸入無(wú)表情面部三維數(shù)據(jù)S300，輸出表情動(dòng)作面部的三維數(shù)據(jù)S32，第9實(shí)施例中，輸入無(wú)表情面部圖像S301，輸出表情動(dòng)作面部圖像S33。作為其他例子，還可以考慮輸入無(wú)表情面部三維數(shù)據(jù)S300，輸出表情動(dòng)作面部圖像S33的面部動(dòng)作解碼裝置，以及輸入無(wú)表情面部圖像S301，輸出表情動(dòng)作面部的三維數(shù)據(jù)S32的面部動(dòng)作解碼裝置。圖27的第9實(shí)施例中，根據(jù)唯一的表情動(dòng)作的外力信息S30，對(duì)某個(gè)人物的無(wú)表情面部圖像S301進(jìn)行變形，但也可以與圖26的第8實(shí)施例一樣，根據(jù)各個(gè)不同的多個(gè)表情動(dòng)作的外力信息S30，對(duì)無(wú)表情面部三圖像S301進(jìn)行變形。圖28為基于本發(fā)明的第10實(shí)施例的面部動(dòng)作編碼解碼裝置的框圖，根據(jù)某個(gè)人物A的無(wú)表情時(shí)與表情動(dòng)作時(shí)的三維數(shù)據(jù)組，給另一人物B的無(wú)表情面部的三維數(shù)據(jù)添加表情動(dòng)作。本實(shí)施例的面部動(dòng)作編碼解碼裝置，具有編碼裝置71、傳輸裝置72、以及解碼裝置73，傳輸裝置72與解碼裝置73通過(guò)通信通路74可通信連接起來(lái)。另外，還具有保存解碼裝置71的輸入數(shù)據(jù)的人物A的無(wú)表情面部三維數(shù)據(jù)S100以及人物A的表情動(dòng)作面部三維數(shù)據(jù)S101的存儲(chǔ)裝置M71、保存解碼裝置71所生成的表情動(dòng)作的外力數(shù)據(jù)S12以及表情動(dòng)作的動(dòng)作區(qū)域S13的存儲(chǔ)裝置M72、暫存由傳輸裝置72將表情動(dòng)作的外力數(shù)據(jù)S12以及動(dòng)作區(qū)域S13綜合起來(lái)所生成的表情動(dòng)作的外力信息S30的存儲(chǔ)裝置M73、保存人物B的無(wú)表情面部三維數(shù)據(jù)S300的存儲(chǔ)裝置M74、以及保存根據(jù)由傳輸裝置72通過(guò)通信通路74所發(fā)送的表情動(dòng)作的外力信息S30與保存在存儲(chǔ)裝置M74中的人物B的無(wú)表情面部三維數(shù)據(jù)S300，由解碼裝置73所生成的人物B的表情面部三維數(shù)據(jù)S32的存儲(chǔ)裝置M75。編碼裝置71能夠通過(guò)圖25所示的實(shí)施例7的面部動(dòng)作編碼裝置來(lái)實(shí)現(xiàn)。也即，編碼裝置71由具有圖25的差值計(jì)算部10以及外力計(jì)算部11的處理裝置CNT41、存儲(chǔ)裝置M42、顯示裝置DPY以及輸入裝置KEY構(gòu)成。因此，編碼裝置71的動(dòng)作與實(shí)施例7的面部動(dòng)作編碼裝置的動(dòng)作相同。傳輸裝置72，進(jìn)行表情動(dòng)作的外力數(shù)據(jù)S12與其動(dòng)作區(qū)域S13向編碼裝置73的傳輸及其控制。動(dòng)作區(qū)域S13，保存為通過(guò)以表示面部的一部分的區(qū)域、雙眼或嘴縫等特征點(diǎn)的位置或距離為基準(zhǔn)的相對(duì)位置所描述的區(qū)域。保存格式考慮將面部投射到平面、圓筒、球面等平面上，通過(guò)二維坐標(biāo)進(jìn)行保存的方法。另外，由于動(dòng)作區(qū)域被分割為小區(qū)域，因此即使在二維坐標(biāo)上也將動(dòng)作區(qū)域分割為小區(qū)域。為了生成控制點(diǎn)的組而給小區(qū)域加上編號(hào)。外力數(shù)據(jù)S12，保存有施加給小區(qū)域的控制點(diǎn)的外力三維矢量與小區(qū)域的編號(hào)、以及與動(dòng)作區(qū)域相同的二維坐標(biāo)上的控制點(diǎn)的位置。另外，動(dòng)作區(qū)域以及小區(qū)域不需要發(fā)送區(qū)域全體，可以只發(fā)送其輪廓。傳輸方法既可以單純地直接傳輸，又可以進(jìn)行可逆編碼之后再傳輸，在接收側(cè)進(jìn)行解碼。向解碼裝置73，發(fā)送將外力數(shù)據(jù)S12及其動(dòng)作區(qū)域S13綜合起來(lái)所得到的外力信息S30。傳輸裝置72的功能，是非對(duì)稱的表情動(dòng)作的生成時(shí)的處理。非對(duì)稱表情動(dòng)作是指，在編碼側(cè)產(chǎn)生多個(gè)表情動(dòng)作，傳輸裝置72將它們同時(shí)發(fā)送給解碼裝置73，在解碼裝置73中生成將多個(gè)表情動(dòng)作混合起來(lái)的表情動(dòng)作。這種情況下，需要事先存儲(chǔ)用于多個(gè)表情動(dòng)作的外力信息S30的信息。解碼裝置73能夠通過(guò)圖26所示的第8實(shí)施例的面部動(dòng)作解碼裝置來(lái)實(shí)現(xiàn)。也即，解碼裝置73由具有圖26的外力解碼部30以及表情生成部31的處理裝置CNT51、存儲(chǔ)裝置M53、顯示裝置DPY以及輸入裝置KEY構(gòu)成。因此，解碼裝置73的動(dòng)作與實(shí)施例8的面部動(dòng)作解碼裝置的動(dòng)作相同。上述說(shuō)明中，編碼裝置71使用圖25所示的第7實(shí)施例的面部動(dòng)作編碼裝置，解碼裝置73使用圖26所示的第8實(shí)施例的面部動(dòng)作解碼裝置。但是，也可以采用編碼裝置71使用圖18所示的第4實(shí)施例的面部動(dòng)作編碼裝置，解碼裝置73使用圖23所示的第5實(shí)施例的面部動(dòng)作解碼裝置的面部動(dòng)作編碼解碼裝置的實(shí)施例。圖29為基于本發(fā)明的第11實(shí)施例的面部動(dòng)作編碼解碼裝置的框圖，根據(jù)某個(gè)人物A的無(wú)表情時(shí)與表情動(dòng)作時(shí)的三維數(shù)據(jù)組，給另一人物B的無(wú)表情面部圖像添加表情動(dòng)作。也即，本實(shí)施例的面部動(dòng)作編碼解碼裝置中，將作為圖28所示的第10實(shí)施例的面部動(dòng)作編碼解碼裝置中的解碼裝置的輸入的無(wú)表情面部三維數(shù)據(jù)S300，替換成了無(wú)表情面部圖像S301，將輸出的表情面部三維數(shù)據(jù)S32替換成了表情面部圖像S32。本實(shí)施例的面部動(dòng)作編碼解碼裝置，具有編碼裝置81、傳輸裝置82、以及解碼裝置83，傳輸裝置82與解碼裝置83通過(guò)通信通路84可通信連接起來(lái)。另外，還具有保存作為解碼裝置81的輸入數(shù)據(jù)的人物A的無(wú)表情面部三維數(shù)據(jù)S100以及人物A的表情動(dòng)作面部三維數(shù)據(jù)S101的存儲(chǔ)裝置M81；保存解碼裝置81所生成的表情動(dòng)作的外力數(shù)據(jù)S12以及表情動(dòng)作的動(dòng)作區(qū)域S13的存儲(chǔ)裝置M82；暫存由傳輸裝置82將表情動(dòng)作的外力數(shù)據(jù)S12以及動(dòng)作區(qū)域S13綜合起來(lái)所生成的表情動(dòng)作的外力信息S30的存儲(chǔ)裝置M83；保存人物B的無(wú)表情面部圖像S301的存儲(chǔ)裝置M84；保存無(wú)表情面部的三維模型S302的存儲(chǔ)裝置M85；以及保存根據(jù)由傳輸裝置82通過(guò)通信通路84所發(fā)送的表情動(dòng)作的外力信息S30與保存在存儲(chǔ)裝置M84中的人物B的無(wú)表情面部三維數(shù)據(jù)S301，與保存在存儲(chǔ)裝置M85中的無(wú)表情面部的三維模型S302，由解碼裝置83所生成的人物B的表情面部圖像S33的存儲(chǔ)裝置M86。解碼裝置81以及傳輸裝置82，與圖28所示的第10實(shí)施例的編碼裝置71以及傳輸裝置72相同。因此，編碼裝置81能夠通過(guò)圖25所示的第7實(shí)施例的面部動(dòng)作編碼裝置來(lái)實(shí)現(xiàn)。另外，解碼裝置83能夠通過(guò)圖27所示的第9實(shí)施例的面部動(dòng)作解碼裝置來(lái)實(shí)現(xiàn)。也即，解碼裝置83能夠由具有圖27的面部圖像三維化部32、外力解碼部30以及表情圖像生成部33的處理裝置CNT61、存儲(chǔ)裝置M63～M65、顯示裝置DPY以及輸入裝置KEY構(gòu)成。因此，解碼裝置83的動(dòng)作與實(shí)施例9的面部動(dòng)作解碼裝置的動(dòng)作相同。上述說(shuō)明中，編碼裝置81使用圖25所示的第7實(shí)施例的面部動(dòng)作編碼裝置，解碼裝置83使用圖27所示的第9實(shí)施例的面部動(dòng)作解碼裝置。但是，也可以采用編碼裝置81使用圖18所示的第4實(shí)施例的面部動(dòng)作編碼裝置，解碼裝置83使用圖24所示的第6實(shí)施例的面部動(dòng)作解碼裝置的面部動(dòng)作編碼解碼裝置的實(shí)施例。另外，第10實(shí)施例具有輸入無(wú)表情面部三維數(shù)據(jù)S300，輸出表情動(dòng)作面部的三維數(shù)據(jù)S32的解碼裝置73，第11實(shí)施例中，具有輸入無(wú)表情面部圖像S301，輸出表情動(dòng)作面部圖像S33的解碼裝置83。但是，作為其他例子，還可以考慮具有輸入無(wú)表情面部三維數(shù)據(jù)S300，輸出表情動(dòng)作面部圖像S33的解碼裝置的面部動(dòng)作解碼裝置，以及具有輸入無(wú)表情面部圖像S301，輸出表情動(dòng)作面部的三維數(shù)據(jù)S32的解碼裝置的面部動(dòng)作編碼解碼裝置。上述實(shí)施例中，使用計(jì)算機(jī)圖形技術(shù)，通過(guò)對(duì)面部圖像以及面部三維數(shù)據(jù)進(jìn)行變形，來(lái)給面部添加表情。但是，本實(shí)施例還可以在機(jī)器人的頭部安裝具有撓性的面具，通過(guò)讓該面具的形狀進(jìn)行變形，來(lái)給面部添加表情。圖30中示出了內(nèi)置在機(jī)器人的頭部的控制機(jī)器的構(gòu)成例。圖30中，1300表示安裝在機(jī)器人的頭部的面具的剖面。面具1300的內(nèi)側(cè)，在各個(gè)動(dòng)作區(qū)域中的各個(gè)控制點(diǎn)中，固定有三維執(zhí)行器1301的可動(dòng)片1302的端部1303，該端部1303在初始狀態(tài)下被設(shè)為處于無(wú)表情時(shí)的位置。各個(gè)三維執(zhí)行器1301，通過(guò)控制裝置1304以及信號(hào)線1305相連接，對(duì)應(yīng)于從控制裝置1304經(jīng)信號(hào)線1305所發(fā)送的移動(dòng)位置信號(hào)，變更可動(dòng)片1302的端部1303的XYZ坐標(biāo)位置。由于可動(dòng)片1302的端部1303固定在面具的背面的控制點(diǎn)中，因此如果移動(dòng)端部1303的位置，則面具1300的各個(gè)控制點(diǎn)便與其周邊部分一體移動(dòng)，面具進(jìn)行變形，顯示出所期望的表情。這種情況下，由于各個(gè)控制點(diǎn)周圍的區(qū)域被各個(gè)控制點(diǎn)拖拉移動(dòng)，因此相鄰小區(qū)域間的邊界部分的平滑化以及動(dòng)作區(qū)域與未動(dòng)作區(qū)域的邊界部分的平滑化，并不特別需要。各個(gè)控制點(diǎn)的移動(dòng)后的XYZ坐標(biāo)位置保存在存儲(chǔ)裝置1306中。保存在該存儲(chǔ)裝置1306中的各個(gè)控制點(diǎn)的XYZ坐標(biāo)位置的計(jì)算，與上述第1實(shí)施例、第5實(shí)施例、第6實(shí)施例、第8實(shí)施例、第9實(shí)施例一樣進(jìn)行。也即，存儲(chǔ)裝置1306相當(dāng)于圖2中所示的第1實(shí)施例中的存儲(chǔ)裝置M5、圖23的第5實(shí)施例中的存儲(chǔ)裝置M25、圖24中所示的第6實(shí)施例中的存儲(chǔ)裝置M35、圖26中所示的第8實(shí)施例中的存儲(chǔ)裝置M53、圖27中所示的第9實(shí)施例中的存儲(chǔ)裝置M65。另外，控制裝置1304能夠通過(guò)計(jì)算機(jī)與控制裝置用程序來(lái)實(shí)現(xiàn)。以上對(duì)本發(fā)明的實(shí)施例進(jìn)行了說(shuō)明，但本發(fā)明并不僅限于上述實(shí)施例，還能夠添加其他各種變形。例如，伴隨著經(jīng)時(shí)形態(tài)變化的物體是以人類的面部或機(jī)器人的面部為例的，但對(duì)于狗或貓的面部等伴隨著經(jīng)時(shí)形態(tài)變化的任意物體，也能夠使用本發(fā)明。權(quán)利要求1.一種形態(tài)變形編碼裝置，具備計(jì)算部，其計(jì)算表示形態(tài)變化前的物體之形態(tài)的變化前形態(tài)數(shù)據(jù)，與表示所述形態(tài)變化后的所述物體之形態(tài)的變化后形態(tài)數(shù)據(jù)之間的差值數(shù)據(jù)；以及決定部，其根據(jù)所述變化前形態(tài)數(shù)據(jù)與所述差值數(shù)據(jù)，決定所述物體的產(chǎn)生所述形態(tài)變化的動(dòng)作區(qū)域，以及為了進(jìn)行所述形態(tài)變化而施加給所述動(dòng)作區(qū)域的外力。2.如權(quán)利要求1所述的形態(tài)變形編碼裝置，其特征在于，所述計(jì)算部具備變換部，其根據(jù)三維模型，將所述變化前形態(tài)數(shù)據(jù)與所述變化后形態(tài)數(shù)據(jù)，變換成變化前形態(tài)模型數(shù)據(jù)與變化后形態(tài)模型數(shù)據(jù)；以及差值計(jì)算部，其根據(jù)所述變化前形態(tài)模型數(shù)據(jù)與所述變化后形態(tài)模型數(shù)據(jù)之間的差，計(jì)算出所述差值數(shù)據(jù)。3.如權(quán)利要求2所述的形態(tài)變形編碼裝置，其特征在于，所述模型是三維多邊形網(wǎng)格模型，所述變化前形態(tài)數(shù)據(jù)與所述變化后形態(tài)數(shù)據(jù)是三維數(shù)據(jù)。4.如權(quán)利要求1～3中任一個(gè)所述的形態(tài)變形編碼裝置，其特征在于，所述動(dòng)作區(qū)域包括多個(gè)小區(qū)域，所述多個(gè)小區(qū)域分別包括多個(gè)控制點(diǎn)，所述外力，作為根據(jù)所述多個(gè)小區(qū)域各自的物理模型構(gòu)造，而在所述形態(tài)變化的前后讓所述多個(gè)小區(qū)域獨(dú)立變化所需要的外力被計(jì)算。5.如權(quán)利要求4所述的形態(tài)變形編碼裝置，其特征在于，所述物理模型構(gòu)造，采用控制點(diǎn)之間通過(guò)彈簧與減震器相結(jié)合的物理模型構(gòu)造。6.如權(quán)利要求4或5所述的形態(tài)變形編碼裝置，其特征在于，所有所述多個(gè)小區(qū)域中，所述控制點(diǎn)的個(gè)數(shù)以及所述物理模型構(gòu)造均相同。7.如權(quán)利要求1～6中任一個(gè)所述的形態(tài)變形編碼裝置，其特征在于，所述物體包括人的面部，所述形態(tài)變化前的物體的形態(tài)表示無(wú)表情的面部的狀態(tài)，所述形態(tài)變化后的物體形態(tài)表示顯示出了表情的面部的狀態(tài)。8.一種形態(tài)變形解碼裝置，具備解碼部，其根據(jù)表示形態(tài)變化前的物體形態(tài)的變化前形態(tài)數(shù)據(jù)，與施加給對(duì)應(yīng)于形態(tài)變化的動(dòng)作區(qū)域的外力的信息，決定所述動(dòng)作區(qū)域內(nèi)的控制點(diǎn)的移動(dòng)位置；所述動(dòng)作區(qū)域包括多個(gè)小區(qū)域，所述多個(gè)小區(qū)域分別包括多個(gè)控制點(diǎn)；所述多個(gè)小區(qū)域的各個(gè)所述控制點(diǎn)的移動(dòng)位置，使用物理模型通過(guò)所述多個(gè)小區(qū)域單位進(jìn)行決定；以及形態(tài)生成部，其根據(jù)所述變化前形態(tài)數(shù)據(jù)與所述多個(gè)控制點(diǎn)各自的移動(dòng)位置，生成表示所述形態(tài)變化后的所述物體形態(tài)的變化后形態(tài)數(shù)據(jù)。9.如權(quán)利要求8所述的形態(tài)變形解碼裝置，其特征在于，所述變化前形態(tài)數(shù)據(jù)是三維數(shù)據(jù)，所述解碼部具備模型數(shù)據(jù)生成部，根據(jù)所述形態(tài)變化前的所述物體形態(tài)的三維模型與所述變化前形態(tài)數(shù)據(jù)，生成變化前形態(tài)模型數(shù)據(jù)；以及移動(dòng)量計(jì)算部，根據(jù)所述外力信息，由所述變化前形態(tài)模型數(shù)據(jù)，決定所述動(dòng)作區(qū)域內(nèi)的控制點(diǎn)各自的移動(dòng)位置。10.如權(quán)利要求8所述的形態(tài)變形解碼裝置，其特征在于，所述變化前形態(tài)數(shù)據(jù)是三維數(shù)據(jù)，所述解碼部具備網(wǎng)格模型數(shù)據(jù)生成部，根據(jù)三維多邊形網(wǎng)格模型與所述變化前形態(tài)數(shù)據(jù)，生成變化前形態(tài)網(wǎng)格模型數(shù)據(jù)；以及移動(dòng)量計(jì)算部，根據(jù)所述外力信息，由所述變化前形態(tài)網(wǎng)格模型數(shù)據(jù)，決定所述動(dòng)作區(qū)域內(nèi)的控制點(diǎn)各自的移動(dòng)位置。11.如權(quán)利要求8～10中任一項(xiàng)所述的形態(tài)變形解碼裝置，其特征在于，還具備動(dòng)作內(nèi)插部，其在所述多個(gè)小區(qū)域的每一個(gè)中，將所述小區(qū)域中所含有的控制點(diǎn)以外的非控制點(diǎn)的移動(dòng)位置，根據(jù)該非控制點(diǎn)附近的所述控制點(diǎn)的移動(dòng)位置進(jìn)行計(jì)算。12.如權(quán)利要求8～11中任一項(xiàng)所述的形態(tài)變形解碼裝置，其特征在于，所述形態(tài)生成部，根據(jù)所述變化前形態(tài)數(shù)據(jù)與所述多個(gè)控制點(diǎn)各自的移動(dòng)位置，以所述多個(gè)小區(qū)域單位，生成所述形態(tài)變化后的所述物體的形態(tài)。13.如權(quán)利要求12所述的形態(tài)變形解碼裝置，其特征在于，還具備相鄰小區(qū)域調(diào)整部，其將所述形態(tài)變化后的所述多個(gè)小區(qū)域中的相鄰者之間的邊界部分中所產(chǎn)生的不連續(xù)場(chǎng)所平滑化。14.如權(quán)利要求12或13所述的形態(tài)變形解碼裝置，其特征在于，還具備未動(dòng)作區(qū)域調(diào)整部，其將所述形態(tài)變化后的所述動(dòng)作區(qū)域與其周圍的未動(dòng)作區(qū)域之間的邊界部分中所產(chǎn)生的不連續(xù)場(chǎng)所平滑化。15.如權(quán)利要求8～14中任一項(xiàng)所述的形態(tài)變形解碼裝置，其特征在于，所述多個(gè)小區(qū)域各自的物理模型中，所述控制點(diǎn)通過(guò)彈簧與減震器相結(jié)合。16.如權(quán)利要求8～15中任一項(xiàng)所述的形態(tài)變形解碼裝置，其特征在于，所述物體包括人的面部，所述形態(tài)變化前的形態(tài)表示無(wú)表情的面部，所述形態(tài)變化后的形態(tài)表示顯示出了表情的面部。17.如權(quán)利要求8～16中任一項(xiàng)所述的形態(tài)變形解碼裝置，其特征在于，還具備三維執(zhí)行器群，其根據(jù)所述變化后形態(tài)數(shù)據(jù)，驅(qū)動(dòng)具有撓性的所述物體中的所述動(dòng)作區(qū)域。18.一種形態(tài)變形編碼解碼裝置，具備如權(quán)利要求1～7中任一項(xiàng)所述的形態(tài)變形編碼裝置；如權(quán)利要求8～17中任一項(xiàng)所述的形態(tài)變形解碼裝置；以及傳輸裝置，其將所述形態(tài)變形編碼裝置所產(chǎn)生的所述動(dòng)作區(qū)域與所述外力信息，經(jīng)通信通路傳輸給所述形態(tài)變形解碼裝置。19.一種形態(tài)變形編碼方法，具備計(jì)算表示形態(tài)變化前的物體之形態(tài)的變化前形態(tài)數(shù)據(jù)，與表示所述形態(tài)變化后的所述物體之形態(tài)的變化后形態(tài)數(shù)據(jù)之間的差值數(shù)據(jù)的步驟；以及根據(jù)所述變化前形態(tài)數(shù)據(jù)與所述差值數(shù)據(jù)，決定所述物體的產(chǎn)生所述形態(tài)變化的動(dòng)作區(qū)域，以及為了進(jìn)行所述形態(tài)變化而施加給所述動(dòng)作區(qū)域的外力的步驟。20.如權(quán)利要求19所述的形態(tài)變形編碼方法，其特征在于，所述計(jì)算步驟具備根據(jù)三維模型，將所述變化前形態(tài)數(shù)據(jù)與所述變化后形態(tài)數(shù)據(jù)，變換成變化前形態(tài)模型數(shù)據(jù)與變化后形態(tài)模型數(shù)據(jù)的步驟；以及根據(jù)所述變化前形態(tài)模型數(shù)據(jù)與所述變化后形態(tài)模型數(shù)據(jù)之間的差，計(jì)算所述差值數(shù)據(jù)的步驟。21.如權(quán)利要求20所述的形態(tài)變形編碼方法，其特征在于，所述模型是三維多邊形網(wǎng)格模型，所述變化前形態(tài)數(shù)據(jù)與所述變化后形態(tài)數(shù)據(jù)是三維數(shù)據(jù)。22.如權(quán)利要求19～21中任一項(xiàng)所述的形態(tài)變形編碼方法，其特征在于，所述動(dòng)作區(qū)域包括多個(gè)小區(qū)域，所述多個(gè)小區(qū)域分別包括多個(gè)控制點(diǎn)，所述外力，作為根據(jù)所述多個(gè)小區(qū)域各自的物理模型構(gòu)造，而在所述形態(tài)變化的前后讓所述多個(gè)小區(qū)域獨(dú)立變化所需要的外力被計(jì)算。23.如權(quán)利要求22所述的形態(tài)變形編碼方法，其特征在于，所述物理模型構(gòu)造，采用控制點(diǎn)之間通過(guò)彈簧與減震器相結(jié)合的物理模型構(gòu)造。24.如權(quán)利要求22或23所述的形態(tài)變形編碼方法，其特征在于，所有所述多個(gè)小區(qū)域中，所述控制點(diǎn)的個(gè)數(shù)以及所述物理模型構(gòu)造均相同。25.如權(quán)利要求19～24中任一項(xiàng)所述的形態(tài)變形編碼方法，其特征在于，所述物體包括人的面部，所述形態(tài)變化前的物體的形態(tài)表示無(wú)表情的面部的狀態(tài)，所述形態(tài)變化后的物體形態(tài)表示顯示出了表情的面部的狀態(tài)。26.一種形態(tài)變形解碼方法，具備根據(jù)表示形態(tài)變化前的物體形態(tài)的變化前形態(tài)數(shù)據(jù)，與施加給對(duì)應(yīng)于形態(tài)變化的動(dòng)作區(qū)域的外力的信息，決定所述動(dòng)作區(qū)域內(nèi)的控制點(diǎn)的移動(dòng)位置的步驟；所述動(dòng)作區(qū)域包括多個(gè)小區(qū)域，所述多個(gè)小區(qū)域分別包括多個(gè)控制點(diǎn)；所述多個(gè)小區(qū)域的各個(gè)所述控制點(diǎn)的移動(dòng)位置，使用物理模型通過(guò)所述多個(gè)小區(qū)域單位進(jìn)行決定；以及根據(jù)所述變化前形態(tài)數(shù)據(jù)與所述多個(gè)控制點(diǎn)各自的移動(dòng)位置，生成表示所述形態(tài)變化后的所述物體形態(tài)的變化后形態(tài)數(shù)據(jù)的步驟。27.如權(quán)利要求26所述的形態(tài)變形解碼方法，其特征在于，所述變化前形態(tài)數(shù)據(jù)是三維數(shù)據(jù)，所述決定移動(dòng)位置的步驟具備根據(jù)所述形態(tài)變化前的所述物體形態(tài)的三維模型與所述變化前形態(tài)數(shù)據(jù)，生成變化前形態(tài)模型數(shù)據(jù)的步驟；以及根據(jù)所述外力信息，由所述變化前形態(tài)模型數(shù)據(jù)，決定所述動(dòng)作區(qū)域內(nèi)的控制點(diǎn)各自的移動(dòng)位置的步驟。28.如權(quán)利要求26所述的形態(tài)變形解碼方法，其特征在于，所述變化前形態(tài)數(shù)據(jù)是三維數(shù)據(jù)，所述決定移動(dòng)位置的步驟具備根據(jù)三維多邊形網(wǎng)格模型與所述變化前形態(tài)數(shù)據(jù)，生成變化前形態(tài)網(wǎng)格模型數(shù)據(jù)的步驟；以及根據(jù)所述外力信息，由所述變化前形態(tài)網(wǎng)格模型數(shù)據(jù)，決定所述動(dòng)作區(qū)域內(nèi)的控制點(diǎn)各自的移動(dòng)位置的步驟。29.如權(quán)利要求26～28中任一項(xiàng)所述的形態(tài)變形解碼方法，其特征在于，還具備在所述多個(gè)小區(qū)域的每一個(gè)中，將所述小區(qū)域中所含有的控制點(diǎn)以外的非控制點(diǎn)的移動(dòng)位置，根據(jù)該非控制點(diǎn)附近的所述控制點(diǎn)的移動(dòng)位置進(jìn)行計(jì)算的步驟。30.如權(quán)利要求26～29中任一項(xiàng)所述的形態(tài)變形解碼方法，其特征在于，所述生成變化后形態(tài)數(shù)據(jù)的步驟，根據(jù)所述變化前形態(tài)數(shù)據(jù)與所述多個(gè)控制點(diǎn)各自的移動(dòng)位置，以所述多個(gè)小區(qū)域單位，生成所述形態(tài)變化后的所述物體的形態(tài)。31.如權(quán)利要求30所述的形態(tài)變形解碼方法，其特征在于，還具備將所述形態(tài)變化后的所述多個(gè)小區(qū)域中的相鄰者之間的邊界部分中所產(chǎn)生的不連續(xù)場(chǎng)所平滑化的步驟。32.如權(quán)利要求30或31所述的形態(tài)變形解碼方法，其特征在于，還具備將所述形態(tài)變化后的所述動(dòng)作區(qū)域與其周圍的未動(dòng)作區(qū)域之間的邊界部分中所產(chǎn)生的不連續(xù)場(chǎng)所平滑化的步驟。33.如權(quán)利要求26～32中任一項(xiàng)所述的形態(tài)變形解碼方法，其特征在于，所述多個(gè)小區(qū)域各自的物理模型中，所述控制點(diǎn)通過(guò)彈簧與減震器相結(jié)合。34.如權(quán)利要求26～33中任一項(xiàng)所述的形態(tài)變形解碼方法，其特征在于，所述物體包括人的面部，所述形態(tài)變化前的形態(tài)表示無(wú)表情的面部，所述形態(tài)變化后的形態(tài)表示顯示出了表情的面部。35.如權(quán)利要求26～34中任一項(xiàng)所述的形態(tài)變形解碼方法，其特征在于，所述物體是機(jī)器人；還具備根據(jù)所述變化后形態(tài)數(shù)據(jù)，驅(qū)動(dòng)具備撓性的所述物體中的所述動(dòng)作區(qū)域的步驟。36.一種形態(tài)變形編碼解碼方法，具備通過(guò)權(quán)利要求19～25中任一項(xiàng)所述的形態(tài)變形編碼方法，生成所述動(dòng)作區(qū)域的信息與所述外力的信息的步驟；將所述動(dòng)作區(qū)域的信息與所述外力信息通過(guò)通信通路進(jìn)行傳輸?shù)牟襟E；以及通過(guò)權(quán)利要求26～35中任一項(xiàng)所述的形態(tài)變形解碼方法，根據(jù)所述所傳輸?shù)膭?dòng)作區(qū)域的信息，與所述所傳輸?shù)耐饬Φ男畔ⅲ杀硎舅鑫矬w的形態(tài)的變化后形態(tài)數(shù)據(jù)的步驟。37.一種用來(lái)實(shí)現(xiàn)形態(tài)變形編碼方法的計(jì)算機(jī)可讀軟件產(chǎn)品，所述形態(tài)變形編碼方法具備計(jì)算表示形態(tài)變化前的物體之形態(tài)的變化前形態(tài)數(shù)據(jù)，與表示所述形態(tài)變化后的所述物體之形態(tài)的變化后形態(tài)數(shù)據(jù)之間的差值數(shù)據(jù)的步驟；以及根據(jù)所述變化前形態(tài)數(shù)據(jù)與所述差值數(shù)據(jù)，決定所述物體的產(chǎn)生所述形態(tài)變化的動(dòng)作區(qū)域，以及為了進(jìn)行所述形態(tài)變化而施加給所述動(dòng)作區(qū)域的外力的步驟。38.如權(quán)利要求37所述的計(jì)算機(jī)可讀軟件產(chǎn)品，其特征在于，所述計(jì)算步驟具備根據(jù)三維模型，將所述變化前形態(tài)數(shù)據(jù)與所述變化后形態(tài)數(shù)據(jù)，變換成變化前形態(tài)模型數(shù)據(jù)與變化后形態(tài)模型數(shù)據(jù)的步驟；以及根據(jù)所述變化前形態(tài)模型數(shù)據(jù)與所述變化后形態(tài)模型數(shù)據(jù)之間的差，計(jì)算出所述差值數(shù)據(jù)的步驟。39.如權(quán)利要求38所述的計(jì)算機(jī)可讀軟件產(chǎn)品，其特征在于，所述模型是三維多邊形網(wǎng)格模型，所述變化前形態(tài)數(shù)據(jù)與所述變化后形態(tài)數(shù)據(jù)是三維數(shù)據(jù)。40.如權(quán)利要求37～39中任一項(xiàng)所述的計(jì)算機(jī)可讀軟件產(chǎn)品，其特征在于，所述動(dòng)作區(qū)域包括多個(gè)小區(qū)域，所述多個(gè)小區(qū)域分別包括多個(gè)控制點(diǎn)，所述外力，作為根據(jù)所述多個(gè)小區(qū)域各自的物理模型構(gòu)造，而在所述形態(tài)變化的前后讓所述多個(gè)小區(qū)域獨(dú)立變化所需要的外力被計(jì)算。41.如權(quán)利要求40所述的計(jì)算機(jī)可讀軟件產(chǎn)品，其特征在于，所述物理模型構(gòu)造，采用控制點(diǎn)之間通過(guò)彈簧與減震器相結(jié)合的物理模型構(gòu)造。42.如權(quán)利要求40或41所述的計(jì)算機(jī)可讀軟件產(chǎn)品，其特征在于，所有所述多個(gè)小區(qū)域中，所述控制點(diǎn)的個(gè)數(shù)以及所述物理模型構(gòu)造均相同。43.如權(quán)利要求37～42中任一項(xiàng)所述的計(jì)算機(jī)可讀軟件產(chǎn)品，其特征在于，所述物體包括人的面部，所述形態(tài)變化前的物體的形態(tài)表示無(wú)表情的面部的狀態(tài)，所述形態(tài)變化后的物體形態(tài)表示顯示出了表情的面部的狀態(tài)。44.一種用來(lái)實(shí)現(xiàn)形態(tài)變形解碼方法的計(jì)算機(jī)可讀軟件產(chǎn)品，其特征在于，該形態(tài)變形解碼方法具備根據(jù)表示形態(tài)變化前的物體形態(tài)的變化前形態(tài)數(shù)據(jù)，與施加給對(duì)應(yīng)于形態(tài)變化的動(dòng)作區(qū)域的外力的信息，決定所述動(dòng)作區(qū)域內(nèi)的控制點(diǎn)的移動(dòng)位置的步驟；所述動(dòng)作區(qū)域包括多個(gè)小區(qū)域，所述多個(gè)小區(qū)域分別包括多個(gè)控制點(diǎn)；所述多個(gè)小區(qū)域的各個(gè)所述控制點(diǎn)的移動(dòng)位置，使用物理模型通過(guò)所述多個(gè)小區(qū)域單位進(jìn)行決定；以及根據(jù)所述變化前形態(tài)數(shù)據(jù)與所述多個(gè)控制點(diǎn)各自的移動(dòng)位置，生成表示所述形態(tài)變化后的所述物體形態(tài)的變化后形態(tài)數(shù)據(jù)的步驟。45.如權(quán)利要求44所述的計(jì)算機(jī)可讀軟件產(chǎn)品，其特征在于，所述變化前形態(tài)數(shù)據(jù)是三維數(shù)據(jù)，所述決定移動(dòng)位置的步驟具備根據(jù)所述形態(tài)變化前的所述物體形態(tài)的三維模型與所述變化前形態(tài)數(shù)據(jù)，生成變化前形態(tài)模型數(shù)據(jù)的步驟；以及根據(jù)所述外力信息，由所述變化前形態(tài)模型數(shù)據(jù)，決定所述動(dòng)作區(qū)域內(nèi)的控制點(diǎn)各自的移動(dòng)位置的步驟。46.如權(quán)利要求44所述的計(jì)算機(jī)可讀軟件產(chǎn)品，其特征在于，所述變化前形態(tài)數(shù)據(jù)是三維數(shù)據(jù)，所述決定移動(dòng)位置的步驟具備根據(jù)三維多邊形網(wǎng)格模型與所述變化前形態(tài)數(shù)據(jù)，生成變化前形態(tài)網(wǎng)格模型數(shù)據(jù)的步驟；以及根據(jù)所述外力信息，由所述變化前形態(tài)網(wǎng)格模型數(shù)據(jù)，決定所述動(dòng)作區(qū)域內(nèi)的控制點(diǎn)各自的移動(dòng)位置的步驟。47.如權(quán)利要求44～46中任一項(xiàng)所述的計(jì)算機(jī)可讀軟件產(chǎn)品，其特征在于，還具備在所述多個(gè)小區(qū)域的每一個(gè)中，將所述小區(qū)域中所含有的控制點(diǎn)以外的非控制點(diǎn)的移動(dòng)位置，根據(jù)該非控制點(diǎn)附近的所述控制點(diǎn)的移動(dòng)位置進(jìn)行計(jì)算的步驟。48.如權(quán)利要求44～47中任一項(xiàng)所述的計(jì)算機(jī)可讀軟件產(chǎn)品，其特征在于，所述生成變化后形態(tài)數(shù)據(jù)的步驟，根據(jù)所述變化前形態(tài)數(shù)據(jù)與所述多個(gè)控制點(diǎn)各自的移動(dòng)位置，以所述多個(gè)小區(qū)域單位，生成所述形態(tài)變化后的所述物體的形態(tài)。49.如權(quán)利要求48所述的計(jì)算機(jī)可讀軟件產(chǎn)品，其特征在于，還具備將所述形態(tài)變化后的所述多個(gè)小區(qū)域中的相鄰者之間的邊界部分中所產(chǎn)生的不連續(xù)場(chǎng)所平滑化的步驟。50.如權(quán)利要求48或49所述的計(jì)算機(jī)可讀軟件產(chǎn)品，其特征在于，還具備將所述形態(tài)變化后的所述動(dòng)作區(qū)域與其周圍的未動(dòng)作區(qū)域之間的邊界部分中所產(chǎn)生的不連續(xù)場(chǎng)所平滑化的步驟。51.如權(quán)利要求44～50中任一項(xiàng)所述的計(jì)算機(jī)可讀軟件產(chǎn)品，其特征在于，所述多個(gè)小區(qū)域各自的物理模型中，所述控制點(diǎn)通過(guò)彈簧與減震器相結(jié)合。52.如權(quán)利要求44～51中任一項(xiàng)所述的計(jì)算機(jī)可讀軟件產(chǎn)品，其特征在于，所述物體包括人的面部，所述形態(tài)變化前的形態(tài)表示無(wú)表情的面部，所述形態(tài)變化后的形態(tài)表示顯示出了表情的面部。53.如權(quán)利要求44～52中任一項(xiàng)所述的計(jì)算機(jī)可讀軟件產(chǎn)品，其特征在于，所述物體是機(jī)器人，還具備根據(jù)所述變化后形態(tài)數(shù)據(jù)，驅(qū)動(dòng)具備撓性的所述物體中的所述動(dòng)作區(qū)域的步驟。全文摘要形態(tài)變形編碼裝置具備計(jì)算部，其計(jì)算表示形態(tài)變化前的物體之形態(tài)的變化前形態(tài)數(shù)據(jù)，與表示上述形態(tài)變化后的上述物體之形態(tài)的變化后形態(tài)數(shù)據(jù)之間的差值數(shù)據(jù)；以及決定部，其根據(jù)上述變化前形態(tài)數(shù)據(jù)與上述差值數(shù)據(jù)，決定上述物體的產(chǎn)生上述形態(tài)變化的動(dòng)作區(qū)域，以及為了進(jìn)行上述形態(tài)變化而施加給上述動(dòng)作區(qū)域的外力。上述動(dòng)作區(qū)域包括多個(gè)小區(qū)域，上述多個(gè)小區(qū)域分別包括多個(gè)控制點(diǎn)；上述外力，作為根據(jù)上述多個(gè)小區(qū)域各自的物理模型構(gòu)造，而在上述形態(tài)變化的前后讓上述多個(gè)小區(qū)域獨(dú)立變化所需要的外力被計(jì)算。上述物理模型構(gòu)造，采用控制點(diǎn)之間通過(guò)彈簧與減震器相結(jié)合的物理模型構(gòu)造。文檔編號(hào)G06T13/20GK1846234SQ20048002531公開(kāi)日2006年10月11日申請(qǐng)日期2004年8月25日優(yōu)先權(quán)日2003年9月3日發(fā)明者丸龜敦申請(qǐng)人:日本電氣株式會(huì)社