專利名稱：圖像處理方法及其裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及裝入在使用圖像的通信裝置(例如，用于電視電話、電視會(huì)議、視頻郵件或視頻會(huì)話的裝置或門內(nèi)外通話機(jī)等)中的圖像處理裝置，特別涉及對(duì)人物圖像(例如用戶的臉部圖像或全身圖像等)進(jìn)行編輯的圖像處理裝置。
背景技術(shù)：
有將對(duì)用戶進(jìn)行攝影的圖像輸出印刷在各種印刷媒體上的游戲機(jī)。這種游戲機(jī)可將裝飾(例如，圖案或花紋等)幀合成重合在攝影的人物圖像上，輸出印刷在印刷媒體(例如，薄板等)上。
這樣的游戲機(jī)在其自身中不具有調(diào)整人物圖像和裝飾的位置關(guān)系的功能。因此，用戶即使將人物圖像以收容在裝飾幀內(nèi)來配置，裝飾重疊在人物圖像上，臉部和頭部等被隱沒，人物圖像不鮮明。
考慮到這一點(diǎn)，文獻(xiàn)1((日本)特開2000-22929號(hào)公報(bào))提出了以下技術(shù)不將裝飾重疊在人物圖像的身體部分，特別是與其臉部和頭部對(duì)應(yīng)設(shè)定的身體部分區(qū)域之后，來附加裝飾。
另一方面，目前帶有照相機(jī)的攜帶電話正在實(shí)用化，它具有將攝影的人物圖像與裝飾幀重合合成，發(fā)送合成的圖像的功能。如果發(fā)送者使用這樣的帶有照相機(jī)的攜帶電話，則接收者可看到發(fā)送者編輯的圖像，能夠享受樂趣。
在文獻(xiàn)1中，裝飾以不移動(dòng)為前提。而且，在該文獻(xiàn)記載的技術(shù)中，以裝飾不附加在人物圖像的身體部分，特別是在與其臉部和頭部對(duì)應(yīng)設(shè)定的身體部分區(qū)域中來附加裝飾。
在該文獻(xiàn)中，是將對(duì)印刷媒體的印刷作為輸出，而且一旦已印刷的圖像在印刷后通常也不再進(jìn)行編輯。也可以說這樣的想法的妥當(dāng)?shù)摹?br> 但是，上述這樣的帶有照相機(jī)的攜帶電話正在變得十分普及，這里，合成圖像在一般情況下不印刷在印刷媒體上，而顯示在顯示器上。而且，用戶為了今后獲得進(jìn)一步的樂趣，會(huì)設(shè)法移動(dòng)裝飾。
但是，在現(xiàn)有技術(shù)中，只考慮了將不移動(dòng)的裝飾附加在不移動(dòng)的人物圖像上，而完全沒有考慮附加移動(dòng)裝飾的情況。因此，如果將現(xiàn)有技術(shù)簡(jiǎn)單地應(yīng)用在移動(dòng)的人物圖像上，則人物圖像和裝飾產(chǎn)生干擾，人物圖像變得不鮮明，不能進(jìn)行提高游戲性的使用。

發(fā)明內(nèi)容
因此，本發(fā)明的目的在于提供一種圖像處理方法及其關(guān)聯(lián)技術(shù)，可以鮮明地顯示人物圖像，并且提高游戲性。
在第1發(fā)明的圖像處理方法中，包括檢測(cè)輸入圖像中的身體部分區(qū)域位置的步驟；根據(jù)檢測(cè)出的身體部分區(qū)域的位置，確定裝飾的坐標(biāo)系位置的步驟；以及根據(jù)確定的位置，輸出將裝飾配置在輸入圖像中的圖像的步驟。
根據(jù)該結(jié)構(gòu)，在輸入圖像中，在被攝人物體移動(dòng)時(shí)，根據(jù)其移動(dòng)，可以使裝飾移動(dòng)。
在第2發(fā)明的圖像處理方法中，在輸出步驟中，輸出將裝飾掃描在輸入圖像中的圖像數(shù)據(jù)。
根據(jù)該結(jié)構(gòu)，在輸出的圖像的傳送目的地，不需要將輸入圖像和裝飾進(jìn)行合成。
在第3發(fā)明的圖像處理方法中，在輸出步驟中，輸出將輸入圖像和裝飾相關(guān)聯(lián)的圖像數(shù)據(jù)。
根據(jù)該結(jié)構(gòu)，在輸出的圖像的傳送目的地，容易復(fù)原輸入圖像，十分便利。
在第4發(fā)明的圖像處理方法中，輸入圖像和裝飾通過元文件相關(guān)聯(lián)。
根據(jù)該結(jié)構(gòu)，可以使輸入圖像和裝飾簡(jiǎn)單地關(guān)聯(lián)。
在第5發(fā)明的圖像處理方法中，所述元文件為SMIL形式。
根據(jù)該結(jié)構(gòu)，可容易地實(shí)施輸入圖像和裝飾的相關(guān)聯(lián)。
在第6發(fā)明的圖像處理方法中，包括檢測(cè)輸入圖像中的身體部分區(qū)域尺寸的步驟；根據(jù)檢測(cè)出的身體部分區(qū)域尺寸，確定裝飾的坐標(biāo)系刻度的步驟；以及根據(jù)確定的刻度，輸出將裝飾配置在輸入圖像中的圖像的步驟。
根據(jù)該結(jié)構(gòu)，在被攝人物體靠近攝像體時(shí)，裝飾的尺寸和移動(dòng)路徑同時(shí)增大。相反，在遠(yuǎn)離時(shí)，裝飾的尺寸和移動(dòng)路徑同時(shí)減小。由此，對(duì)于被攝人物體的前后方向的移動(dòng)，可以看到裝飾在跟蹤。
在第7發(fā)明的圖像處理方法中，包括檢測(cè)身體部分區(qū)域的輸入圖像的平面內(nèi)的旋轉(zhuǎn)量的步驟；根據(jù)檢測(cè)出的旋轉(zhuǎn)量，確定裝飾的坐標(biāo)系的旋轉(zhuǎn)量的步驟；以及根據(jù)確定的旋轉(zhuǎn)量，輸出將裝飾配置在輸入圖像中的圖像的步驟。
根據(jù)該結(jié)構(gòu)，在將臉部橫向傾斜時(shí)，也可將裝飾傾斜，并且裝飾的移動(dòng)路徑也傾斜，所以對(duì)于人物的輸入圖像平面內(nèi)的旋轉(zhuǎn)方向的變化，也可以看到裝飾在跟蹤。
在第8發(fā)明的圖像處理方法中，包括檢測(cè)身體部分區(qū)域的相對(duì)于輸入圖像的平面的旋轉(zhuǎn)量的步驟；根據(jù)檢測(cè)出的旋轉(zhuǎn)量，確定裝飾的坐標(biāo)系的旋轉(zhuǎn)量的步驟；以及根據(jù)確定的旋轉(zhuǎn)量，輸出將裝飾配置在輸入圖像中的圖像。
根據(jù)該結(jié)構(gòu)，在人物‘右轉(zhuǎn)’時(shí)，可將裝飾和移動(dòng)路徑隨著人物的旋轉(zhuǎn)而變形。因此，對(duì)于人物相對(duì)于輸入圖像平面的方向變化，可以看到裝飾在跟蹤。
在第9發(fā)明的圖像處理方法中，包括檢測(cè)輸入圖像中的身體部分區(qū)域的步驟；以使處于檢測(cè)出的身體部分區(qū)域的前景側(cè)的區(qū)域和處于背景側(cè)的區(qū)域有所不同來確定裝飾的不透明度的步驟；以及根據(jù)確定的不透明度，輸出將裝飾配置在輸入圖像中的圖像的步驟。
根據(jù)該結(jié)構(gòu)，由于裝飾的移動(dòng)路徑可在身體部分區(qū)域的背面到來時(shí)將裝飾消失，所以裝飾正好包圍身體部分區(qū)域，可以看到以裝飾為中心立體式移動(dòng)的情況。
在第10發(fā)明的圖像處理方法中，在裝飾與身體部分區(qū)域產(chǎn)生沖突時(shí)，將裝飾的移動(dòng)方向變更為偏離身體部分區(qū)域的方向。
根據(jù)該結(jié)構(gòu)，在裝飾碰撞身體部分區(qū)域時(shí)，可提供產(chǎn)生反射的移動(dòng)。
在第11發(fā)明的圖像處理方法中，身體部分區(qū)域是人物被攝體的臉部區(qū)域。
在該結(jié)構(gòu)中，由于臉部如實(shí)地表示人物的想法和感情，所以如果在身體部分區(qū)域選擇臉部區(qū)域，則提高游戲性的效果大。


圖1是本發(fā)明一實(shí)施方式的圖像處理裝置的功能方框圖。
圖2是本發(fā)明一實(shí)施方式的圖像處理裝置的方框圖。
圖3是本發(fā)明一實(shí)施方式的圖像處理裝置的外觀圖。
圖4(a)是本發(fā)明一實(shí)施方式的元文件的示例圖。
圖4(b)是本發(fā)明一實(shí)施方式的輸入圖像文件的示例圖。
圖4(c)是本發(fā)明一實(shí)施方式的裝飾文件的示例圖。
圖5是本發(fā)明一實(shí)施方式的圖像處理裝置的流程圖。
圖6(a)～圖6(c)是本發(fā)明一實(shí)施方式的模板的示例圖。
圖7(a)～圖7(c)是本發(fā)明一實(shí)施方式的模板的示例圖。
圖8(a)～圖8(c)是本發(fā)明一實(shí)施方式的模板的示例圖。
圖9是本發(fā)明一實(shí)施方式的圖案匹配的說明圖。
圖10(a)～圖10(b)是本發(fā)明一實(shí)施方式的裝飾信息的構(gòu)成圖。
圖11(a)～圖11(c)是本發(fā)明一實(shí)施方式的用戶接口的顯示例圖。
圖12(a)～圖12(g)是本發(fā)明一實(shí)施方式的圖像處理裝置的處理過程說明圖。
圖13是本發(fā)明一實(shí)施方式的坐標(biāo)系的說明圖。
圖14(a)～圖14(d)是本發(fā)明一實(shí)施方式的動(dòng)畫片的說明圖。
圖15是本發(fā)明一實(shí)施方式的動(dòng)畫片的說明圖。
圖16(a)是本發(fā)明一實(shí)施方式的裝飾的示例圖。
圖16(b)是本發(fā)明一實(shí)施方式的錨點(diǎn)(anchor point)的說明圖。
圖16(c)是本發(fā)明一實(shí)施方式的合成圖像的示例圖。
圖17是本發(fā)明一實(shí)施方式的裝飾的示例圖。
圖18是本發(fā)明一實(shí)施方式的合成圖像的示例圖。
圖19是本發(fā)明一實(shí)施方式的裝飾的示例圖。
圖20是本發(fā)明一實(shí)施方式的合成圖像的示例圖。
具體實(shí)施例方式
以下參照

本發(fā)明的實(shí)施方式。首先，在說明具體的結(jié)構(gòu)之前，解釋重要的用語。
‘人物圖像’是包含人物的一部分或全部圖像的圖像。因此，可以是人物整體的圖像，也可以僅是人物的臉部或背影、或僅上半身的圖像。此外，也可以是拍攝多個(gè)人物的圖像。不用說，也可以是背景中人物以外的風(fēng)景和花紋等構(gòu)成的圖案。
‘身體部分’是指人物身體的一部分，即使看不到穿著在身體部分上的衣服、帽子或鞋，只要是可識(shí)別是人物身體的一部分的部分，就包含于身體部分。因此，臉部可以是身體部分，頭部也可以是身體部分。而且，眼、鼻、口、耳、眉、發(fā)、脖子、穿著衣服的上半身、手、腕、足、穿鞋的腳、戴帽的頭、戴眼鏡的眼等也是身體部分。
‘身體部分區(qū)域’是人物圖像中被確定為作為身體部分占有區(qū)域的區(qū)域，身體部分區(qū)域在其內(nèi)部可包含不是身體部分的部分，也可以是位于身體部分的內(nèi)部位置的區(qū)域。
即，如果身體部分是臉部，則身體部分區(qū)域既可包含位于臉部周圍的區(qū)域，也可以是包圍兩眼、口和鼻的最小尺寸的長(zhǎng)方形，而不包含額頭和耳。
‘裝飾’是追加的圖像圖案，該圖像圖案可以是預(yù)先保持的圖像圖案，也可以是用計(jì)算機(jī)圖像技術(shù)生成的圖像圖案。此外，該圖像圖案也可以是字符或記號(hào)的圖案或圖形的圖案。
圖1是本發(fā)明一實(shí)施方式的圖像處理裝置的功能方框圖。如圖1所示，本方式的圖像處理裝置有以下主要構(gòu)成部件。
圖像輸入部1獲得輸入圖像。在本方式中，在輸入圖像中包含人物圖像，容許該人物圖像移動(dòng)，輸入圖像通常指活動(dòng)圖像的1幀部分的圖像。
但是，該輸入圖像可以是用照相機(jī)攝影之后的圖像，也可以是對(duì)在攝影后根據(jù)MPEG等編碼方式編碼的數(shù)據(jù)(可以是裝載記錄于記錄媒體中的數(shù)據(jù)，也可以是從發(fā)送裝置接收的數(shù)據(jù))進(jìn)行解碼所獲得的圖像。
控制部2根據(jù)圖5的流程圖來控制圖1所示的各主要部件。
圖像輸出部3將在輸入圖像中合成了裝飾的圖像作為輸出圖像來輸出。該輸出圖像除了顯示在顯示器件上以外，也可以根據(jù)上述編碼方式進(jìn)行編碼并保存在記錄媒體中，也可以用其他通信裝置來發(fā)送。
輸入圖像存儲(chǔ)部4存儲(chǔ)圖像輸入部1輸入的輸入圖像。
模板存儲(chǔ)部5存儲(chǔ)身體部分區(qū)域的模板。以下，在本方式中，將臉部區(qū)域作為身體部分區(qū)域采納。
模板如圖6(a)、圖6(b)、圖6(c)所示，將臉部部件(頭、眼、鼻、口)的各自輪廓模型化后的模板準(zhǔn)備各種尺寸來使用。
此外，除了圖7(a)所示的基本姿態(tài)的模板以外，如圖7(b)、圖7(c)所示，同時(shí)使用具有輸入圖像平面內(nèi)的旋轉(zhuǎn)量的模板。由此，可以檢測(cè)臉部旋轉(zhuǎn)造成的傾斜。
此外，除了圖8(a)所示的基本姿態(tài)的模板以外，如圖8(b)、圖8(c)所示，同時(shí)使用具有相對(duì)于輸入圖像平面的旋轉(zhuǎn)量的模板。由此，在臉部的方向與基本姿態(tài)不同時(shí)(通過臉部中心的法線矢量不垂直于輸入圖像平面的情況)，可以檢測(cè)臉部的方向。
在圖1中，檢測(cè)部6用模板存儲(chǔ)部5的模板，從輸入圖像存儲(chǔ)部4中存儲(chǔ)的輸入圖像中，檢測(cè)身體部分區(qū)域。
這里，如圖9所示，檢測(cè)部6在輸入圖像存儲(chǔ)部4的輸入圖像中施加微分濾波，提取邊緣分量。此外，檢測(cè)部6從模板存儲(chǔ)部5中選擇模板53，使用選擇的模板53和邊緣分量，執(zhí)行圖案匹配。
該圖案匹配是將模板53(Nx*Ny像素)在比其大的輸入圖像(Mx*My像素)內(nèi)的搜索范圍(Mx-Nx+1)(My-Ny+1)上移動(dòng)，求出下式所示的殘差R為最小的模板圖像的左上位置(a，b)的處理。
式1R(a,b)=Σmy=0Ny-1Σmx=0Nx-1|I(a,b)(mx,my)-T(mx,my)|]]>其中，在(式1)中，I(a，b)(mx，my)是輸入圖像的部分圖像，T(mx，my)是模板53的圖像。
此外，取代(式1)，求出下式表示的相互相關(guān)系數(shù)C，也可以求出相互相關(guān)系數(shù)C最大的模板圖像的左上位置(a，b)。
式2C(a,b)=Σmy=0Ny-1Σmx=0Nx-1{I(a,b)(mx,my)-I‾}{T(mx,my)-T‾}IσabTσ]]>I‾=1NxNyΣmy=0Ny-1Σmx=0Nx-1I(a,b)(mx,my)]]>T‾=1NxNyΣmy=0Ny-1Σmx=0Nx-1T(mx,my)]]>Iσab=1NxNyΣmy=0Ny-1Σmx=0Nx-1{I(a,b)(mx,my)-I‾}2]]>
Tδ=1NxNyΣmy=0Ny-1Σmx=0Nx-1{T(m1,n1)-T‾}2]]>檢測(cè)部6使用圖6、圖7、圖8所示的各種模板，在使用(式1)時(shí)求出殘差R最小的模板，在使用(式2)時(shí)求出相關(guān)系數(shù)C最大的模板。然后，檢測(cè)部6將求出的模板的位置、尺寸、傾斜、方向分別作為輸入圖像中的臉部圖像的各個(gè)值。
臉部圖像的情況下，通過在每個(gè)幀(或每幾幀)中實(shí)施同一處理，可以求出臉部的位置、尺寸、傾斜、方向的偏移。
再有，檢測(cè)部6在圖像中存在多個(gè)臉部時(shí)，在除了已經(jīng)檢測(cè)出的第1人的臉部分區(qū)域以外的區(qū)域內(nèi)，將殘差R小的位置或相關(guān)系數(shù)C大的位置作為第2人的臉部分區(qū)域來檢測(cè)。
而且，對(duì)于第3人以后的臉部也是如此，檢測(cè)部6在除了已經(jīng)檢測(cè)出的臉部分區(qū)域以外的區(qū)域內(nèi)將殘差R小的位置或相關(guān)系數(shù)C大的位置設(shè)定為臉部分區(qū)域，同時(shí)重復(fù)進(jìn)行檢測(cè)，直至殘差R大于預(yù)定的閾值，或相關(guān)系數(shù)C減小。
不用說，以上的檢測(cè)不必始終全部實(shí)施，除了臉部區(qū)域的位置及尺寸的檢測(cè)以外，適當(dāng)取舍選擇也沒有關(guān)系。
在圖1中，裝飾信息存儲(chǔ)部7存儲(chǔ)裝飾信息。下面，用圖10說明裝飾信息。
圖10(a)所示的例(裝飾信息(其1))中，裝飾信息由裝飾圖像數(shù)據(jù)和變換特性關(guān)聯(lián)構(gòu)成。
在‘裝飾圖像數(shù)據(jù)’的字段中，存儲(chǔ)裝飾圖像數(shù)據(jù)本身，或存儲(chǔ)指示裝飾圖像數(shù)據(jù)本身的ID或指針。再有，如圖10(a)中圖示的那樣，裝飾圖像數(shù)據(jù)也可以僅由圖像數(shù)據(jù)構(gòu)成，而且，也可以是具有附加的屬性(沖突時(shí)的動(dòng)作等)的圖像數(shù)據(jù)。
‘變換特性’的字段是相對(duì)于裝飾層如何移動(dòng)裝飾，或?qū)⒀b飾層如何重合在輸入圖像中的信息。
具體地說，裝飾根據(jù)變換特性，通過與輸入圖像不同的局部坐標(biāo)系(以錨點(diǎn)為原點(diǎn))來定義，而且，該坐標(biāo)系具有位置、刻度(放大縮小率)、旋轉(zhuǎn)、不透明度的屬性。
更詳細(xì)地說，錨點(diǎn)表示與裝飾有關(guān)的局部坐標(biāo)系的坐標(biāo)原點(diǎn)的位置和方向。而且，‘位置’、‘刻度’、‘旋轉(zhuǎn)’的各字段中設(shè)置的值表示相對(duì)于具有該錨點(diǎn)的坐標(biāo)系(局部坐標(biāo)系)的實(shí)際的圖像位置、刻度(放大縮小率)、旋轉(zhuǎn)的狀況。
在圖10(b)所示的例(裝飾信息(其2))中，裝飾信息由裝飾圖像數(shù)據(jù)和屏蔽數(shù)據(jù)關(guān)聯(lián)構(gòu)成。
此時(shí)的‘裝飾圖像數(shù)據(jù)’是作為底紋顯示的圖像的數(shù)據(jù)，‘屏蔽數(shù)據(jù)’表示底紋的數(shù)據(jù)部分(斜線部)和臉部區(qū)域圖像顯現(xiàn)的部分(非斜線部)的區(qū)域尺寸及位置關(guān)系。
在圖1中，裝飾配置部8確定裝飾的配置信息，以與檢測(cè)部6檢測(cè)出的身體部分區(qū)域的變化諧調(diào)。
如果以圖7所示的模板獲得最大匹配，則檢測(cè)部6檢測(cè)身體部分區(qū)域的輸入圖像的平面內(nèi)的旋轉(zhuǎn)量，裝飾配置部8確定裝飾的配置信息，以與檢測(cè)部6檢測(cè)出的旋轉(zhuǎn)量的變化諧調(diào)。
如果以圖8所示的模板獲得最大匹配，則檢測(cè)部6檢測(cè)身體部分區(qū)域的輸入圖像的平面內(nèi)的旋轉(zhuǎn)量，裝飾配置部8確定裝飾的配置信息，以與檢測(cè)部6檢測(cè)出的旋轉(zhuǎn)量的變化諧調(diào)。
再有，后面將列舉多種例子詳細(xì)說明裝飾配置部8的詳細(xì)處理。
在圖1中，合成部10根據(jù)裝飾配置部8確定的配置信息，輸出將裝飾配置在輸入圖像中的圖像。該圖像臨時(shí)存儲(chǔ)在輸出圖像存儲(chǔ)部11中后，從圖像輸出部3輸出。
再有，為了在顯示器件上進(jìn)行顯示，合成部10生成將(數(shù)據(jù)方式1)裝飾直接掃描在輸入圖像上的圖像數(shù)據(jù)，而作為用于向記錄媒體或其他通信裝置傳送的圖像數(shù)據(jù)，合成部10生成將(數(shù)據(jù)方式2)輸入圖像和對(duì)裝飾進(jìn)行掃描時(shí)的圖案相關(guān)聯(lián)的圖像數(shù)據(jù)，并傳送該數(shù)據(jù)就可以。按數(shù)據(jù)方式2，輸入圖像可容易地復(fù)元，因而很有利。再有，后面將補(bǔ)充說明數(shù)據(jù)方式2。
而且在圖1中，操作部12是用戶將操作信息輸入到控制部2的部件。
下面，用圖2來說明圖1所示的圖像處理裝置及其周邊部分的具體構(gòu)成例。圖2是圖像處理裝置的方框圖。
在圖2的例中，帶有照相機(jī)的攜帶電話中裝入圖1的圖像處理裝置。如圖2所示，這種帶有照相機(jī)的攜帶電話有以下主要部件。
CPU21通過總線20來控制圖2的各主要部件，根據(jù)存儲(chǔ)于ROM23中的圖3的流程圖來執(zhí)行控制程序。
在RAM22中，確保CPU21處理上需要的臨時(shí)存儲(chǔ)區(qū)域。閃存存儲(chǔ)器24是相當(dāng)于記錄媒體的部件。
此外，經(jīng)由天線25，通信處理部26與外部的通信裝置進(jìn)行數(shù)據(jù)的發(fā)送接收。
圖像處理部27由與MPEG等編碼方式有關(guān)的編碼器/解碼器等構(gòu)成，對(duì)照相機(jī)28攝影的圖像進(jìn)行處理，同時(shí)根據(jù)CPU21指示的圖像數(shù)據(jù)，控制LCD(顯示器件的一例)29的顯示狀態(tài)。
聲音處理部30控制來自話筒31的輸入、以及通過揚(yáng)聲器32的聲音輸出。
接口33被連接在總線20上，通過接口33，用戶可通過按鍵組輸入操作信息，而且通過端口35，可連接其他的部件。
這里，可通過CPU21或圖像處理部27處理記錄于閃存存儲(chǔ)器24中的數(shù)據(jù)或照相機(jī)28攝影的數(shù)據(jù)來實(shí)現(xiàn)圖1中的圖像輸入部1。
此外，可通過CPU21與RAM22、閃存存儲(chǔ)器24等進(jìn)行數(shù)據(jù)的交換，同時(shí)實(shí)施運(yùn)算來實(shí)現(xiàn)控制部2、檢測(cè)部6、裝飾配置部8及合成部10。
而且，輸入圖像存儲(chǔ)部4、模板存儲(chǔ)部5、裝飾信息存儲(chǔ)部7、配置信息存儲(chǔ)部9及輸出圖像存儲(chǔ)部11相當(dāng)于在RAM22、ROM23或閃存存儲(chǔ)器24的某一個(gè)中被確保的區(qū)域。此外，圖2的按鍵組34相當(dāng)于圖1的操作部12。
再有，CPU21識(shí)別用戶對(duì)按鍵組34進(jìn)行的操作，取得來自照相機(jī)28的圖像，壓縮照相機(jī)圖像和向閃存存儲(chǔ)器24的保存，降低保存圖像的讀入和擴(kuò)展，進(jìn)行圖像合成、圖像重放、向LCD29的顯示等，但也可以由圖像處理部27進(jìn)行這些處理中的幾個(gè)處理。
圖3表示本方式的圖像處理裝置的外觀。如上所述，本方式的圖像處理裝置被裝入在帶有照相機(jī)的攜帶電話中。圖3的帶有照相機(jī)的攜帶電話的上側(cè)殼體42和下側(cè)殼體41通過結(jié)合部43可折疊地結(jié)合，是有兩個(gè)彎曲類型的攜帶電話。不用說，圖像處理裝置的外形是任意的，本發(fā)明也可應(yīng)用于PDA等攜帶電話以外的裝置。
下面，參照?qǐng)D4，補(bǔ)充說明數(shù)據(jù)方式2。這里，有圖4(b)所示的輸入圖像(文件名”face.rm”)，假設(shè)圖4(c)所示的裝飾(文件名”star.swf”)與其相關(guān)聯(lián)。
此時(shí)，最好使用圖4(a)所示的SMIL(Synchronized Multimedia IntegrationLanguage)形式的元文件。在圖4(a)中，在<par>和</par>中插入的<video src＝”face.rm””>的行、以及<animation src＝”star.swf”>的行被同時(shí)執(zhí)行。即，在顯示時(shí)，將圖4(b)的輸入圖像和圖4(c)的裝飾合成。
再有，在進(jìn)行圖4所示的附帶關(guān)聯(lián)時(shí)，不需要形成將圖4(b)的輸入圖像和圖4(c)的裝飾進(jìn)行合成的圖像本身。
此外，不是以上的SMIL形式的元文件，即使使用XML(ExtensibleMarkup Language)形式的文件、或MP4等也沒有關(guān)系。即，在使用數(shù)據(jù)方式2時(shí)，無論接任何方式，只要使輸入圖像與裝飾相關(guān)聯(lián)就可以。
下面，用圖1、圖5、圖12來說明本方式的圖像處理裝置的處理流程概要。這里，假設(shè)使用圖10(a)所示的裝飾信息(其1)。
首先，控制部2在步驟1中，對(duì)構(gòu)成活動(dòng)圖像的所有幀，檢查是否完成了處理。如果完成了則結(jié)束，如果沒有完成，則將處理移至步驟2。
在步驟2中，圖像輸入部1獲得圖12(a)所示的輸入圖像，控制部2將其保存在輸入圖像存儲(chǔ)部4中。
接著，在步驟3中，控制部2命令檢測(cè)部6進(jìn)行臉部區(qū)域的檢測(cè)。由此，檢測(cè)部6使用模板存儲(chǔ)部5的模板(圖12(b))，進(jìn)行臉部區(qū)域的檢測(cè)。
接著，在步驟4中，控制部2向裝飾配置部8發(fā)出命令，以確定配置信息。由此，裝飾配置部8使用裝飾信息存儲(chǔ)部7的裝飾信息來確定配置信息，將其保存在配置信息存儲(chǔ)部9中。其結(jié)果，可獲得圖12(c)所示的裝飾層上的裝飾圖像。
接著，在步驟5中，控制部2命令合成部10進(jìn)行輸入圖像和裝飾的合成。由此，合成部10根據(jù)裝飾信息存儲(chǔ)部7中保存的裝飾信息，如圖12(d)所示，將裝飾合成在輸入圖像中，將結(jié)果保存在輸出圖像存儲(chǔ)部11中。
接著，在步驟6中，控制部2將輸出圖像存儲(chǔ)部11的合成圖像經(jīng)由圖像輸出部3向外部輸出。
控制部2重復(fù)進(jìn)行步驟1以下的處理，直至完成對(duì)所有幀的處理。
下面，用圖9說明用戶接口的構(gòu)成例。這里，用戶選擇的應(yīng)用是圖像編輯軟件，而且假設(shè)為將用戶攝影的人物圖像和裝飾進(jìn)行合成的圖像合成模式。
首先，如圖11(a)所示，在LCD29上顯示要編輯對(duì)象的人物圖像。然后，除了人物圖像以外，還顯示編輯按鈕40和返回按鈕41。
這里，如果用戶通過按鍵組34選擇編輯按鈕40，則如圖11(b)所示，顯示可插入裝飾的列表。
然后，如果用戶選擇稱為‘淚’的項(xiàng)目，按確定按鈕43，則檢測(cè)人物圖像的臉部區(qū)域，求出與相配的裝飾配置信息，根據(jù)該裝飾配置信息，將裝飾‘淚’合成在輸入圖像上，結(jié)果如圖11(c)所示，顯示在LCD29上。再有，淚的裝飾50、51被追加在輸入圖像中。這里，除了靜止畫面以外，淚作為移動(dòng)的動(dòng)畫片被插入。
而在現(xiàn)有技術(shù)中，淚只是在配置的位置而不移動(dòng)。此外，假如即使插入動(dòng)畫片，該動(dòng)畫片的移動(dòng)也成為與人物圖像的移動(dòng)完全沒有關(guān)系的移動(dòng)。
例如，不是自動(dòng)地在眼睛的下面插入淚，不是自動(dòng)地進(jìn)行調(diào)整，以使淚停止在臉頰附近，從而淚原封不動(dòng)從臉部向下方向流動(dòng)。而在臉部?jī)A斜移動(dòng)時(shí)，不能根據(jù)臉部來修正淚的移動(dòng)。
另一方面，在本方式中，在插入淚之前，通過檢測(cè)身體部分區(qū)域(例如，在本方式中，臉部區(qū)域內(nèi)的眼睛)的位置及尺寸，與身體部分區(qū)域的移動(dòng)相諧調(diào)，可自動(dòng)地在眼睛下插入淚。而且，裝飾可跟蹤臉部的移動(dòng)。
以下，表示本方式的應(yīng)用例，同時(shí)進(jìn)一步說明裝飾配置信息。圖13是輸入圖像和裝飾的坐標(biāo)系的位置關(guān)系說明圖。
這里，作為各應(yīng)用例說明前的補(bǔ)充，簡(jiǎn)單說明形成普通的動(dòng)畫片的步驟。通過與變換特性相關(guān)聯(lián)，移動(dòng)裝飾層，基本上可形成裝飾移動(dòng)的動(dòng)畫片。
即，動(dòng)畫片的形成是對(duì)每一關(guān)鍵的幀(與時(shí)間軸并列存在)的變換屬性(位置、旋轉(zhuǎn)等)進(jìn)行設(shè)定，而屬性的各值并隨著時(shí)間變化。這里，關(guān)鍵幀(key frame)確定作為基準(zhǔn)時(shí)刻的層的位置等的值。如果有值不同的兩個(gè)關(guān)鍵幀(當(dāng)然它們的時(shí)間軸上的位置是不同的)，則在時(shí)間軸上，對(duì)位于這些關(guān)鍵幀間的幀，通過計(jì)算中間值，可以確定屬性的各值。即，如果重復(fù)進(jìn)行(1)關(guān)鍵幀的形成、(2)通過它們的插值進(jìn)行移動(dòng)軌跡設(shè)定的作業(yè)，則可以形成動(dòng)畫片。
下面，以圖14所示的動(dòng)畫片為例，說明基于上述要領(lǐng)的動(dòng)畫片形成的步驟。這里，如圖14(a)～圖14(d)所示，使層的位置、旋轉(zhuǎn)、刻度的值變化，制成飛機(jī)從左前方向右上角飛行的動(dòng)畫片。
首先，為了定義配置裝飾層的坐標(biāo)系，設(shè)定該坐標(biāo)系的錨點(diǎn)。在本例中，如圖13所示，將錨點(diǎn)設(shè)定在元圖像的中心(X0、Y0)，坐標(biāo)軸的方向也與元圖像坐標(biāo)系相同。
然后，將該錨點(diǎn)固定，直至動(dòng)畫片的最后。其結(jié)果，位置、旋轉(zhuǎn)成為完全利用該錨點(diǎn)具有的坐標(biāo)系所獲得的值。
接著，在時(shí)間軸上，設(shè)置關(guān)鍵幀的位置、以及連接其間的移動(dòng)軌跡。例如，如圖15所示，飛機(jī)在最初的幀中處于地點(diǎn)A，2秒后處于地點(diǎn)B，4秒后移動(dòng)到地點(diǎn)C，其間用曲線連接。此外，對(duì)于旋轉(zhuǎn)、放大縮小率同樣也設(shè)定關(guān)鍵的幀。而且，在時(shí)間軸上，對(duì)于位于這些關(guān)鍵幀之間的幀，通過相鄰的關(guān)鍵幀的插入，設(shè)定移動(dòng)軌跡。以上的結(jié)果，制成圖14那樣的飛機(jī)向右上角飛行的動(dòng)畫片。
(應(yīng)用例1)在本例中，在通過模板匹配設(shè)定臉部區(qū)域的位置和范圍后，在與該位置對(duì)應(yīng)的部位設(shè)定表現(xiàn)裝飾的坐標(biāo)系的原點(diǎn)(錨點(diǎn))。
在圖16(a)中，表示將裝飾圖像數(shù)據(jù)設(shè)定在臉部區(qū)域的頭部的結(jié)果，在圖16(c)中必須將局部掃描橢圓軌道的作為裝飾坐標(biāo)系原點(diǎn)的錨點(diǎn)設(shè)定在臉部區(qū)域的頭部的結(jié)果。
接著，檢測(cè)該人物的頭部區(qū)域后，如圖16(b)所示，根據(jù)該檢測(cè)，使錨點(diǎn)向臉部區(qū)域的頭部移動(dòng)。在臉部區(qū)域的尺寸改變時(shí)，與臉部區(qū)域的尺寸成比例來改變坐標(biāo)系的刻度。
而在方向改變時(shí)，坐標(biāo)系的軸方向變化，以朝向與最初設(shè)定的方向相同的方向。
由此，即使人面對(duì)攝影裝置相對(duì)地移動(dòng)，始終有在頭部掃描橢圓軌道的裝飾跟蹤人的移動(dòng)。
在不同場(chǎng)面攝影的多張臉部圖像中，根據(jù)各自的臉部位置、范圍、傾斜、方向，可以始終在頭部、與頭部的大小成比例的軌道上移動(dòng)裝飾，所以可進(jìn)一步提高游戲性。
(應(yīng)用例2)在本例中，使用裝飾信息(其2)，跟隨臉部區(qū)域的移動(dòng)并改變合成幀裝飾的不透明度。
在本例中，使用圖10(b)所示的裝飾信息(其2)。這里，圖5中的步驟1～至步驟3前的處理與使用圖10(a)的裝飾信息(其1)的情況相同。
但是，在圖5的步驟4～步驟6中，在圖12(e)的屏蔽中，在斜線部中，配置可看到圖12(f)所示的靜止圖像，在輸入圖像內(nèi)，將作為臉部區(qū)域檢測(cè)出的部分圖像在非斜線部進(jìn)行尺寸重合并粘接，輸出該圖像。
即，將與作為背景的靜止圖像的合成屏蔽用作裝飾配置信息，根據(jù)臉部檢測(cè)結(jié)果，將合成屏蔽的中心配置為臉部的中心，通過該屏蔽，控制靜止圖像和輸入圖像合成時(shí)不透明度的設(shè)定。
以上的結(jié)果，在與其他圖像進(jìn)行合成時(shí)，可以不在臉部區(qū)域中施加靜止圖像。
(應(yīng)用例3)在本例中，如圖17所示，將面對(duì)視點(diǎn)的進(jìn)深信息(Z軸)追加在輸入圖像及裝飾雙方上。
然后，在裝飾被相當(dāng)于輸入圖像的投射面的假設(shè)面60切斷時(shí)，將裝飾分成處于該假設(shè)面60的前景側(cè)的前景區(qū)域61和處于背景側(cè)的背景區(qū)域62。
而且，改變前景區(qū)域61和背景區(qū)域62的不透明度，并進(jìn)行合成。由此，如圖18所示，可以形成星圍繞臉部周圍的動(dòng)畫片。
這里，為了形成通過臉部的軌跡，也可以有意地設(shè)定錨點(diǎn)。然后，如果使通過臉部背面的背景區(qū)域62透明，則可在輸入圖像上追加三維那樣移動(dòng)的裝飾。
(應(yīng)用例4)在本例中，如圖19所示，根據(jù)過去幾幀部分的位置和方向的序列、當(dāng)前的位置和方向、過去幾幀部分等，來估計(jì)下一幀中的裝飾的屬性。例如，假設(shè)裝飾等速移動(dòng)，則可以按簡(jiǎn)單的公式來估計(jì)裝飾的屬性。
而且，在與身體部分區(qū)域重疊時(shí)，進(jìn)行軌道的修正就可以。在出現(xiàn)多個(gè)裝飾時(shí)，也可以使各個(gè)裝飾相互無關(guān)系地移動(dòng)。
在本例中，如圖20所示，在裝飾與身體部分區(qū)域或輸入圖像的外輪廓線產(chǎn)生沖突時(shí)，將裝飾的移動(dòng)方向變更為偏離身體部分區(qū)域的方向。這樣，在裝飾碰撞身體部分區(qū)域時(shí)，可提供產(chǎn)生反射的移動(dòng)，可以提高游戲性。
根據(jù)本發(fā)明，即使人物圖像和裝飾雙方都移動(dòng)，也可以使裝飾不對(duì)人物圖像產(chǎn)生干擾，可以鮮明地顯示人物圖像，而且，通過使裝飾的移動(dòng)與人物圖像的移動(dòng)相協(xié)調(diào)，可以提高游戲性。
權(quán)利要求
1.一種圖像處理方法，包括檢測(cè)輸入圖像中的身體部分區(qū)域位置的步驟；根據(jù)檢測(cè)出的身體部分區(qū)域的位置，確定裝飾的坐標(biāo)系位置的步驟；以及根據(jù)確定的位置，輸出將裝飾配置在輸入圖像中的圖像的步驟。
2.如權(quán)利要求1所述的圖像處理方法，其中，在所述輸出步驟中，輸出將裝飾掃描在輸入圖像中的圖像數(shù)據(jù)。
3.如權(quán)利要求1所述的圖像處理方法，其中，在所述輸出步驟中，輸出將輸入圖像和裝飾相關(guān)聯(lián)的圖像數(shù)據(jù)。
4.如權(quán)利要求3所述的圖像處理方法，其中，輸入圖像和裝飾通過元文件相關(guān)聯(lián)。
5.如權(quán)利要求4所述的圖像處理方法，其中，所述元文件為SMIL形式。
6.一種圖像處理方法，包括檢測(cè)輸入圖像中的身體部分區(qū)域尺寸的步驟；根據(jù)檢測(cè)出的身體部分區(qū)域尺寸，確定裝飾的坐標(biāo)系刻度的步驟；以及根據(jù)確定的刻度，輸出將裝飾配置在輸入圖像中的圖像的步驟。
7.一種圖像處理方法，包括檢測(cè)身體部分區(qū)域的輸入圖像的平面內(nèi)的旋轉(zhuǎn)量的步驟；根據(jù)檢測(cè)出的旋轉(zhuǎn)量，確定裝飾的坐標(biāo)系的旋轉(zhuǎn)量的步驟；以及根據(jù)確定的旋轉(zhuǎn)量，輸出將裝飾配置在輸入圖像中的圖像的步驟。
8.一種圖像處理方法，包括檢測(cè)身體部分區(qū)域的相對(duì)于輸入圖像的平面的旋轉(zhuǎn)量的步驟；根據(jù)檢測(cè)出的旋轉(zhuǎn)量，確定裝飾的坐標(biāo)系的旋轉(zhuǎn)量的步驟；以及根據(jù)確定的旋轉(zhuǎn)量，輸出將裝飾配置在輸入圖像中的圖像。
9.一種圖像處理方法，包括檢測(cè)輸入圖像中的身體部分區(qū)域的步驟；以使處于檢測(cè)出的身體部分區(qū)域的前景側(cè)的區(qū)域和處于背景側(cè)的區(qū)域有所不同來確定裝飾的不透明度的步驟；以及根據(jù)確定的不透明度，輸出將裝飾配置在輸入圖像中的圖像的步驟。
10.如權(quán)利要求1所述的圖像處理方法，其中，在裝飾與身體部分區(qū)域產(chǎn)生沖突時(shí)，將裝飾的移動(dòng)方向變更為偏離身體部分區(qū)域的方向。
11.如權(quán)利要求1所述的圖像處理方法，其中，身體部分區(qū)域是人物被攝體的臉部區(qū)域。
12.一種圖像處理裝置，包括輸入圖像存儲(chǔ)部，存儲(chǔ)輸入圖像；模板存儲(chǔ)部，存儲(chǔ)身體部分區(qū)域的模板；檢測(cè)部，使用所述模板存儲(chǔ)部的模板，從所述輸入圖像存儲(chǔ)部中存儲(chǔ)的輸入圖像中檢測(cè)身體部分區(qū)域；裝飾信息存儲(chǔ)部，存儲(chǔ)裝飾信息；以及裝飾配置部，確定裝飾的配置信息，以與所述檢測(cè)部檢測(cè)出的身體部分區(qū)域的變化諧調(diào)。
13.如權(quán)利要求12所述的圖像處理裝置，其中，包括根據(jù)所述裝飾配置部確定的配置信息，輸出將裝飾配置在輸入圖像中的圖像的合成部。
14.如權(quán)利要求12所述的圖像處理裝置，其中，所述檢測(cè)部檢測(cè)身體部分區(qū)域的輸入圖像平面內(nèi)的旋轉(zhuǎn)量，所述裝飾配置部確定裝飾的配置信息，以與所述檢測(cè)部檢測(cè)出的旋轉(zhuǎn)量變化諧調(diào)。
15.如權(quán)利要求12所述的圖像處理裝置，其中，所述檢測(cè)部檢測(cè)身體部分區(qū)域的相對(duì)于輸入圖像的平面的旋轉(zhuǎn)量，所述裝飾配置部確定裝飾的配置信息，以與所述檢測(cè)部檢測(cè)出的旋轉(zhuǎn)量變化諧調(diào)。
16.如權(quán)利要求12所述的圖像處理裝置，其中，所述裝飾信息由裝飾圖像數(shù)據(jù)和變換特性相關(guān)聯(lián)構(gòu)成。
17.如權(quán)利要求12所述的圖像處理裝置，其中，所述裝飾信息由裝飾圖像數(shù)據(jù)和屏蔽數(shù)據(jù)相關(guān)聯(lián)構(gòu)成。
18.一種攜帶電話，包括輸入圖像存儲(chǔ)部，存儲(chǔ)輸入圖像；模板存儲(chǔ)部，存儲(chǔ)身體部分區(qū)域的模板；檢測(cè)部，使用所述模板存儲(chǔ)部的模板，從所述輸入圖像存儲(chǔ)部中存儲(chǔ)的輸入圖像中檢測(cè)身體部分區(qū)域；裝飾信息存儲(chǔ)部，存儲(chǔ)裝飾信息；以及裝飾配置部，確定裝飾的配置信息，以與所述檢測(cè)部檢測(cè)出的身體部分區(qū)域的變化諧調(diào)。
全文摘要
一種圖像處理方法。檢測(cè)輸入圖像中的身體部分區(qū)域的位置。根據(jù)檢測(cè)出的身體部分區(qū)域的位置，確定裝飾的坐標(biāo)系的原點(diǎn)位置。根據(jù)確定的原點(diǎn)位置，輸出將裝飾配置在輸入圖像中的圖像。在輸入圖像中，在人物被攝體移動(dòng)時(shí)，根據(jù)其移動(dòng)，使裝飾移動(dòng)。即使人物圖像和裝飾雙方移動(dòng)，裝飾也不對(duì)人物圖像產(chǎn)生干擾，可以鮮明地顯示人物圖像，通過使裝飾的移動(dòng)與人物圖像的移動(dòng)相協(xié)調(diào)，可以提高游戲性。
文檔編號(hào)G06T11/60GK1499816SQ200310114160
公開日2004年5月26日 申請(qǐng)日期2003年11月5日 優(yōu)先權(quán)日2002年11月7日
發(fā)明者今川和幸, 巖佐克博, 西隆曉, 福宮英二, 松尾英明, 片岡知典, 梶田哲史, 渕上郁雄, 二, 典, 博, 史, 明, 雄 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社