1. 一種用于渲染頭像的設(shè)備,包括:
一個(gè)或多個(gè)處理器;以及
頭像動(dòng)畫引擎,由所述一個(gè)或多個(gè)處理器操作,以接收分別與用戶的面部和頭部關(guān)聯(lián)的多個(gè)面部運(yùn)動(dòng)參數(shù)和多個(gè)頭部姿態(tài)參數(shù),并用面部和骨骼動(dòng)畫驅(qū)動(dòng)頭像模型以使用所述面部運(yùn)動(dòng)參數(shù)和所述頭部姿態(tài)參數(shù)給所述頭像作動(dòng)畫,以在所述頭像上復(fù)制所述用戶的面部表情,所述面部表情包含所述用戶的頭部轉(zhuǎn)動(dòng)后的影響;
其中所述多個(gè)面部運(yùn)動(dòng)參數(shù)描繪所述面部的面部行為動(dòng)作,并且所述多個(gè)頭部姿態(tài)參數(shù)描繪所述頭部的頭部姿勢姿態(tài)。
2.如權(quán)利要求1所述的設(shè)備,其中當(dāng)用面部和骨骼動(dòng)畫驅(qū)動(dòng)所述頭像模型時(shí)所述頭像動(dòng)畫引擎施加頭部轉(zhuǎn)動(dòng)影響權(quán)重。
3.如權(quán)利要求2所述的設(shè)備,其中所述頭像動(dòng)畫引擎根據(jù)頭部轉(zhuǎn)動(dòng)影響權(quán)重圖施加至少采用在關(guān)節(jié)處連接的頭骨和軀干骨預(yù)先生成的頭部轉(zhuǎn)動(dòng)影響權(quán)重。
4.如權(quán)利要求3所述的設(shè)備,其中所述關(guān)節(jié)設(shè)置在頸部。
5.如權(quán)利要求3所述的設(shè)備,其中所述頭部轉(zhuǎn)動(dòng)影響權(quán)重圖處于灰度級(jí),其中較淡的灰度值描繪來自頭部轉(zhuǎn)動(dòng)的較大影響。
6.如權(quán)利要求3所述的設(shè)備,其中所述頭部轉(zhuǎn)動(dòng)影響權(quán)重圖具有包含所述面部的區(qū)段、所述面部的眼球的區(qū)段、所述用戶的頸部的區(qū)段、所述面部的舌頭的區(qū)段、所述面部的牙齒的區(qū)段或者所述用戶的身體或衣服的區(qū)段的布局。
7.如權(quán)利要求3所述的設(shè)備,其中所述頭像動(dòng)畫引擎進(jìn)一步采用二維紋理圖,并且所述頭部轉(zhuǎn)動(dòng)影響權(quán)重圖具有對(duì)應(yīng)于所述二維紋理圖的布局或維度;并且其中所述動(dòng)畫引擎使用所述二維紋理圖中的頂點(diǎn)的對(duì)應(yīng)坐標(biāo)從所述頭部轉(zhuǎn)動(dòng)影響權(quán)重圖中檢索所述頂點(diǎn)的影響權(quán)重。
8.如權(quán)利要求2所述的設(shè)備,其中當(dāng)用面部動(dòng)畫驅(qū)動(dòng)所述頭像模型時(shí)所述頭像動(dòng)畫引擎混合多個(gè)預(yù)先定義的混合形狀,并向所述面部動(dòng)畫的結(jié)果施加所述頭部轉(zhuǎn)動(dòng)影響權(quán)重以用骨骼模擬驅(qū)動(dòng)所述頭像模型。
9.如權(quán)利要求8所述的設(shè)備,其中當(dāng)用面部動(dòng)畫驅(qū)動(dòng)所述頭像模型時(shí)混合多個(gè)預(yù)先定義的混合形狀包括:
確定所述多個(gè)預(yù)先定義的混合形狀中的每個(gè)形狀中的位置偏移;
向確定的所述位置偏移施加對(duì)應(yīng)混合形狀權(quán)重;
對(duì)所有混合形狀的所述混合形狀加權(quán)的位置偏移求和;以及
將所述和加到基本模型中所述頂點(diǎn)的位置偏移。
10.如權(quán)利要求2所述的設(shè)備,其中頭部轉(zhuǎn)動(dòng)包括左右搖擺、俯仰或傾斜。
11.如權(quán)利要求1-10中任一項(xiàng)所述的設(shè)備,進(jìn)一步包括:面部網(wǎng)格跟蹤器,由所述一個(gè)或多個(gè)處理器操作,以接收多個(gè)圖像幀,通過所述多個(gè)圖像幀檢測所述用戶的所述面部的面部行為動(dòng)作以及所述用戶的所述頭部的頭部姿勢姿態(tài),并且輸出描繪所檢測的面部行為動(dòng)作的所述多個(gè)面部運(yùn)動(dòng)參數(shù)以及描繪所檢測的頭部姿勢姿態(tài)的所述多個(gè)頭部姿態(tài)參數(shù),全都實(shí)時(shí)地輸出;
其中面部行為動(dòng)作和頭部姿勢姿態(tài)的檢測包含基于所述圖像幀的像素采樣的所述頭部和所述面部上的嘴巴和眼睛的幀間差異的檢測。
12.如權(quán)利要求11所述的設(shè)備,進(jìn)一步包括:頭像渲染引擎,所述頭像渲染引擎與所述頭像動(dòng)畫引擎耦合并由所述一個(gè)或多個(gè)處理器操作以繪制如由所述頭像動(dòng)畫引擎所作動(dòng)畫的所述頭像。
13. 一種用于渲染頭像的方法,包括:
由計(jì)算裝置接收分別與用戶的面部和頭部關(guān)聯(lián)的多個(gè)面部運(yùn)動(dòng)參數(shù)和多個(gè)頭部姿態(tài)參數(shù);以及
用面部和骨骼動(dòng)畫驅(qū)動(dòng)頭像模型,以使用所述面部運(yùn)動(dòng)參數(shù)和所述頭部姿態(tài)參數(shù)給所述頭像作動(dòng)畫,以在所述頭像上復(fù)制所述用戶的面部表情,其包含所述用戶的頭部轉(zhuǎn)動(dòng)后的影響;
其中所述多個(gè)面部運(yùn)動(dòng)參數(shù)描繪所述面部的面部行為動(dòng)作,并且所述多個(gè)頭部姿態(tài)參數(shù)描繪所述頭部的頭部姿勢姿態(tài)。
14.如權(quán)利要求13所述的方法,其中驅(qū)動(dòng)包括:當(dāng)用面部和骨骼動(dòng)畫驅(qū)動(dòng)所述頭像模型時(shí)施加頭部轉(zhuǎn)動(dòng)影響權(quán)重。
15.如權(quán)利要求14所述的方法,其中施加包括:根據(jù)頭部轉(zhuǎn)動(dòng)影響權(quán)重圖施加至少采用在關(guān)節(jié)處連接的頭骨和軀干骨預(yù)先生成的頭部轉(zhuǎn)動(dòng)影響權(quán)重。
16.如權(quán)利要求15所述的方法,其中所述關(guān)節(jié)設(shè)置在頸部。
17.如權(quán)利要求15所述的方法,其中所述頭部轉(zhuǎn)動(dòng)影響權(quán)重圖處于灰度級(jí),其中較淡的灰度值描繪來自頭部轉(zhuǎn)動(dòng)的較大影響。
18.如權(quán)利要求15所述的方法,其中所述頭部轉(zhuǎn)動(dòng)影響權(quán)重圖具有包含所述面部的區(qū)段、所述面部的眼球的區(qū)段、所述用戶的頸部的區(qū)段、所述面部的舌頭的區(qū)段、所述面部的牙齒的區(qū)段或者所述用戶的身體或衣服的區(qū)段的布局。
19.如權(quán)利要求15所述的方法,其中驅(qū)動(dòng)包括采用二維紋理圖;其中所述頭部轉(zhuǎn)動(dòng)影響權(quán)重圖具有對(duì)應(yīng)于所述二維紋理圖的布局或維度;其中施加包括:使用所述二維紋理圖中頂點(diǎn)的對(duì)應(yīng)坐標(biāo)從所述頭部轉(zhuǎn)動(dòng)影響權(quán)重圖中檢索所述頂點(diǎn)的影響權(quán)重。
20.如權(quán)利要求14所述的方法,其中驅(qū)動(dòng)包括:當(dāng)用面部動(dòng)畫驅(qū)動(dòng)所述頭像模型時(shí)混合多個(gè)預(yù)先定義的混合形狀,并向所述面部動(dòng)畫的結(jié)果施加所述頭部轉(zhuǎn)動(dòng)影響權(quán)重以用骨骼模擬驅(qū)動(dòng)所述頭像模型。
21.如權(quán)利要求20所述的方法,其中當(dāng)用面部動(dòng)畫驅(qū)動(dòng)所述頭像模型時(shí)混合多個(gè)預(yù)先定義的混合形狀包括:
確定所述多個(gè)預(yù)先定義的混合形狀中的每個(gè)形狀中的位置偏移;
向確定的所述位置偏移施加對(duì)應(yīng)混合形狀權(quán)重;
對(duì)所有混合形狀的所述混合形狀加權(quán)的位置偏移求和;以及
將所述和加到基本模型中所述頂點(diǎn)的位置偏移。
22.如權(quán)利要求14所述的方法,其中頭部轉(zhuǎn)動(dòng)包括左右搖擺、俯仰或傾斜。
23.一種計(jì)算機(jī)可讀介質(zhì),包括指令,所述指令使計(jì)算裝置響應(yīng)于所述指令的執(zhí)行而執(zhí)行如權(quán)利要求14-22所述的方法中的任一方法。
24. 一種用于渲染頭像的設(shè)備,包括:
用于接收分別與用戶的面部和頭部關(guān)聯(lián)的多個(gè)面部運(yùn)動(dòng)參數(shù)和多個(gè)頭部姿態(tài)參數(shù)的部件;以及
用于用面部和骨骼動(dòng)畫驅(qū)動(dòng)頭像模型以使用所述面部運(yùn)動(dòng)參數(shù)和所述頭部姿態(tài)參數(shù)給所述頭像作動(dòng)畫以在所述頭像上復(fù)制所述用戶的面部表情的部件,所述面部表情包含所述用戶的頭部轉(zhuǎn)動(dòng)后的影響;
其中所述多個(gè)面部運(yùn)動(dòng)參數(shù)描繪所述面部的面部行為動(dòng)作,并且所述多個(gè)頭部姿態(tài)參數(shù)描繪所述頭部的頭部姿勢姿態(tài)。
25.如權(quán)利要求24所述的設(shè)備,其中用于驅(qū)動(dòng)的部件包括用于當(dāng)用面部和骨骼動(dòng)畫驅(qū)動(dòng)所述頭像模型時(shí)施加頭部轉(zhuǎn)動(dòng)影響權(quán)重的部件。