本公開內(nèi)容一般地涉及人類角色的音樂反應(yīng)動畫，更具體地涉及用于以隨音樂的舞蹈姿勢生成動畫角色的方法、計算系統(tǒng)和非暫態(tài)計算機可讀存儲介質(zhì)。

背景技術(shù)：

1、人是已知通過運動和音樂表達自己的唯一物種。其是一種獨特的人類形式的溝通和創(chuàng)造力。具有實時地對環(huán)境作出反應(yīng)的人的計算機動畫化身允許人們共享他們的體驗并且彼此連接。

技術(shù)實現(xiàn)思路

1、根據(jù)本公開內(nèi)容的實施方式的一方面，提供了一種用于以隨音樂的舞蹈姿勢生成動畫角色的方法，所述方法包括：由至少一個處理器接收來自神經(jīng)網(wǎng)絡(luò)編碼器的潛在空間；使用神經(jīng)網(wǎng)絡(luò)解碼器生成當(dāng)前生成的姿勢數(shù)據(jù)，當(dāng)前生成的姿勢數(shù)據(jù)基于先前生成的姿勢的先前生成的姿勢數(shù)據(jù)、音樂輸入信號和潛在空間；以及基于當(dāng)前生成的姿勢數(shù)據(jù)生成動畫角色。

2、根據(jù)本公開內(nèi)容的實施方式的另一方面，提供了一種計算系統(tǒng)，包括：至少一個處理器；以及存儲器，其存儲指令，所述指令在由至少一個處理器執(zhí)行時使計算系統(tǒng)執(zhí)行包括以下的操作：接收來自神經(jīng)網(wǎng)絡(luò)編碼器的潛在空間；使用神經(jīng)網(wǎng)絡(luò)解碼器生成當(dāng)前生成的姿勢數(shù)據(jù)，所述當(dāng)前生成的姿勢數(shù)據(jù)基于先前生成的姿勢的先前生成的姿勢數(shù)據(jù)、音樂輸入信號和潛在空間；以及基于當(dāng)前生成的姿勢數(shù)據(jù)生成動畫角色。

3、根據(jù)本公開內(nèi)容的實施方式的又一方面，提供了一種非暫態(tài)計算機可讀存儲介質(zhì)，所述非暫態(tài)計算機可讀存儲介質(zhì)包括指令，所述指令在由計算機執(zhí)行時使計算機執(zhí)行包括以下的操作：接收來自神經(jīng)網(wǎng)絡(luò)編碼器的潛在空間；使用神經(jīng)網(wǎng)絡(luò)解碼器生成當(dāng)前生成的姿勢數(shù)據(jù)，所述當(dāng)前生成的姿勢數(shù)據(jù)基于先前生成的姿勢的先前生成的姿勢數(shù)據(jù)、音樂輸入信號和潛在空間；以及基于當(dāng)前生成的姿勢數(shù)據(jù)生成動畫角色。

技術(shù)特征：

1.一種用于以隨音樂的舞蹈姿勢生成動畫角色的方法，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，所述神經(jīng)網(wǎng)絡(luò)編碼器和所述神經(jīng)網(wǎng)絡(luò)解碼器基于條件遞歸神經(jīng)網(wǎng)絡(luò)模型。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述潛在空間是單位正態(tài)分布或高斯分布。

4.根據(jù)權(quán)利要求1所述的方法，其中，生成所述當(dāng)前生成的姿勢數(shù)據(jù)還包括：

5.根據(jù)權(quán)利要求4所述的方法，其中，生成所述當(dāng)前生成的姿勢數(shù)據(jù)還包括：

6.根據(jù)權(quán)利要求1所述的方法，其中，生成所述動畫角色還包括：

7.根據(jù)權(quán)利要求1所述的方法，還包括：

8.根據(jù)權(quán)利要求1所述的方法，其中，生成所述動畫角色還包括：

9.根據(jù)權(quán)利要求1所述的方法，還包括：

10.一種計算系統(tǒng)，包括：

11.根據(jù)權(quán)利要求10所述的計算系統(tǒng)，其中，所述神經(jīng)網(wǎng)絡(luò)編碼器和所述神經(jīng)網(wǎng)絡(luò)解碼器基于條件遞歸神經(jīng)網(wǎng)絡(luò)模型。

12.根據(jù)權(quán)利要求10所述的計算系統(tǒng)，其中，生成所述動畫角色還包括：

13.根據(jù)權(quán)利要求10所述的計算系統(tǒng)，其中，生成所述動畫角色還包括：

14.根據(jù)權(quán)利要求10所述的計算系統(tǒng)，所述操作還包括：

15.根據(jù)權(quán)利要求14所述的計算系統(tǒng)，其中，訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)編碼器包括：

16.一種非暫態(tài)計算機可讀存儲介質(zhì)，所述非暫態(tài)計算機可讀存儲介質(zhì)包括指令，所述指令在由計算機執(zhí)行時使所述計算機執(zhí)行包括以下的操作：

17.根據(jù)權(quán)利要求16所述的非暫態(tài)計算機可讀存儲介質(zhì)，所述操作還包括：

18.根據(jù)權(quán)利要求16所述的非暫態(tài)計算機可讀存儲介質(zhì)，其中所述潛在空間是通過在預(yù)定次數(shù)的迭代中從初始地強制訓(xùn)練轉(zhuǎn)換到自動回歸訓(xùn)練來生成的。

19.根據(jù)權(quán)利要求16所述的非暫態(tài)計算機可讀存儲介質(zhì)，其中，生成所述動畫角色還包括：

20.根據(jù)權(quán)利要求16所述的非暫態(tài)計算機可讀存儲介質(zhì)，其中，生成所述動畫角色還包括：

技術(shù)總結(jié)
本申請公開了一種用于以隨音樂的舞蹈姿勢生成動畫角色的方法、計算系統(tǒng)及計算機可讀存儲介質(zhì)，所述方法包括：由至少一個處理器接收來自神經(jīng)網(wǎng)絡(luò)編碼器的潛在空間；使用神經(jīng)網(wǎng)絡(luò)解碼器生成當(dāng)前生成的姿勢數(shù)據(jù)，所述當(dāng)前生成的姿勢數(shù)據(jù)基于先前生成的姿勢的先前生成的姿勢數(shù)據(jù)、音樂輸入信號和潛在空間；以及基于當(dāng)前生成的姿勢數(shù)據(jù)生成動畫角色。

技術(shù)研發(fā)人員：居林安丹·克里希南戈魯姆孔達,李新英,徐捷
受保護的技術(shù)使用者：斯納普公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23