本發(fā)明涉及人工智能，具體涉及一種數(shù)字人生成方法、數(shù)字人生成方法和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、數(shù)字人是通過(guò)計(jì)算機(jī)圖形學(xué)、人工智能、動(dòng)作捕捉和語(yǔ)音合成等技術(shù)創(chuàng)建的逼真、交互式虛擬人物，并與用戶進(jìn)行互動(dòng)。在如今，數(shù)字人可應(yīng)用于娛樂(lè)、教育、醫(yī)療等各方面領(lǐng)域，提高用戶生活的便利性和娛樂(lè)性。目前，數(shù)字人的制作過(guò)程較為復(fù)雜，制作難度大，需要專業(yè)的技術(shù)人員進(jìn)行協(xié)助和引導(dǎo)，且需要投入大量的資源，例如，傳統(tǒng)的數(shù)字人模型需要拍攝真人視頻，對(duì)真人視頻進(jìn)行預(yù)處理后，進(jìn)行數(shù)字人模型訓(xùn)練，然后在gpu服務(wù)器部署數(shù)字人模型。從真人知道生成數(shù)字人，每個(gè)步驟都需要消耗大量的時(shí)間制作和調(diào)試。

2、現(xiàn)有一種文字驅(qū)動(dòng)數(shù)字人生成視頻的方法是通過(guò)對(duì)輸入的文本內(nèi)容進(jìn)行清洗和標(biāo)準(zhǔn)化，對(duì)文本內(nèi)容提取關(guān)鍵信息、識(shí)別實(shí)體；對(duì)進(jìn)行情感極性標(biāo)注以確定情感傾向；基于關(guān)鍵信息和實(shí)體，生成與文本內(nèi)容相關(guān)的虛擬場(chǎng)景，并根據(jù)情感傾向，選擇不同的背景顏色、光照和環(huán)境設(shè)置；創(chuàng)建數(shù)字人主播，將生成的數(shù)字人放置在虛擬場(chǎng)景中；根據(jù)情感傾向，生成數(shù)字人的面部表情和動(dòng)作；根據(jù)文本內(nèi)容生成語(yǔ)音；將數(shù)字人的動(dòng)作、面部表情、語(yǔ)音和數(shù)字人嘴型同步；根據(jù)虛擬場(chǎng)景、數(shù)字人、同步、面部表情和動(dòng)作的信息生成視頻，并在場(chǎng)景切換和鏡頭變化時(shí)，添加過(guò)渡效果，生成最終視頻。但該數(shù)字人通過(guò)文本描述創(chuàng)建相應(yīng)的3d模型和動(dòng)畫(huà)，需要較高的處理性能的處理器進(jìn)行生成，耗費(fèi)大量的處理資源。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的第一目的是提供一種減少處理器的處理量的數(shù)字人生成方法。

2、本發(fā)明的第二目的是提供一種實(shí)現(xiàn)上述數(shù)字人生成方法的數(shù)字人生成系統(tǒng)。

3、本發(fā)明的第三目的是提供一種實(shí)現(xiàn)上述數(shù)字人生成方法的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

4、為實(shí)現(xiàn)本發(fā)明的第一目的，本發(fā)明提供的數(shù)字人生成方法，該方法包括：獲取用戶文本信息，將用戶文本信息轉(zhuǎn)化為用戶特征向量，用戶特征向量包括以下至少一種：人臉特征向量、衣服特征向量、發(fā)型特征向量、聲音特征向量和風(fēng)格特征向量；將用戶特征向量與各數(shù)據(jù)庫(kù)中的數(shù)字人部分特征向量進(jìn)行比對(duì)，從各數(shù)據(jù)庫(kù)中查詢與用戶特征向量相似度最高的各目標(biāo)數(shù)字人部分特征向量；調(diào)用待替換視頻，將目標(biāo)數(shù)字人部分特征向量對(duì)應(yīng)的目標(biāo)數(shù)字人部分特征替換待替換視頻的視頻特征，得到替換視頻；將替換視頻輸入至預(yù)設(shè)數(shù)字人模型進(jìn)行訓(xùn)練，得到當(dāng)前數(shù)字人模型；獲取音頻信息，將所述音頻信息輸入所述當(dāng)前數(shù)字人模型，獲得數(shù)字人視頻。

5、由上述的方案可見(jiàn)，通過(guò)預(yù)先設(shè)定多個(gè)數(shù)據(jù)庫(kù)，通過(guò)將用戶特征向量與數(shù)據(jù)庫(kù)中的數(shù)字人部分特征向量進(jìn)行比對(duì)，從而可在現(xiàn)有數(shù)據(jù)庫(kù)查詢用戶所需的特征，不需要另外生成形象，在構(gòu)建用戶個(gè)性化的數(shù)字人的同時(shí)，從而節(jié)省處理器的處理資源，并且，降低數(shù)字人的制作難度。選取用戶需要的數(shù)字人特征，然后將用戶需要的數(shù)字人特征與待替換視頻的視頻特征進(jìn)行替換，從而得到訓(xùn)練視頻。將該訓(xùn)練視頻在預(yù)設(shè)數(shù)字人模型進(jìn)行訓(xùn)練，從而得到用戶需求的當(dāng)前數(shù)字人模型。通過(guò)該方式得到訓(xùn)練視頻，而不是從構(gòu)建角色后再生成視頻，從而減少生成視頻的操作，從而減少處理器的處理量。

6、進(jìn)一步的方案中，從各數(shù)據(jù)庫(kù)中查詢用戶特征向量對(duì)應(yīng)的相似度最高的各目標(biāo)數(shù)字人部分特征向量后，還執(zhí)行：判斷多個(gè)所述目標(biāo)數(shù)字人部分特征向量與所述用戶特征向量的相似值是否小于預(yù)設(shè)值，若是，根據(jù)所述用戶特征向量調(diào)用特征生成模塊生成替換數(shù)字人部分特征。

7、更進(jìn)一步的方案中，將所述目標(biāo)數(shù)字人部分特征向量對(duì)應(yīng)的目標(biāo)數(shù)字人部分特征與所述待替換視頻的視頻特征進(jìn)行替換的步驟中，還包括：使用小于預(yù)設(shè)值的目標(biāo)數(shù)字人部分特征對(duì)應(yīng)的替換數(shù)字人部分特征對(duì)所述視頻特征進(jìn)行替換。

8、由此可見(jiàn)，如果在數(shù)據(jù)庫(kù)中查詢到的目標(biāo)數(shù)字人部分特征向量的相似值過(guò)小，需要另外進(jìn)行生成替換數(shù)字人部分特征進(jìn)行替換，從而使得數(shù)字人特征滿足用戶的需求。

9、進(jìn)一步的方案中，得到替換視頻后，還執(zhí)行：將替換視頻發(fā)送至用戶，接收用戶確認(rèn)信息，才將替換視頻輸入至預(yù)設(shè)數(shù)字人模型進(jìn)行訓(xùn)練。

10、由此可見(jiàn)，得到替換視頻后，需要用戶確認(rèn)替換視頻是否滿足用戶要求，再進(jìn)行訓(xùn)練，確保該數(shù)字人是用戶所需要的數(shù)字人。

11、進(jìn)一步的方案中，獲取音頻信息的步驟包括：獲取用戶音頻文本信息，將用戶音頻文本信息生成音頻信息。

12、由此可見(jiàn)，通過(guò)用戶輸入的文本信息生成音頻信息，從而生成數(shù)字人視頻。

13、進(jìn)一步的方案中，獲得數(shù)字人視頻后，還執(zhí)行：根據(jù)音頻信息生成背景音樂(lè)，將背景音樂(lè)與數(shù)字人視頻合并。

14、由此可見(jiàn)，通過(guò)音頻信息生成背景音樂(lè)，使得背景音樂(lè)可融合視頻內(nèi)容，提升用戶的體驗(yàn)感。

15、進(jìn)一步的方案中，數(shù)據(jù)庫(kù)包括以下至少一種：人臉數(shù)據(jù)庫(kù)、衣服數(shù)據(jù)庫(kù)、發(fā)型數(shù)據(jù)庫(kù)、聲音數(shù)據(jù)庫(kù)、風(fēng)格數(shù)據(jù)庫(kù)、真人視頻數(shù)據(jù)庫(kù)。

16、由此可見(jiàn)，根據(jù)用戶特征向量獲取用戶需要的特征，從而生成用戶需要的數(shù)字人。

17、為了實(shí)現(xiàn)第二目的，本發(fā)明提供的數(shù)字人生成系統(tǒng)，其特征在于，包括控制模塊、特征生成模塊、語(yǔ)音合成模塊、特征替換模塊、視頻合成模塊、音頻同步模塊；控制模塊通過(guò)系統(tǒng)接口分別與所述特征生成模塊、語(yǔ)音合成模塊、特征替換模塊、視頻合成模塊、音頻同步模塊連接；控制模塊在執(zhí)行計(jì)算機(jī)程序時(shí)可執(zhí)行上述的數(shù)字人生成方法。

18、為了實(shí)現(xiàn)第三目的，本發(fā)明提供的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于：計(jì)算機(jī)程序被控制模塊執(zhí)行時(shí)實(shí)現(xiàn)上述的數(shù)字人生成方法。

技術(shù)特征：

1.數(shù)字人生成方法，其特征在于，該方法包括：

2.根據(jù)權(quán)利要求1所述的數(shù)字人生成方法，其特征在于：

3.根據(jù)權(quán)利要求2所述的數(shù)字人生成方法，其特征在于：

4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的數(shù)字人生成方法，其特征在于：

5.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的數(shù)字人生成方法，其特征在于：

6.根據(jù)權(quán)利要求5所述的數(shù)字人生成方法，其特征在于：

7.根據(jù)權(quán)利要求6所述的數(shù)字人生成方法，其特征在于：

8.數(shù)字人生成系統(tǒng)，其特征在于，包括控制模塊、特征生成模塊、語(yǔ)音合成模塊、特征替換模塊、視頻合成模塊、音頻同步模塊；所述控制模塊通過(guò)系統(tǒng)接口分別與所述特征生成模塊、語(yǔ)音合成模塊、特征替換模塊、視頻合成模塊、音頻同步模塊連接；

9.計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于：

技術(shù)總結(jié)
本發(fā)明提供一種數(shù)字人生成方法、數(shù)字人生成系統(tǒng)和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該方法包括：獲取用戶文本信息，對(duì)用戶文本信息轉(zhuǎn)化為用戶特征向量；將用戶特征向量與各數(shù)據(jù)庫(kù)中的數(shù)字人部分特征向量進(jìn)行比對(duì)，從各數(shù)據(jù)庫(kù)中查詢與用戶特征向量相似度最高的各目標(biāo)數(shù)字人部分特征向量；調(diào)用待替換視頻，將目標(biāo)數(shù)字人部分特征向量對(duì)應(yīng)的目標(biāo)數(shù)字人部分特征與待替換視頻的視頻特征進(jìn)行替換，得到替換視頻；將替換視頻輸入至預(yù)設(shè)數(shù)字人模型進(jìn)行訓(xùn)練，得到當(dāng)前數(shù)字人模型；獲取音頻信息，將所述音頻信息輸入所述當(dāng)前數(shù)字人模型，獲得數(shù)字人視頻。本方法可節(jié)約處理器的處理資源。

技術(shù)研發(fā)人員：張凱城,侯子怡,代東甫
受保護(hù)的技術(shù)使用者：金邦達(dá)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6