本發(fā)明涉及動畫技術(shù)和網(wǎng)絡直播技術(shù)，尤其涉及一種實時虛擬偶像直播方法及系統(tǒng)。

背景技術(shù)：

目前，虛擬偶像已成為全球娛樂領域的新亮點，逐漸受到了人們的喜愛和追捧。然而，針對傳統(tǒng)的虛擬偶像，其主要是基于系統(tǒng)預先設置好的人物角色、劇情發(fā)展、交互方式等元素來預先實現(xiàn)的，因此，其無法與觀眾產(chǎn)生實時互動，靈活性和適用性低下?？梢姡谶@虛擬偶像的實現(xiàn)技術(shù)缺陷，虛擬偶像無法應用于網(wǎng)絡直播平臺上來實現(xiàn)直播，導致目前的網(wǎng)絡直播平臺還是僅能以真人直播方式來與觀眾進行互動，互動方式單一，觀眾的交互體驗感大大降低。

技術(shù)實現(xiàn)要素：

為了解決上述技術(shù)問題，本發(fā)明的目的是提供一種實時虛擬偶像直播方法，以虛擬偶像方式來實現(xiàn)網(wǎng)絡直播，消除了傳統(tǒng)虛擬偶像無法與觀眾互動的技術(shù)問題，令網(wǎng)絡直播的互動方式多樣化，提高觀眾的交互體驗感。

本發(fā)明的另一目的是提供一種實時虛擬偶像直播系統(tǒng)，以虛擬偶像方式來實現(xiàn)網(wǎng)絡直播，消除了傳統(tǒng)虛擬偶像無法與觀眾互動的技術(shù)問題，令網(wǎng)絡直播的互動方式多樣化，提高觀眾的交互體驗感。

本發(fā)明所采用的技術(shù)方案是：一種實時虛擬偶像直播方法，該方法包括的步驟有：

創(chuàng)建虛擬偶像角色，將創(chuàng)建的虛擬偶像角色導入圖形引擎中得到虛擬偶像角色模型；

實時采集動作者的動作數(shù)據(jù)以及聲音數(shù)據(jù)，將采集到的動作數(shù)據(jù)與虛擬偶像角色模型進行關聯(lián)，令虛擬偶像角色模型按照動作數(shù)據(jù)執(zhí)行相應動作；

將虛擬偶像角色模型和聲音數(shù)據(jù)疊加至攝錄的視頻畫面中后合成得到虛擬偶像角色視頻畫面，將實時生成的虛擬偶像角色視頻畫面進行實時直播。

進一步，所述創(chuàng)建虛擬偶像角色這一步驟，其具體包括：

根據(jù)虛擬偶像的原畫，創(chuàng)建出虛擬偶像的角色模型，然后為虛擬偶像的角色模型配置貼圖和材質(zhì)；

為虛擬偶像的角色模型配置相對應的角色動畫骨骼后，將虛擬偶像的角色模型與角色動畫骨骼進行綁定并配置權(quán)重。

進一步，所述將創(chuàng)建的虛擬偶像角色導入圖形引擎中得到虛擬偶像角色模型這一步驟，其具體包括：

將虛擬偶像的角色模型與角色動畫骨骼導入圖形引擎中進行整合處理，得到虛擬偶像角色模型。

進一步，所述創(chuàng)建虛擬偶像角色這一步驟，其還包括：

為虛擬偶像的角色模型配置基于物理動力的服裝。

進一步，所述動作數(shù)據(jù)包括有肢體動作數(shù)據(jù)和面部表情動作數(shù)據(jù)，所述實時采集動作者的動作數(shù)據(jù)，將采集到的動作數(shù)據(jù)與虛擬偶像角色模型進行關聯(lián)，令虛擬偶像角色模型按照動作數(shù)據(jù)執(zhí)行相應動作這一步驟，其具體包括：

利用動作捕捉裝置來實時捕捉動作者的肢體動作數(shù)據(jù)；

利用面部表情捕捉器來實時捕捉動作者的面部表情動作數(shù)據(jù)；

將肢體動作數(shù)據(jù)與虛擬偶像角色模型的身體進行肢體動作關聯(lián)，將面部表情動作數(shù)據(jù)與虛擬偶像角色模型的面部進行面部表情關聯(lián)，令虛擬偶像角色模型按照肢體動作數(shù)據(jù)和面部表情動作數(shù)據(jù)執(zhí)行相應的肢體動作和面部表情動作。

本發(fā)明所采用的另一技術(shù)方案是：一種實時虛擬偶像直播系統(tǒng)，該系統(tǒng)包括：

模型創(chuàng)建模塊，用于創(chuàng)建虛擬偶像角色，將創(chuàng)建的虛擬偶像角色導入圖形引擎中得到虛擬偶像角色模型；

數(shù)據(jù)關聯(lián)模塊，用于實時采集動作者的動作數(shù)據(jù)以及聲音數(shù)據(jù)，將采集到的動作數(shù)據(jù)與虛擬偶像角色模型進行關聯(lián)，令虛擬偶像角色模型按照動作數(shù)據(jù)執(zhí)行相應動作；

直播模塊，用于將虛擬偶像角色模型和聲音數(shù)據(jù)疊加至攝錄的視頻畫面中后合成得到虛擬偶像角色視頻畫面，將實時生成的虛擬偶像角色視頻畫面進行實時直播。

進一步，所述模型創(chuàng)建模塊具體包括有：

模型制作子模塊，用于根據(jù)虛擬偶像的原畫，創(chuàng)建出虛擬偶像的角色模型，然后為虛擬偶像的角色模型配置貼圖和材質(zhì)；

角色創(chuàng)建子模塊，用于為虛擬偶像的角色模型配置相對應的角色動畫骨骼后，將虛擬偶像的角色模型與角色動畫骨骼進行綁定并配置權(quán)重；

模型生成子模塊，用于將創(chuàng)建的虛擬偶像角色導入圖形引擎中得到虛擬偶像角色模型。

進一步，所述模型生成子模塊具體用于將虛擬偶像的角色模型與角色動畫骨骼導入圖形引擎中進行整合處理，得到虛擬偶像角色模型。

進一步，所述模型創(chuàng)建模塊具體還包括有用于為虛擬偶像的角色模型配置基于物理動力的服裝的配置子模塊。

進一步，所述動作數(shù)據(jù)包括有肢體動作數(shù)據(jù)和面部表情動作數(shù)據(jù)，所述數(shù)據(jù)關聯(lián)模塊具體包括：

第一數(shù)據(jù)采集模塊，用于實時采集聲音數(shù)據(jù)；

第二數(shù)據(jù)采集模塊，用于利用動作捕捉裝置來實時捕捉動作者的肢體動作數(shù)據(jù)；

第三數(shù)據(jù)采集模塊，用于利用面部表情捕捉器來實時捕捉動作者的面部表情動作數(shù)據(jù)；

關聯(lián)控制子模塊，用于將肢體動作數(shù)據(jù)與虛擬偶像角色模型的身體進行肢體動作關聯(lián)，將面部表情動作數(shù)據(jù)與虛擬偶像角色模型的面部進行面部表情關聯(lián)，令虛擬偶像角色模型按照肢體動作數(shù)據(jù)和面部表情動作數(shù)據(jù)執(zhí)行相應的肢體動作和面部表情動作。

本發(fā)明的有益效果是：本發(fā)明的方法通過實時采集動作者的動作數(shù)據(jù)以及聲音數(shù)據(jù)，將采集到的動作數(shù)據(jù)與虛擬偶像角色模型進行控制關聯(lián)，令虛擬偶像角色模型按照動作數(shù)據(jù)執(zhí)行相應動作，然后將虛擬偶像角色模型和聲音數(shù)據(jù)疊加至攝錄的視頻畫面中后合成得到虛擬偶像角色視頻畫面，將實時生成的虛擬偶像角色視頻畫面進行實時直播。由此可見，本發(fā)明的方法以虛擬偶像的交互方式來實現(xiàn)網(wǎng)絡直播，不僅消除了傳統(tǒng)虛擬偶像無法與觀眾互動的問題，而且還能增加直播的互動方式，提高直播者和觀眾的交互體驗感，有利于虛擬偶像和網(wǎng)絡直播的市場擴展和推廣。此外，通過實時采集動作者的動作數(shù)據(jù)來控制驅(qū)動虛擬偶像角色模型執(zhí)行相對應的動作，能夠解決傳統(tǒng)虛擬偶像手調(diào)動畫動作僵硬不流暢、面部表情僵硬等問題。

本發(fā)明的另一有益效果是：本發(fā)明的系統(tǒng)通過數(shù)據(jù)關聯(lián)模塊來將采集到的動作數(shù)據(jù)與虛擬偶像角色模型進行控制關聯(lián)，令虛擬偶像角色模型按照動作數(shù)據(jù)執(zhí)行相應動作，然后通過直播模塊將虛擬偶像角色模型和聲音數(shù)據(jù)疊加至攝錄的視頻畫面中后合成得到虛擬偶像角色視頻畫面，將實時生成的虛擬偶像角色視頻畫面進行實時直播。由此可見，本發(fā)明的系統(tǒng)以虛擬偶像的交互方式來實現(xiàn)網(wǎng)絡直播，不僅消除了傳統(tǒng)虛擬偶像無法與觀眾互動的問題，而且還能增加直播的互動方式，提高直播者和觀眾的交互體驗感，有利于虛擬偶像和網(wǎng)絡直播的市場擴展和推廣。此外，通過實時采集動作者的動作數(shù)據(jù)來控制驅(qū)動虛擬偶像角色模型執(zhí)行相對應的動作，能夠解決傳統(tǒng)虛擬偶像手調(diào)動畫動作僵硬不流暢、面部表情僵硬等問題。

附圖說明

圖1是本發(fā)明一種實時虛擬偶像直播方法的步驟流程示意圖；

圖2是本發(fā)明一種實時虛擬偶像直播系統(tǒng)的結(jié)構(gòu)框圖；

圖3是本發(fā)明一種實時虛擬偶像直播方法一具體實施例步驟流程示意圖；

圖4是虛擬偶像角色的創(chuàng)建步驟流程示意圖；

圖5是角色動畫骨骼制作流程示意圖；

圖6是基于物理動力學進行制作的流程示意圖；

圖7是以虛擬偶像角色進行實時直播過程的示意圖。

具體實施方式

如圖1所示，一種實時虛擬偶像直播方法，該方法包括的步驟有：

創(chuàng)建虛擬偶像角色，將創(chuàng)建的虛擬偶像角色導入圖形引擎中得到虛擬偶像角色模型；

實時采集動作者的動作數(shù)據(jù)以及聲音數(shù)據(jù)，將采集到的動作數(shù)據(jù)與虛擬偶像角色模型進行關聯(lián)，令虛擬偶像角色模型按照動作數(shù)據(jù)執(zhí)行相應動作；

將虛擬偶像角色模型和聲音數(shù)據(jù)疊加至攝錄的視頻畫面中后合成得到虛擬偶像角色視頻畫面，將實時生成的虛擬偶像角色視頻畫面進行實時直播。

如圖2所示，一種實時虛擬偶像直播系統(tǒng)，該系統(tǒng)包括：

模型創(chuàng)建模塊，用于創(chuàng)建虛擬偶像角色，將創(chuàng)建的虛擬偶像角色導入圖形引擎中得到虛擬偶像角色模型；

數(shù)據(jù)關聯(lián)模塊，用于實時采集動作者的動作數(shù)據(jù)以及聲音數(shù)據(jù)，將采集到的動作數(shù)據(jù)與虛擬偶像角色模型進行關聯(lián)，令虛擬偶像角色模型按照動作數(shù)據(jù)執(zhí)行相應動作；

直播模塊，用于將虛擬偶像角色模型和聲音數(shù)據(jù)疊加至攝錄的視頻畫面中后合成得到虛擬偶像角色視頻畫面，將實時生成的虛擬偶像角色視頻畫面進行實時直播。對于所述模型創(chuàng)建模塊、數(shù)據(jù)關聯(lián)模塊以及直播模塊，其可為應用程序模塊，也為可硬件設備，如處理器等。

結(jié)合以下實施例來對本發(fā)明進行詳細闡述。

如圖3所示，一種實時虛擬偶像直播方法具體實施步驟如下所示。

s1：制作步驟，其包括的步驟如下所示。

s101、制作虛擬偶像美術(shù)資源：根據(jù)虛擬偶像的原畫，在3d軟件中制作出虛擬偶像的角色模型；

如圖4所示，所述步驟s101包括有：

s1011、根據(jù)虛擬偶像的原畫制作角色模型；

s1012、初步完成虛擬偶像的角色模型；

s1013、為虛擬偶像的角色模型配置貼圖和材質(zhì)，得到所需的虛擬偶像的角色模型；

優(yōu)選地，為了令創(chuàng)建的虛擬偶像的角色模型更為精細和符合原畫的設定，設置步驟s1014，所述步驟s1014為：對角色模型或角色的設定進行細節(jié)修改，以滿足角色模型制作要求和/或角色的設定要求；

s102、制作虛擬偶像骨骼系統(tǒng)：為虛擬偶像的角色模型配置相對應的角色動畫骨骼后，將虛擬偶像的角色模型與角色動畫骨骼進行綁定并配置權(quán)重，完成虛擬偶像角色的創(chuàng)建；

如圖5所示，所述步驟s102包括有：

s1021、制作出與虛擬偶像的角色模型相對應的角色動畫骨骼；

s1022、將虛擬偶像的角色模型與角色動畫骨骼進行綁定以及權(quán)重配置，并進行細化和整理，最終完成虛擬偶像角色的制作。

作為上述制作步驟的優(yōu)選實施方式，為了提高虛擬偶像角色的真實感，所述步驟s1中還可包括有步驟s103，其為，為虛擬偶像的角色模型配置基于物理動力學而制作出的物體，如服裝；

如圖6所示，所述步驟s103包括有：

s1031、分析動力學模型物體，如虛擬偶像角色的身體、頭發(fā)和服裝，令這些物體利用物理動力學技術(shù)，按照物理規(guī)律移動；

s1032、在本實施例中，虛擬偶像的角色模型加入基于物理動力的服裝，即加入動力學物體模型；

s1033、將其導入圖形引擎來確認效果；

為了符合虛擬偶像角色的設定要求，所述步驟s103中還包括有步驟s1034，對基于物理動力學而制作出的服裝模型進行調(diào)整修改。

作為本實施例的優(yōu)選實施方式，所述圖形引擎(游戲圖形引擎)可以采用先進的次世代游戲引擎來實現(xiàn)。與其它的游戲圖形引擎不同，本實施例中所述采用游戲圖形引擎無需第三方軟件的支持便能處理物理效果、聲音及動畫。

s2：生成步驟。

s201、將虛擬偶像的角色模型、角色動畫骨骼、基于物理動力的服裝導入游戲圖形引擎中進行整合處理，從而得到虛擬偶像角色模型。

s3：以創(chuàng)建的虛擬偶像角色來實現(xiàn)網(wǎng)絡直播步驟。

如圖7所示，所述步驟s3包括：

s301、邀請一名演員，即動作者，令其穿戴上動作捕捉裝置和面部表情捕捉器，并調(diào)整捕捉設備，同時也對虛擬偶像直播系統(tǒng)中的硬件環(huán)境進行調(diào)試；

s302、捕捉演員的肢體動作數(shù)據(jù)和面部表情動作數(shù)據(jù)，將肢體動作數(shù)據(jù)與虛擬偶像角色模型的身體進行肢體動作控制關聯(lián)，將面部表情動作數(shù)據(jù)與虛擬偶像角色模型的面部進行面部表情控制關聯(lián)，令虛擬偶像角色模型按照肢體動作數(shù)據(jù)和面部表情動作數(shù)據(jù)執(zhí)行相應的肢體動作和面部表情動作，實現(xiàn)根據(jù)捕捉到的動作數(shù)據(jù)來實時驅(qū)動控制虛擬偶像角色模型執(zhí)行相應動作；

其中，對于將面部表情動作數(shù)據(jù)與虛擬偶像角色模型的面部進行面部表情控制關聯(lián)，令虛擬偶像角色模型按照面部表情動作數(shù)據(jù)執(zhí)行相應的面部表情動作，其具體采用真實表情系統(tǒng)來實現(xiàn)，這樣在進行真實面部表情動作捕捉時，無需任何標記點或油漆標志來進行面部標定，可通過跟蹤和分析面部的嘴唇、眉毛、眼睛和眼珠等肌肉運動來生成表情動畫，令虛擬偶像角色模型與真實動作者進行實時表情聯(lián)動；

s303、導入用戶所選擇的場景文件、燈光文件和/或音樂文件；

s304、開始直播時，將實現(xiàn)關聯(lián)控制的虛擬偶像角色模型、采集到的動作者的聲音數(shù)據(jù)、場景、燈光、音樂疊加至攝錄的視頻畫面中后合成得到虛擬偶像角色視頻畫面，通過游戲圖形引擎，將實時生成的虛擬偶像角色視頻畫面進行實時直播，從而達到演員按照定好的劇本和對白來進行實時演播，并且可與觀眾進行互動的效果。優(yōu)選地，所述步驟s3還包括步驟s305，當設備調(diào)試和與游戲圖像引擎進行聯(lián)調(diào)時出現(xiàn)問題，繼續(xù)執(zhí)行步驟s301和步驟s302，進行設備的調(diào)整以及與引擎進行聯(lián)調(diào)。

作為本實施例的優(yōu)選實施方式，所述場景通過虛擬場景技術(shù)實現(xiàn)，在圖形軟件中制作出3d場景，將該場景文件導入游戲圖形引擎中可實時渲染出高品質(zhì)的場景畫面。

由上述可得，本發(fā)明的方法及系統(tǒng)所具有的優(yōu)點有：

1、解決了傳統(tǒng)虛擬偶像只是純cg動畫，無法和觀眾互動的問題，有利于虛擬偶像的市場擴展和推廣；

2、解決了傳統(tǒng)虛擬偶像手調(diào)動畫動作僵硬不流暢的問題；

3、解決了傳統(tǒng)虛擬偶像畫面粗糙的問題；

4、解決了傳統(tǒng)虛擬偶像多為cg動畫而導致制作成本高、周期長等問題；

5、解決了傳統(tǒng)虛擬偶像中，無法實現(xiàn)真實物理動力學的問題；

6、解決了傳統(tǒng)虛擬偶像技術(shù)中，場景簡單單調(diào)的問題；

7、解決了傳統(tǒng)網(wǎng)絡直播平臺僅以真人直播方式來實現(xiàn)互動的方式，提高直播者和觀眾的體驗感；

8、解決了傳統(tǒng)虛擬偶像面部表情僵硬的問題；

9、解決了傳統(tǒng)虛擬偶像無法對燈光和鏡頭進行實時控制的問題；

10、能將本發(fā)明應用于vr技術(shù)中，實現(xiàn)虛擬偶像的vr直播。

以上是對本發(fā)明的較佳實施進行了具體說明，但本發(fā)明創(chuàng)造并不限于所述實施例，熟悉本領域的技術(shù)人員在不違背本發(fā)明精神的前提下還可做作出種種的等同變形或替換，這些等同的變形或替換均包含在本申請權(quán)利要求所限定的范圍內(nèi)。