本發(fā)明涉及人工智能及金融科技領(lǐng)域，具體涉及一種人臉表情編輯方法、裝置、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、目前，人臉編輯技術(shù)作為圖像處理領(lǐng)域的一個(gè)重要分支，它涉及到對(duì)人臉圖像進(jìn)行去噪、增強(qiáng)、變形和合成等操作，以實(shí)現(xiàn)對(duì)人臉外觀和表情的修改。隨著數(shù)字圖像處理技術(shù)的發(fā)展，人臉編輯技術(shù)在人臉美化、人臉識(shí)別、人臉動(dòng)畫(huà)等多個(gè)金融科技相關(guān)的領(lǐng)域展現(xiàn)出廣泛的應(yīng)用前景，可以支持相應(yīng)的社交、購(gòu)物、互動(dòng)游戲、資源轉(zhuǎn)移等功能。然而，由于人臉圖像具有高維度、高非線性和高敏感性的特點(diǎn)，如何保證編輯后的圖像既能保持原始圖像的身份信息，又能實(shí)現(xiàn)預(yù)期的編輯效果，一直是該領(lǐng)域研究的重點(diǎn)和難點(diǎn)。

2、面部表情是人類情感交流的重要方式，它能夠傳達(dá)復(fù)雜的情感和情緒。在人類的日常交流中，面部表情如同一扇窗戶，使我們能夠洞察到對(duì)方的內(nèi)心世界。隨著深度學(xué)習(xí)技術(shù)的興起，面部表情識(shí)別和編輯成為了計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)。面部表情編輯技術(shù)旨在將給定的面部圖像中的表情轉(zhuǎn)換為目標(biāo)表情，同時(shí)保留面部的身份特征。這一技術(shù)在攝影、電影制作、娛樂(lè)產(chǎn)業(yè)等領(lǐng)域具有巨大的應(yīng)用潛力。隨著研究的深入，面部表情編輯技術(shù)越來(lái)越受到學(xué)術(shù)界和工業(yè)界的關(guān)注。

3、當(dāng)前，盡管基于生成對(duì)抗網(wǎng)絡(luò)(gan)的一些方法在面部表情編輯任務(wù)上取得了顯著的進(jìn)展，但現(xiàn)有技術(shù)仍然面臨一些挑戰(zhàn)。特別是當(dāng)輸入的面部表情與目標(biāo)表情存在較大差異時(shí)，生成的圖像可能會(huì)出現(xiàn)重疊偽影，尤其是在眼睛、嘴巴和鼻子等面部肌肉變化較為密集的區(qū)域。此外，現(xiàn)有基于gan的面部表情編輯方法通常采用一步轉(zhuǎn)換的方式，加之網(wǎng)絡(luò)容量的限制，使得在進(jìn)行大跨度表情編輯時(shí)難以避免圖像失真的問(wèn)題。

4、綜上所述，如何提供一種人臉表情編輯方法、裝置、計(jì)算機(jī)設(shè)備以及非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，能夠在保持人臉身份特征的同時(shí)，還可實(shí)現(xiàn)高準(zhǔn)確度和自然度的人臉表情編輯和轉(zhuǎn)換，是目前本領(lǐng)域技術(shù)人員亟待解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述現(xiàn)有技術(shù)的不足之處，本發(fā)明的目的在于提供一種人臉表情編輯方法、裝置、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，旨在解決如何能夠在保持人臉身份特征的同時(shí)，還可實(shí)現(xiàn)高準(zhǔn)確度和自然度的人臉表情編輯和轉(zhuǎn)換的問(wèn)題。

2、為了達(dá)到上述目的，本發(fā)明采取了以下技術(shù)方案：

3、第一方面，本發(fā)明提供了一種人臉表情編輯方法，其中，包括：

4、收集包含多種表情的人臉圖像數(shù)據(jù)集；

5、基于光流提取網(wǎng)絡(luò)，分別對(duì)獲取的原始表情與目標(biāo)表情進(jìn)行光流提取，得到對(duì)應(yīng)的第一光流信息和第二光流信息；

6、使用所述原始表情結(jié)合所述第一光流信息、及所述原始表情結(jié)合所述第一光流信息和所述第二光流信息作為輸入，通過(guò)生成器分別預(yù)測(cè)所述原始表情與所述目標(biāo)表情對(duì)應(yīng)的中性表情圖像與目標(biāo)表情圖像；

7、將所述中性表情圖像和所述目標(biāo)表情圖像分別與所述人臉圖像數(shù)據(jù)集中的中性表情真值圖像和目標(biāo)表情真值圖像進(jìn)行比較，并計(jì)算得到對(duì)應(yīng)的第一損失函數(shù)值和第二損失函數(shù)值；

8、基于所述第一損失函數(shù)值與所述第二損失函數(shù)值，對(duì)所述生成器進(jìn)行訓(xùn)練，生成人臉表情編輯模型；

9、基于所述人臉表情編輯模型，實(shí)現(xiàn)對(duì)于原始人臉圖像的表情編輯。

10、第二方面，本發(fā)明提供了一種人臉表情編輯裝置，其中，包括：

11、收集模塊，用于收集包含多種表情的人臉圖像數(shù)據(jù)集；

12、提取模塊，用于基于光流提取網(wǎng)絡(luò)，分別對(duì)獲取的原始表情與目標(biāo)表情進(jìn)行光流提取，得到對(duì)應(yīng)的第一光流信息和第二光流信息；

13、預(yù)測(cè)模塊，用于使用所述原始表情結(jié)合所述第一光流信息、及所述原始表情結(jié)合所述第一光流信息和所述第二光流信息作為輸入，通過(guò)生成器分別預(yù)測(cè)所述原始表情與所述目標(biāo)表情對(duì)應(yīng)的中性表情圖像與目標(biāo)表情圖像；

14、比較模塊，用于將所述中性表情圖像和所述目標(biāo)表情圖像分別與所述人臉圖像數(shù)據(jù)集中的中性表情真值圖像和目標(biāo)表情真值圖像進(jìn)行比較，并計(jì)算得到對(duì)應(yīng)的第一損失函數(shù)值和第二損失函數(shù)值；

15、訓(xùn)練模塊，用于基于所述第一損失函數(shù)值與所述第二損失函數(shù)值，對(duì)所述生成器進(jìn)行訓(xùn)練，生成人臉表情編輯模型；

16、編輯模塊，用于基于所述人臉表情編輯模型，實(shí)現(xiàn)對(duì)于原始人臉圖像的表情編輯。

17、第三方面，本發(fā)明提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其中，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上所述的人臉表情編輯方法。

18、第四方面，本發(fā)明提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，其中，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的人臉表情編輯方法。

19、相較于現(xiàn)有技術(shù)，本發(fā)明提供了一種人臉表情編輯方法、裝置、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，通過(guò)收集包含多種表情的人臉圖像數(shù)據(jù)集；基于光流提取網(wǎng)絡(luò)，分別對(duì)獲取的原始表情與目標(biāo)表情進(jìn)行光流提取，得到對(duì)應(yīng)的第一光流信息和第二光流信息；使用所述原始表情結(jié)合所述第一光流信息、及所述原始表情結(jié)合所述第一光流信息和所述第二光流信息作為輸入，通過(guò)生成器分別預(yù)測(cè)所述原始表情與所述目標(biāo)表情對(duì)應(yīng)的中性表情圖像與目標(biāo)表情圖像；將所述中性表情圖像和所述目標(biāo)表情圖像分別與所述人臉圖像數(shù)據(jù)集中的中性表情真值圖像和目標(biāo)表情真值圖像進(jìn)行比較，并計(jì)算得到對(duì)應(yīng)的第一損失函數(shù)值和第二損失函數(shù)值；基于所述第一損失函數(shù)值與所述第二損失函數(shù)值，對(duì)所述生成器進(jìn)行訓(xùn)練，生成人臉表情編輯模型；基于所述人臉表情編輯模型，實(shí)現(xiàn)對(duì)于原始人臉圖像的表情編輯。這樣，本發(fā)明通過(guò)生成的人臉表情編輯模型對(duì)于原始人臉圖像的表情編輯，能夠在保持人臉身份特征的同時(shí)，還可實(shí)現(xiàn)高準(zhǔn)確度和自然度的人臉表情編輯和轉(zhuǎn)換。

技術(shù)特征：

1.一種人臉表情編輯方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的人臉表情編輯方法，其特征在于，所述收集包含多種表情的人臉圖像數(shù)據(jù)集，包括：

3.根據(jù)權(quán)利要求1所述的人臉表情編輯方法，其特征在于，所述基于光流提取網(wǎng)絡(luò)，分別對(duì)獲取的原始表情與目標(biāo)表情進(jìn)行光流提取，得到對(duì)應(yīng)的第一光流信息和第二光流信息，包括：

4.根據(jù)權(quán)利要求1所述的人臉表情編輯方法，其特征在于，所述使用所述原始表情結(jié)合所述第一光流信息、及所述原始表情結(jié)合所述第一光流信息和所述第二光流信息作為輸入，通過(guò)生成器分別預(yù)測(cè)所述原始表情與所述目標(biāo)表情對(duì)應(yīng)的中性表情圖像與目標(biāo)表情圖像，包括：

5.根據(jù)權(quán)利要求1所述的人臉表情編輯方法，其特征在于，所述將所述中性表情圖像和所述目標(biāo)表情圖像分別與所述人臉圖像數(shù)據(jù)集中的中性表情真值圖像和目標(biāo)表情真值圖像進(jìn)行比較，并計(jì)算得到對(duì)應(yīng)的第一損失函數(shù)值和第二損失函數(shù)值，包括：

6.根據(jù)權(quán)利要求1所述的人臉表情編輯方法，其特征在于，所述基于所述第一損失函數(shù)值與所述第二損失函數(shù)值，對(duì)所述生成器進(jìn)行訓(xùn)練，生成人臉表情編輯模型，包括：

7.根據(jù)權(quán)利要求1所述的人臉表情編輯方法，其特征在于，所述基于所述人臉表情編輯模型，實(shí)現(xiàn)對(duì)于原始人臉圖像的表情編輯，包括：

8.一種人臉表情編輯裝置，其特征在于，包括：

9.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-7任一項(xiàng)所述的人臉表情編輯方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7任一項(xiàng)所述的人臉表情編輯方法。

技術(shù)總結(jié)
本發(fā)明公開(kāi)了人臉表情編輯方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，涉及人工智能技術(shù)領(lǐng)域及金融科技領(lǐng)域，通過(guò)收集包含多種表情的人臉圖像數(shù)據(jù)集；對(duì)原始表情與目標(biāo)表情進(jìn)行光流提取，得到第一光流信息和第二光流信息；使用原始表情結(jié)合第一光流信息、及原始表情結(jié)合第一光流信息和第二光流信息作為輸入，通過(guò)生成器預(yù)測(cè)中性表情圖像與目標(biāo)表情圖像；將中性表情圖像和目標(biāo)表情圖像與中性表情真值圖像和目標(biāo)表情真值圖像比較，得到第一損失函數(shù)值和第二損失函數(shù)值；對(duì)生成器進(jìn)行訓(xùn)練，生成人臉表情編輯模型；基于人臉表情編輯模型，實(shí)現(xiàn)對(duì)原始人臉圖像的表情編輯。本發(fā)明能在保持人臉身份特征的同時(shí)，還可實(shí)現(xiàn)高準(zhǔn)確度和自然度的人臉表情編輯和轉(zhuǎn)換。

技術(shù)研發(fā)人員：鄭喜民,宋亞琦,舒暢,陳又新
受保護(hù)的技術(shù)使用者：平安科技（深圳）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9