本發(fā)明涉及人工智能圖像生成，特別涉及一種基于梯度噪聲抑制生成式對(duì)抗網(wǎng)絡(luò)的圖像生成方法。

背景技術(shù)：

1、生成式人工智能是下一代新型人工智能及通用人工智能的重要基礎(chǔ)技術(shù)之一。在生成式人工智能中，生成式對(duì)抗網(wǎng)絡(luò)和擴(kuò)散模型占有重要地位。生成式對(duì)抗網(wǎng)絡(luò)(gan)和擴(kuò)散模型(dm)均可以用于高質(zhì)量圖像生成技術(shù)中，但是相較于生成式對(duì)抗網(wǎng)絡(luò)，擴(kuò)散模型具有輸入訓(xùn)練樣本維度尺寸難以改變，樣本采樣效率低，擬合似然函數(shù)效果差，沒(méi)有隱空間編碼能力，數(shù)據(jù)泛化能力較弱，訓(xùn)練時(shí)間特別長(zhǎng)，需要的訓(xùn)練硬件要求高等缺點(diǎn)。因此用于快速、靈活和有質(zhì)量保證地生成圖像具有重要的現(xiàn)實(shí)意義和應(yīng)用價(jià)值。

2、生成式對(duì)抗網(wǎng)絡(luò)是一種具有廣泛應(yīng)用價(jià)值的生成式模型，可以很自然地?cái)U(kuò)展到各種更具體的下游任務(wù)，比如更具圖像真實(shí)性的超分辨圖像或視頻生成任務(wù)、這種圖像風(fēng)格遷移及視頻生成、圖像或視頻中感興趣區(qū)域的分割以及用于軍事或民用復(fù)雜環(huán)境的零樣本或小樣本學(xué)習(xí)技術(shù)等。

3、由于用于生成式對(duì)抗網(wǎng)絡(luò)訓(xùn)練的對(duì)抗學(xué)習(xí)技術(shù)，其穩(wěn)定性一直是生成式對(duì)抗網(wǎng)絡(luò)訓(xùn)練的難點(diǎn)。從目前來(lái)看，對(duì)抗學(xué)習(xí)穩(wěn)定性的多數(shù)研究工作集中于網(wǎng)絡(luò)結(jié)構(gòu)、優(yōu)化函數(shù)和博弈能力平衡性。然而梯度噪聲也是影響對(duì)抗學(xué)習(xí)穩(wěn)定性的重要因素。

4、擴(kuò)散模型(dm)是一種經(jīng)典的圖像生成技術(shù)，通常包括正向擴(kuò)散和逆向擴(kuò)散兩個(gè)階段。正向擴(kuò)散過(guò)程通過(guò)逐步添加高斯噪聲將輸入圖像退化為隨機(jī)噪聲，而逆向擴(kuò)散過(guò)程則通過(guò)逐層去除噪聲來(lái)重建原始圖像。雖然這種方法在生成高質(zhì)量圖像方面表現(xiàn)良好，但存在一些明顯的缺點(diǎn)：

5、訓(xùn)練步驟多：從輸入圖像到隨機(jī)噪聲的正向擴(kuò)散過(guò)程需要數(shù)百到上千步，逆向擴(kuò)散過(guò)程同樣需要多個(gè)步驟，導(dǎo)致訓(xùn)練效率低、耗時(shí)長(zhǎng)。

6、網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜：需要大量的網(wǎng)絡(luò)層來(lái)處理從噪聲到圖像的過(guò)程，這增加了網(wǎng)絡(luò)的復(fù)雜性和訓(xùn)練難度。

7、靈活性差：圖像的尺寸必須一致，限制了擴(kuò)散模型在處理不同尺寸圖像時(shí)的靈活性。

8、推理速度慢：由于網(wǎng)絡(luò)層數(shù)眾多，推理速度較慢，特別是在邊緣計(jì)算設(shè)備上表現(xiàn)不佳。

9、生成式對(duì)抗網(wǎng)絡(luò)(gan)是一種廣泛應(yīng)用的生成模型，通過(guò)對(duì)抗學(xué)習(xí)過(guò)程生成高質(zhì)量圖像。gan的核心在于生成器(g)和判別器(d)的對(duì)抗訓(xùn)練。雖然gan在生成圖像方面表現(xiàn)出色，但也存在一些缺點(diǎn)：

10、穩(wěn)定性問(wèn)題：對(duì)抗學(xué)習(xí)的穩(wěn)定性是訓(xùn)練gan的主要挑戰(zhàn)，常見(jiàn)問(wèn)題包括梯度消失和不穩(wěn)定的訓(xùn)練過(guò)程。

11、特征表達(dá)能力有限：dcgan等早期gan模型在生成圖像的細(xì)節(jié)和多樣性方面表現(xiàn)較差，損失函數(shù)通常基于js散度，容易導(dǎo)致梯度消失，影響生成圖像的質(zhì)量。

12、抗噪學(xué)習(xí)和聯(lián)盟博弈生成式對(duì)抗網(wǎng)絡(luò)(anl-cg?gan)技術(shù)通過(guò)引入抗噪學(xué)習(xí)和聯(lián)盟博弈模塊來(lái)提高對(duì)抗學(xué)習(xí)的穩(wěn)定性?？乖雽W(xué)習(xí)模塊對(duì)正樣本損失函數(shù)進(jìn)行處理，聯(lián)盟博弈模塊則通過(guò)增強(qiáng)生成器的博弈能力來(lái)提高對(duì)抗學(xué)習(xí)的穩(wěn)定性。

13、然而，這些方法也有缺點(diǎn)：

14、抗噪學(xué)習(xí)有限：僅對(duì)d網(wǎng)絡(luò)的正樣本損失函數(shù)進(jìn)行抗噪處理，效果有限。

15、復(fù)雜性增加：聯(lián)盟博弈模塊增加了對(duì)抗學(xué)習(xí)的復(fù)雜性，導(dǎo)致網(wǎng)絡(luò)參數(shù)量增加。

16、損失函數(shù)問(wèn)題：損失函數(shù)仍基于js散度，存在梯度消失和特征表達(dá)能力有限的問(wèn)題，影響了對(duì)抗學(xué)習(xí)的穩(wěn)定性和生成圖像的質(zhì)量。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明針對(duì)現(xiàn)有技術(shù)的缺陷，提供了一種基于梯度噪聲抑制生成式對(duì)抗網(wǎng)絡(luò)的圖像生成方法。在新型的生成式對(duì)抗網(wǎng)絡(luò)中,通過(guò)分析判別器和生成器梯度噪聲,建立對(duì)應(yīng)梯度噪聲相關(guān)的隨機(jī)微分方程，然后通過(guò)梯度噪聲分布假設(shè),分析影響對(duì)抗學(xué)習(xí)穩(wěn)定性因素,設(shè)計(jì)判別器和生成器的梯度噪聲抑制對(duì)抗學(xué)習(xí)方法,完成gns-gan的對(duì)抗訓(xùn)練，從而提高對(duì)抗學(xué)習(xí)穩(wěn)定性和生成圖像質(zhì)量，并且在對(duì)擴(kuò)散模型具有訓(xùn)練簡(jiǎn)單快捷，更高數(shù)據(jù)泛化能力等的優(yōu)勢(shì)。

2、為了實(shí)現(xiàn)以上發(fā)明目的，本發(fā)明采取的技術(shù)方案如下：

3、一種基于梯度噪聲抑制生成式對(duì)抗網(wǎng)絡(luò)的圖像生成方法，包括以下步驟：

4、s1、獲取訓(xùn)練集x，所述訓(xùn)練集x包括至少一種人物圖像或其他彩色圖像，以作為判別器訓(xùn)練的正樣本。

5、s2、利用訓(xùn)練好的生成式模型生成圖像集g(z)，g(z)用于判別器訓(xùn)練的負(fù)樣本。

6、s3、利用訓(xùn)練數(shù)據(jù)集x和生成圖像集g(z)訓(xùn)練出梯度噪聲感知器d*，該網(wǎng)絡(luò)用于感知梯度噪聲。

7、s4、進(jìn)行圖像生成中的gns-gan對(duì)抗學(xué)習(xí)，包括以下子步驟：

8、s41、設(shè)置訓(xùn)練過(guò)程中的學(xué)習(xí)率、動(dòng)量因子、批量尺寸、約束條件權(quán)重，以及預(yù)訓(xùn)練分類(lèi)器n*，該分類(lèi)器與d具有相同的網(wǎng)絡(luò)結(jié)構(gòu)；

9、s42、將訓(xùn)練數(shù)據(jù)樣本輸入到d*中，計(jì)算正樣本和負(fù)樣本的梯度，并獲取全局平均梯度；

10、s43、采樣批量訓(xùn)練圖像樣本和隨機(jī)向量樣本，用于后續(xù)梯度計(jì)算；

11、s44、利用批量正樣本圖像和生成樣本，計(jì)算梯度噪聲的統(tǒng)計(jì)量；

12、s45、根據(jù)梯度噪聲的概率密度計(jì)算批量梯度噪聲的分布；

13、s46、依據(jù)計(jì)算每個(gè)樣本的權(quán)重更新判別器網(wǎng)絡(luò)d；

14、s47、利用判別器損失函數(shù)和優(yōu)化方法更新判別器網(wǎng)絡(luò)d；

15、s48、利用生成器損失函數(shù)和優(yōu)化方法更新生成器網(wǎng)絡(luò)g；

16、s49、如生成器網(wǎng)絡(luò)g未收斂，則，則跳轉(zhuǎn)至步驟s43繼續(xù)更新，直到收斂為止；

17、s410、存儲(chǔ)訓(xùn)練好的判別器網(wǎng)絡(luò)d和生成器網(wǎng)絡(luò)g組成的gns-gan模型；

18、s5、生成圖像的過(guò)程中，采用隨機(jī)生成法生成圖像隨機(jī)向量，并使用gns-gan模型所得到的生成器生成圖像，對(duì)圖像進(jìn)行像素值尺度交換，完成最終圖像的生成。

19、進(jìn)一步地，步驟s42中，計(jì)算正樣本的全局平均梯度，公式如下：

20、

21、計(jì)算負(fù)樣本的全局平均梯度，公式如下：

22、

23、式中，為正樣本的全局平均梯度；

24、為負(fù)樣本的全局平均梯度；

25、n為訓(xùn)練數(shù)據(jù)集中正樣本的總數(shù)；

26、min(0，-1+d*(xi))為判別器對(duì)樣本xi的輸出與目標(biāo)值-1的差值；

27、d*(xi)：判別器d*對(duì)輸入樣本xi的預(yù)測(cè)值；

28、表示關(guān)于判別器參數(shù)θd的梯度；

29、min(0，-1-d*(g(zi)))表示判別器對(duì)生成圖像g(zi)的輸出與目標(biāo)值-1的差值。

30、d*(g(zi))表示判別器d*對(duì)生成圖像g(zi)的預(yù)測(cè)值；

31、表示關(guān)于判別器參數(shù)θd的梯度。

32、進(jìn)一步地，所述步驟s45中，根據(jù)梯度噪聲的概率密度計(jì)算批量梯度噪聲的分布，公式如下：

33、

34、式中，δd*，k(θd*；xi)表示表示第k次迭代中，判別器d*針對(duì)真實(shí)樣本xi計(jì)算得到的梯度噪聲；

35、δd*，k(θd*；g(zi))表示表示第k次迭代中，判別器d*針對(duì)生成樣本g(zi)計(jì)算得到的梯度噪聲；

36、μ1表示針對(duì)真實(shí)樣本xi計(jì)算的梯度噪聲的均值；

37、μ2表示針對(duì)生成樣本g(zi)計(jì)算的梯度噪聲的均值；

38、表示針對(duì)真實(shí)樣本xi計(jì)算的梯度噪聲的方差；

39、表示針對(duì)生成樣本g(zi)計(jì)算的梯度噪聲的方差；

40、f(δd*，k(θd*；xi))和f(δd*，k(θd*；g(zi)))分別表示針對(duì)真實(shí)樣本和生成樣本計(jì)算得到的梯度噪聲的概率密度函數(shù)；

41、和表示正態(tài)分布概率密度函數(shù)的標(biāo)準(zhǔn)化系數(shù)。

42、進(jìn)一步地，所述s46中依據(jù)計(jì)算每個(gè)樣本的權(quán)重更新判別器網(wǎng)絡(luò)d，具體公式如下：

43、

44、求取權(quán)重和并令γi＝βi，其中αi和βi分別表示真實(shí)樣本xi和生成樣本g(zi)在當(dāng)前批次中的權(quán)重。

45、進(jìn)一步地，其中αi是判別器正樣本真實(shí)圖像優(yōu)化函數(shù)梯度貢獻(xiàn)權(quán)重，βi是判別器負(fù)樣本生成圖像樣本優(yōu)化函數(shù)梯度貢獻(xiàn)權(quán)重，γi＝βi是lg函數(shù)梯度貢獻(xiàn)權(quán)重。

46、進(jìn)一步地，所述s47和s48中判別器損失函數(shù)ld和生成器損失函數(shù)如下式；

47、

48、所述優(yōu)化方法為rmsprop梯度下降方法。

49、進(jìn)一步地，利用和rmsprop梯度下降方法更新兩次生成器網(wǎng)絡(luò)g。

50、作為優(yōu)選，所述梯度噪聲感知器d*使用卷積神經(jīng)網(wǎng)絡(luò)判別器、視覺(jué)transformer判別器、densenet判別器中的其中一種代替殘差判別器。

51、作為優(yōu)選，所述生成器g和判別器d的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)為卷積網(wǎng)絡(luò)、殘差網(wǎng)絡(luò)、視覺(jué)transformer或densenet的其中一種，以適應(yīng)梯度噪聲的感知和自適應(yīng)抑制。

52、作為優(yōu)選，步驟s45中的梯度噪聲假設(shè)分布使用偏尾分布替代，用于計(jì)算權(quán)重。

53、與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于：

54、1.提高采樣效率：相較于ddpm圖像生成技術(shù)，本發(fā)明的gns-gan模型無(wú)需正向擴(kuò)散和逆向擴(kuò)散過(guò)程，通過(guò)隨機(jī)噪聲逐漸上采樣生成圖像，大幅度減少了計(jì)算復(fù)雜度和訓(xùn)練時(shí)間，提高了圖像生成的采樣效率。

55、2.減少模型參數(shù)量：生成器和判別器采用定制的殘差網(wǎng)絡(luò)，網(wǎng)絡(luò)層數(shù)一般在15層以內(nèi)，相較于ddpm中數(shù)百至千層的網(wǎng)絡(luò)，這減少了模型的參數(shù)量，降低了網(wǎng)絡(luò)的學(xué)習(xí)難度和訓(xùn)練復(fù)雜度。

56、3.提高生成靈活性：生成器使用的隨機(jī)噪聲向量維度(64到128維)遠(yuǎn)小于圖像的尺寸維度，這提升了圖像數(shù)據(jù)生成的靈活性，并有效減少了計(jì)算資源的消耗。

57、4.增強(qiáng)圖像多樣性：相較于dcgan，定制的恒等映射和可變尺寸映射殘差塊組合使用，網(wǎng)絡(luò)層數(shù)增加到15層左右，從而提高了網(wǎng)絡(luò)的特征表達(dá)能力和生成圖像的多樣性。

58、5.提升細(xì)節(jié)表達(dá)能力：定制的殘差塊和較深的網(wǎng)絡(luò)結(jié)構(gòu)(15層左右)結(jié)合每層網(wǎng)絡(luò)的通道數(shù)(128到512通道)，增強(qiáng)了生成圖像的細(xì)節(jié)表達(dá)能力，使得生成圖像的細(xì)節(jié)更加豐富和真實(shí)。

59、6.穩(wěn)定對(duì)抗學(xué)習(xí)：使用具有梯度噪聲抑制能力的鉸鏈損失函數(shù)，優(yōu)化反向kl散度，控制梯度噪聲的影響，解決了js散度導(dǎo)致的梯度消失問(wèn)題，提高了對(duì)抗學(xué)習(xí)的穩(wěn)定性和生成圖像質(zhì)量。

60、7.全面梯度噪聲抑制：相較于anl-cg?gan，本發(fā)明對(duì)判別器的正樣本和負(fù)樣本損失函數(shù)，以及生成器的損失函數(shù)進(jìn)行了全面的梯度噪聲抑制，結(jié)合批量均值梯度和全局梯度均值的加權(quán)約束，進(jìn)一步增強(qiáng)了對(duì)抗學(xué)習(xí)的穩(wěn)定性。

61、8.簡(jiǎn)化訓(xùn)練過(guò)程：為了簡(jiǎn)化對(duì)抗學(xué)習(xí)的復(fù)雜性，本發(fā)明不使用聯(lián)盟博弈模塊，僅包含一個(gè)生成器和一個(gè)判別器，減少了訓(xùn)練復(fù)雜度，同時(shí)保持了良好的生成性能。

62、9.提升綜合性能：通過(guò)結(jié)合梯度噪聲抑制能力的鉸鏈損失函數(shù)和定制的殘差塊，提高了對(duì)抗學(xué)習(xí)的穩(wěn)定性和生成圖像的質(zhì)量，使得生成圖像在質(zhì)量和多樣性方面表現(xiàn)優(yōu)異。