本發(fā)明屬于計算機視覺和圖像分類；具體涉及一種圖像任意藝術(shù)風(fēng)格遷移的方法。

背景技術(shù)：

1、風(fēng)格遷移是計算機視覺基本任務(wù)之一，科學(xué)研究是理性嚴(yán)謹(jǐn)?shù)?，藝術(shù)創(chuàng)作是感性靈動的，圖像任意藝術(shù)風(fēng)格遷移是一項可以在科學(xué)研究和藝術(shù)創(chuàng)作之間達到完美平衡的研究。該研究旨在拆解風(fēng)格圖像中的顏色與紋理特征，并將特征遷移到給定的內(nèi)容圖像上實現(xiàn)圖像風(fēng)格的轉(zhuǎn)換，在實現(xiàn)風(fēng)格遷移的約束下，盡可能的保留內(nèi)容圖像的特征。近年來，gatys等人首次利用預(yù)訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)來分離并重新組合圖像的內(nèi)容和風(fēng)格特征，開創(chuàng)性的使用gram矩陣來量化風(fēng)格特征的相關(guān)性，以此捕捉并傳遞目標(biāo)風(fēng)格圖像的色彩和紋理布局。然而，gatys等人的方法依賴于迭代的梯度下降過程來優(yōu)化圖像，生成圖像速度極其緩慢。

2、為了拓展風(fēng)格遷移的使用場景，一些研究者使用基于前饋網(wǎng)絡(luò)的方法來高效的完成這個任務(wù)，然而，這些方法只能實現(xiàn)特定一種風(fēng)格的遷移。另一部分研究者在努力擴展該研究的適用范圍，圖像任意藝術(shù)風(fēng)格遷移。

技術(shù)實現(xiàn)思路

1、1.一種親和力增強注意力網(wǎng)絡(luò)的圖像任意藝術(shù)風(fēng)格遷移方法，其特征在于設(shè)計了一個全新的網(wǎng)絡(luò)結(jié)構(gòu)，具體包括以下步驟：

2、步驟1：獲取公認(rèn)的公開圖像數(shù)據(jù)集，對數(shù)據(jù)集進行預(yù)處理，包括旋轉(zhuǎn)、裁切、正則化操作，數(shù)據(jù)集為內(nèi)容圖像數(shù)據(jù)集和風(fēng)格圖像數(shù)據(jù)集；

3、步驟2：將預(yù)處理的內(nèi)容圖像ic和風(fēng)格圖像is傳入經(jīng)過預(yù)訓(xùn)練的vgg-19編碼器e中，具體計算公式如下：

4、fc＝e(ic),fs＝e(is)；

5、步驟3：構(gòu)建親和力增強注意力網(wǎng)絡(luò)，包括五個模塊，內(nèi)容親和增強注意力模塊、風(fēng)格親和增強注意力模塊、內(nèi)容圖像細(xì)節(jié)增強模塊、風(fēng)格圖像細(xì)節(jié)增強模塊和混合注意力模塊；

6、步驟3.1：內(nèi)容親和增強注意力模塊對fc計算注意力分?jǐn)?shù)得到faffc，具體公式如下：

7、fcq＝conv(fc),fck＝conv(fc),fcv＝conv(fc),

8、

9、其中conv指1×1可學(xué)習(xí)卷積，softmax是激活函數(shù)，faffc是新提出的注意力計算方式得出內(nèi)容圖像的特征圖；

10、步驟3.2：風(fēng)格親和增強注意力模塊對fs計算注意力分?jǐn)?shù)得到faffs；

11、fsq＝conv(fs),fsk＝conv(fs),fsv＝conv(fs),

12、

13、其中conv指1×1可學(xué)習(xí)卷積，softmax是激活函數(shù)，faffs是新提出的注意力計算方式得出風(fēng)格圖像的特征圖；

14、步驟3.3：內(nèi)容圖像細(xì)節(jié)增強模塊首先用注意力特征圖張量減去faffc的平方，通過relu激活函數(shù)傳遞結(jié)果后取這個矩陣的平方根；產(chǎn)生一個新的矩陣權(quán)重矩陣，將fcv標(biāo)準(zhǔn)化后乘以細(xì)節(jié)增強權(quán)重矩陣，最后將其加到原始的faffc矩陣中得到fcc，具體計算公式如下：

15、

16、其中relu是激活函數(shù)，norm表示均值方差標(biāo)準(zhǔn)化，faffc是新提出的注意力計算方式得出內(nèi)容圖像的特征圖；

17、步驟3.4：風(fēng)格圖像細(xì)節(jié)增強模塊首先用注意力特征圖張量減去faffs的平方，通過relu激活函數(shù)傳遞結(jié)果后取這個矩陣的平方根；產(chǎn)生一個新的矩陣權(quán)重矩陣，將fsv標(biāo)準(zhǔn)化后乘以細(xì)節(jié)增強權(quán)重矩陣，最后將其加到原始的faffs矩陣中得到fss，具體計算公式如下：

18、

19、其中relu是激活函數(shù)，norm表示均值方差標(biāo)準(zhǔn)化，faffs是新提出的注意力計算方式得出風(fēng)格圖像的特征圖；

20、步驟3.5：混合注意力模塊根據(jù)內(nèi)容特征fcc分布來調(diào)整風(fēng)格特征fss得到特征圖fcs，最終計算得出fcs特征圖，具體公式如下：

21、

22、步驟4：構(gòu)建解碼器，解碼器與編碼器是對稱設(shè)計的，對fcs特征圖進行圖像重建；

23、步驟5：使用經(jīng)過預(yù)訓(xùn)練的vgg-19提取生成圖像的特征，計算損失函數(shù)，具體公式如下：

24、

25、其中是內(nèi)容損失，是風(fēng)格損失，是身份損失，是局部不相似內(nèi)容損失，是局部不相似風(fēng)格損失，分別計算如下：

26、步驟5.1：內(nèi)容損失計算如下：

27、

28、其中φi從預(yù)訓(xùn)練的vgg-19網(wǎng)絡(luò)的第i層中提取的特征；

29、步驟5.2：風(fēng)格損失具體計算如下：

30、

31、其中，μ(·)表示特征的平均值，φi表示從預(yù)先訓(xùn)練好的vgg-19網(wǎng)絡(luò)的第i層中提取的特征，σ(·)表示特征的方差；

32、步驟5.3：身份損失具體計算如下：

33、

34、其中，icc和iss分別表示當(dāng)輸入為相同的內(nèi)容和樣式圖像時生成的復(fù)合結(jié)果；φ是指從vgg網(wǎng)絡(luò)的relui_1(i∈[1-5])層中提取的特征，而λid1和λid2是超參數(shù)；

35、步驟5.4：局部不相似內(nèi)容損失通過計算原始特征和隨機排列后的特征之間的內(nèi)容損失，比較兩個特征張量的高階特征圖，計算出局部不相似內(nèi)容損失，具體計算如下：

36、

37、其中，ics1和ics2表示相同內(nèi)容圖像但不同風(fēng)格圖像生成的圖像；

38、步驟5.5：局部不相似風(fēng)格損失計算原始風(fēng)格特征和排列的風(fēng)格特征之間的風(fēng)格損失包括比較多層特征圖，得到局部不相似風(fēng)格損失，具體計算方式如下：

39、

40、其中，isc1和isc2表示相同風(fēng)格圖像但不同內(nèi)容圖像生成的圖像；

41、步驟6：訓(xùn)練模型，通過adam優(yōu)化器迭代更新生成風(fēng)格遷移模型權(quán)重文件；

42、步驟7：將任意分辨率的內(nèi)容圖像和風(fēng)格圖像輸入到模型權(quán)重中，輸出得到高質(zhì)量的圖像藝術(shù)風(fēng)格遷移的照片。

43、本發(fā)明提出了一種親和力增強注意力網(wǎng)絡(luò)的圖像任意藝術(shù)風(fēng)格遷移方法，提供的技術(shù)方案帶來的有益效果至少包括:

44、本發(fā)明實施例中,構(gòu)建用于圖像任意藝術(shù)風(fēng)格遷移的神經(jīng)網(wǎng)絡(luò)模型；內(nèi)容親和增強注意力模塊、風(fēng)格親和增強注意力模塊、內(nèi)容圖像細(xì)節(jié)增強模塊、風(fēng)格圖像細(xì)節(jié)增強模塊和混合注意力模塊。內(nèi)容親和增強注意力模塊和風(fēng)格親和增強注意力模塊分別提取內(nèi)容圖像和風(fēng)格圖像的紋理、顏色、結(jié)構(gòu)信息，將深層和淺層特征傳入內(nèi)容圖像細(xì)節(jié)增強模塊和風(fēng)格圖像細(xì)節(jié)增強模塊增強內(nèi)容表示，再對內(nèi)容特征和風(fēng)格特征進行自適應(yīng)歸一化處理，使其局部特征統(tǒng)計量與細(xì)節(jié)增強之后的特征統(tǒng)計量相同。注意力模塊綜合了風(fēng)格圖像和內(nèi)容圖像的淺層和深層卷積神經(jīng)網(wǎng)絡(luò)特征，同時達成了內(nèi)容特征與樣式特征的逐點特征統(tǒng)計匹配。混合注意力模塊根據(jù)內(nèi)容特征分布來調(diào)整風(fēng)格特征，以此來更好地捕捉到內(nèi)容和風(fēng)格特征之間的映射關(guān)系。

45、總之，本發(fā)明主要優(yōu)點：

46、1.提出了內(nèi)容親和增強注意力模塊、風(fēng)格親和增強注意力模塊、內(nèi)容圖像細(xì)節(jié)增強模塊、風(fēng)格圖像細(xì)節(jié)增強模塊、混合注意力模塊，其中內(nèi)容親和增強注意力模塊和風(fēng)格親和增強注意力模塊捕獲風(fēng)格圖像和內(nèi)容圖像局部特征信息。

47、2.內(nèi)容圖像細(xì)節(jié)增強模塊和風(fēng)格圖像細(xì)節(jié)增強模塊增強了內(nèi)容和風(fēng)格圖像中的細(xì)節(jié)表示，顯著的提升了圖像風(fēng)格化的效果。

48、3.提出了基于親和力增強注意力的局部不相似損失函數(shù)，通過在樣式遷移過程中保留內(nèi)容圖像的信息來獲得更好的內(nèi)容親和性。