本公開涉及圖像超分辨率處理，尤其涉及圖像處理方法、裝置、計算機設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、圖像超分辨率簡稱超分辨率或超分，通常是指提高圖像的分辨率，例如將分辨率為512×512像素的圖片放大為1024×1024像素的圖片。傳統(tǒng)的超分算法通常包括最近鄰插值法、雙線性插值法、雙立方插值法等。這些方法的優(yōu)點是執(zhí)行效率較高，但缺點是效果較差、生成的圖像雖然分辨率提高但觀感較為模糊。隨著深度學習技術(shù)的發(fā)展，深度學習模型在圖像超分領(lǐng)域也有出現(xiàn)了一定的研究成果。

2、在相關(guān)技術(shù)中，效果較佳的深度學習模型往往意味著龐大的模型架構(gòu)、網(wǎng)絡(luò)數(shù)據(jù)，這樣的深度學習模型往往需要巨大的算力來作為支撐，這便使其應用范圍嚴重受限，用戶在日常生活中實際能夠使用的超分功能往往性能較差，造成超分效果較差、用戶體驗較差。

技術(shù)實現(xiàn)思路

1、為克服相關(guān)技術(shù)中存在的問題，本公開提供了一種圖像處理方法、裝置、計算機設(shè)備及存儲介質(zhì)。

2、本公開第一方面提供一種圖像處理方法，所述方法包括：

3、基于多個第一查找表lut，模擬超分辨率模型對原始圖像執(zhí)行的初始卷積操作，以得到中間圖像；

4、執(zhí)行所述超分辨率模型針對所述中間圖像的操作，以得到超分辨率圖像；

5、其中，所述初始卷積操作包括依次線性執(zhí)行的升通道卷積操作和點卷積操作，所述升通道卷積操作的卷積核尺寸大于點卷積操作的卷積核尺寸，所述點卷積操作與所述升通道卷積操作的卷積核的每個位置一一對應，所述多個第一lut包括與所述升通道卷積操作的卷積核的每個位置一一對應的一維lut，所述一維lut用于記錄像素的取值與點卷積結(jié)果的映射關(guān)系，所述點卷積結(jié)果為所述像素的取值、所述升通道卷積操作的卷積核中對應位置的權(quán)重，以及所述點卷積操作的卷積核的權(quán)重的乘積。

6、可選的，所述基于多個第一查找表lut，模擬超分辨率模型對原始圖像執(zhí)行的初始卷積操作，包括：

7、確定所述原始圖像中每一像素對應的感受野內(nèi)的感受野像素，并在所述像素的每一感受野像素對應的第一lut中確定所述感受野像素對應的點卷積結(jié)果，以及對所述感受野內(nèi)的感受野像素對應的點卷積結(jié)果求和，以得到所述像素對應的模擬卷積操作結(jié)果，其中，所述像素對應的感受野與所述升通道卷積操作的卷積核尺寸相關(guān)。

8、可選的，所述基于多個第一查找表lut，模擬超分辨率模型對原始圖像執(zhí)行的初始卷積操作，以得到中間圖像，包括：

9、基于多個第一lut，模擬超分辨率模型對原始圖像的每一像素執(zhí)行的多個初始卷積操作，以得到多個模擬卷積操作結(jié)果，其中，每個初始卷積操作所包括的升通道卷積操作的卷積核尺寸不同；

10、對所述原始圖像中每一像素的多個模擬卷積操作結(jié)果進行平均計算，以得到所述中間圖像中所述像素的取值。

11、可選的，所述對所述原始圖像中每一像素的多個模擬卷積操作結(jié)果進行平均計算，以得到所述中間圖像中所述像素的取值，包括：

12、對所述原始圖像中每一像素的多個模擬卷積操作結(jié)果及所述像素在所述原始圖像中的取值進行平均計算，以得到所述中間圖像中所述像素的取值。

13、可選的，所述執(zhí)行所述超分辨率模型針對所述中間圖像的操作，包括：

14、對所述中間圖像依次執(zhí)行第一操作、至少一個第二操作，以及第三操作；

15、其中，所述第一操作由依次部署的卷積神經(jīng)網(wǎng)絡(luò)層、空間注意力網(wǎng)絡(luò)層、對比通道注意力網(wǎng)絡(luò)層、卷積神經(jīng)網(wǎng)絡(luò)層和空間注意力網(wǎng)絡(luò)層執(zhí)行，所述第二操作由依次部署的非線性激活函數(shù)、卷積神經(jīng)網(wǎng)絡(luò)層和空間注意力網(wǎng)絡(luò)層執(zhí)行，所述第三操作包括將所述第一操作及所述至少一個第二操作的輸出進行連接后，執(zhí)行卷積操作。

16、可選的，在所述對所述中間圖像依次執(zhí)行第一操作、至少一個第二操作，以及第三操作后，所述執(zhí)行所述超分辨率模型針對所述中間圖像的操作還包括：

17、對所述中間圖像依次執(zhí)行第一操作、至少一個第二操作，以及第四操作；

18、其中，所述第四操作包括將所述第一操作及所述至少一個第二操作的輸出進行連接后，執(zhí)行輸出通道數(shù)與目標超分倍數(shù)相對應的卷積操作及上采樣操作。

19、可選的，所述執(zhí)行所述超分辨率模型針對所述中間圖像的操作，包括：

20、對所述中間圖像依次執(zhí)行第一操作、至少一個第二操作，以及第四操作；

21、其中，所述第一操作由依次部署的卷積神經(jīng)網(wǎng)絡(luò)層、空間注意力網(wǎng)絡(luò)層、對比通道注意力網(wǎng)絡(luò)層、卷積神經(jīng)網(wǎng)絡(luò)層和空間注意力網(wǎng)絡(luò)層執(zhí)行，所述第二操作由依次部署的非線性激活函數(shù)、卷積神經(jīng)網(wǎng)絡(luò)層和空間注意力網(wǎng)絡(luò)層執(zhí)行，所述第四操作包括將所述第一操作及所述至少一個第二操作的輸出進行連接后，執(zhí)行輸出通道數(shù)與目標超分倍數(shù)相對應的卷積操作及上采樣操作。

22、可選的，每個第二操作的輸出包括：

23、所述第二操作的輸入與所述輸入經(jīng)過所述非線性激活函數(shù)、卷積神經(jīng)網(wǎng)絡(luò)層和空間注意力網(wǎng)絡(luò)層后所得到的結(jié)果的淺層殘差。

24、可選的，所述執(zhí)行所述超分辨率模型針對所述中間圖像的操作，包括：

25、基于至少一個第二lut，模擬所述超分辨率模型針對所述中間圖像的部分或全部操作。

26、可選的，所述超分辨率模型還經(jīng)過以下處理：

27、將所述超分辨率模型作為pisr方法中教師模型的解碼器進行蒸餾，其中，所述pisr方法為用于超分辨率的特權(quán)信息方法，所述pisr方法中教師模型的編碼器包括下采樣算法。

28、本公開第二方面提供一種超分辨率模型架構(gòu)，所述架構(gòu)包括：

29、初始卷積層，包括依次線性部署的升通道卷積層和點卷積層，所述升通道卷積層的卷積核尺寸大于點卷積層的卷積核尺寸，所述點卷積層與所述升通道卷積層的卷積核的每個權(quán)重一一對應；

30、其中，所述初始卷積層用于生成多個第一lut，所述多個第一lut用于模擬超分辨率模型對原始圖像執(zhí)行的初始卷積操作，以得到超分辨率圖像，所述多個第一lut包括與所述升通道卷積操作的卷積核的每個位置一一對應的一維lut，所述一維lut用于記錄像素輸入與點卷積結(jié)果的映射關(guān)系，所述點卷積結(jié)果為所述像素的取值與所述升通道卷積操作的卷積核中對應位置的權(quán)重的乘積經(jīng)過所述點卷積操作所得到的結(jié)果。

31、可選的，所述架構(gòu)還包括：

32、依次部署的第一網(wǎng)絡(luò)層、至少一個第二網(wǎng)絡(luò)層，以及第三網(wǎng)絡(luò)層，所述第一網(wǎng)絡(luò)層包括依次部署的卷積神經(jīng)網(wǎng)絡(luò)層、空間注意力網(wǎng)絡(luò)層、對比通道注意力網(wǎng)絡(luò)層、卷積神經(jīng)網(wǎng)絡(luò)層和空間注意力網(wǎng)絡(luò)層，所述第二網(wǎng)絡(luò)層包括依次部署的非線性激活函數(shù)、卷積神經(jīng)網(wǎng)絡(luò)層和空間注意力網(wǎng)絡(luò)層，所述第三網(wǎng)絡(luò)層包括依次部署的連接層和卷積層，所述連接層用于將所述第一網(wǎng)絡(luò)層及所述至少一個第二網(wǎng)絡(luò)層的輸出進行連接；

33、依次部署的所述第一網(wǎng)絡(luò)層、至少一個所述第二網(wǎng)絡(luò)層，以及第四網(wǎng)絡(luò)層，所述第四網(wǎng)絡(luò)層包括依次部署的所述連接層和上采樣層，所述上采樣層用于執(zhí)行輸出通道數(shù)與目標超分倍數(shù)相對應的卷積操作及上采樣操作。

34、本公開第三方面提供一種圖像處理裝置，所述裝置包括：

35、模擬模塊，用于基于多個第一查找表lut，模擬超分辨率模型對原始圖像執(zhí)行的初始卷積操作，以得到中間圖像；

36、超分模塊，用于執(zhí)行所述超分辨率模型針對所述中間圖像的操作，以得到超分辨率圖像；

37、其中，所述初始卷積操作包括依次線性執(zhí)行的升通道卷積操作和點卷積操作，所述升通道卷積操作的卷積核尺寸大于點卷積操作的卷積核尺寸，所述點卷積操作與所述升通道卷積操作的卷積核的每個位置一一對應，所述多個第一lut包括與所述升通道卷積操作的卷積核的每個位置一一對應的一維lut，所述一維lut用于記錄像素輸入與點卷積結(jié)果的映射關(guān)系，所述點卷積結(jié)果為所述像素的取值、所述升通道卷積操作的卷積核中對應位置的權(quán)重及所述點卷積操作的卷積核的權(quán)重的乘積。

38、可選的，所述模擬模塊用于所述基于多個第一查找表lut，模擬超分辨率模型對原始圖像執(zhí)行的初始卷積操作時，具體用于：

39、確定所述原始圖像中每一像素對應的感受野內(nèi)的感受野像素，并在所述像素的每一感受野像素對應的第一lut中確定所述感受野像素對應的點卷積結(jié)果，以及對所述感受野內(nèi)的感受野像素對應的點卷積結(jié)果求和，以得到所述像素對應的模擬卷積操作結(jié)果，其中，所述像素對應的感受野與所述升通道卷積操作的卷積核尺寸相關(guān)。

40、可選的，所述模擬模塊用于所述基于多個第一查找表lut，模擬超分辨率模型對原始圖像執(zhí)行的初始卷積操作，以得到中間圖像時，具體用于：

41、基于多個第一lut，模擬超分辨率模型對原始圖像的每一像素執(zhí)行的多個初始卷積操作，以得到多個模擬卷積操作結(jié)果，其中，每個初始卷積操作所包括的升通道卷積操作的卷積核尺寸不同；

42、對所述原始圖像中每一像素的多個模擬卷積操作結(jié)果進行平均計算，以得到所述中間圖像中所述像素的取值。

43、可選的，所述模擬模塊用于所述對所述原始圖像中每一像素的多個模擬卷積操作結(jié)果進行平均計算，以得到所述中間圖像中所述像素的取值時，具體用于：

44、對所述原始圖像中每一像素的多個模擬卷積操作結(jié)果及所述像素在所述原始圖像中的取值進行平均計算，以得到所述中間圖像中所述像素的取值。

45、可選的，所述超分模塊用于所述執(zhí)行所述超分辨率模型針對所述中間圖像的操作時，具體用于：

46、對所述中間圖像依次執(zhí)行第一操作、至少一個第二操作，以及第三操作；

47、其中，所述第一操作由依次部署的卷積神經(jīng)網(wǎng)絡(luò)層、空間注意力網(wǎng)絡(luò)層、對比通道注意力網(wǎng)絡(luò)層、卷積神經(jīng)網(wǎng)絡(luò)層和空間注意力網(wǎng)絡(luò)層執(zhí)行，所述第二操作由依次部署的非線性激活函數(shù)、卷積神經(jīng)網(wǎng)絡(luò)層和空間注意力網(wǎng)絡(luò)層執(zhí)行，所述第三操作包括將所述第一操作及所述至少一個第二操作的輸出進行連接后，執(zhí)行卷積操作。

48、可選的，所述超分模塊在用于所述對所述中間圖像依次執(zhí)行第一操作、至少一個第二操作，以及第三操作后，還用于：

49、對所述中間圖像依次執(zhí)行第一操作、至少一個第二操作，以及第四操作；

50、其中，所述第四操作包括將所述第一操作及所述至少一個第二操作的輸出進行連接后，執(zhí)行輸出通道數(shù)與目標超分倍數(shù)相對應的卷積操作及上采樣操作。

51、可選的，所述超分模塊用于所述執(zhí)行所述超分辨率模型針對所述中間圖像的操作時，具體用于：

52、對所述中間圖像依次執(zhí)行第一操作、至少一個第二操作，以及第四操作；

53、其中，所述第一操作由依次部署的卷積神經(jīng)網(wǎng)絡(luò)層、空間注意力網(wǎng)絡(luò)層、對比通道注意力網(wǎng)絡(luò)層、卷積神經(jīng)網(wǎng)絡(luò)層和空間注意力網(wǎng)絡(luò)層執(zhí)行，所述第二操作由依次部署的非線性激活函數(shù)、卷積神經(jīng)網(wǎng)絡(luò)層和空間注意力網(wǎng)絡(luò)層執(zhí)行，所述第四操作包括將所述第一操作及所述至少一個第二操作的輸出進行連接后，執(zhí)行輸出通道數(shù)與目標超分倍數(shù)相對應的卷積操作及上采樣操作。

54、可選的，每個第二操作的輸出包括：

55、所述第二操作的輸入與所述輸入經(jīng)過所述非線性激活函數(shù)、卷積神經(jīng)網(wǎng)絡(luò)層和空間注意力網(wǎng)絡(luò)層后所得到的結(jié)果的淺層殘差。

56、可選的，所述超分模塊用于所述執(zhí)行所述超分辨率模型針對所述中間圖像的操作時，具體用于：

57、基于至少一個第二lut，模擬所述超分辨率模型針對所述中間圖像的部分或全部操作。

58、可選的，所述超分辨率模型還經(jīng)過以下處理：

59、將所述超分辨率模型作為pisr方法中教師模型的解碼器進行蒸餾，其中，所述pisr方法為用于超分辨率的特權(quán)信息方法，所述pisr方法中教師模型的編碼器包括下采樣算法。

60、本公開第四方面提供一種計算機程序產(chǎn)品，包括計算機程序/指令，所述計算機程序/指令被處理器執(zhí)行時實現(xiàn)第一方面所述的方法。

61、本公開第五方面提供一種計算機設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其中，所述處理器執(zhí)行所述程序時實現(xiàn)如第一方面所述的方法。

62、本公開第六方面提供一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述程序被處理器執(zhí)行時實現(xiàn)如第一方面所述的方法。

63、本公開的實施例提供的技術(shù)方案可以包括以下有益效果：

64、在上述實施方式中，深度學習模型中所包含的卷積操作的輸入和輸出可以由lut來記錄，則可以在設(shè)備不部署深度學習模型的卷積層以及其復雜權(quán)重的情況下，仍然引入深度學習模型所具有的能力。同時，由于所述升通道卷積操作的卷積核尺寸大于點卷積操作的卷積核尺寸，而且升通道卷積操作和點卷積操作是線性執(zhí)行的，因此該模型在提特征能力強的同時，其結(jié)果又能夠被拆分為多個一維lut；換言之，lut表不再需要記錄升通道卷積操作的感受野內(nèi)的全部像素的各種排列關(guān)系所對應的卷積結(jié)果，而是僅需要記錄一個像素對應的卷積結(jié)果，便可以將深度學習模型的卷積操作的訓練結(jié)果記錄下來，進而指數(shù)級縮小了lut表的大小，并使得基于第一lut的模擬卷積操作能夠取得與上述深度學習模型所具有的能力相似的效果，在不需要占用設(shè)備大量存儲空間和檢索算力的情況下，大幅提升了超分算法的準確性和超分圖像的視覺效果。

65、應當理解的是，以上的一般描述和后文的細節(jié)描述僅是示例性和解釋性的，并不能限制本公開。