本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，具體地涉及一種圖像恢復(fù)的方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、為減少惡劣天氣對(duì)圖像采集的影響，可以對(duì)在惡劣天氣下采集的圖像(可以稱為惡劣天氣圖像)進(jìn)行恢復(fù)。

2、目前，一般采用transformer的方法對(duì)惡劣天氣圖像進(jìn)行恢復(fù)。例如，transweather是一種基于transformer的圖像恢復(fù)庫。transweather引入了一種能夠解釋多種天氣退化的天氣類型解碼器。但是，transweather在進(jìn)行惡劣天氣圖像恢復(fù)時(shí)，采用固定查詢方式，每種惡劣天氣對(duì)應(yīng)固定的恢復(fù)方法，導(dǎo)致惡劣天氣圖像恢復(fù)的準(zhǔn)確性較低。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例的目的是旨在提供一種圖像恢復(fù)的方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，使得在惡劣天氣下采集的圖像的恢復(fù)準(zhǔn)確度得以提升。

2、第一方面，本技術(shù)實(shí)施例提供了一種圖像恢復(fù)的方法，該方法包括：

3、獲取訓(xùn)練圖像集，訓(xùn)練圖像集包括與多種惡劣天氣對(duì)應(yīng)的多個(gè)訓(xùn)練樣本，每個(gè)訓(xùn)練樣本包括在惡劣天氣采集的訓(xùn)練圖像，以及訓(xùn)練圖像對(duì)應(yīng)的干凈參考圖像；

4、利用訓(xùn)練圖像集訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，直至滿足訓(xùn)練停止條件，得到圖像恢復(fù)模型，圖像恢復(fù)模型用于對(duì)在惡劣天氣采集的圖像進(jìn)行恢復(fù)；

5、其中，在利用神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練圖像集中的第i個(gè)訓(xùn)練樣本訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型時(shí)，包括以下步驟：

6、根據(jù)天氣退化特征提示池和第i個(gè)訓(xùn)練樣本的第i個(gè)訓(xùn)練圖像的退化殘差，確定第i個(gè)訓(xùn)練圖像對(duì)應(yīng)的天氣提示；天氣退化特征提示池包括用于表征多個(gè)惡劣天氣的多個(gè)天氣退化特征的子提示；退化殘差為第i個(gè)訓(xùn)練圖像減去第i個(gè)訓(xùn)練圖像對(duì)應(yīng)的干凈參考圖像的殘差；

7、根據(jù)第i個(gè)訓(xùn)練圖像的場(chǎng)景特征，確定第i個(gè)訓(xùn)練圖像的場(chǎng)景提示；

8、根據(jù)天氣提示和場(chǎng)景提示，確定第i個(gè)訓(xùn)練圖像的對(duì)比提示損失值；對(duì)比提示損失值用于表征天氣提示與場(chǎng)景提示的區(qū)分度；

9、根據(jù)對(duì)比提示損失值和訓(xùn)練圖像的噪聲損失值，確定神經(jīng)網(wǎng)絡(luò)模型的與第i個(gè)訓(xùn)練圖像對(duì)應(yīng)的總損失值；

10、若總損失值不滿足訓(xùn)練停止條件，調(diào)整神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)，并利用訓(xùn)練圖像集中的第i+1個(gè)訓(xùn)練圖像訓(xùn)練調(diào)整后的神經(jīng)網(wǎng)絡(luò)模型，直至神經(jīng)網(wǎng)絡(luò)模型的總損失值滿足訓(xùn)練停止條件，得到圖像恢復(fù)模型，i為正整數(shù)。

11、在一些實(shí)施方式中，根據(jù)對(duì)比提示損失值和訓(xùn)練圖像的噪聲損失值，確定神經(jīng)網(wǎng)絡(luò)模型的與第i個(gè)訓(xùn)練圖像對(duì)應(yīng)的總損失值，包括：

12、根據(jù)退化殘差和第i個(gè)訓(xùn)練圖像確定第i個(gè)訓(xùn)練圖像對(duì)應(yīng)的模型恢復(fù)圖像；

13、確定模型恢復(fù)圖像與第i個(gè)訓(xùn)練圖像對(duì)應(yīng)的干凈參考圖像的峰值信噪比；

14、根據(jù)對(duì)比提示損失值、訓(xùn)練圖像的噪聲損失值以及峰值信噪比確定神經(jīng)網(wǎng)絡(luò)模型的與第i個(gè)訓(xùn)練圖像對(duì)應(yīng)的總損失值。

15、在一些實(shí)施方式中，總損失值滿足公式(1)：

16、

17、其中，ltotal表示總損失值，λ1、λ2、λ3分別表示權(quán)重，lres表示噪聲損失值，lcp表示對(duì)比提示損失值，表示在恢復(fù)過程中的退化殘差，y表示第i個(gè)訓(xùn)練圖像，x表示第i個(gè)訓(xùn)練圖像對(duì)應(yīng)的干凈參考圖像，表示模型恢復(fù)圖像，表示峰值信噪比。

18、在一些實(shí)施方式中，根據(jù)天氣退化特征提示池和第i個(gè)訓(xùn)練樣本的第i個(gè)訓(xùn)練圖像的退化殘差，確定第i個(gè)訓(xùn)練圖像對(duì)應(yīng)的天氣提示，包括：

19、將第i個(gè)訓(xùn)練樣本的第i個(gè)訓(xùn)練圖像的退化殘差轉(zhuǎn)化為第i個(gè)訓(xùn)練圖像的嵌入特征；

20、對(duì)于天氣退化特征提示池中的各個(gè)子提示，確定子提示與第i個(gè)訓(xùn)練圖像的嵌入特征的相似度；

21、基于相似度由高到低的順序，篩選m個(gè)子提示，m為正整數(shù)；

22、將m個(gè)子提示進(jìn)行拼接，得到第i個(gè)訓(xùn)練圖像對(duì)應(yīng)的天氣提示。

23、在一些實(shí)施方式中，場(chǎng)景提示滿足公式(2)：

24、

25、其中，pgd表示在場(chǎng)景特征為深度特征的情況下，由深度特征約束形成的場(chǎng)景提示，qg表示初始場(chǎng)景提示的查詢函數(shù)，表示轉(zhuǎn)置后的深度特征的鍵，vd表示深度特征的值，d表示初始場(chǎng)景提示的特征維度。

26、在一些實(shí)施方式中，根據(jù)天氣提示和場(chǎng)景提示，確定第i個(gè)訓(xùn)練圖像的對(duì)比提示損失值，包括：

27、在場(chǎng)景特征為深度特征的情況下，獲取深度特征均值；

28、確定目標(biāo)鍵與深度特征均值的第一相似度，目標(biāo)鍵為由深度特征約束形成的場(chǎng)景提示的鍵；

29、分別獲取天氣提示的每個(gè)子提示的鍵與目標(biāo)鍵的第二相似度；

30、根據(jù)第一相似度，每個(gè)子提示的鍵與目標(biāo)鍵的第二相似度，確定第i個(gè)訓(xùn)練圖像的對(duì)比提示損失值。

31、在一些實(shí)施方式中，對(duì)比提示損失值滿足公式(3)：

32、

33、其中，lcp表示對(duì)比提示損失值，b表示批量參數(shù)，m表示預(yù)設(shè)數(shù)量，kgd表示由深度特征約束形成的場(chǎng)景提示的鍵，表示深度特征均值，表示第i個(gè)子提示的鍵。

34、第二方面，本技術(shù)實(shí)施例提供了一種圖像恢復(fù)的裝置，該裝置包括：

35、獲取模塊，用于獲取訓(xùn)練圖像集，訓(xùn)練圖像集包括與多種惡劣天氣對(duì)應(yīng)的多個(gè)訓(xùn)練樣本，每個(gè)訓(xùn)練樣本包括在惡劣天氣采集的訓(xùn)練圖像，以及訓(xùn)練圖像對(duì)應(yīng)的干凈參考圖像；

36、訓(xùn)練模塊，用于利用訓(xùn)練圖像集訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，直至滿足訓(xùn)練停止條件，得到圖像恢復(fù)模型，圖像恢復(fù)模型用于對(duì)在惡劣天氣采集的圖像進(jìn)行恢復(fù)；

37、其中，在利用神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練圖像集中的第i個(gè)訓(xùn)練樣本訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型時(shí)，包括以下步驟：

38、根據(jù)天氣退化特征提示池和第i個(gè)訓(xùn)練樣本的第i個(gè)訓(xùn)練圖像的退化殘差，確定第i個(gè)訓(xùn)練圖像對(duì)應(yīng)的天氣提示；天氣退化特征提示池包括用于表征多個(gè)惡劣天氣的多個(gè)天氣退化特征的子提示；退化殘差為第i個(gè)訓(xùn)練圖像減去第i個(gè)訓(xùn)練圖像對(duì)應(yīng)的干凈參考圖像的殘差；

39、根據(jù)第i個(gè)訓(xùn)練圖像的場(chǎng)景特征，確定第i個(gè)訓(xùn)練圖像的場(chǎng)景提示；

40、根據(jù)天氣提示和所述場(chǎng)景提示，確定第i個(gè)訓(xùn)練圖像的對(duì)比提示損失值；對(duì)比提示損失值用于表征天氣提示與場(chǎng)景提示的區(qū)分度；

41、根據(jù)對(duì)比提示損失值和訓(xùn)練圖像的噪聲損失值，確定神經(jīng)網(wǎng)絡(luò)模型的與第i個(gè)訓(xùn)練圖像對(duì)應(yīng)的總損失值；

42、若總損失值不滿足訓(xùn)練停止條件，調(diào)整神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)，并利用訓(xùn)練圖像集中的第i+1個(gè)訓(xùn)練圖像訓(xùn)練調(diào)整后的神經(jīng)網(wǎng)絡(luò)模型，直至神經(jīng)網(wǎng)絡(luò)模型的總損失值滿足訓(xùn)練停止條件，得到圖像恢復(fù)模型，i為正整數(shù)。

43、第三方面，本技術(shù)實(shí)施例提供了一種電子設(shè)備，包括：

44、存儲(chǔ)器，被配置成存儲(chǔ)指令；以及

45、處理器，被配置成從存儲(chǔ)器調(diào)用指令以及在執(zhí)行指令時(shí)能夠?qū)崿F(xiàn)本技術(shù)實(shí)施例第一方面提供的圖像恢復(fù)的方法。

46、第四方面，本技術(shù)實(shí)施例提供了一種機(jī)器可讀存儲(chǔ)介質(zhì)，機(jī)器可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有指令，指令用于使得機(jī)器執(zhí)行根據(jù)上述的圖像恢復(fù)的方法。

47、在本技術(shù)實(shí)施例中，獲取訓(xùn)練圖像集，訓(xùn)練圖像集包括與多種惡劣天氣對(duì)應(yīng)的多個(gè)訓(xùn)練樣本，每個(gè)訓(xùn)練樣本包括在惡劣天氣采集的訓(xùn)練圖像，以及訓(xùn)練圖像對(duì)應(yīng)的干凈參考圖像。根據(jù)天氣退化特征提示池和第i個(gè)訓(xùn)練樣本的第i個(gè)訓(xùn)練圖像的退化殘差，確定第i個(gè)訓(xùn)練圖像對(duì)應(yīng)的天氣提示。再根據(jù)第i個(gè)訓(xùn)練圖像的場(chǎng)景特征，確定第i個(gè)訓(xùn)練圖像的場(chǎng)景提示。得到天氣提示和場(chǎng)景提示后，可以根據(jù)天氣提示和場(chǎng)景提示，確定第i個(gè)訓(xùn)練圖像的對(duì)比提示損失值，對(duì)比提示損失值用于表征天氣提示與場(chǎng)景提示的區(qū)分度。再根據(jù)對(duì)比提示損失值和訓(xùn)練圖像的噪聲損失值，確定神經(jīng)網(wǎng)絡(luò)模型的與第i個(gè)訓(xùn)練圖像對(duì)應(yīng)的總損失值。若總損失值不滿足訓(xùn)練停止條件，調(diào)整神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)，并利用訓(xùn)練圖像集中的第i+1個(gè)訓(xùn)練圖像訓(xùn)練調(diào)整后的神經(jīng)網(wǎng)絡(luò)模型，直至神經(jīng)網(wǎng)絡(luò)模型的總損失值滿足訓(xùn)練停止條件，得到圖像恢復(fù)模型，圖像恢復(fù)模型用于對(duì)在惡劣天氣采集的圖像進(jìn)行恢復(fù)。

48、如此，通過根據(jù)多種惡劣天氣對(duì)應(yīng)的訓(xùn)練樣本進(jìn)行訓(xùn)練得到圖像恢復(fù)模型，并在模型訓(xùn)練時(shí)訓(xùn)練圖像的退化殘差，進(jìn)行表征天氣退化特征的子提示的組合，得到天氣提示。再結(jié)合場(chǎng)景提示，確定訓(xùn)練圖像的對(duì)比提示損失值以及總損失值。最后，根據(jù)總損失值調(diào)整神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)，進(jìn)而得到圖像恢復(fù)模型，使得圖像恢復(fù)模型可以靈活應(yīng)對(duì)多種復(fù)雜和不可預(yù)測(cè)的天氣退化組合，提升了圖像恢復(fù)的準(zhǔn)確性。