本公開涉及紅外圖像處理，特別涉及紅外圖像超分辨率重建方法和重建模型的構建方法。

背景技術：

1、受成像機制和探測器尺寸等因素的限制，常用紅外設備的分辨率難以滿足探測的需求，同時高昂的成本限制了紅外設備的推廣及使用。為此，相關技術中提出一種紅外圖像超分辨率重建方法，具體地，基于低分辨率紅外圖像本身進行上采樣(例如，插值處理、反卷積處理等)處理，以重構得到高分辨率紅外圖像；然而在實際應用中發(fā)現(xiàn)，重構出的高分辨率紅外圖像成像精度受限于低分辨率紅外圖像本身的弱紋理特性，重構過程細節(jié)信息損失嚴重，與高精度紅外設備所拍攝出的真實高分辨率紅外圖像差異較大。

技術實現(xiàn)思路

1、本公開旨在至少解決現(xiàn)有技術中存在的技術問題之一，提出了一種紅外圖像超分辨率重建方法及其系統(tǒng)、模型的構建方法和計算機可讀介質。

2、第一方面，本公開實施例提供了一種紅外圖像超分辨率重建方法，其中，包括：

3、獲取目標場景的輔助圖像在n個不同預設分辨率下分別所對應第一基礎特征圖，以及獲取所述目標場景的原始紅外圖像在n個不同預設分辨率下分別所對應第二基礎特征圖，n≥2且為整數，所述輔助圖像的分辨率大于所述原始紅外圖像的分辨率；

4、針對每一個預設分辨率，根據目標預設分辨率所對應的第一基礎特征圖生成對應的融合用引導圖像，并將所述融合用引導圖像與所述目標預設分辨率所對應第二基礎特征圖進行融合，得到所述目標預設分辨率所對應的模態(tài)融合特征圖；

5、根據各預設分辨率所對應的模態(tài)融合特征圖進行融合重建，得到所述超分辨率紅外圖像。

6、在一些實施例中，根據目標預設分辨率所對應的第一基礎特征圖生成對應的融合用引導圖像的步驟包括：

7、根據注意力機制計算目標預設分辨率所對應第一基礎特征圖與所述目標預設分辨率所對應第二基礎特征圖之間的相似程度數據，所述相似程度數據包括：多個特征維度所對應的相似程度；

8、根據相似程度數據生成對應的注意力權重數據，所述注意力權重數據包括：與所述相似程度數據中相似程度一一對應的多個注意力權重，所述注意力權重與對應的所述相似程度呈正相關；

9、根據所述注意力權重數據對所述目標預設分辨率所對應第一基礎特征圖進行圖像加權處理，得到所述融合用引導圖像。

10、在一些實施例中，根據各預設分辨率所對應的模態(tài)融合特征圖進行融合重建，得到所述超分辨率紅外圖像的步驟包括：

11、確定各預設分辨率的模態(tài)融合特征圖分別所對應的融合權重；

12、根據各預設分辨率的模態(tài)融合特征圖以及各所述模態(tài)融合特征圖所對應的融合權重進行加權融合，得到尺度綜合融合特征圖；

13、根據所述尺度綜合融合特征圖重建得到所述超分辨率紅外圖像。

14、在一些實施例中，確定各預設分辨率的模態(tài)融合特征圖分別所對應的融合權重的步驟包括：

15、根據多尺度注意力機制確定出各預設分辨率的模態(tài)融合特征圖分別所對應的融合權重。

16、在一些實施例中，獲取目標場景的輔助圖像在n個不同預設分辨率下分別所對應第一基礎特征圖的步驟包括：

17、通過采樣處理獲取所述輔助圖像在n個不同預設分辨率下分別所對應的第一待處理圖像；

18、對各所述第一待處理圖像分別進行特征提取處理，得到n個不同預設分辨率下分別所對應的所述第一基礎特征圖；

19、獲取所述目標場景的原始紅外圖像在n個不同預設分辨率下分別所對應第二基礎特征圖的步驟包括：

20、通過采樣處理獲取所述原始紅外圖像在n個不同預設分辨率下分別所對應的第二待處理圖像；

21、對各所述第二待處理圖像分別進行特征提取處理，得到n個不同預設分辨率下分別所對應的所述第二基礎特征圖。

22、在一些實施例中，在通過特征提取處理獲取目標場景的輔助圖像在n個不同預設分辨率下分別所對應第一基礎特征圖，以及通過特征提取處理獲取所述目標場景的原始紅外圖像在n個不同預設分辨率下分別所對應第二基礎特征圖的步驟之前，還包括：

23、獲取通過第一拍攝模塊所拍攝的所述目標場景的原始高分辨率圖像以及通過第二拍攝模塊所拍攝的所述目標場景的原始紅外圖像，所述原始高分辨率圖像的分辨率大于所述原始紅外圖像的分辨率，且所述原始高分辨率圖像的分辨率大于等于所述超分辨率紅外圖像的分辨率；

24、將所述原始高分辨率圖像與所述原始紅外圖像進行配準處理，以從所述原始高分辨率圖像中提取出與所述原始紅外圖像在空間上對齊的所述輔助圖像。

25、在一些實施例中，將所述原始高分辨率圖像與所述原始紅外圖像進行配準處理，以從所述原始高分辨率圖像中提取出與所述原始紅外圖像在空間上對齊的所述輔助圖像的步驟之前，還包括：

26、基于所述原始紅外圖像的顏色特征，通過預設風格遷移算法將原始高分辨率圖像轉換為高分辨率類熱圖，并將所述高分辨率類熱圖作為新的原始高分辨率圖像以供后續(xù)進行配準處理。

27、在一些實施例中，將所述原始高分辨率圖像與所述原始紅外圖像進行配準處理的步驟包括：

28、將所述原始紅外圖像進行上采樣處理得到配準用紅外圖像，所述配準用紅外圖像的分辨率與所述超分辨率紅外圖像的分辨率相同；

29、從所述原始高分辨率圖像中提取出與所述配準用紅外圖像在空間上對齊的所述輔助圖像。

30、在一些實施例中，所述預設分辨率均大于等于所述原始紅外圖像的分辨率且小于等于所述輔助圖像的分辨率。

31、在一些實施例中，n取值滿足：2≤n≤6。

32、所述輔助圖像為可見光圖像。

33、第二方面，本公開實施例還提供了一種紅外圖像超分辨率重建模型的構建方法，其中，包括：

34、構建紅外圖像超分辨率重建初始模型，所述紅外圖像超分辨率重建初始模型配置為基于所輸入的輔助圖像和原始紅外圖像，采用上述權利要求1至12中任一所述重建方法重建得到對應的超分辨率紅外圖像；

35、根據利用預先獲取的樣本集對所述紅外圖像超分辨率重建初始模型進行訓練，以得到所述紅外圖像超分辨率重建模型，所述樣本集包括多個樣本，每個樣本包括一張輔助圖像、一張原始紅外圖像和標簽圖像，所述標簽圖像為所述原始紅外圖像所對應目標場景的另一張紅外圖像，且所述標簽圖像的分辨率大于所述原始紅外圖像的分辨率。

36、在一些實施例中，在對所述紅外圖像超分辨率重建初始模型進行訓練的過程中，所述紅外圖像超分辨率重建初始模型所配置的損失函數如下：：

37、

38、其中，loss(hir，tagir)表示所述紅外圖像超分辨率重建初始模型所輸出的超分辨率紅外圖像hir與對應標簽圖像tagir的損失值，lmse表示超分辨率紅外圖像hir與對應標簽圖像tagir之間的像素值均方誤差，lpsnr表示超分辨率紅外圖像hir的與對應標簽圖像tagir之間的峰值信噪比，lssim表示超分辨率紅外圖像hir的與對應標簽圖像tagir之間的結構相似程度，α1、α2和α3分別為預先所配置的權值系數，a為預設的歸一化用系數。

39、第三方面，本公開實施例還提供了一種紅外圖像超分辨率重建系統(tǒng)，其中，所述重建系統(tǒng)配置為能夠實現(xiàn)如第一方面中提供的所述重建方法，所述重建系統(tǒng)包括：

40、多尺度特征獲取模塊，配置為獲取目標場景的輔助圖像在n個不同預設分辨率下分別所對應第一基礎特征圖，以及獲取所述目標場景的原始紅外圖像在n個不同預設分辨率下分別所對應第二基礎特征圖，n≥2且為整數，所述輔助圖像的分辨率大于所述原始紅外圖像的分辨率；

41、引導融合模塊，配置為針對每一個預設分辨率，根據目標預設分辨率所對應的第一基礎特征圖生成對應的融合用引導圖像，并將所述融合用引導圖像與所述目標預設分辨率所對應第二基礎特征圖進行融合，得到所述目標預設分辨率所對應的模態(tài)融合特征圖；

42、融合重建模塊，配置為根據各預設分辨率所對應的模態(tài)融合特征圖進行融合重建，得到所述超分辨率紅外圖像。

43、第四方面，本公開實施例還提供了一種計算機可讀介質，所述計算機可讀介質上存儲有計算機程序，其中，所述計算機程序被處理器執(zhí)行時實現(xiàn)如第一方面中提供的所述重建方法中的步驟。