本發(fā)明涉及紅外小目標(biāo)檢測，特別是一種基于多任務(wù)互促學(xué)習(xí)的紅外小目標(biāo)檢測方法及系統(tǒng)。

背景技術(shù)：

1、紅外小目標(biāo)檢測由于其不受天氣與光照條件的影響，被動的探測方式，被廣泛應(yīng)用于國防安全、海上監(jiān)視、交通監(jiān)控、精確制導(dǎo)等領(lǐng)域,是一種十分重要的探測手段。然而，探測過程中目標(biāo)距離探測器的距離往往比較遙遠(yuǎn)，目標(biāo)所處的背景復(fù)雜多變，導(dǎo)致了其目標(biāo)微小、背景復(fù)雜，信噪比低的特性，為實(shí)現(xiàn)紅外小目標(biāo)的準(zhǔn)確檢測帶來了挑戰(zhàn)。

2、基于數(shù)據(jù)驅(qū)動的深度學(xué)習(xí)方法，相較于濾波或者人類視覺系統(tǒng)等傳統(tǒng)方法而言，其具有更強(qiáng)的環(huán)境適應(yīng)能力和特征提取能力，是當(dāng)下紅外小目標(biāo)檢測領(lǐng)域的研究熱點(diǎn)?；谏疃葘W(xué)習(xí)的方法大致可以分為兩個(gè)范式，即：基于分割的范式以及基于檢測的范式?；诜指罘妒降姆椒ㄔ谙袼丶壣蠀^(qū)分目標(biāo)和背景，更專注于像素級的結(jié)果。而基于檢測范式的方法利用邊界框的形式對目標(biāo)進(jìn)行顯示，更為強(qiáng)調(diào)目標(biāo)級的結(jié)果。

3、盡管兩種方法都取得了良好的效果，但是這兩種方法都僅利用了單一的監(jiān)督信息，對監(jiān)督信息的不充分利用，限制了檢測器取得更為卓越的檢測性能。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明的目的在于提供一種基于多任務(wù)互促學(xué)習(xí)的紅外小目標(biāo)檢測方法，該方法采用紅外小目標(biāo)檢測與分割的多任務(wù)互促進(jìn)學(xué)習(xí)網(wǎng)絡(luò)提高了紅外小目標(biāo)的檢測性能。

2、為達(dá)到上述目的，本發(fā)明提供如下技術(shù)方案：

3、本發(fā)明提供的基于多任務(wù)互促學(xué)習(xí)的紅外小目標(biāo)檢測方法，包括以下步驟：

4、s1：獲取紅外小目標(biāo)圖像；

5、s2：將紅外小目標(biāo)圖像輸入到骨干網(wǎng)絡(luò)中進(jìn)行處理，所述骨干網(wǎng)絡(luò)，用于從不同語義層進(jìn)行交替計(jì)算得到不同尺度特征，所述不同尺度特征包括淺層特征和深層特征；

6、s3：將經(jīng)過骨干網(wǎng)絡(luò)處理得到的淺層特征和深層特征同時(shí)輸入到層級特征融合模塊進(jìn)行處理得到預(yù)測結(jié)果；

7、s4：輸出預(yù)測結(jié)果。

8、進(jìn)一步，所述骨干網(wǎng)絡(luò)包括多分支特征聚合模塊和混合下采樣模塊；

9、s21：所述多分支特征聚合模塊，用于提取紅外小目標(biāo)圖像的不同感受野特征后再與原始特征融合得到多階段感受野融合特征；

10、s22：所述混合下采樣模塊，用于在對多階段感受野融合特征進(jìn)行處理后進(jìn)行串聯(lián)得到綜合下采樣特征。

11、進(jìn)一步，所述多分支特征聚合模塊按照以下步驟進(jìn)行：

12、s211：對輸入特征沿通道進(jìn)行分割得到第一特征圖和第二特征圖；

13、s212：對第二特征圖f2進(jìn)行不同大小卷積處理得到不同感受野特征，將不同感受野特征按通道連接得到綜合感受野特征fc；

14、s213：根據(jù)綜合感受野特征fc沿通道維度計(jì)算平均值與最大值，得到每個(gè)通道注意力的權(quán)重，即得到綜合感受野特征fc的通道平均注意力與通道最大注意力；

15、s214：將通道平均注意力與通道最大注意力分別與第二特征圖經(jīng)過卷積處理得到的不同感受野特征進(jìn)行融合得到兩個(gè)注意力特征；

16、s215：將兩個(gè)注意力特征經(jīng)過卷積核處理后與第二特征圖經(jīng)過卷積處理的特征進(jìn)行融合得到第三特征圖；

17、s216：對第三特征圖進(jìn)行卷積操作得到第四特征圖；

18、s217：將第一特征圖、第三特征圖、第四特征進(jìn)行卷積操作得到輸出特征。

19、進(jìn)一步，所述混合下采樣模塊按照以下步驟進(jìn)行：

20、s221：對輸入采樣特征進(jìn)行通道分割操作得到第一采樣特征圖和第二采樣特征圖；

21、s222：對第一采樣特征圖進(jìn)行最大池化操作后進(jìn)行通道分割操作；

22、s223：將第一采樣特征圖通道分割后的特征進(jìn)行通道連接再與第二采樣特征圖進(jìn)行平均池化后的特征進(jìn)行通道連接，最終得到輸出特征。

23、進(jìn)一步，所述層級特征融合模塊按照以下步驟進(jìn)行：

24、s31：將輸入的淺層特征與深層特征進(jìn)行融合處理得到融合特征；

25、s32：對融合特征分別執(zhí)行空間注意力和通道注意力操作得到的特征與執(zhí)行像素注意力操作得到的特征進(jìn)行融合得到特征注意力特征att；

26、s33：將注意力特征與淺層特征進(jìn)行融合得到的特征、將深層特征與(1-att)注意力特征、融合特征進(jìn)行融合得到輸出特征。

27、進(jìn)一步，所述預(yù)測結(jié)果按照以下方式分別輸出檢測頭與分割頭：

28、所述檢測頭采用矩形框框出目標(biāo)物體，所述矩形框框出目標(biāo)物體利用邊界框監(jiān)督信息提供的目標(biāo)位置以及尺寸誤差；

29、所述分割頭采用分割掩碼標(biāo)注，所述分割掩碼標(biāo)注是對圖像中的目標(biāo)物體進(jìn)行像素級的分割，從而分離出目標(biāo)像素。

30、本發(fā)明提供的基于多任務(wù)互促學(xué)習(xí)的紅外小目標(biāo)檢測系統(tǒng)，包括輸入模塊、骨干網(wǎng)絡(luò)、層級特征融合模塊、輸出模塊；

31、所述輸入模塊，用于獲取紅外小目標(biāo)圖像；

32、所述骨干網(wǎng)絡(luò)，用于將紅外小目標(biāo)圖像輸入到骨干網(wǎng)絡(luò)中進(jìn)行處理，所述骨干網(wǎng)絡(luò)，用于從不同語義層進(jìn)行交替計(jì)算得到不同尺度特征，所述不同尺度特征包括淺層特征和深層特征；

33、所述層級特征融合模塊，用于將經(jīng)過骨干網(wǎng)絡(luò)處理得到的淺層特征和深層特征同時(shí)輸入到層級特征融合模塊進(jìn)行處理得到預(yù)測結(jié)果；

34、所述輸出模塊，用于輸出預(yù)測結(jié)果。

35、進(jìn)一步，所述骨干網(wǎng)絡(luò)包括多分支特征聚合模塊和混合下采樣模塊；

36、所述多分支特征聚合模塊，用于提取紅外小目標(biāo)圖像的不同感受野特征后再與原始特征融合得到多階段感受野融合特征；

37、所述混合下采樣模塊，用于在對多階段感受野融合特征進(jìn)行處理后進(jìn)行串聯(lián)得到綜合下采樣特征。

38、進(jìn)一步，所述多分支特征聚合模塊按照以下步驟進(jìn)行：

39、s211：對輸入特征沿通道進(jìn)行分割得到第一特征圖和第二特征圖；

40、s212：對第二特征圖f2進(jìn)行不同大小卷積處理得到不同感受野特征，將不同感受野特征按通道連接得到綜合感受野特征fc；

41、s213：根據(jù)綜合感受野特征fc沿通道維度計(jì)算平均值與最大值，得到每個(gè)通道注意力的權(quán)重，即得到綜合感受野特征fc的通道平均注意力與通道最大注意力；

42、s214：將通道平均注意力與通道最大注意力分別與第二特征圖經(jīng)過卷積處理得到的不同感受野特征進(jìn)行融合得到兩個(gè)注意力特征；

43、s215：將兩個(gè)注意力特征經(jīng)過卷積核處理后與第二特征圖經(jīng)過卷積處理的特征進(jìn)行融合得到第三特征圖；

44、s216：對第三特征圖進(jìn)行卷積操作得到第四特征圖；

45、s217：將第一特征圖、第三特征圖、第四特征進(jìn)行卷積操作得到輸出特征；

46、所述混合下采樣模塊按照以下步驟進(jìn)行：

47、s221：對輸入采樣特征進(jìn)行通道分割操作得到第一采樣特征圖和第二采樣特征圖；

48、s222：對第一采樣特征圖進(jìn)行最大池化操作后進(jìn)行通道分割操作；

49、s223：將第一采樣特征圖通道分割后的特征進(jìn)行通道連接再與第二采樣特征圖進(jìn)行平均池化后的特征進(jìn)行通道連接，最終得到輸出特征。

50、進(jìn)一步，所述層級特征融合模塊按照以下步驟進(jìn)行：

51、s31：將輸入的淺層特征與深層特征進(jìn)行融合處理得到融合特征；

52、s32：對融合特征分別執(zhí)行空間注意力和通道注意力操作得到的特征與執(zhí)行像素注意力操作得到的特征進(jìn)行融合得到特征注意力特征att；

53、s33：將注意力特征與淺層特征進(jìn)行融合得到的特征、將深層特征與(1-att)注意力特征、融合特征進(jìn)行融合得到輸出特征。

54、本發(fā)明的有益效果在于：

55、本發(fā)明提供的基于多任務(wù)互促學(xué)習(xí)的紅外小目標(biāo)檢測方法，該方法采用紅外小目標(biāo)檢測與分割的多任務(wù)互促進(jìn)學(xué)習(xí)網(wǎng)絡(luò)，以充分利用邊界框及分割掩碼的監(jiān)督信息，彌補(bǔ)單一監(jiān)督信息的不足。

56、本方法通過多分支特征聚合模塊來融合不同階段以及不同感受野特征，實(shí)現(xiàn)對紅外小目標(biāo)更好的特征提取。通過混合下采樣模塊中的不同的池化操作，保留更多的互補(bǔ)信息，緩解紅外小目標(biāo)在下采樣過程中的信息丟失。在層級特征融合模塊中根據(jù)不同語義層信息對預(yù)測結(jié)果的相對重要性，對不同語義層信息進(jìn)行自適應(yīng)選取與融合，以實(shí)現(xiàn)更靈活與優(yōu)良的特征融合效果。將預(yù)測結(jié)果分別輸出檢測頭與分割頭，利用邊界框監(jiān)督信息和分割掩碼監(jiān)督信息共同進(jìn)行網(wǎng)絡(luò)優(yōu)化。

57、本發(fā)明的其他優(yōu)點(diǎn)、目標(biāo)和特征在某種程度上將在隨后的說明書中進(jìn)行闡述，并且在某種程度上，基于對下文的考察研究對本領(lǐng)域技術(shù)人員而言將是顯而易見的，或者可以從本發(fā)明的實(shí)踐中得到教導(dǎo)。本發(fā)明的目標(biāo)和其他優(yōu)點(diǎn)可以通過下面的說明書來實(shí)現(xiàn)和獲得。