本申請(qǐng)涉及圖像處理，尤其是圖像分割分類方法及裝置。

背景技術(shù)：

1、圖像分類和圖像分割均為計(jì)算機(jī)視覺（computer?vision，cv）領(lǐng)域中常見的處理任務(wù)。其中，圖像分割是一項(xiàng)將圖像分成若干個(gè)特定的區(qū)域并提出感興趣區(qū)域的技術(shù)，而圖像分類則為一項(xiàng)確定圖像的整體類別或標(biāo)簽的技術(shù)。一部分相關(guān)技術(shù)通常將圖像分類任務(wù)和圖像分割任務(wù)視為兩個(gè)相互獨(dú)立的任務(wù)，例如通過分類模型來實(shí)現(xiàn)圖像分類，同時(shí)通過分割模型來實(shí)現(xiàn)圖像分割；而另一部分相關(guān)技術(shù)則嘗試探索圖像分類任務(wù)和圖像分割任務(wù)之間的相關(guān)性，然而它們往往使用一者信息來輔助處理另一者信息，例如使用分割結(jié)果來輔助實(shí)現(xiàn)圖像分類?？梢?，相關(guān)技術(shù)中鮮少有對(duì)圖像分類任務(wù)和圖像分割任務(wù)進(jìn)行同步處理的方式，圖像分類效率和圖像分割效率有待提高。此外，由于分割模型通常輸出高維圖像矩陣，而分類模型通常輸出低維向量，單一的分割網(wǎng)絡(luò)結(jié)構(gòu)或者分類網(wǎng)絡(luò)結(jié)構(gòu)難以同時(shí)輸出不同尺寸的結(jié)果，因此圖像分類任務(wù)和圖像分割任務(wù)的聯(lián)合處理成為了一項(xiàng)重大挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)實(shí)施例提供了圖像分割分類方法及裝置，用于同時(shí)實(shí)現(xiàn)圖像分類和圖像分割。

2、一方面，本申請(qǐng)實(shí)施例提供了圖像分割分類方法，包括以下步驟：

3、獲取目標(biāo)圖像，所述目標(biāo)圖像包括目標(biāo)區(qū)域；

4、通過預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型對(duì)所述目標(biāo)圖像進(jìn)行分割處理和分類處理，得到所述目標(biāo)區(qū)域的輪廓圖和分類結(jié)果；其中，所述神經(jīng)網(wǎng)絡(luò)模型包括：

5、編碼器-解碼器結(jié)構(gòu)，用于對(duì)所述目標(biāo)圖像進(jìn)行特征提取，得到初始特征圖和多個(gè)解碼特征圖；

6、第一分割模塊，用于根據(jù)所述初始特征圖，得到分割特征圖；

7、第一分類模塊，用于根據(jù)所述初始特征圖和各所述解碼特征圖，得到分類特征圖；

8、信息交互模塊，用于將所述分割特征圖和所述分類特征圖進(jìn)行特征交互，得到目標(biāo)分割特征和目標(biāo)分類特征；

9、第二分割模塊，用于根據(jù)所述目標(biāo)分割特征，得到所述目標(biāo)區(qū)域的輪廓圖；

10、第二分類模塊，用于根據(jù)所述目標(biāo)分類特征，得到所述目標(biāo)區(qū)域的分類結(jié)果。

11、另一方面，本申請(qǐng)實(shí)施例提供了圖像分割分類裝置，包括：

12、獲取模塊，用于獲取目標(biāo)圖像，所述目標(biāo)圖像包括目標(biāo)區(qū)域；

13、圖像分割分類模塊，用于通過預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型對(duì)所述目標(biāo)圖像進(jìn)行分割處理和分類處理，得到所述目標(biāo)區(qū)域的輪廓圖和分類結(jié)果；其中，所述神經(jīng)網(wǎng)絡(luò)模型包括：

14、編碼器-解碼器結(jié)構(gòu)，用于對(duì)所述目標(biāo)圖像進(jìn)行特征提取，得到初始特征圖和多個(gè)解碼特征圖；

15、第一分割模塊，用于根據(jù)所述初始特征圖，得到分割特征圖；

16、第一分類模塊，用于根據(jù)所述初始特征圖和各所述解碼特征圖，得到分類特征圖；

17、信息交互模塊，用于將所述分割特征圖和所述分類特征圖進(jìn)行特征交互，得到目標(biāo)分割特征和目標(biāo)分類特征；

18、第二分割模塊，用于根據(jù)所述目標(biāo)分割特征，得到所述目標(biāo)區(qū)域的輪廓圖；

19、第二分類模塊，用于根據(jù)所述目標(biāo)分類特征，得到所述目標(biāo)區(qū)域的分類結(jié)果。

20、本申請(qǐng)的有益效果是：提供圖像分割分類方法及裝置，首先，獲取目標(biāo)圖像，目標(biāo)圖像包括目標(biāo)區(qū)域；然后，通過預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型對(duì)目標(biāo)圖像進(jìn)行分割處理和分類處理，得到目標(biāo)區(qū)域的輪廓圖和分類結(jié)果，其中，該神經(jīng)網(wǎng)絡(luò)模型包括編碼器-解碼器結(jié)構(gòu)、第一分割模塊、第一分類模塊、信息交互模塊、第二分割模塊和第二分類模塊；編碼器-解碼器結(jié)構(gòu)用于對(duì)目標(biāo)圖像進(jìn)行特征提取，得到初始特征圖和多個(gè)解碼特征圖；第一分割模塊用于根據(jù)初始特征圖，得到分割特征圖；第一分類模塊用于根據(jù)初始特征圖和各解碼特征圖，得到分類特征圖；信息交互模塊用于將分割特征圖和分類特征圖進(jìn)行特征交互，得到目標(biāo)分割特征和目標(biāo)分類特征；第二分割模塊用于根據(jù)目標(biāo)分割特征，得到目標(biāo)區(qū)域的輪廓圖；第二分類模塊用于根據(jù)目標(biāo)分類特征，得到目標(biāo)區(qū)域的分類結(jié)果。如此，本申請(qǐng)實(shí)施例實(shí)現(xiàn)圖像分類任務(wù)和圖像分割任務(wù)的同步處理，能夠有效地提高圖像分類任務(wù)和圖像分割任務(wù)的準(zhǔn)確性和效率。

技術(shù)特征：

1.一種圖像分割分類方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的圖像分割分類方法，其特征在于，所述對(duì)所述目標(biāo)圖像進(jìn)行特征提取，得到初始特征圖和多個(gè)解碼特征圖，包括：

3.根據(jù)權(quán)利要求1所述的圖像分割分類方法，其特征在于，所述根據(jù)所述初始特征圖，得到分割特征圖，包括：

4.根據(jù)權(quán)利要求1所述的圖像分割分類方法，其特征在于，所述根據(jù)所述初始特征圖和各所述解碼特征圖，得到分類特征圖，包括：

5.根據(jù)權(quán)利要求1所述的圖像分割分類方法，其特征在于，所述將所述分割特征圖和所述分類特征圖進(jìn)行特征交互，得到目標(biāo)分割特征和目標(biāo)分類特征，包括：

6.根據(jù)權(quán)利要求1所述的圖像分割分類方法，其特征在于，所述根據(jù)所述目標(biāo)分割特征，得到所述目標(biāo)區(qū)域的輪廓圖，包括：

7.根據(jù)權(quán)利要求1所述的圖像分割分類方法，其特征在于，所述根據(jù)所述目標(biāo)分類特征，得到所述目標(biāo)區(qū)域的分類結(jié)果，包括：

8.根據(jù)權(quán)利要求1所述的圖像分割分類方法，其特征在于，所述方法還包括以下步驟：

9.根據(jù)權(quán)利要求1所述的圖像分割分類方法，其特征在于，在通過預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型對(duì)所述目標(biāo)圖像進(jìn)行分割處理和分類處理之前，所述方法還包括以下步驟：

10.一種圖像分割分類裝置，其特征在于，包括：

技術(shù)總結(jié)
本申請(qǐng)公開了圖像分割分類方法及裝置，應(yīng)用于圖像處理技術(shù)領(lǐng)域，方法包括：獲取包括目標(biāo)區(qū)域的目標(biāo)圖像，通過神經(jīng)網(wǎng)絡(luò)模型對(duì)目標(biāo)圖像進(jìn)行分割和分類，得到目標(biāo)區(qū)域的輪廓圖和分類結(jié)果；在該模型中，編碼器?解碼器結(jié)構(gòu)對(duì)目標(biāo)圖像進(jìn)行特征提取，得到初始特征圖和多個(gè)解碼特征圖，第一分割模塊通過初始特征圖來得到分割特征圖，第一分類模塊通過初始特征圖和各解碼特征圖來得到分類特征圖，信息交互模塊將分割特征圖和分類特征圖進(jìn)行特征交互，得到目標(biāo)分割特征和目標(biāo)分類特征，第二分割模塊通過目標(biāo)分割特征來得到目標(biāo)區(qū)域的輪廓圖，第二分類模塊通過目標(biāo)分類特征來得到目標(biāo)區(qū)域的分類結(jié)果。本申請(qǐng)能夠同時(shí)實(shí)現(xiàn)圖像分類和圖像分割。

技術(shù)研發(fā)人員：馬祥園,梁仕彬,許梓壁,郭宏彬,梁蔚,黃展耀,黃祉泳,郝宇瑞,張政,黎秋宏,羅寧,鄭童櫸
受保護(hù)的技術(shù)使用者：汕頭大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30