本技術(shù)涉及計算機(jī)視覺和圖像處理，具體涉及一種圖像語義分割方法、裝置以及介質(zhì)。

背景技術(shù)：

1、在儀表智能分析中，儀表及其組成分割是一項(xiàng)關(guān)鍵的任務(wù)，它對于自動化分析和檢查具有重要的意義。然而，由于工業(yè)場景的復(fù)雜性，儀表中通常還包括如小目標(biāo)物體，其分割、物體邊緣的識別以及適應(yīng)多種環(huán)境等問題，使得物體的分割任務(wù)艱巨。

2、傳統(tǒng)的圖像處理方法，如閾值分割、邊緣檢測等，雖然在一些簡單的場景中能夠取得不錯的效果，但是在復(fù)雜的工業(yè)場景中，這些方法的性能往往不能滿足實(shí)際需求。此外，這些方法通常需要大量的手工調(diào)整參數(shù)，無法適應(yīng)環(huán)境的變化。近年來，深度學(xué)習(xí)技術(shù)在圖像處理領(lǐng)域取得了顯著的進(jìn)展。特別是卷積神經(jīng)網(wǎng)絡(luò)(cnn)在圖像分類、目標(biāo)檢測和語義分割等任務(wù)上表現(xiàn)出了優(yōu)越的性能。然而，深度學(xué)習(xí)模型通常需要大量的標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，而在實(shí)際的工業(yè)生產(chǎn)中，獲取大量的標(biāo)注數(shù)據(jù)是一項(xiàng)非常困難的任務(wù)。此外，深度學(xué)習(xí)模型的訓(xùn)練過程通常需要大量的計算資源和時間，這對于實(shí)際的工業(yè)應(yīng)用來說是一大挑戰(zhàn)。

3、因此，如何設(shè)計一種能夠在復(fù)雜工業(yè)場景中實(shí)現(xiàn)高精度分割裝置，同時又能夠克服數(shù)據(jù)不足和計算資源限制的問題，是當(dāng)前研究的一個重要課題。本發(fā)明正是為了解決這些問題，提出了一種圖像語義分割方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明旨在解決現(xiàn)有技術(shù)的局限性，提出了一種圖像語義分割方法、裝置以及介質(zhì)。這種方法能夠有效地解決小目標(biāo)物體的分割難題和物體邊緣的識別問題，增強(qiáng)模型對環(huán)境的適應(yīng)性，以及提升物體分割的準(zhǔn)確性和穩(wěn)健性。

2、為達(dá)到上述目的，本技術(shù)是采用下述技術(shù)方案實(shí)現(xiàn)的：

3、第一方面，本技術(shù)提供一種圖像語義分割方法，其包括以下步驟；

4、獲取待分割的圖像；

5、利用預(yù)訓(xùn)練的語義分割模型的骨干網(wǎng)絡(luò)mobilenetv2對所述圖像進(jìn)行圖像特征提取處理，獲取圖像的語義信息，得到特征圖組；

6、利用所述語義分割模型的特征融合模塊對所述特征圖組的語義信息進(jìn)行融合，得到第一特征圖；

7、利用所述語義分割模型的densespaspp模塊對所述特征圖組分別進(jìn)行池化處理和空洞卷積處理，并將所述特征圖組的池化處理結(jié)果和所述特征圖組最后一層空洞卷積處理結(jié)果拼接，得到第二特征圖；

8、將所述第二特征圖和所述第一特征圖拼接，得到所述圖像的語義分割圖像。

9、本技術(shù)進(jìn)一步的方案，所述語義分割模型的訓(xùn)練方法包括以下步驟；

10、所述語義分割模型的訓(xùn)練過程包括；

11、獲取圖像的數(shù)據(jù)集；

12、將圖像通過labelme工具并采用多邊形描點(diǎn)法細(xì)致勾勒物體邊界，對數(shù)據(jù)集中圖像進(jìn)行標(biāo)注；

13、按照8:1:1比例劃分所述數(shù)據(jù)集中物體的像素占比；

14、將所述數(shù)據(jù)集輸入預(yù)構(gòu)建的語義分割模型進(jìn)行迭代訓(xùn)練，直至模型性能達(dá)到穩(wěn)定狀態(tài)。

15、本技術(shù)進(jìn)一步的方案，利用所述語義分割模型的特征融合模塊對所述特征圖組的特征進(jìn)行融合，包括：

16、所述特征圖組中的特征圖f1經(jīng)過卷積生成特征圖f1'，將所述特征圖f1'經(jīng)過坐標(biāo)注意力機(jī)制處理生成高度特征圖和寬度特征圖計算公式如下：

17、

18、其中，c為通道索引，x?c表示為在通道c上進(jìn)行池化運(yùn)算；w表示求和循環(huán)次數(shù)，h表示特征圖f1'的高度，w表示特征圖f1'的寬度；

19、將高度特征圖和寬度特征圖拼接并卷積生成特征圖f0；

20、

21、r表示卷積的通道變化率；h表示高度特征圖的高度，w表示寬度特征圖的寬度；

22、將所述特征圖f0拆分為兩個特征圖fh和fw，并通過以下公式處理的到權(quán)重gh和gw；

23、gh＝σ(fh(fh))

24、gw＝σ(fwfw))

25、其中，fh表示高度特征圖、fw表示寬度特征圖卷積運(yùn)算結(jié)果，σ表示sigmoid運(yùn)算；

26、對所述特征圖組中的特征圖f2進(jìn)行s形條形池化處理，處理后的特征圖f2和特征圖f0相加得到增強(qiáng)特征圖，增強(qiáng)特征圖通過relu激活函數(shù)處理得到第一特征圖；

27、其中，特征圖f1、特征圖f2為所述骨干網(wǎng)絡(luò)mobilenetv2對所述圖像進(jìn)行圖像特征提取獲取的兩個不同尺度的特征圖。

28、本技術(shù)進(jìn)一步的方案，利用所述語義分割模型的densespaspp模塊對所述特征圖組中的圖像分別進(jìn)行池化處理和空洞卷積處理，包括：

29、將特征圖組中的圖像經(jīng)過s形條形池化處理得到特征圖y1，公式如下

30、y1＝sp(x)

31、其中，sp表示條形池化操作；x表示圖像樣本；

32、將特征圖組中的圖像經(jīng)過順序空洞卷積處理得到特征圖y2，公式如下

33、

34、其中，acl中的l表示第l層的空洞率，dc表示空洞卷積的計算，k表示卷積核大小，[...]表示拼接操作，yi表示第i層圖像特征，i取值范圍為[0～l-1]，l表示網(wǎng)絡(luò)中的層數(shù)；

35、將所述特征圖y1和最后一層空洞卷積處理后的特征圖yn拼接，得到第二特征圖；

36、將所述第二特征圖與所述第一特征圖拼接得到圖像的分割結(jié)果。

37、本技術(shù)進(jìn)一步的方案，所述特征圖組還經(jīng)過白化變換模塊處理；

38、所述白化變換模塊處理包括：

39、選取特征圖組最后一層的特征圖x進(jìn)行實(shí)例歸一化處理；

40、實(shí)例歸一化處理后的特征圖x進(jìn)行白化變換處理，得到矩陣為單位矩陣i的特征圖x協(xié)方差，以使所述特征融合模塊和densespaspp模塊處理圖像的形狀一致。

41、更進(jìn)一步的方案，所述白化變換處理的損失函數(shù)liw公式如下：

42、

43、其中，i是全為1的上三角矩陣，mse是均方誤差損失函數(shù)，fiw是骨干網(wǎng)絡(luò)最后一層的特征圖與特征圖轉(zhuǎn)置的乘積。

44、本技術(shù)進(jìn)一步的方案，訓(xùn)練時，將所述數(shù)據(jù)集輸入預(yù)構(gòu)建的語義分割模型進(jìn)行迭代訓(xùn)練，直至模型性能達(dá)到穩(wěn)定狀態(tài)，包括采用dice?loss和focal?ce?loss損失函數(shù)評估所述語義分割模型的性能，公式如下：

45、focal?ce?loss＝(1-e-ce)γ×ce

46、其中，ce表示交叉嫡損失的計算結(jié)果，γ為調(diào)節(jié)因子，e表示預(yù)測概率的一個變量；

47、ldice＝1-dice

48、

49、其中，x和y表示兩個不同的圖像樣本。

50、第二方面，本技術(shù)提供一種計算機(jī)裝置，其包括存儲器，用于存儲計算機(jī)程序/指令；

51、處理器，用于執(zhí)行所述計算機(jī)程序/指令以實(shí)現(xiàn)上述圖像語義分割方法的步驟。

52、第三方面，本技術(shù)提供一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，該計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)上述圖像語義分割方法的步驟。

53、第四方面，本技術(shù)提供一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序/指令，其特征在于，該計算機(jī)程序/指令被處理器執(zhí)行時實(shí)現(xiàn)上述圖像語義分割方法的步驟。

54、本技術(shù)的有益效果為：

55、本技術(shù)通過括骨干網(wǎng)絡(luò)mobilenetv2和高級特征融合模塊以及densespaspp模塊有效地解決小目標(biāo)物體的分割難題和物體邊緣的識別問題，增強(qiáng)模型對環(huán)境的適應(yīng)性；構(gòu)建aff模塊、白化變換模塊和優(yōu)化的損失函數(shù)，對deeplabv3+進(jìn)行了優(yōu)化，進(jìn)一步的提高了在復(fù)雜場景下小目標(biāo)物體的分割效果和模型的域適應(yīng)性，解決了數(shù)據(jù)集中正負(fù)樣本不平衡的問題，從而大大提高了在復(fù)雜工業(yè)場景下圖像分割的準(zhǔn)確性和魯棒性。