本發(fā)明涉及圖像處理技術(shù),具體涉及一種基于殘差軸向注意力的醫(yī)學(xué)圖像分割方法。
背景技術(shù):
0、技術(shù)背景
1、醫(yī)學(xué)圖像分割是醫(yī)學(xué)影像處理中至關(guān)重要的任務(wù),它旨在從醫(yī)學(xué)圖像中精確提取出感興趣的結(jié)構(gòu)或病變區(qū)域。深度學(xué)習(xí)技術(shù)的迅猛發(fā)展為醫(yī)學(xué)圖像分割帶來(lái)了革命性的變革,使得從復(fù)雜的醫(yī)學(xué)圖像中提取有意義的信息變得更加高效和準(zhǔn)確?;谏疃葘W(xué)習(xí)的圖像分割方法不僅可以自動(dòng)學(xué)習(xí)圖像中的特征表示,通過(guò)多層卷積和池化操作,逐漸提取出圖像中的抽象特征。同時(shí)根據(jù)訓(xùn)練數(shù)據(jù)中的標(biāo)簽信息,學(xué)習(xí)到圖像中不同結(jié)構(gòu)和組織的特征表示,從而實(shí)現(xiàn)對(duì)醫(yī)學(xué)圖像的準(zhǔn)確分割。
2、u-net是醫(yī)學(xué)圖像分割領(lǐng)域使用最廣泛的編解碼器網(wǎng)絡(luò)架構(gòu),能從更少的訓(xùn)練圖像中進(jìn)行學(xué)習(xí)并產(chǎn)生更準(zhǔn)確的分割結(jié)果。在此基礎(chǔ)上,如unet++、attunet和v-net等網(wǎng)絡(luò)通過(guò)引入注意力機(jī)制以及多尺度特征融合等進(jìn)行改進(jìn),對(duì)不同的醫(yī)學(xué)成像模式進(jìn)行圖像分割。盡管這些方法表現(xiàn)良好,但由于卷積運(yùn)算的局部性,純cnn架構(gòu)難以完全捕獲全局上下文關(guān)系。
3、在這樣的背景下,注意力機(jī)制能夠幫助模型更好地關(guān)注圖像中重要的區(qū)域,從而提高分割的準(zhǔn)確性和效率,為醫(yī)學(xué)影像分析提供了新的可能性?;谧宰⒁饬C(jī)制的視覺(jué)轉(zhuǎn)換器vit,能夠有效捕獲像素之間的長(zhǎng)距離依賴關(guān)系。但是vit需要大量得訓(xùn)練數(shù)據(jù)來(lái)獲得良好的性能,并且計(jì)算復(fù)雜度高,特別是對(duì)于高分辨率輸入圖像。swin?transformer通過(guò)引入分層機(jī)制來(lái)減少計(jì)算復(fù)雜性,由于窗口之間的信息交互有限,導(dǎo)致感受野較小。大多數(shù)基于transformer的方法需要在大數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練才能達(dá)到滿意的效果,在小樣本或不平衡數(shù)據(jù)集上表現(xiàn)不佳,存在泛化能力不足的問(wèn)題。而在醫(yī)學(xué)圖像分割領(lǐng)域,獲得具有高質(zhì)量圖像的大數(shù)據(jù)集和標(biāo)簽是非常昂貴的。此外,與cnn相比,純transformer在捕捉局部表示方面表現(xiàn)不佳。
4、因此,針對(duì)上述醫(yī)學(xué)圖像分割存在的問(wèn)題,一些方法嘗試將cnn和transformer結(jié)合起來(lái)以增強(qiáng)網(wǎng)絡(luò)能力,然而引入注意力機(jī)制會(huì)增加模型的計(jì)算復(fù)雜度,仍面臨性能和計(jì)算成本的平衡問(wèn)題。因此,設(shè)計(jì)一個(gè)既高效又精確的醫(yī)學(xué)圖像分割模型具有重要研究意義。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的在于解決醫(yī)學(xué)圖像分割中的深層特征與淺層特征之間存在語(yǔ)義差距的問(wèn)題,提供一種基于殘差軸向注意力的醫(yī)學(xué)圖像分割方法,通過(guò)深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)醫(yī)學(xué)圖像特征進(jìn)行有效提取與融合,實(shí)現(xiàn)醫(yī)學(xué)圖像的病灶部分的精準(zhǔn)分割。
2、為了實(shí)現(xiàn)上述目的,本發(fā)明提供一種基于殘差軸向注意力的醫(yī)學(xué)圖像分割方法,主要包括以下五個(gè)部分:第一部分是對(duì)醫(yī)學(xué)圖像數(shù)據(jù)集進(jìn)行預(yù)處理;第二部分是對(duì)醫(yī)學(xué)圖像進(jìn)行淺層特征提取;第三部分是對(duì)提取了淺層特征后的醫(yī)學(xué)圖像進(jìn)行深層特征提取;第四部分對(duì)醫(yī)學(xué)圖像提取的淺層特征以及深層特征進(jìn)行語(yǔ)義對(duì)齊;第五部分是基于殘差軸向注意力的醫(yī)學(xué)圖像分割網(wǎng)絡(luò)模型的訓(xùn)練與測(cè)試,最終得到分割后結(jié)果圖,具體為:
3、第一部分包括兩個(gè)步驟:
4、步驟1,下載公開(kāi)醫(yī)學(xué)數(shù)據(jù)集glas和monuseg,其中數(shù)據(jù)集glas的原始圖像大小不一,大多數(shù)為775
5、×522大小的rgb圖像,數(shù)據(jù)集monuseg的原始圖像大小均為1000×1000;然后將數(shù)據(jù)集glas和monuseg的樣本分辨率統(tǒng)一設(shè)置為224×224;
6、步驟2,將步驟1處理后的圖像進(jìn)行隨機(jī)翻轉(zhuǎn)和隨機(jī)旋轉(zhuǎn)兩種操作,以增強(qiáng)訓(xùn)練集樣本,避免出現(xiàn)過(guò)
7、擬合,然后形成最終所需的訓(xùn)練集樣本;
8、第二部分包括兩個(gè)步驟:
9、步驟3,將步驟2中得到的訓(xùn)練集樣本經(jīng)過(guò)4個(gè)卷積層處理,且每個(gè)卷積層插入一個(gè)最大池化層以及relu激活函數(shù),每層卷積層的卷積核維度大小均為3×3,初步得到輸入圖像i的淺層語(yǔ)義特征e1、e2、e3、e4;并將e1、e2、e3、e4重塑為大小分別為p、p/2、p/4、p/8的標(biāo)記序列t1、t2、t3、t4,其中通道尺寸全部更改為128;
10、步驟4,將步驟3得到的淺層語(yǔ)義特征e4作為膨脹卷積模塊dcm的輸入,得到包含更多信息的輸出特征e5,其中dcm包含了5個(gè)3×3卷積核,擴(kuò)展參數(shù)依次為1、2、4、8和16,感受野大小分別為
11、n=3×3、7×7、15×15、31×31和63×63;
12、第三部分包括三個(gè)步驟:
13、步驟5,將步驟3得到的淺層語(yǔ)義特征的標(biāo)記序列t1、t2、t3、t4作為輸入,采用基于殘差軸向注意力的通道注意力模塊ra-cam,學(xué)習(xí)不同通道之間的相關(guān)性,得到圖像通道增強(qiáng)的深層特征tc1、tc2、tc3、tc4;
14、步驟6,將步驟5得到的通道增強(qiáng)的深層特征的tc1、tc2、tc3、tc4作為輸入,采用基于殘差軸向注意力的空間注意力模塊ra-sam,學(xué)習(xí)不同空間位置的重要性,得到圖像空間增強(qiáng)的深層特征ts1、ts2、ts3、ts4;
15、步驟7,對(duì)ts1、ts2、ts3、ts4依次進(jìn)行l(wèi)ayernorm層歸一化和mlp多層感知器,得到增強(qiáng)的深層語(yǔ)義特
16、征tm1、tm2、tm3、tm4,然后將ts1、ts2、ts3、ts4作為殘差項(xiàng),提高網(wǎng)絡(luò)的表達(dá)能力;
17、第四部分包括一個(gè)步驟:
18、步驟8,將步驟7得到的深層語(yǔ)義特征tm1、tm2、tm3、tm4作為輸入,采用語(yǔ)義對(duì)齊模塊sra進(jìn)行語(yǔ)義
19、特征對(duì)齊操作,得到對(duì)齊后的特征o1、o2、o3、o4;
20、第五部分包括三個(gè)步驟:
21、步驟9,在損失函數(shù)中,首先模擬動(dòng)力學(xué)模型,構(gòu)建損失函數(shù)lossacm,lossacm包含了長(zhǎng)度項(xiàng)length和區(qū)域項(xiàng)region兩部分,長(zhǎng)度項(xiàng)length對(duì)分割邊界輪廓進(jìn)行約束使得輪廓線相對(duì)平滑,區(qū)域項(xiàng)region依據(jù)邊界內(nèi)外區(qū)域的方差以保持形狀;然后對(duì)于醫(yī)學(xué)圖像中通常病灶部分遠(yuǎn)小于背景部分問(wèn)題,分割網(wǎng)絡(luò)總的損失函數(shù)loss=lossacm+α·lossdice+β·lossbce;
22、步驟10,將步驟2中的訓(xùn)練集樣本輸入從步驟3到步驟9的網(wǎng)絡(luò)中,設(shè)置網(wǎng)絡(luò)超參數(shù):學(xué)習(xí)率為0.001,迭代次數(shù)采用提前停止策略從而不固定,batch?size為4,優(yōu)化器為adam,采用五重交叉驗(yàn)證,損失函數(shù)為loss,訓(xùn)練網(wǎng)絡(luò)得到最終的醫(yī)學(xué)圖像分割預(yù)訓(xùn)練模型;
23、步驟11,將公共測(cè)試集輸入步驟10得到的預(yù)訓(xùn)練模型中,網(wǎng)絡(luò)可分割出醫(yī)學(xué)圖像的病灶部分。
24、本發(fā)明給出一種基于殘差軸向注意力的醫(yī)學(xué)圖像分割方法。首先,為解決醫(yī)學(xué)圖像中存在病灶部分邊界模糊以及變化復(fù)雜的問(wèn)題,設(shè)計(jì)基于殘差軸向注意的通道-空間轉(zhuǎn)換器,該模塊融合編碼器中多個(gè)階段的多尺度特征,可有效增強(qiáng)所捕獲的深層特征;然后,針對(duì)轉(zhuǎn)換器獲得的深層特征和上采樣特征之間存在語(yǔ)義差距的問(wèn)題,設(shè)計(jì)基于殘差軸向注意的語(yǔ)義對(duì)齊模塊,利用解碼器提取的淺層特征來(lái)指導(dǎo)轉(zhuǎn)換器獲得的深層特征進(jìn)行語(yǔ)義信息對(duì)齊;最后,設(shè)計(jì)結(jié)合邊緣預(yù)測(cè)的損失函數(shù),將區(qū)域信息作為圖像分割任務(wù)的幾何約束,以鼓勵(lì)模型生成清晰的病灶邊界。本發(fā)明利用基于殘差軸向注意力的轉(zhuǎn)換器以及語(yǔ)義對(duì)齊模塊,并結(jié)合邊緣預(yù)測(cè)損失函數(shù),可以實(shí)現(xiàn)對(duì)醫(yī)學(xué)圖像的精細(xì)分割。