本申請(qǐng)實(shí)施例涉及圖像處理領(lǐng)域，具體涉及一種mri圖像分割模型訓(xùn)練方法、mri圖像分割方法及相關(guān)裝置。

背景技術(shù)：

1、磁共振成像(magnetic?resonance?imaging，mri)是一種非侵入性成像技術(shù)，能清晰顯示軟組織病變，廣泛應(yīng)用于腦腫瘤疾病的診斷和治療。不同的mri成像序列(例如flair、t1、t1ce和t2)能夠從不同角度或形態(tài)展示同一組織，這些不同模態(tài)的mri圖像能反映腫瘤區(qū)域的不同特征。

2、目前，大部分腦腫瘤分割工作還依賴(lài)于醫(yī)生的人工勾畫(huà)，這種方法不僅費(fèi)時(shí)費(fèi)力，而且受個(gè)人經(jīng)驗(yàn)的影響，不同專(zhuān)家或同一專(zhuān)家在不同時(shí)間對(duì)同一病人的分割結(jié)果可能不一致，因此，利用多模態(tài)模型實(shí)現(xiàn)自動(dòng)化的腦瘤分割是目前腦腫瘤臨床治療的重要方向。其中，腦腫瘤分割的準(zhǔn)確度是決定能否將深度學(xué)習(xí)引入臨床治療的關(guān)鍵因素。

3、相較于傳統(tǒng)的機(jī)器學(xué)習(xí)方法，計(jì)算機(jī)視覺(jué)中的卷積神經(jīng)網(wǎng)絡(luò)和transformer近年來(lái)的技術(shù)發(fā)展為提高腦腫瘤分割精度提供了新的方法。然而在相關(guān)方案中，基于卷積操作和u-net的分割網(wǎng)絡(luò)模型對(duì)mri圖像進(jìn)行處理，由于該方式基于卷積神經(jīng)網(wǎng)絡(luò)，而卷積操作的固定感受野導(dǎo)致了u-net難以捕捉多模態(tài)圖像的長(zhǎng)距離依賴(lài)，無(wú)法利用mri數(shù)據(jù)集提供的多模態(tài)信息，導(dǎo)致腦腫瘤的分割精度不高，限制了自動(dòng)化腦瘤分割的應(yīng)用。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)實(shí)施例提供了一種mri圖像分割模型訓(xùn)練方法、mri圖像分割方法及相關(guān)裝置，使得訓(xùn)練得到的分割模型繼承u-net的高效結(jié)構(gòu)并通過(guò)融入交叉模態(tài)模塊使傳統(tǒng)u-net擁有對(duì)多模態(tài)mri圖像數(shù)據(jù)集的特征提取能力，從而提升分割精度和避免過(guò)擬合。

2、本申請(qǐng)實(shí)施例第一方面提供了一種mri圖像分割模型訓(xùn)練方法，所述方法包括：

3、獲取圖像訓(xùn)練集，所述圖像訓(xùn)練集包括多組訓(xùn)練樣本，每組所述訓(xùn)練樣本包括多模態(tài)mri圖像以及每個(gè)mri圖像的標(biāo)注，所述標(biāo)注用于表示所述mri圖像中目標(biāo)對(duì)象的真實(shí)區(qū)域；

4、獲取初始分割模型，所述初始分割模型包括u-net網(wǎng)絡(luò)和交叉模態(tài)模塊；

5、將所述圖像訓(xùn)練集輸入至所述初始分割模型，則，

6、所述u-net網(wǎng)絡(luò)的編碼器對(duì)每組所述訓(xùn)練樣本中的多模態(tài)mri圖像進(jìn)行下采樣，得到每個(gè)模態(tài)的mri圖像的特征圖；

7、所述交叉模態(tài)模塊對(duì)每組所述訓(xùn)練樣本中的多模態(tài)mri圖像的多個(gè)所述特征圖進(jìn)行融合，得到融合特征矩陣；

8、所述u-net網(wǎng)絡(luò)的解碼器對(duì)所述融合特征矩陣進(jìn)行上采樣，得到上采樣特征矩陣，并使用預(yù)設(shè)尺寸的矩陣將所述上采樣特征矩陣映射為目標(biāo)特征圖，對(duì)所述目標(biāo)特征圖進(jìn)行處理得到預(yù)測(cè)分割結(jié)果，所述預(yù)測(cè)分割結(jié)果用于表示所述mri圖像中所述目標(biāo)對(duì)象的預(yù)測(cè)區(qū)域；

9、根據(jù)所述預(yù)測(cè)分割結(jié)果表示的所述預(yù)測(cè)區(qū)域以及所述標(biāo)注表示的所述真實(shí)區(qū)域構(gòu)建損失函數(shù)，并根據(jù)所述損失函數(shù)的損失值調(diào)整所述初始分割模型的模型參數(shù)，直至滿足收斂條件時(shí)停止模型訓(xùn)練，得到目標(biāo)分割模型。

10、本申請(qǐng)實(shí)施例第二方面提供了一種mri圖像分割方法，所述方法包括：

11、獲取待處理的目標(biāo)多模態(tài)mri圖像；

12、獲取目標(biāo)分割模型，所述目標(biāo)分割模型包括u-net網(wǎng)絡(luò)和交叉模態(tài)模塊；

13、將所述目標(biāo)多模態(tài)mri圖像輸入至所述目標(biāo)分割模型，則，

14、所述u-net網(wǎng)絡(luò)的編碼器對(duì)所述目標(biāo)多模態(tài)mri圖像進(jìn)行下采樣，得到每個(gè)模態(tài)的mri圖像的特征圖；

15、所述交叉模態(tài)模塊對(duì)所述目標(biāo)多模態(tài)mri圖像的多個(gè)所述特征圖進(jìn)行融合，得到融合特征矩陣；

16、所述u-net網(wǎng)絡(luò)的解碼器對(duì)所述融合特征矩陣進(jìn)行上采樣，得到上采樣特征矩陣，并使用預(yù)設(shè)尺寸的矩陣將所述上采樣特征矩陣映射為目標(biāo)特征圖，對(duì)所述目標(biāo)特征圖進(jìn)行處理得到預(yù)測(cè)分割結(jié)果，所述預(yù)測(cè)分割結(jié)果用于表示所述目標(biāo)多模態(tài)mri圖像中目標(biāo)對(duì)象的預(yù)測(cè)區(qū)域。

17、本申請(qǐng)實(shí)施例第三方面提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)前述第一方面的方法。

18、本申請(qǐng)實(shí)施例第四方面提供了一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，計(jì)算機(jī)存儲(chǔ)介質(zhì)中存儲(chǔ)有指令，該指令在計(jì)算機(jī)上執(zhí)行時(shí)，使得計(jì)算機(jī)執(zhí)行前述第一方面的方法。

19、從以上技術(shù)方案可以看出，本申請(qǐng)實(shí)施例具有以下優(yōu)點(diǎn)：

20、通過(guò)使用u-net網(wǎng)絡(luò)的編碼器對(duì)每組訓(xùn)練樣本中的多模態(tài)mri圖像進(jìn)行下采樣，得到每個(gè)模態(tài)的mri圖像的特征圖，交叉模態(tài)模塊對(duì)每組訓(xùn)練樣本中的多模態(tài)mri圖像的多個(gè)特征圖進(jìn)行融合，得到融合特征矩陣，u-net網(wǎng)絡(luò)的解碼器對(duì)融合特征矩陣進(jìn)行上采樣，得到上采樣特征矩陣，并使用預(yù)設(shè)尺寸的矩陣將上采樣特征矩陣映射為目標(biāo)特征圖，對(duì)目標(biāo)特征圖進(jìn)行處理得到預(yù)測(cè)分割結(jié)果，根據(jù)預(yù)測(cè)分割結(jié)果表示的預(yù)測(cè)區(qū)域以及標(biāo)注表示的真實(shí)區(qū)域調(diào)整模型參數(shù)，得到目標(biāo)分割模型。其中，交叉模態(tài)模塊具有處理多模態(tài)mri圖像的能力，可以捕獲多模態(tài)mri圖像輸入的長(zhǎng)距離依賴(lài)關(guān)系，很大程度上提高了對(duì)mri圖像的腦腫瘤區(qū)域的分割精度。并且，在u-net網(wǎng)絡(luò)上采樣和下采樣都采用的是輕量化的卷積操作，從而在不復(fù)雜化模型結(jié)構(gòu)和增加參數(shù)量的前提下，有效降低了過(guò)擬合的風(fēng)險(xiǎn)。

技術(shù)特征：

1.一種mri圖像分割模型訓(xùn)練方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述u-net網(wǎng)絡(luò)的編碼器對(duì)每組所述訓(xùn)練樣本中的多模態(tài)mri圖像進(jìn)行下采樣，得到每個(gè)模態(tài)的mri圖像的特征圖，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述交叉模態(tài)模塊對(duì)每組所述訓(xùn)練樣本中的多模態(tài)mri圖像的多個(gè)所述特征圖進(jìn)行融合，得到融合特征矩陣，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述u-net網(wǎng)絡(luò)的解碼器對(duì)所述融合特征矩陣進(jìn)行上采樣，得到上采樣特征矩陣，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述解碼器接收所述交叉模態(tài)模塊對(duì)所述編碼器每一次下采樣得到的多個(gè)特征圖分別進(jìn)行處理得到的所述融合特征矩陣，在每一次上采樣中，所述解碼器根據(jù)至少一個(gè)所述融合特征矩陣進(jìn)行上采樣操作，得到所述上采樣特征矩陣，包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

7.根據(jù)權(quán)利要求1至6任一項(xiàng)所述的方法，其特征在于，所述目標(biāo)對(duì)象為腦部，所述目標(biāo)對(duì)象的真實(shí)區(qū)域包括腦部mri圖像的背景、腦部mri圖像中的整個(gè)腫瘤區(qū)域、腦部mri圖像中的腫瘤核心區(qū)域、腦部mri圖像中的增強(qiáng)型腫瘤區(qū)域中的一種或多種。

8.一種mri圖像分割方法，其特征在于，所述方法包括：

9.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至8中任一項(xiàng)所述的方法。

10.一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)存儲(chǔ)介質(zhì)中存儲(chǔ)有指令，所述指令在計(jì)算機(jī)上執(zhí)行時(shí)，使得所述計(jì)算機(jī)執(zhí)行如權(quán)利要求1至8中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本申請(qǐng)實(shí)施例公開(kāi)了一種MRI圖像分割模型訓(xùn)練方法、MRI圖像分割方法及相關(guān)裝置。U?Net網(wǎng)絡(luò)的編碼器對(duì)多模態(tài)MRI圖像進(jìn)行下采樣，得到每個(gè)模態(tài)MRI圖像的特征圖，交叉模態(tài)模塊對(duì)多模態(tài)MRI圖像的多個(gè)特征圖進(jìn)行融合，U?Net網(wǎng)絡(luò)的解碼器對(duì)融合特征矩陣進(jìn)行上采樣，將上采樣特征矩陣映射為目標(biāo)特征圖，對(duì)目標(biāo)特征圖進(jìn)行處理得到預(yù)測(cè)分割結(jié)果，根據(jù)預(yù)測(cè)分割結(jié)果以及標(biāo)注調(diào)整模型參數(shù)，得到目標(biāo)分割模型。交叉模態(tài)模塊具有處理多模態(tài)MRI圖像的能力，可以捕獲多模態(tài)MRI圖像輸入的長(zhǎng)距離依賴(lài)關(guān)系，很大程度上提高了對(duì)MRI圖像的腦腫瘤區(qū)域的分割精度。在U?Net網(wǎng)絡(luò)上采樣和下采樣都采用的是輕量化的卷積操作，在不復(fù)雜化模型結(jié)構(gòu)和增加參數(shù)量的前提下有效降低過(guò)擬合的風(fēng)險(xiǎn)。

技術(shù)研發(fā)人員：張雷,周若駿,羅冰
受保護(hù)的技術(shù)使用者：昆山杜克大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30