本發(fā)明涉及磁共振成像領(lǐng)域，特別是涉及基于深度學(xué)習(xí)的磁共振多模態(tài)超分辨率的合成。

背景技術(shù)：

1、在醫(yī)學(xué)影像領(lǐng)域，磁共振成像(mri)作為一種無創(chuàng)、非放射性的診斷工具，被廣泛應(yīng)用于各種疾病的診斷、治療和監(jiān)測。然而，不同模態(tài)下的mri圖像提供互補(bǔ)的信息，例如t1-w,t2-w,pd,t2flair,t2star,dwi等，這些圖像模態(tài)對于捕捉組織的不同特性和病變的不同表現(xiàn)具有獨特的優(yōu)勢。例如，t1加權(quán)圖像對于髓質(zhì)、脂肪等結(jié)構(gòu)的對比度較高，適合用于顯示解剖結(jié)構(gòu)的形態(tài)和位置關(guān)系；而t2加權(quán)圖像對于液體含量、水腫等病變具有更好的顯示效果，有助于提供病變的更多信息。

2、然而，獲取多模態(tài)mri圖像通常需要分別進(jìn)行不同的掃描序列和成像參數(shù)設(shè)置，這不僅增加了成本和時間開銷，而且可能會引入不一致性和圖像配準(zhǔn)等問題。因此，對于醫(yī)學(xué)影像領(lǐng)域而言，合成的多模態(tài)的磁共振圖像有著不同的價值和意義，通過這些多模態(tài)磁共振數(shù)據(jù)可以獲取更全面、更準(zhǔn)確的信息，對于診斷、治療和疾病監(jiān)測至關(guān)重要。

3、傳統(tǒng)的圖像合成方法通常需要依賴于專業(yè)醫(yī)學(xué)影像學(xué)家手動設(shè)計特征和規(guī)則，這不僅效率低下，而且具有主觀性和局限。先前的許多基于深度學(xué)習(xí)的方法依賴于單個數(shù)據(jù)集，并且需要有配對模態(tài)的樣本。

技術(shù)實現(xiàn)思路

1、本發(fā)明的主要目的在于克服現(xiàn)有技術(shù)中的上述缺陷，提供基于深度學(xué)習(xí)的磁共振多模態(tài)超分辨率的合成，設(shè)計一種基于深度學(xué)習(xí)的無監(jiān)督對抗網(wǎng)絡(luò)，通過兩個階段，實現(xiàn)基于少樣本訓(xùn)練的跨數(shù)據(jù)集磁共振多模態(tài)超分辨圖像的有效合成。

2、為實現(xiàn)上述發(fā)明目的，本發(fā)明采用如下技術(shù)方案：

3、一種基于深度學(xué)習(xí)的跨數(shù)據(jù)集磁共振多模態(tài)超分辨圖像的合成方法，包括如下步驟：

4、1)獲取醫(yī)學(xué)原始數(shù)據(jù)并對原始數(shù)據(jù)進(jìn)行分析以及預(yù)處理；

5、2)構(gòu)建高頻模板hf_mask；

6、3)通過高頻模板hf_mask提取得到數(shù)據(jù)高頻信息data_hf；

7、4)將數(shù)據(jù)data與數(shù)據(jù)高頻信息data_hf進(jìn)行通道堆疊，對堆疊后的數(shù)據(jù)執(zhí)行隨機(jī)裁剪，裁剪后執(zhí)行通道分離操作；

8、5)構(gòu)建并訓(xùn)練多模態(tài)合成網(wǎng)絡(luò)；

9、6)構(gòu)建多模態(tài)超分辨率重建網(wǎng)絡(luò)模型；

10、7)將多數(shù)據(jù)庫多模態(tài)的磁共振圖像輸送入基于srgan構(gòu)建的網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

11、8)將訓(xùn)練好的權(quán)重應(yīng)用于階段一生成的多模態(tài)數(shù)據(jù)，得到分辨率ɑ倍數(shù)的高分辨率的多模態(tài)mr圖像；

12、9)將多模態(tài)超分辨率的磁共振圖像應(yīng)用于多樣化的下游任務(wù)。

13、在步驟1)中，所述獲取醫(yī)學(xué)原始數(shù)據(jù)并對原始數(shù)據(jù)進(jìn)行分析以及預(yù)處理的具體步驟可為：

14、1.1)獲取多模態(tài)公開數(shù)據(jù)集；

15、1.2)使用3d醫(yī)學(xué)圖像可視化軟件slicer以及itk-snap對圖像進(jìn)行觀察分析，獲得x,y,z軸與矢狀面(sagittal?section)，冠狀面(coronal?section)，橫斷面(transversesection)的對應(yīng)關(guān)系；

16、1.3)對nii.gz格式的多模態(tài)進(jìn)行數(shù)據(jù)空間位置的糾正，將多模態(tài)數(shù)據(jù)進(jìn)行配準(zhǔn)：

17、1.4)對數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行橫斷面切片處理，獲得若干層格式為.mat的二維切片；

18、1.5)對切片預(yù)處理，采用最大值歸一化的方式將圖像歸一到強(qiáng)度值為0～1的范圍內(nèi)；

19、1.6)對切片進(jìn)行統(tǒng)一尺寸處理，使得所有切片的大小為m?x?m，便于更好的匹配網(wǎng)絡(luò)的輸入適用性；

20、1.7)對所有切片進(jìn)行異常值檢測，將二維切片數(shù)據(jù)中的inf值和nan值置為0，并且剔除掉損壞以及異常數(shù)據(jù)。

21、優(yōu)選的，步驟1.4)～1.7)具體包括：

22、對ixi和simons數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行z軸切片處理，每個樣本獲取大約50層尺寸為m×m的格式為.mat的二維切片，位置處于腦部中間富含紋理結(jié)構(gòu)信息的部分。采用最大值歸一化的方式將圖像灰度值歸一化到范圍[0,1]內(nèi)。對于hcp數(shù)據(jù)集，在b值為1000的情況下對數(shù)據(jù)進(jìn)行指定方向的切片處理，得到若干層尺寸為w×h的數(shù)據(jù)并進(jìn)行最大值歸一化處理。對所有數(shù)據(jù)集的切片進(jìn)行異常值檢測和清洗，將inf值和nan值設(shè)置為0，并剔除損壞和異常數(shù)據(jù)。在輸送進(jìn)網(wǎng)絡(luò)之前，對hcp的數(shù)據(jù)執(zhí)行transform中的resize操作，將所有切片的大小調(diào)整為m×m，以適應(yīng)網(wǎng)絡(luò)的輸入要求。

23、在步驟2)中，所述構(gòu)建高頻模板hf_mask的具體步驟可為：

24、2.1)設(shè)定比例因子和中心坐標(biāo)，計算空間中任意點與中心坐標(biāo)的距離；

25、2.2)基于距離將矩陣分為三部分d1,d2,d3；

26、2.3)對區(qū)域賦值，將d1值設(shè)置為1，通過高斯衰減函數(shù)對d2區(qū)域進(jìn)行賦值，據(jù)距離從r1到r2，設(shè)定d2值從1衰減到0，d3值設(shè)置為0，得到低頻模板lf_mask，計算得到高頻模板hf_mask＝1-lf_mask。

27、優(yōu)選的，步驟2)具體包括：設(shè)定比例因子scale_factor1,scale_factor2,設(shè)定參數(shù)r1＝m/2×scale_factor1，r2＝m/2×scale_factor2且r1<r2，設(shè)定中心坐標(biāo)為(centre_x,centre_y),空間中任意點坐標(biāo)為(x,y)。設(shè)定空間中任意點與中心坐標(biāo)的距離為將m?x?m的二維矩陣分為三部分，分別為d1＝distance<r1,d2＝r1<distance<r2,以及d3＝r2<distance<m/2，并對區(qū)域進(jìn)行賦值：將d1值設(shè)置為1，通過高斯衰減函數(shù)對d2賦值，根據(jù)距離從r1到r2，設(shè)定值從1衰減到0，d3設(shè)置為0。由此得到低頻模板lf_mask，

28、高頻模板hf?mask＝1-lf_mask；

29、在步驟3)中，所述提取得到數(shù)據(jù)高頻信息data_hf的具體步驟可為：將數(shù)據(jù)進(jìn)行fft變換(即dft的高效快速算法)得到其k空間，根據(jù)快速傅里葉變換移位函數(shù)對k空間進(jìn)行快速傅里葉變換移位，將快速傅里葉變換(fft)結(jié)果的零頻率分量移動到頻譜中心。變換后得到k空間與hf_mask做乘積得到k空間高頻信息，再對k空間高頻信息進(jìn)行快速傅里葉變換移位并執(zhí)行ifft(即idft的高效快速算法)變換得到數(shù)據(jù)高頻信息data_hf。

30、dft的公式為：

31、

32、其中，n為時域離散信號的點數(shù)，n表示時域離散信號的編號，k表示頻域信號的編號；

33、idft的公式為：

34、

35、在步驟5)中，所述構(gòu)建并訓(xùn)練多模態(tài)合成網(wǎng)絡(luò)的具體步驟可為：

36、5.1)構(gòu)造雙通道作為網(wǎng)絡(luò)輸入(分別為data和data_hf)和單通道為輸出的深度神經(jīng)網(wǎng)絡(luò)用于多模態(tài)合成的深度神經(jīng)網(wǎng)絡(luò)，即多模態(tài)合成網(wǎng)絡(luò)；

37、5.2)基于srgan構(gòu)建生成器網(wǎng)絡(luò)；生成器中的編碼器部分，采用兩種不同的網(wǎng)絡(luò)設(shè)計分別提取高頻圖像特征和原始圖像的特征；生成器的解碼器部分，采用轉(zhuǎn)置卷積，同時運用data_hf的部分特征融合到解碼器部分；

38、5.3)構(gòu)造鑒別器用以鑒別生成圖像的合理性；

39、5.4)構(gòu)造合理網(wǎng)絡(luò)損失函數(shù)，包含循環(huán)一致性損失函數(shù)，感知損失函數(shù)以及生成對抗損失函數(shù)。

40、5.5)訓(xùn)練多模態(tài)合成網(wǎng)絡(luò)；

41、優(yōu)選的，多模態(tài)合成網(wǎng)絡(luò)的生成器解碼器部分，具體包括：編碼器最終將特征下采提取特征為b×1×m/2×m/2的圖像轉(zhuǎn)變?yōu)閎×c1×h1×w1。上采樣block包括卷積核為3的2d轉(zhuǎn)置卷積，一個batchnorm2d以及一個使用relu激活函數(shù)的激活層。將該特征經(jīng)過一次上采樣block，為b×c1/2×2h1×2w1，然后將基于resnet34提取b×c2/2×2h1×2w1融合到該特征塊上，再將該特征經(jīng)過上采樣block為b×(c1+c2/2)/2×4h1×4w1，然后把高頻特征為b×c2/2×4h1?x?4w1的特征融合為一體得到b×((c1+c2/2)/2+c2/22)×4h1×4w1，再次進(jìn)入上采樣block得到b×((c1+c2/2)/2+c2/2)/2×8h1×8w1，接著再與高頻特征b?xc2/4×8h1×8w1融合為一個整體，實現(xiàn)特征的關(guān)聯(lián)；最后經(jīng)過兩次上采樣得到重建后的圖像。

42、在步驟6)中，所述構(gòu)建多模態(tài)超分辨率重建網(wǎng)絡(luò)模型的具體步驟可為：

43、6.1)構(gòu)造超分辨率網(wǎng)絡(luò)退化模型，包括應(yīng)用低頻模板進(jìn)行磁共振圖像模糊化、圖像隨機(jī)下采樣和圖像隨機(jī)加噪；

44、6.2)構(gòu)造六通道輸入輸出的訓(xùn)練模型，包含多種磁共振模式。

45、6.3)基于srgan構(gòu)建生成器和鑒別器網(wǎng)絡(luò)。

46、6.4)構(gòu)造多通道損失函數(shù)，包括像素?fù)p失函數(shù)、感知損失函數(shù)和生成對抗損失函數(shù)。

47、優(yōu)選的，步驟6.1)中，構(gòu)造超分辨率網(wǎng)絡(luò)退化模型，具體的包括三部分：

48、其一采用醫(yī)學(xué)圖像采樣即圖像域轉(zhuǎn)換為k空間頻域，根據(jù)步驟s23得到構(gòu)建低頻模板data_lf，在k空間區(qū)域應(yīng)用低頻模板，再將圖像轉(zhuǎn)換為圖像域，得到模糊后的磁共振圖像。其二運用三種不同模式即mode1，mode2和mode3的采樣方式隨機(jī)進(jìn)行下采樣，其三采用兩種模式的噪聲方式即noise1和noise2對圖像進(jìn)行隨機(jī)加噪。

49、本發(fā)明還提供一種基于深度學(xué)習(xí)的跨數(shù)據(jù)集磁共振多模態(tài)超分辨圖像的合成系統(tǒng)，依次包括：數(shù)據(jù)獲取分析單元、數(shù)據(jù)預(yù)處理單元、高頻模板構(gòu)建單元、數(shù)據(jù)高頻信息提取單元、多模態(tài)合成網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建單元、多模態(tài)合成網(wǎng)絡(luò)損失函數(shù)單元、超分辨率退化模型構(gòu)建單元、超分辨率重建的生成器與鑒別器的網(wǎng)絡(luò)構(gòu)建單元、超分辨率重建損失函數(shù)單元、數(shù)據(jù)訓(xùn)練與應(yīng)用單元；

50、所述數(shù)據(jù)獲取分析單元用于收集和預(yù)處理原始醫(yī)學(xué)圖像數(shù)據(jù)，包括從多模態(tài)公開數(shù)據(jù)集中獲取多模態(tài)的磁共振圖像，并使用可視化軟件進(jìn)行分析，確定x、y、z軸與矢狀面、冠狀面、橫斷面的對應(yīng)關(guān)系；所述多模態(tài)公開數(shù)據(jù)集包括ixi數(shù)據(jù)集、hcp數(shù)據(jù)集、simons數(shù)據(jù)集等；可視化軟件可選用slicer和itk-snap；

51、所述數(shù)據(jù)預(yù)處理單元用于對多模態(tài)數(shù)據(jù)進(jìn)行清洗、歸一化和切片處理，確保輸入數(shù)據(jù)的質(zhì)量，并適配網(wǎng)絡(luò)的輸入要求；

52、所述高頻模板構(gòu)建單元根據(jù)設(shè)定的比例因子和參數(shù)，通過設(shè)定二維矩陣分區(qū)并使用高斯衰減函數(shù)計算得到高頻模板hf_mask，用于提取圖像中的高頻信息；

53、所述數(shù)據(jù)高頻信息提取單元通過高頻模板得到數(shù)據(jù)的高頻信息data_hf；包括fft變換模塊、k空間移位模塊、高頻信息提取模塊、反k空間移位模塊、ifft變換模塊、數(shù)據(jù)輸出模塊；所述fft變換模塊用于將輸入的時域數(shù)據(jù)通過快速傅里葉變換fft轉(zhuǎn)換到頻域，得到其k空間表示；所述k空間移位模塊用于對fft變換得到的k空間進(jìn)行移位操作，將零頻率分量移動到頻譜的中心位置；所述高頻信息提取模塊用于利用預(yù)先構(gòu)建的高頻模板hf_mask與移位后的k空間進(jìn)行逐元素相乘，提取k空間中的高頻信息部分；所述反k空間移位模塊用于功能：對提取高頻信息后的k空間進(jìn)行反向移位操作，恢復(fù)其原始的相對位置，以便進(jìn)行后續(xù)的ifft變換；所述ifft變換模塊用于將處理后的k空間高頻信息通過逆快速傅里葉變換ifft轉(zhuǎn)換回時域，得到最終的高頻信息數(shù)據(jù)data_hf；所述數(shù)據(jù)輸出模塊用于將ifft變換得到的高頻信息數(shù)據(jù)data_hf進(jìn)行格式化處理，并輸出到后續(xù)的處理流程中；

54、所述多模態(tài)合成網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建單元用于構(gòu)建一個復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，該神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)能接收不同類型的輸入數(shù)據(jù)，并通過多步驟的特征提取融合不同模態(tài)的信息，生成統(tǒng)一的多模態(tài)的輸出數(shù)據(jù)；

55、所述多模態(tài)合成網(wǎng)絡(luò)損失函數(shù)單元用于構(gòu)造合理的網(wǎng)絡(luò)損失函數(shù)，包括循環(huán)一致性損失，生成對抗損失函數(shù)，感知損失函數(shù)；

56、所述超分辨率模型構(gòu)建單元是用于構(gòu)建可將原始磁共振圖像轉(zhuǎn)換為低分辨率圖像的模型(學(xué)習(xí)的是低分辨率到原始圖像的映射)；超分辨率模型構(gòu)建單元包括k空間處理模塊、下采樣模塊和噪聲添加模塊；所述k空間處理模塊用于將醫(yī)學(xué)圖像從圖像域轉(zhuǎn)換為k空間頻域，在k空間頻域應(yīng)用低頻模板將圖像轉(zhuǎn)換為圖像域，得到模糊后的磁共振圖像；所述噪聲添加模塊用于對圖像進(jìn)行隨機(jī)加噪，最終得到低分辨率圖像。

57、所述超分辨率重建的生成器與鑒別器的網(wǎng)絡(luò)構(gòu)建單元用于創(chuàng)建一個生成器來生成高分辨率圖像和一個鑒別器來評估圖像的真實性，從而優(yōu)化超分辨率圖像的質(zhì)量；

58、所述超分辨率重建損失函數(shù)單元用于創(chuàng)建多個損失函數(shù)來指導(dǎo)模型學(xué)習(xí)如何提高圖像分辨率；包括像素?fù)p失函數(shù)，生成對抗損失函數(shù)，感知損失函數(shù)；

59、所述數(shù)據(jù)訓(xùn)練與應(yīng)用單元用于將合成的多模態(tài)醫(yī)學(xué)圖像數(shù)據(jù)輸入到基于srgan構(gòu)建的網(wǎng)絡(luò)進(jìn)行訓(xùn)練以提升磁共振圖像的分辨率，并將該模型應(yīng)用于實際圖像獲得高分辨率的多模態(tài)磁共振圖像結(jié)果。

60、進(jìn)一步的，多模態(tài)合成網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建單元：用于設(shè)計并構(gòu)建多模態(tài)圖像合成的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，以通過融合不同模態(tài)的信息生成高質(zhì)量多模態(tài)超分辨率圖像；具體在這個單元中，構(gòu)造雙通道輸入(data和data_hf)和單通道輸出的深度神經(jīng)網(wǎng)絡(luò)；該深度神經(jīng)網(wǎng)絡(luò)用于多模態(tài)磁共振圖像的合成；網(wǎng)絡(luò)采用生成對抗網(wǎng)絡(luò)gan的框架，結(jié)合生成器和鑒別器的結(jié)構(gòu)；所述生成器由編碼器、解碼器以及特征融合機(jī)制組成；所述鑒別器采用patchgan；具體的，編碼器使用算法模型algorithm1提取data_hf的紋理細(xì)節(jié)特征信息，使用算法模型algorithm2模型提取data的全局特征；解碼器采用包含轉(zhuǎn)置卷積的上采樣block擴(kuò)充和重塑特征圖的的分辨率，上采樣block包括卷積核為3的2d轉(zhuǎn)置卷積、一個batchnorm2d層以及一個使用relu激活函數(shù)的激活層；在解碼過程中，利用algorithm3的網(wǎng)絡(luò)結(jié)構(gòu)將data_hf所提取的紋理細(xì)節(jié)特征和data所提取的全局特征進(jìn)行融合；最終生成的圖像送入patchgan鑒別器進(jìn)行評估，以判斷生成圖像的真實性、合理性。

61、進(jìn)一步的，生成器與鑒別器的網(wǎng)絡(luò)構(gòu)建單元：采用基于srgan構(gòu)建生成器網(wǎng)絡(luò)和鑒別器網(wǎng)絡(luò)；生成器網(wǎng)絡(luò)中使用rrdb?block作為網(wǎng)絡(luò)模型的骨干結(jié)構(gòu)，鑒別器網(wǎng)絡(luò)模型采用譜歸一化的u-net鑒別器。

62、本發(fā)明提出的基于深度學(xué)習(xí)的無監(jiān)督方法能夠利用大量的醫(yī)學(xué)影像數(shù)據(jù)，跨越數(shù)據(jù)集，且不需要配對模態(tài)樣本，通過設(shè)計的網(wǎng)絡(luò)自動學(xué)習(xí)特征表示，并從數(shù)據(jù)中學(xué)習(xí)到復(fù)雜的非線性關(guān)系，具有更好的泛化能力；通過訓(xùn)練深度學(xué)習(xí)模型，可以實現(xiàn)從單一模態(tài)的mri圖像中合成多種模態(tài)的圖像，如t1加權(quán)、t2加權(quán)、pd加權(quán)以及t2*加權(quán)等，為醫(yī)學(xué)影像診斷提供更全面、更準(zhǔn)確的信息支持；除此之外，本發(fā)明還關(guān)注磁共振多模態(tài)圖像的超分辨率圖像的合成構(gòu)建；合成超分辨率醫(yī)學(xué)圖像能夠有效地提高圖像的空間分辨率，從而使醫(yī)學(xué)影像學(xué)家能夠更清晰地觀察組織結(jié)構(gòu)和病變特征，為臨床實踐帶來更大的便利性和效益；這種基于深度學(xué)習(xí)的多模態(tài)超分辨率圖像合成方法不僅能夠提高診斷的準(zhǔn)確性和效率，而且可以減輕醫(yī)學(xué)影像診斷醫(yī)生的工作負(fù)擔(dān)，為臨床實踐帶來更大的便利性和效益；本發(fā)明通過k空間域和圖像域信息的結(jié)合以及swim?transformer與cnn的網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合能實現(xiàn)跨數(shù)據(jù)集且不依賴配對模態(tài)樣本合成多模態(tài)的磁共振數(shù)據(jù)；本發(fā)明能合成超高分辨率的磁共振圖像；本發(fā)明實現(xiàn)多模態(tài)合成與超分辨率重建有效的聯(lián)合，能夠合成高分辨率的多模態(tài)磁共振數(shù)據(jù)，一定程度上解決模態(tài)缺失，模態(tài)損壞以及圖像不清晰，圖像分辨率不高的問題。