本技術(shù)涉及醫(yī)學(xué)圖像處理,具體涉及一種醫(yī)學(xué)圖像去噪模型訓(xùn)練方法及裝置。
背景技術(shù):
1、光學(xué)相干斷層掃描(optical?coherence?tomography,oct)是一種低相干光學(xué)成像方式,因其無(wú)創(chuàng)、無(wú)輻射、高分辨率、實(shí)時(shí)成像等特點(diǎn),被廣泛應(yīng)用于眼科、皮膚科、心臟科以及胃腸道等臨床影像學(xué)。特別是在眼科領(lǐng)域,oct是診斷視網(wǎng)膜疾病、青光眼等多種眼病的有效工具。然而,由于oct的低相干光散射,固有的散斑噪聲降低了信噪比,影響了圖像質(zhì)量和準(zhǔn)確診斷。濾波法和非局部均值法等經(jīng)典算法可以有效地去除oct圖像中的散斑噪聲。然而,由于計(jì)算復(fù)雜度高,這些方法非常耗時(shí)。
2、隨著深度學(xué)習(xí)技術(shù)在圖像處理中的普及,許多經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)(convolutional?neural?network,cnn)架構(gòu)被用于oct圖像去噪,以追求產(chǎn)生高質(zhì)量的圖像,例如:u-net或resnet。然而,這類方法易出現(xiàn)oct圖像中組織邊界分層不明顯的情況。還有方法利用gan(generative?adversarial?network,對(duì)抗生成網(wǎng)絡(luò))完成oct圖像散斑噪聲去除,例如:申請(qǐng)?zhí)枮?01910515611.2和202211149964.3的專利文獻(xiàn),這類方法存在模型訓(xùn)練復(fù)雜度高、對(duì)大量數(shù)據(jù)依賴強(qiáng)以及在不同類型的oct圖像上泛化性不足的問(wèn)題;另外有的方法利用三維卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行去噪,例如:申請(qǐng)?zhí)枮椋?02311293845.x的專利文獻(xiàn),這類方法計(jì)算資源消耗較大,訓(xùn)練時(shí)間長(zhǎng),以及在處理大尺度圖像時(shí)可能面臨內(nèi)存瓶頸,導(dǎo)致去噪性能差。
技術(shù)實(shí)現(xiàn)思路
1、為此,本技術(shù)提供一種醫(yī)學(xué)圖像去噪模型訓(xùn)練方法及裝置,以解決現(xiàn)有的oct圖像去噪方法易出現(xiàn)組織邊界分層不明顯、去噪性能差的問(wèn)題。
2、為了實(shí)現(xiàn)上述目的,本技術(shù)提供如下技術(shù)方案:
3、第一方面,一種醫(yī)學(xué)圖像去噪模型訓(xùn)練方法,包括:
4、步驟1:獲取同一部位的醫(yī)學(xué)圖像;所述醫(yī)學(xué)圖像包括噪聲圖像和干凈圖像;
5、步驟2:調(diào)整所述噪聲圖像和所述干凈圖像的尺寸,并進(jìn)行歸一化處理,得到輸入圖像和標(biāo)簽圖像;
6、步驟3:將所述干凈圖像制作為掩碼圖像;
7、步驟4:將所述輸入圖像輸入至u-net網(wǎng)絡(luò)的編碼器中進(jìn)行特征提取,得到原始特征圖;
8、步驟5:計(jì)算所述原始特征圖的hessian矩陣,并計(jì)算所述hessian矩陣的矩陣特征值;
9、步驟6:根據(jù)所述矩陣特征值計(jì)算hessian響應(yīng),并提取邊緣特征圖,得到深度hessian注意力特征圖;
10、步驟7:將所述原始特征圖和所述深度hessian注意力特征圖進(jìn)行拼接,并輸入至所述u-net網(wǎng)絡(luò)的解碼器中進(jìn)行特征融合,得到輸出圖像;
11、步驟8:根據(jù)所述掩碼圖像計(jì)算所述輸出圖像與所述標(biāo)簽圖像的之間的損失,并反向傳播更新權(quán)重,從而得到訓(xùn)練好的醫(yī)學(xué)圖像去噪模型。
12、作為優(yōu)選,所述步驟3具體包括:制作與所述干凈圖像尺寸相同的全0值圖像,在所述全0值圖像的目標(biāo)組織區(qū)域生成一個(gè)多邊形區(qū)域,并用1值填充,得到掩碼圖像。
13、作為優(yōu)選,所述步驟4中,所述u-net網(wǎng)絡(luò)為resunet網(wǎng)絡(luò)、attention?u-net網(wǎng)絡(luò)或者mamba-unet。
14、作為優(yōu)選,所述步驟5中,所述hessian矩陣計(jì)算公式為:
15、
16、其中,hi為hessian矩陣,表示偏微分,x表示橫向坐標(biāo),y表示縱向坐標(biāo),ei表示原始特征圖,表示ei在x方向上的二階偏微分導(dǎo)數(shù),表示ei在y方向上的二階偏微分導(dǎo)數(shù),表示ei在x、y方向上的混合偏微分導(dǎo)數(shù)。
17、作為優(yōu)選,所述步驟6中,計(jì)算hessian響應(yīng)時(shí)采用jerman方法、frangi方法或者erdt方法。
18、作為優(yōu)選,所述步驟7中,將所述原始特征圖和所述深度hessian注意力特征圖進(jìn)行拼接時(shí),所述原始特征圖與所述深度hessian注意力特征圖的比例為1:2。
19、作為優(yōu)選,所述步驟8中,根據(jù)所述掩碼圖像計(jì)算所述輸出圖像與所述標(biāo)簽圖像的之間的損失時(shí),損失函數(shù)為均方誤差損失、l1損失、psnr損失、ssim損失之間的任意組合。
20、作為優(yōu)選,所述損失函數(shù)為l1損失和ssim損失的組合時(shí),所述損失函數(shù)計(jì)算公式為:
21、
22、其中,表示輸出圖像,b表示標(biāo)簽圖像,表示ssim損失,表示l1損失,imask表示掩碼圖像,和表示權(quán)重系數(shù),表示使用3*3卷積核進(jìn)行銳化增強(qiáng)的過(guò)程。
23、作為優(yōu)選,所述步驟8中,所述標(biāo)簽圖像為銳化增強(qiáng)后的標(biāo)簽圖像。
24、第二方面,一種醫(yī)學(xué)圖像去噪模型訓(xùn)練裝置,包括:
25、醫(yī)學(xué)圖像獲取模塊:用于獲取同一部位的醫(yī)學(xué)圖像;所述醫(yī)學(xué)圖像包括噪聲圖像和干凈圖像;
26、數(shù)據(jù)預(yù)處理模塊,用于調(diào)整所述噪聲圖像和所述干凈圖像的尺寸,并進(jìn)行歸一化處理,得到輸入圖像和標(biāo)簽圖像;
27、掩碼圖像制作模塊,用于將所述干凈圖像制作為掩碼圖像;
28、原始特征圖提取模塊,用于將所述輸入圖像輸入至u-net網(wǎng)絡(luò)的編碼器中進(jìn)行特征提取,得到原始特征圖;
29、計(jì)算模塊,用于計(jì)算所述原始特征圖的hessian矩陣,并計(jì)算所述hessian矩陣的矩陣特征值;
30、深度hessian注意力特征圖提取模塊,用于根據(jù)所述矩陣特征值計(jì)算hessian響應(yīng),并提取邊緣特征圖,得到深度hessian注意力特征圖;
31、特征融合模塊,用于將所述原始特征圖和所述深度hessian注意力特征圖進(jìn)行拼接,并輸入至所述u-net網(wǎng)絡(luò)的解碼器中進(jìn)行特征融合,得到輸出圖像;
32、訓(xùn)練模塊,用于根據(jù)所述掩碼圖像計(jì)算所述輸出圖像與所述標(biāo)簽圖像的之間的損失,并反向傳播更新權(quán)重,從而得到訓(xùn)練好的醫(yī)學(xué)圖像去噪模型。
33、相比現(xiàn)有技術(shù),本技術(shù)至少具有以下有益效果:
34、本技術(shù)提供了一種醫(yī)學(xué)圖像去噪模型訓(xùn)練方法及裝置,通過(guò)獲取同一部位的噪聲圖像和干凈圖像,并進(jìn)行預(yù)處理,得到輸入圖像、標(biāo)簽圖像和掩碼圖像,將輸入圖像輸入至u-net網(wǎng)絡(luò)的編碼器中進(jìn)行特征提取,得到原始特征圖;計(jì)算原始特征圖的hessian矩陣,并計(jì)算hessian矩陣的矩陣特征值;根據(jù)矩陣特征值計(jì)算hessian響應(yīng),并提取邊緣特征圖,得到深度hessian注意力特征圖;將原始特征圖和深度hessian注意力特征圖進(jìn)行拼接,并輸入至u-net網(wǎng)絡(luò)的解碼器中進(jìn)行特征融合,得到輸出圖像;根據(jù)掩碼圖像計(jì)算輸出圖像與標(biāo)簽圖像的之間的損失,并反向傳播更新權(quán)重,從而得到訓(xùn)練好的醫(yī)學(xué)圖像去噪模型。本技術(shù)通過(guò)結(jié)合深度hessian注意力特征,增強(qiáng)了u-net網(wǎng)絡(luò)對(duì)結(jié)構(gòu)細(xì)節(jié)的關(guān)注,能夠在去除醫(yī)學(xué)圖像固有散斑、重建醫(yī)學(xué)原有的組織結(jié)構(gòu)時(shí),更加關(guān)注醫(yī)學(xué)圖像中的組織邊界信息及紋理細(xì)節(jié),有助于組織分層,并且顯著提高了醫(yī)學(xué)圖像去噪后的圖像質(zhì)量,使得診斷結(jié)果更加準(zhǔn)確。