本公開涉及醫(yī)學成像，特別涉及一種圖像生成方法、圖像處理方法、系統(tǒng)、設(shè)備及介質(zhì)。

背景技術(shù)：

1、心內(nèi)超聲(ice)是一種微創(chuàng)成像技術(shù)，利用超聲波可視化心臟內(nèi)部結(jié)構(gòu)。ice使用置于心腔內(nèi)的導管提供高分辨率圖像，以指導各種心臟手術(shù)。ice通過實時可視化提供有價值的術(shù)中指導，同時避免暴露于x射線輻射。經(jīng)食道超聲心動圖(tee)是另一種常用于心臟手術(shù)的成像方式，也能提供有價值的見解。tee通過插入食道的超聲探頭捕捉心臟圖像。tee通常需要全身麻醉或深度鎮(zhèn)靜，增加了患者的不適和手術(shù)的復雜性。

2、然而，ice和tee圖像通常是2d(二維)的，二維圖像限制了對復雜心臟結(jié)構(gòu)的空間理解。此外，這些圖像每次只捕捉心臟的特定部分，視野有限，如此就要求臨床醫(yī)生或操作人員虛擬重建一幅大而完整的圖像，過程較為繁瑣復雜；由于上述限制，ice和tee圖像的解讀嚴重依賴于臨床醫(yī)生或操作人員的技能和經(jīng)驗，從而導致整個處理過程對于特定人群的要求依賴性較高，處理效率低，且容易存在誤判、分析不全面等情況發(fā)生。

技術(shù)實現(xiàn)思路

1、本公開要解決的技術(shù)問題是為了克服現(xiàn)有技術(shù)中上述指出的缺陷，目的在于提供一種圖像生成方法、圖像處理方法、系統(tǒng)、設(shè)備及介質(zhì)。

2、本公開是通過下述技術(shù)方案來解決上述技術(shù)問題：

3、本公開提供一種圖像生成方法，所述圖像生成方法包括：

4、獲取包含預設(shè)對象的若干張目標二維醫(yī)學圖像；

5、將若干張所述目標二維醫(yī)學圖像輸入至預先訓練好的圖像預測模型中，以輸出所述預設(shè)對象的三維和/或四維的目標高維結(jié)構(gòu)數(shù)據(jù)。

6、較佳地，所述預設(shè)對象包括心臟，所述目標高維結(jié)構(gòu)數(shù)據(jù)包括高維心臟結(jié)構(gòu)；

7、和/或，

8、所述目標二維醫(yī)學圖像包括ice圖像或tee圖像；

9、和/或，

10、所述目標高維結(jié)構(gòu)數(shù)據(jù)包括三維或者四維的體積圖像、表面網(wǎng)格結(jié)構(gòu)、點云的形式中的至少一種數(shù)據(jù)。

11、較佳地，訓練所述圖像預測模型的步驟，包括：

12、獲取若干組樣本訓練數(shù)據(jù)；

13、其中，每組所述樣本訓練數(shù)據(jù)包括所述預設(shè)對象在不同采集視角下的樣本二維醫(yī)學圖像和對應的樣本高維結(jié)構(gòu)數(shù)據(jù)；

14、獲取每張所述樣本二維醫(yī)學圖像中，用于構(gòu)建所述預設(shè)對象的高維結(jié)構(gòu)的樣本預設(shè)關(guān)鍵內(nèi)容；

15、基于每組所述樣本訓練數(shù)據(jù)中的每張所述樣本二維醫(yī)學圖像，以及對應的所述樣本預設(shè)關(guān)鍵內(nèi)容和所述樣本高維結(jié)構(gòu)數(shù)據(jù)，對預設(shè)網(wǎng)絡(luò)模型進行訓練，以得到所述圖像預測模型。

16、較佳地，所述獲取每張所述樣本二維醫(yī)學圖像中，用于構(gòu)建所述預設(shè)對象的高維結(jié)構(gòu)的樣本預設(shè)關(guān)鍵內(nèi)容的步驟，包括：

17、對所述樣本二維醫(yī)學圖像進行分割處理，得到所述預設(shè)對象上不同感興趣區(qū)域的若干張樣本分割子圖；

18、和/或，

19、對所述樣本二維醫(yī)學圖像進行分析處理，得到所述預設(shè)對象上的若干樣本關(guān)鍵解剖點信息。

20、較佳地，所述基于每組所述樣本訓練數(shù)據(jù)中的每張所述樣本二維醫(yī)學圖像，以及對應的所述樣本預設(shè)關(guān)鍵內(nèi)容和所述樣本高維結(jié)構(gòu)數(shù)據(jù)，對預設(shè)網(wǎng)絡(luò)模型進行訓練，以得到所述圖像預測模型的步驟，包括：

21、將每組所述樣本訓練數(shù)據(jù)中的每張所述樣本二維醫(yī)學圖像分割后的所述樣本分割子圖輸入所述預設(shè)網(wǎng)絡(luò)模型，傳遞至所述預設(shè)網(wǎng)絡(luò)模型中的編碼器和解碼器結(jié)構(gòu)中進行訓練學習以得到對應的特征圖，并基于若干所述特征圖體積渲染得到對應的樣本預測高維結(jié)構(gòu)數(shù)據(jù)；

22、對所述樣本預測高維結(jié)構(gòu)數(shù)據(jù)與對應的所述樣本高維結(jié)構(gòu)數(shù)據(jù)進行比較，得到比較結(jié)果，并基于所述比較結(jié)果計算得到損失值；

23、響應于所述損失值不滿足預設(shè)模型訓練條件，則基于所述損失值繼續(xù)對所述預設(shè)網(wǎng)絡(luò)模型進行訓練，直至所述損失值滿足所述預設(shè)模型訓練條件。

24、較佳地，獲取所述樣本二維醫(yī)學圖像的步驟，包括：

25、在保持成像導管位置不變時，基于移動所述成像導管的尖端中不同方位，以采集得到所述預設(shè)對象在不同所述采集視角下的所述樣本二維醫(yī)學圖像；

26、和/或，

27、所述樣本高維結(jié)構(gòu)數(shù)據(jù)基于三維或者四維的ct(計算機斷層掃描)、mri(核磁共振成像)、x射線、超聲中的至少一種方式獲得；

28、和/或，

29、所述預設(shè)網(wǎng)絡(luò)模型包括預訓練的大型基礎(chǔ)模型。

30、本公開還提供一種圖像處理方法，所述圖像處理方法基于上述的圖像生成方法得到，所述圖像處理方法包括：

31、對預設(shè)對象的目標高維結(jié)構(gòu)數(shù)據(jù)進行可視化展示；

32、或，

33、對預設(shè)對象的目標高維結(jié)構(gòu)數(shù)據(jù)進行可視化展示，響應于所述目標高維結(jié)構(gòu)數(shù)據(jù)中不同的外部操作指令，分別控制所述目標高維結(jié)構(gòu)數(shù)據(jù)移動對應的目標展示角度進行展示。

34、較佳地，所述分別控制所述目標高維結(jié)構(gòu)數(shù)據(jù)移動對應的目標位置進行展示的步驟之后，還包括：

35、對不同的所述目標展示角度下的所述目標高維結(jié)構(gòu)數(shù)據(jù)進行分析，以得到分析結(jié)果；

36、基于所述分析結(jié)果，生成匹配所述預設(shè)對象的當前狀態(tài)的治療關(guān)聯(lián)信息；

37、和/或，

38、所述圖像處理方法還包括：

39、基于所述預設(shè)對象的所述目標高維結(jié)構(gòu)數(shù)據(jù)進行三維打印，以得到所述預設(shè)對象的三維打印結(jié)構(gòu)。

40、本公開還提供一種圖像生成系統(tǒng)，所述圖像生成系統(tǒng)包括：

41、目標圖像獲取模塊，用于獲取包含預設(shè)對象的若干張目標二維醫(yī)學圖像；

42、圖像生成模塊，用于將若干張所述目標二維醫(yī)學圖像輸入至預先訓練好的圖像預測模型中，以輸出所述預設(shè)對象的三維和/或四維的目標高維結(jié)構(gòu)數(shù)據(jù)。

43、較佳地，所述預設(shè)對象包括心臟，所述目標高維結(jié)構(gòu)數(shù)據(jù)包括高維心臟結(jié)構(gòu)；

44、和/或，

45、所述目標二維醫(yī)學圖像包括ice圖像或tee圖像；

46、和/或，

47、所述目標高維結(jié)構(gòu)數(shù)據(jù)包括三維或者四維的體積圖像、表面網(wǎng)格結(jié)構(gòu)、點云的形式中的至少一種數(shù)據(jù)。

48、較佳地，所述圖像生成系統(tǒng)還包括模型訓練模塊，所述模型訓練模塊包括：

49、訓練數(shù)據(jù)獲取單元，用于獲取若干組樣本訓練數(shù)據(jù)；

50、其中，每組所述樣本訓練數(shù)據(jù)包括所述預設(shè)對象在不同采集視角下的樣本二維醫(yī)學圖像和對應的樣本高維結(jié)構(gòu)數(shù)據(jù)；

51、樣本內(nèi)容獲取單元，用于獲取每張所述樣本二維醫(yī)學圖像中，用于構(gòu)建所述預設(shè)對象的高維結(jié)構(gòu)的樣本預設(shè)關(guān)鍵內(nèi)容；

52、模型訓練單元，用于基于每組所述樣本訓練數(shù)據(jù)中的每張所述樣本二維醫(yī)學圖像，以及對應的所述樣本預設(shè)關(guān)鍵內(nèi)容和所述樣本高維結(jié)構(gòu)數(shù)據(jù)，對預設(shè)網(wǎng)絡(luò)模型進行訓練，以得到所述圖像預測模型。

53、較佳地，所述樣本內(nèi)容獲取單元還用于對所述樣本二維醫(yī)學圖像進行分割處理，得到所述預設(shè)對象上不同感興趣區(qū)域的若干張樣本分割子圖；

54、和/或，

55、對所述樣本二維醫(yī)學圖像進行分析處理，得到所述預設(shè)對象上的若干樣本關(guān)鍵解剖點信息。

56、較佳地，所述模型訓練單元包括：

57、樣本數(shù)據(jù)獲取子單元，用于將每組所述樣本訓練數(shù)據(jù)中的每張所述樣本二維醫(yī)學圖像分割后的所述樣本分割子圖輸入所述預設(shè)網(wǎng)絡(luò)模型，傳遞至所述預設(shè)網(wǎng)絡(luò)模型中的編碼器和解碼器結(jié)構(gòu)中進行訓練學習以得到對應的特征圖，并基于若干所述特征圖體積渲染得到對應的樣本預測高維結(jié)構(gòu)數(shù)據(jù)；

58、損失值計算子單元，用于對所述樣本預測高維結(jié)構(gòu)數(shù)據(jù)與對應的所述樣本高維結(jié)構(gòu)數(shù)據(jù)進行比較，得到比較結(jié)果，并基于所述比較結(jié)果計算得到損失值；

59、模型訓練子單元，用于響應于所述損失值不滿足預設(shè)模型訓練條件，則基于所述損失值繼續(xù)對所述預設(shè)網(wǎng)絡(luò)模型進行訓練，直至所述損失值滿足所述預設(shè)模型訓練條件。

60、較佳地，所述樣本數(shù)據(jù)獲取子單元還用于在保持成像導管位置不變時，基于移動所述成像導管的尖端中不同方位，以采集得到所述預設(shè)對象在不同所述采集視角下的所述樣本二維醫(yī)學圖像；

61、和/或，

62、所述樣本高維結(jié)構(gòu)數(shù)據(jù)基于三維或者四維的ct、mri、x射線、超聲中的至少一種方式獲得；

63、和/或，

64、所述預設(shè)網(wǎng)絡(luò)模型包括預訓練的大型基礎(chǔ)模型。

65、本公開還提供一種圖像處理系統(tǒng)，所述圖像處理系統(tǒng)基于上述的圖像生成系統(tǒng)得到，所述圖像處理系統(tǒng)包括：

66、展示模塊，用于對預設(shè)對象的目標高維結(jié)構(gòu)數(shù)據(jù)進行可視化展示；

67、或，

68、展示模塊，用于對預設(shè)對象的目標高維結(jié)構(gòu)數(shù)據(jù)進行可視化展示，調(diào)用指令響應模塊；

69、所述指令響應模塊用于響應于所述目標高維結(jié)構(gòu)數(shù)據(jù)中不同的外部操作指令，并調(diào)用所述展示模塊分別控制所述目標高維結(jié)構(gòu)數(shù)據(jù)移動對應的目標展示角度進行展示。

70、較佳地，所述圖像處理系統(tǒng)還包括：

71、數(shù)據(jù)分析模塊，用于對不同的所述目標展示角度下的所述目標高維結(jié)構(gòu)數(shù)據(jù)進行分析，以得到分析結(jié)果；

72、關(guān)聯(lián)信息生成模塊，用于基于所述分析結(jié)果，生成匹配所述預設(shè)對象的當前狀態(tài)的治療關(guān)聯(lián)信息；

73、和/或，

74、所述圖像處理系統(tǒng)還包括：

75、打印控制模塊，用于基于所述預設(shè)對象的所述目標高維結(jié)構(gòu)數(shù)據(jù)進行三維打印，以得到所述預設(shè)對象的三維打印結(jié)構(gòu)。

76、本公開還提供一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并用于在處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)上述的圖像生成方法，或?qū)崿F(xiàn)上述的圖像處理方法。

77、本公開還提供一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述的圖像生成方法，或?qū)崿F(xiàn)上述的圖像處理方法。

78、本公開還提供一種計算機程序產(chǎn)品，包括計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述的圖像生成方法，或?qū)崿F(xiàn)上述的圖像處理方法。

79、在符合本領(lǐng)域常識的基礎(chǔ)上，上述各優(yōu)選條件，可任意組合，即得本公開各較佳實例。

80、本公開的積極進步效果在于：

81、本公開中，提出了一種從ice或tee等二維圖像生成高維心臟結(jié)構(gòu)的方案，圖像預測模型基于深度學習算法訓練得到，可以提供心臟內(nèi)部解剖結(jié)構(gòu)的更全面和直觀的高維結(jié)構(gòu)視圖，從而有效地提升了對心臟等預設(shè)對象的分析準確度，改進了手術(shù)規(guī)劃和指導，以及優(yōu)化了整體患者護理等，簡化了操作人員的工作量和操作復雜度，大大地提升了整個處理流程的效率與質(zhì)量，也保障了操作人員以及患者的體驗感。