本發(fā)明屬于知識圖譜應(yīng)用領(lǐng)域，具體涉及一種基于多模態(tài)乳腺癌知識圖譜的醫(yī)療輔助診斷系統(tǒng)模型的構(gòu)建方法。

背景技術(shù)：

1、基于多模態(tài)乳腺癌知識圖譜的醫(yī)療輔助診斷系統(tǒng)在計(jì)算機(jī)輔助乳腺癌診斷和預(yù)后中起著關(guān)鍵作用。國務(wù)院辦公廳在《關(guān)于促進(jìn)“互聯(lián)網(wǎng)+醫(yī)療健康”發(fā)展的意見》中明確指出，社會各界應(yīng)當(dāng)運(yùn)用信息化手段解決人民群眾看病就醫(yī)過程中的“難點(diǎn)”“堵點(diǎn)”問題。在此大背景下，計(jì)算機(jī)輔助醫(yī)療決策成為人工智能技術(shù)與醫(yī)療結(jié)合的重點(diǎn)領(lǐng)域，是信息技術(shù)賦能疾病診療全流程的突破點(diǎn)，在提升醫(yī)療質(zhì)量和效率、優(yōu)化區(qū)域間醫(yī)療資源配置、改善人民群眾看病就醫(yī)感受等方面具有積極作用。

2、根據(jù)世界衛(wèi)生組織的《世界癌癥報(bào)告》，乳腺癌是全世界婦女中發(fā)病率和死亡率最高的最常見癌癥。早期篩查能夠有效降低乳腺癌的死亡率?，F(xiàn)階段的輔助診斷系統(tǒng)是以電子病歷評級為驅(qū)動的知識庫體系，只能滿足比較基礎(chǔ)的的診療決策需求。而腫瘤科、心血管科等各個?？仆媾R比較復(fù)雜的病歷，需要更具差異化的?？浦R體系。另外，現(xiàn)階段的輔助診斷系統(tǒng)更多的是利用問診及檢查/檢驗(yàn)結(jié)果的數(shù)據(jù)，但圖像數(shù)據(jù)對診斷以及后續(xù)治療方案的選擇提供了額外的信息，特別是對于乳腺癌，往往是利用圖像進(jìn)行診斷。目前缺少能夠融合臨床數(shù)據(jù)和圖像數(shù)據(jù)的輔助診斷系統(tǒng)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問題是提供一種針對乳腺癌的醫(yī)療輔助診斷系統(tǒng)，能夠準(zhǔn)確和有效地根據(jù)病人的電子病歷和包括影像學(xué)檢查、組織病理學(xué)檢查等各類檢查\檢驗(yàn)結(jié)果結(jié)合而成的多模態(tài)信息給出可靠的病人被診斷為腺病、纖維腫瘤、導(dǎo)管癌、小葉癌等良性乳腺腫瘤或乳腺癌的診斷結(jié)果。為了能夠進(jìn)一步提高系統(tǒng)的準(zhǔn)確性和有效性，使用多模態(tài)乳腺癌知識圖譜，結(jié)合圖譜中乳腺癌相關(guān)的多模態(tài)知識增強(qiáng)系統(tǒng)。

2、本發(fā)明公開了一種基于多模態(tài)乳腺癌知識圖譜的醫(yī)療輔助診斷系統(tǒng)的構(gòu)建方法，所述方法包括以下步驟：

3、1）構(gòu)建多模態(tài)乳腺癌知識圖譜。從大量不同來源的高質(zhì)量醫(yī)療數(shù)據(jù)中收集大量的乳腺癌相關(guān)資料作為數(shù)據(jù)，對知識圖譜中的本體進(jìn)行建模，采用基于深度學(xué)習(xí)的實(shí)體、關(guān)系聯(lián)合學(xué)習(xí)方法對數(shù)據(jù)進(jìn)行實(shí)體、關(guān)系抽取，針對乳腺癌疾病類實(shí)體將其對應(yīng)的典型圖像數(shù)據(jù)如x線影像、組織病理學(xué)圖像等作為其關(guān)聯(lián)實(shí)體，生成多模態(tài)、大規(guī)模、專業(yè)性強(qiáng)的乳腺癌知識圖譜；

4、2）構(gòu)建乳腺癌知識圖譜增強(qiáng)診斷系統(tǒng)模塊。對診斷系統(tǒng)的每個輸入，將其中涉及的實(shí)體選擇出來，在知識圖譜中查詢對應(yīng)的三元組，采用基于規(guī)則的方法篩選出其中對診斷乳腺癌權(quán)重較大的實(shí)體，這些實(shí)體分為文本數(shù)據(jù)和圖像數(shù)據(jù)，將這些數(shù)據(jù)進(jìn)行處理得到聯(lián)合特征，作為診斷系統(tǒng)輸入的額外特征；

5、3）構(gòu)建醫(yī)療輔助診斷系統(tǒng)模型。將獲取的去識別化的確診為良性乳腺腫瘤、惡性乳腺癌的病人的電子病歷和相關(guān)的各類檢查結(jié)果結(jié)合而成的多模態(tài)數(shù)據(jù)作為模型訓(xùn)練數(shù)據(jù)，將樣本中的多模態(tài)數(shù)據(jù)進(jìn)行處理得到聯(lián)合特征，結(jié)合從知識圖譜中獲取的相應(yīng)的知識的聯(lián)合特征，將特征映射到潛在的標(biāo)簽空間中，根據(jù)得到的標(biāo)簽表示和真實(shí)的標(biāo)簽對模型的參數(shù)進(jìn)行梯度更新，通過最小化損失函數(shù)，不斷拉近預(yù)測標(biāo)簽和真實(shí)標(biāo)簽之間的距離。

6、進(jìn)一步，所述構(gòu)建多模態(tài)乳腺癌知識圖譜的步驟，具體包括：

7、1）數(shù)據(jù)采集及處理。從大量不同來源的高質(zhì)量醫(yī)療數(shù)據(jù)中收集乳腺癌相關(guān)數(shù)據(jù)，并將這些數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理以便后續(xù)的知識提??；

8、2）本體建模。本體是知識圖譜的主要數(shù)據(jù)模型，規(guī)定了知識圖譜中涉及的實(shí)體類型、關(guān)系類型；

9、3）構(gòu)建實(shí)體、關(guān)系抽取模型。選取基于深度學(xué)習(xí)的實(shí)體、關(guān)系聯(lián)合學(xué)習(xí)的實(shí)體、關(guān)系抽取模型，用標(biāo)注好的數(shù)據(jù)集對模型進(jìn)行訓(xùn)練；

10、4）結(jié)合圖像數(shù)據(jù)。針對乳腺癌疾病類實(shí)體，采集各類乳腺癌典型的x線影像、組織病理學(xué)圖像等相關(guān)圖像數(shù)據(jù)，采用基于深度學(xué)習(xí)的方法，將其作為對應(yīng)乳腺癌疾病類實(shí)體以對應(yīng)關(guān)系連接的關(guān)聯(lián)實(shí)體。

11、進(jìn)一步，所述構(gòu)建乳腺癌知識圖譜增強(qiáng)診斷系統(tǒng)模塊的步驟，具體包括：

12、1）知識查詢。診斷系統(tǒng)的輸入，主要針對病人的病歷信息，將其中涉及的實(shí)體選擇出來，在知識圖譜中查詢相應(yīng)的三元組；

13、2）知識篩選及處理。采用基于規(guī)則的方法，篩選出三元組中對診斷乳腺癌權(quán)重較大到的實(shí)體，這些實(shí)體的集合屬于多模態(tài)數(shù)據(jù)，分為文本數(shù)據(jù)和圖像數(shù)據(jù)，將這些數(shù)據(jù)進(jìn)行處理得到聯(lián)合特征，作為診斷系統(tǒng)輸入的額外輸入。

14、進(jìn)一步，所述構(gòu)建醫(yī)療輔助診斷系統(tǒng)模型的步驟，具體包括：

15、1）數(shù)據(jù)采集及處理。采集去識別化的確診為良性乳腺腫瘤、惡性乳腺癌的病人的電子病歷和相關(guān)各類檢查結(jié)果結(jié)合而成的多模態(tài)數(shù)據(jù)，進(jìn)行標(biāo)準(zhǔn)化處理，分為文本數(shù)據(jù)和圖像數(shù)據(jù)；

16、2）提取文本數(shù)據(jù)特征。采用基于深度學(xué)習(xí)的方法對不同文本數(shù)據(jù)提取相應(yīng)的特征；

17、3）提取圖像數(shù)據(jù)特征。采用基于深度學(xué)習(xí)的方法對不同圖像數(shù)據(jù)提取相應(yīng)的特征；

18、4）學(xué)習(xí)文本和圖像的聯(lián)合表示。采用基于深度學(xué)習(xí)的方法利用文本數(shù)據(jù)表征和圖像數(shù)據(jù)表征，學(xué)習(xí)文本和圖像的聯(lián)合表示，將文本和圖像數(shù)據(jù)對齊到統(tǒng)一的語義空間；

19、5）構(gòu)建乳腺癌診斷模塊。選取合適的深度神經(jīng)網(wǎng)絡(luò)作為診斷模型，將文本和圖像的聯(lián)合表示與相應(yīng)的知識聯(lián)合表示結(jié)合起來，作為模型的輸入，得到預(yù)測標(biāo)簽表示；

20、6）訓(xùn)練模型。根據(jù)得到的標(biāo)簽表示和真實(shí)的標(biāo)簽對模型的參數(shù)進(jìn)行梯度更新，通過最小化損失函數(shù)，不斷拉近預(yù)測標(biāo)簽和真實(shí)標(biāo)簽之間的距離。

21、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：

22、1）本發(fā)明面向乳腺癌?？祁I(lǐng)域，具有乳腺癌知識體系，能夠針對性的處理乳腺癌的復(fù)雜病歷；

23、2）本發(fā)明屬于多模態(tài)數(shù)據(jù)融合的輔助診斷系統(tǒng)，不僅利用了問診及檢查/檢驗(yàn)結(jié)果的數(shù)據(jù)，還充分利用了能夠?qū)υ\斷提供額外信息的圖像數(shù)據(jù)，并將二者結(jié)合起來，以得到更可靠的診斷。

技術(shù)特征：

1.一種基于多模態(tài)乳腺癌知識圖譜的醫(yī)療輔助診斷系統(tǒng)模型的構(gòu)建方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)乳腺癌知識圖譜的醫(yī)療輔助診斷系統(tǒng)模型的構(gòu)建方法，其特征在于，所述構(gòu)建多模態(tài)乳腺癌知識圖譜，具體包括：

3.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)乳腺癌知識圖譜的醫(yī)療輔助診斷系統(tǒng)模型的構(gòu)建方法，其特征在于，所述構(gòu)建乳腺癌知識圖譜增強(qiáng)診斷系統(tǒng)模塊，具體包括：

4.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)乳腺癌知識圖譜的醫(yī)療輔助診斷系統(tǒng)模型的構(gòu)建方法，其特征在于，所述構(gòu)建醫(yī)療輔助診斷系統(tǒng)模型，具體包括：

技術(shù)總結(jié)
本發(fā)明公開了一種基于多模態(tài)乳腺癌知識圖譜的醫(yī)療輔助診斷系統(tǒng)模型的構(gòu)建方法，所述方法包括構(gòu)建多模態(tài)乳腺癌知識圖譜、構(gòu)建乳腺癌知識圖譜增強(qiáng)診斷系統(tǒng)模塊、構(gòu)建醫(yī)療輔助診斷系統(tǒng)模型三個部分：1）構(gòu)建多模態(tài)乳腺癌知識圖譜包含數(shù)據(jù)采集及處理、本體建模、構(gòu)建實(shí)體和關(guān)系抽取模型、結(jié)合圖像數(shù)據(jù)；2）構(gòu)建乳腺癌知識圖譜增強(qiáng)診斷系統(tǒng)模塊包含知識查詢、知識篩選及處理；3）構(gòu)建醫(yī)療輔助診斷系統(tǒng)模型包含數(shù)據(jù)采集及處理、提取文本數(shù)據(jù)特征、提取圖像數(shù)據(jù)特征、學(xué)習(xí)文本和圖像的聯(lián)合表示、構(gòu)建乳腺癌診斷模塊、訓(xùn)練模型。

技術(shù)研發(fā)人員：何亮,劉雨涵,馬靜,郭文佳
受保護(hù)的技術(shù)使用者：新疆大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23