本發(fā)明涉及醫(yī)療器械領(lǐng)域，特別涉及基于文本和圖像識別的顱腦創(chuàng)傷臨床決策系統(tǒng)。

背景技術(shù)：

1、顱腦創(chuàng)傷(traumatic?brain?injury，tbi)作為神經(jīng)外科最常見的急危重癥之一，具有高發(fā)病率和高死殘率的特點(diǎn)，尤其對青壯年的生命健康造成嚴(yán)重威脅。同時(shí)，tbi不僅嚴(yán)重影響患者的身心健康和生活質(zhì)量，還給家庭和社會(huì)帶來巨大經(jīng)濟(jì)損失和沉重的醫(yī)療負(fù)擔(dān)。因此，研究如何提高tbi救治效率，遏制其危害，具有重大社會(huì)效益和經(jīng)濟(jì)價(jià)值。

2、申請?zhí)枮?02311626792.9的發(fā)明專利公開了一種多任務(wù)混雜神經(jīng)網(wǎng)絡(luò)驅(qū)動(dòng)的ct圖像處理方法和類腦診斷系統(tǒng)，涉及人工智能醫(yī)學(xué)影像，方法包括生成混雜神經(jīng)網(wǎng)絡(luò)，輸入ct圖像，在每一層執(zhí)行混雜脈沖-卷積計(jì)算；生成共同編碼器和多任務(wù)解碼器，輸出多任務(wù)結(jié)果圖像。系統(tǒng)包括處理器和存儲器及顯示器，存儲器中存儲有至少一條指令，指令由處理器加載并執(zhí)行以實(shí)現(xiàn)如下步驟：獲取ct圖像；生成基于混雜神經(jīng)網(wǎng)絡(luò)建立的共同編碼器，調(diào)用編碼器對ct圖像進(jìn)行編碼，生成聯(lián)合特征；生成基于混雜神經(jīng)網(wǎng)絡(luò)建立的多任務(wù)解碼器，調(diào)用解碼器對聯(lián)合特征進(jìn)行分類操作和分割操作，得到多任務(wù)診斷結(jié)果。本發(fā)明可以提高ct圖像的多任務(wù)診斷效率，在保證多任務(wù)精度的同時(shí)降低診斷系統(tǒng)的計(jì)算功耗。

3、上述技術(shù)完成了對ct圖像的精確識別，依照圖像的分割識別圖像特征，得到ct圖像的多任務(wù)診斷結(jié)果，但是上述技術(shù)仍然需要醫(yī)生進(jìn)行最終的決策診斷，現(xiàn)有的tbi診療模式存在諸多問題，對其救治效率產(chǎn)生不利影響，這些問題可歸納為三大“痛點(diǎn)”：“痛點(diǎn)”一：神經(jīng)外科醫(yī)生嚴(yán)重不足，無法應(yīng)對日益增長的tbi患者。“痛點(diǎn)”二：長時(shí)間超負(fù)荷工作，導(dǎo)致醫(yī)生疲勞工作，降低醫(yī)生診治效率?！巴袋c(diǎn)”三：多種因素可能影響醫(yī)生判斷，從而影響tbi患者的救治。針對上述三個(gè)“痛點(diǎn)”，最簡單有效的解決辦法就是在短期內(nèi)增加大量精力充沛、不會(huì)疲倦、處變不驚且臨床經(jīng)驗(yàn)豐富的神經(jīng)外科專科醫(yī)生，但這顯然無法辦到?，F(xiàn)需要一種技術(shù)能夠提升tbi救治效率。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了基于文本和圖像識別的顱腦創(chuàng)傷臨床決策系統(tǒng)，能夠提升tbi救治效率。

2、為了解決上述技術(shù)問題，本技術(shù)提供如下技術(shù)方案：

3、基于文本和圖像識別的顱腦創(chuàng)傷臨床決策系統(tǒng)，包括：

4、圖像識別模塊：用于對ct圖像進(jìn)行識別后生成文本報(bào)告；建立ct征象與臨床病情和診療措施的映射關(guān)系；

5、關(guān)鍵命名實(shí)體識別模塊：在bert預(yù)訓(xùn)練語言模型的基礎(chǔ)上，構(gòu)建bert-idcnn-bilstm-crf模型，從文本報(bào)告的全局或局部中抽取關(guān)鍵的命名實(shí)體；

6、基于知識的語義表示模塊：對關(guān)鍵命名實(shí)體進(jìn)行特征分析，建立word2vec模型，將相關(guān)醫(yī)學(xué)文本向量化表示，并基于知識建立醫(yī)學(xué)文本權(quán)重評分機(jī)制、醫(yī)學(xué)文本相似度度量方法，得到醫(yī)療文本；

7、深度學(xué)習(xí)決策模塊：用于在提取醫(yī)療文本特征后，理解醫(yī)學(xué)詞之間的差異，對tbi患者醫(yī)療文本進(jìn)行智能識別和判讀，并做出診療決策。

8、本方案的基本原理及有益效果：在前期基礎(chǔ)、臨床及應(yīng)用研究的基礎(chǔ)上，深入研究和模擬神經(jīng)外科?？漆t(yī)生對tbi的診療思路，從而構(gòu)建全新的針對顱腦創(chuàng)傷的cdss，即“t-system”。t-system將直接從患者電子病歷(emr)中獲取包括病史、體格檢查，以及重要輔助檢查等在內(nèi)的關(guān)鍵醫(yī)療圖像和文本信息，避免信息來源渠道不一致導(dǎo)致的數(shù)據(jù)缺失。該系統(tǒng)獲取病史、體征、ct表現(xiàn)等的關(guān)鍵信息后，通過臨床分析后得出診療結(jié)論。同時(shí)，該系統(tǒng)將tbi的診療方案進(jìn)行細(xì)化，并按照病情危重程度對處置措施優(yōu)先級進(jìn)行排序，既包括了排除診斷所需的診療措施，又包括了搶救性措施。t-system包括四大模塊：(1)圖像識別模塊；(2)關(guān)鍵命名實(shí)體識別系統(tǒng)；(3)基于知識的語義表示系統(tǒng)；(4)深度學(xué)習(xí)決策系統(tǒng)。在圖像識別模塊中，ct表現(xiàn)將被仔細(xì)識別后生成文本報(bào)告，作為t-system判讀病情和作出決策重要數(shù)據(jù)來源，并在此基礎(chǔ)上，建立重要ct征象與臨床病情和診療措施的映射關(guān)系。同時(shí)，我們在bert預(yù)訓(xùn)練語言模型的基礎(chǔ)上，構(gòu)建了bert-idcnn-bilstm-crf模型，能夠很好地從全局和局部文本中抽取出關(guān)鍵的命名實(shí)體，尤其在醫(yī)學(xué)文本識別中展示了很好的識別效果。深度學(xué)習(xí)決策系統(tǒng)中基于醫(yī)學(xué)知識的詞向量空間更適合于醫(yī)療場景，在提取醫(yī)療文本特征后，模型能夠更好地理解醫(yī)學(xué)詞之間的差異?；谏疃葘W(xué)習(xí)的模型還可以為文本提供足夠的表征能力，以快速、高質(zhì)量地解決問題，數(shù)據(jù)中的信息可以在模型中被有效地“編碼”。

9、通過對ct圖像的識別，生成文本信息展示出ct圖像中的特征，然后對文本信息中的特征進(jìn)行語義識別，獲得該特征下病癥的診療措施，然后做出對應(yīng)的決策。該決策是基于病情對應(yīng)的處理措施完成的，通過數(shù)據(jù)模型的智能學(xué)習(xí)醫(yī)生的處理方式，實(shí)現(xiàn)了機(jī)器決策，解放了人力，減少了人長久勞作容易出現(xiàn)的識別誤差問題，且提升了處理效率，能夠?yàn)楸姸嗷颊哌M(jìn)行同時(shí)診斷。

10、進(jìn)一步，所述圖像識別模塊還用于，對頭顱ct圖像進(jìn)行預(yù)處理：以dicom格式保存所有正常人和患者的頭顱ct圖像，改進(jìn)卡爾曼濾波算法對ct圖像去噪，利用lableimg工具對頭顱ct圖像進(jìn)行標(biāo)注；然后將tbi患者的頭顱ct圖像分為顱骨損傷和腦損傷，分別在頭顱ct影像的骨窗和腦窗兩個(gè)窗位，采用co-unet模型對tbi患者頭顱ct影像進(jìn)行圖像分割，設(shè)計(jì)單連通域邊界插值的深度卷積網(wǎng)絡(luò)模型提取正常頭顱ct的圖像特征信息，基于densenet網(wǎng)絡(luò)實(shí)現(xiàn)異常信息的識別，改進(jìn)閾值分割算法對識別結(jié)果進(jìn)行二次篩選，對tbi患者頭顱ct二維圖像中不同種類的顱骨損傷和腦損傷進(jìn)行定側(cè)、定位、定性和定量識別。有益效果：以dicom格式保存所有正常人和患者的頭顱ct圖像，改進(jìn)卡爾曼濾波算法對ct圖像去噪，利用lableimg工具對頭顱ct圖像進(jìn)行標(biāo)注，為識別提供數(shù)據(jù)保障。

11、進(jìn)一步，所述深度學(xué)習(xí)決策模塊還用于：以tbi患者急診電子病歷(emr)為醫(yī)療文本信息來源，采集內(nèi)容主要包括病史、體格檢查和輔助檢查結(jié)果；其中，頭顱ct檢查結(jié)果為圖像識別模塊輸出的文本結(jié)果；和以最新的國內(nèi)外顱腦創(chuàng)傷診療指南為指導(dǎo)，結(jié)合臨床實(shí)踐經(jīng)驗(yàn)和本研究團(tuán)隊(duì)前期的基礎(chǔ)、臨床和應(yīng)用研究結(jié)果，將顱腦創(chuàng)傷患者的病史、體格檢查、ct等重要輔助檢查予以不同權(quán)重評分；同時(shí)，將顱腦創(chuàng)傷的各種診療措施進(jìn)行細(xì)化，經(jīng)過反復(fù)的臨床數(shù)據(jù)驗(yàn)證，研究和構(gòu)建多維、多源、異構(gòu)數(shù)據(jù)與相應(yīng)診療決策的映射關(guān)系；并通過對tbi患者的頭顱ct圖像和emr進(jìn)行智能識別，得到以中文文本形式輸出的診療結(jié)果，包括急診診斷性結(jié)論和急診診療性決策。

12、進(jìn)一步，在針對頭顱ct識別時(shí)；對正常頭顱ct圖像進(jìn)行識別：將正常人頭顱ct圖像的骨窗和腦窗位圖像進(jìn)行分別存儲和分析；在骨窗位，通過co-unet模型對顱骨進(jìn)行分割，包括面顱骨和腦顱骨，提取這些骨標(biāo)志性結(jié)構(gòu)的特征；在腦窗位，采用co-unet模型對腦實(shí)質(zhì)區(qū)域進(jìn)行分割，包括幕上和幕下腦實(shí)質(zhì)區(qū)域，提取這些腦實(shí)質(zhì)內(nèi)標(biāo)志性結(jié)構(gòu)的特征，并計(jì)算出正常人不同頭顱ct層面雙側(cè)側(cè)腦室平均面積；

13、對tbi患者頭顱ct圖像的識別：將tbi患者的傷灶分為顱骨損傷和腦損傷，并將tbi患者頭顱ct圖像的骨窗和腦窗位進(jìn)行分別存儲和分析，分別在不同窗位對腦傷和顱骨損傷進(jìn)行識別。

14、進(jìn)一步，對tbi患者頭顱ct圖像的腦窗位進(jìn)行識別主要包括：對腦傷進(jìn)行識別，包括定側(cè)、定位、定性、定量識別；對腦傷的定側(cè)、定位、定性和定量識別進(jìn)行匯總；

15、對tbi患者頭顱ct圖像的骨窗位對顱骨損傷進(jìn)行識別主要包括：對顱骨損傷部位及種類進(jìn)行識別，包括定側(cè)、定位、定性、定量識別；對顱骨損傷的定側(cè)、定位、定性和定量識別進(jìn)行匯總。

16、進(jìn)一步，所述圖像處理模塊輸出的文本信息包括結(jié)論性結(jié)果和描述性結(jié)果；其中結(jié)論性結(jié)果：按照神經(jīng)外科和神經(jīng)影像診斷思維，輸出腦傷和/或顱骨損傷結(jié)果，包含定側(cè)、定位和定性結(jié)果；描述性結(jié)果：對頭顱ct圖像進(jìn)行更加詳細(xì)的描述，包含了定側(cè)、定位、定性和定量結(jié)果。

17、進(jìn)一步，所述關(guān)鍵命名實(shí)體識別模塊包括：

18、bert模塊：

19、bert采用了一種與完形填空題相似的掩碼語言模型來完成預(yù)訓(xùn)練，掩碼語言模型的目的是隨機(jī)地掩蓋一個(gè)句子中的一些單詞，并用一個(gè)標(biāo)記[mask]來取代原來的單詞，掩碼語言模型的進(jìn)一步目標(biāo)是根據(jù)標(biāo)記的左邊和右邊的上下文來預(yù)測被屏蔽的詞，bert模型計(jì)算方法如公式(1)所示：

20、

21、其中，q、k、v為輸入向量矩陣，qkt表示計(jì)算出輸入向量的相似度矩陣，dk為輸入向量矩陣k的維度。

22、在bert的下游任務(wù)中，如蘊(yùn)含和情感分析，是利用每個(gè)序列的第一個(gè)標(biāo)記來處理的，這個(gè)標(biāo)記稱為特殊分類令牌[cls]，在bert模型中，對應(yīng)于[cls]標(biāo)記的最終隱藏狀態(tài)聚合了一個(gè)句子或一對句子的特征表示；

23、idcnn模塊：

24、idcnn采用膨脹卷積，通過調(diào)節(jié)卷積核的膨脹寬度，減小了數(shù)據(jù)丟失，擴(kuò)展了感知范圍，實(shí)現(xiàn)了對文本的更長的捕捉；膨脹卷積的感受野計(jì)算公式為：

25、fi+1＝(2i+2-1)2

26、在idcnn模塊中有三個(gè)卷積層，膨脹寬度分別為1、1和2；模塊一共經(jīng)過4次迭代，迭代過程中的參數(shù)共享有效地防止了模型過擬合；各參量隨層數(shù)的增大而線性增大，而感覺野值則呈現(xiàn)指數(shù)式的增長，使得感覺野能夠迅速地涵蓋全部的輸入序列；

27、bilstm模塊：

28、bilstm在遞歸循環(huán)神經(jīng)網(wǎng)絡(luò)中引用了門控機(jī)制，即輸入門、輸出門和遺忘門；bilstm由雙向的lstm組成，分別從兩個(gè)方向提取全局上下文特征；

29、crf模塊：

30、對于一個(gè)輸入單詞序列x，存在表示單詞序列x的一般標(biāo)簽序列y，條件隨機(jī)場的概率模型在給定輸入單詞序列x的所有可能的標(biāo)簽序列y上定義了一個(gè)分布p(y|x)，其形式如下：

31、

32、有益效果：針對醫(yī)療相關(guān)知識表示系統(tǒng)及其語義分析系統(tǒng)構(gòu)建過程中，非結(jié)構(gòu)化數(shù)據(jù)噪聲冗雜、存在多細(xì)粒度文本、信息抽取困難、識別準(zhǔn)確率不穩(wěn)定的特點(diǎn)，我們擬專門針對醫(yī)學(xué)文本信息的特點(diǎn)，構(gòu)建bert-idcnn-bilstm-crf這一模型，解決對醫(yī)療相關(guān)關(guān)鍵命名實(shí)體進(jìn)行準(zhǔn)確識別這一關(guān)鍵問題。

33、進(jìn)一步，所述基于知識的語義表示模塊用于計(jì)算醫(yī)學(xué)文本的持續(xù)分布式表示；通過一個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，從醫(yī)學(xué)文本語料庫的輸入中產(chǎn)生文本向量作為輸出；在word2vec模型中首先從輸入的文本生成一個(gè)詞匯表，然后通過反向傳播和隨機(jī)梯度方法學(xué)習(xí)單詞向量；

34、還用于：

35、建立相似度度量的方法以根據(jù)醫(yī)學(xué)表現(xiàn)權(quán)重評分來分析匹配相應(yīng)的治療措施；借助word2vec生成的醫(yī)學(xué)文本詞向量來生成關(guān)鍵文本的句向量表示，句向量表示由如下公式所得。

36、

37、其中vs為句向量表示，?vi為i詞的詞向量表示，w(i)為權(quán)重，m為詞數(shù)；

38、該方法采用余弦相似度來將關(guān)鍵醫(yī)學(xué)文本與醫(yī)學(xué)專家制定的權(quán)重評分表匹配，針對醫(yī)學(xué)表現(xiàn)分析出相應(yīng)治療措施；余弦相似度在0到1之間，當(dāng)余弦相似度接近1時(shí)，稱兩個(gè)向量相似，當(dāng)余弦相似度接近0時(shí)，稱兩個(gè)向量不相似；針對不同醫(yī)學(xué)關(guān)鍵實(shí)體，我們通過實(shí)驗(yàn)制定相應(yīng)的相似度閾值；

39、

40、其中v1，v2為不同的句向量表示。

41、進(jìn)一步，所述圖像識別模塊分析的ct圖像來源于ct檢測儀；包括機(jī)架，所述ct檢測儀包括設(shè)置在水平方向的x光發(fā)射器和與x光發(fā)射器對應(yīng)的x光接收器；所述x光發(fā)射器和固定在機(jī)架上，所述x光發(fā)射器和x光接收器之間的機(jī)架上固定有支撐臺，所述支撐臺上固定有頭枕，頭枕兩側(cè)均鉸接有偏轉(zhuǎn)塊，偏轉(zhuǎn)塊底部鉸接有滑桿，所述支撐臺由上至下開有第一滑道和第二滑道，所述第一滑道和第二滑道呈八字形分布，所述支撐臺內(nèi)還開有通氣道，所述通氣道分別與第一滑道和第二滑道的底部連通，頭枕左右兩側(cè)的滑桿分別與第一滑道和第二滑道滑動(dòng)連接，所述偏轉(zhuǎn)塊底部和支撐臺頂部固定有第一彈簧，所述第一彈簧套設(shè)在滑桿外部；靠近x光發(fā)射器一側(cè)的支撐臺上開設(shè)有豎直方向的第三滑道，所述第三滑道底部和通氣道連通，所述第三滑道內(nèi)滑動(dòng)連接有第一鉛塊，第一鉛塊底部和第三滑動(dòng)底部的內(nèi)壁之間固定連接有第二彈簧，第一鉛塊底部的第三滑道，兩個(gè)滑桿底部的第一滑道和第二滑道，和通氣道組成密閉空間；在滑桿未被按壓下移時(shí)，第一鉛塊未處于x光發(fā)射器的照射范圍內(nèi)；在滑桿之上的偏轉(zhuǎn)塊受壓時(shí)，第一鉛塊被頂出，出現(xiàn)在x光的照射范圍內(nèi)；數(shù)據(jù)處理模塊收集x光檢測儀繪制的圖片，并將有鉛塊圖像的ct圖片舍棄傳輸給圖像識別模塊。

42、進(jìn)一步，所述第一滑道內(nèi)和第二滑道內(nèi)設(shè)置有位置傳感器，位置傳感器在滑桿在第一滑道/第二滑道內(nèi)下移時(shí)發(fā)出提醒信號；所述頭枕上方的機(jī)架上固定有電動(dòng)伸縮桿，所述電動(dòng)伸縮桿的自由端的移動(dòng)方向朝下，訴訟電動(dòng)伸縮桿底部固定有第二鉛塊；數(shù)據(jù)處理模塊接收到提醒信號，控制電動(dòng)伸縮桿啟動(dòng)，將第二鉛塊伸入x光的照射區(qū)域，在提醒信號消失后，電動(dòng)伸縮桿復(fù)位。

43、有益效果：在對少兒進(jìn)行頭部ct檢測時(shí)，由于少兒的自制力較差，可能會(huì)在檢測的過程中頭部晃動(dòng)，產(chǎn)生多余的動(dòng)作影響到最終的檢測結(jié)果；例如頭部的任何移動(dòng)都可能導(dǎo)致圖像出現(xiàn)模糊，影響圖像質(zhì)量。偽影產(chǎn)生：不適當(dāng)?shù)囊苿?dòng)可能在圖像上產(chǎn)生偽影，這會(huì)干擾圖像的解讀，可能導(dǎo)致誤診或漏診。本方案采用決策系統(tǒng)對患者的病癥出具診療意見，如果ct圖像出現(xiàn)偏差將會(huì)大大影響正確率，因此本方案通過設(shè)置鉛塊的伸縮，在患者移動(dòng)時(shí)會(huì)觸發(fā)偏轉(zhuǎn)塊偏轉(zhuǎn)，從而擠壓通氣道，第一鉛塊在受壓時(shí)頂出，出現(xiàn)在x光的照射區(qū)域內(nèi)，此時(shí)成像的圖片上將會(huì)出現(xiàn)明顯陰影，表示此張圖片不可用。數(shù)據(jù)處理模塊識別出有陰影的圖片進(jìn)行舍棄，保證了傳輸至圖像處理模塊處的ct圖像是完全正確的，提升了數(shù)據(jù)樣本的準(zhǔn)確度，進(jìn)而減小了決策系統(tǒng)出現(xiàn)誤差的概率，且本方案是不停機(jī)，不間斷地檢測ct，能夠防止若圖像出現(xiàn)瑕疵時(shí)，多次照射造成的輻射危害。

44、為了防止出現(xiàn)測量誤差，通過設(shè)置伸縮桿的設(shè)置，在滑桿下移(即偏轉(zhuǎn)塊受壓)時(shí)才發(fā)出信號，控制伸縮桿頂出，即患者偏轉(zhuǎn)時(shí)所拍攝的圖像上可能出現(xiàn)兩個(gè)兩個(gè)陰影，即對陰影的產(chǎn)生誤差進(jìn)行了消減，例如患者腦袋里存在金屬異物時(shí)，可能也會(huì)造成陰影，此時(shí)容易和腦袋移動(dòng)造成混淆，通過伸縮桿的設(shè)置，能夠在伸出的同時(shí)提醒患者，也能夠在圖像上進(jìn)行二次標(biāo)記，減少樣本誤差。