本發(fā)明涉及肺結(jié)節(jié)分級(jí)判定技術(shù)領(lǐng)域,具體涉及一種基于深度學(xué)習(xí)和數(shù)據(jù)融合的肺結(jié)節(jié)分級(jí)判定方法和系統(tǒng)。
背景技術(shù):
ct掃描技術(shù)是目前應(yīng)用最為廣泛的肺癌診斷技術(shù)。與接受肺部x射線檢測(cè)的患者相比,接受ct掃描檢測(cè)的患者死于肺癌的可能性可降低20%。肺癌的早期診斷和早期干預(yù)可降低患者的死亡率。如今,ct影像的分析與檢測(cè)還依賴于醫(yī)生的肉眼觀察和診斷經(jīng)驗(yàn)。然而在醫(yī)院的臨床應(yīng)用中,對(duì)ct影像的常規(guī)分析仍是一個(gè)成本高且實(shí)現(xiàn)難度大的工作,因?yàn)樵摴ぷ髦荒苡缮贁?shù)經(jīng)驗(yàn)豐富、訓(xùn)練有素的醫(yī)生和專家耗費(fèi)大量的人力物力手動(dòng)完成,并且人工的手動(dòng)診斷方法具有較強(qiáng)的主觀性,且不可復(fù)制,很難在較短時(shí)間內(nèi)培養(yǎng)出一個(gè)出色的肺結(jié)節(jié)診斷醫(yī)生。尤其對(duì)于中國這樣一個(gè)人口眾多、求醫(yī)需求大的國家,許多偏遠(yuǎn)地區(qū)的醫(yī)院在ct診斷醫(yī)生方面尚有巨大缺口,而大城市的ct診斷醫(yī)生也同樣面臨任務(wù)量大的問題。超負(fù)荷的工作量勢(shì)必會(huì)伴隨著誤診率的增加,稍有疏忽就會(huì)給患者和主治醫(yī)生帶來極為嚴(yán)重的后果。
伴隨著計(jì)算機(jī)及其相關(guān)技術(shù)的產(chǎn)生和發(fā)展,計(jì)算機(jī)輔助診斷在醫(yī)學(xué)領(lǐng)域的應(yīng)用一直備受關(guān)注。對(duì)于細(xì)胞層面的計(jì)算機(jī)輔助診斷,傳統(tǒng)的圖像處理方法已取得了相當(dāng)不錯(cuò)的效果,并已在國外醫(yī)院得到廣泛應(yīng)用,很大程度上減輕了醫(yī)生專家的工作量。隨著計(jì)算機(jī)技術(shù)的普及和機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等技術(shù)的發(fā)展,基于深度學(xué)習(xí)的肺結(jié)節(jié)預(yù)測(cè)方法已受到越來越多的關(guān)注。對(duì)于霧霾嚴(yán)重且污染面廣的中國,研究一種基于深度學(xué)習(xí)和多源數(shù)據(jù)融合的國人ct肺結(jié)節(jié)分級(jí)判定方法已成為國家和國民的迫切需求。
現(xiàn)有的肺結(jié)節(jié)判定方法中,一種是通過獲取ct影像、肺結(jié)節(jié)實(shí)質(zhì)分割、氣管/主支氣管剔除、邊緣結(jié)節(jié)檢測(cè)、疑似結(jié)節(jié)檢測(cè)、特征提取和分類、以及肺結(jié)節(jié)標(biāo)定,可以對(duì)肺癌早期階段形成的微小結(jié)節(jié)進(jìn)行檢測(cè);另一種是根據(jù)從肺結(jié)節(jié)坐標(biāo)中獲取的多尺度肺結(jié)節(jié)圖像塊構(gòu)造對(duì)應(yīng)的各個(gè)卷積神經(jīng)網(wǎng)絡(luò),然后從訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)中提取肺結(jié)節(jié)的低維特征,再利用這些低維特征訓(xùn)練非線性分類器,從而預(yù)測(cè)出未知肺結(jié)節(jié)圖像塊的良惡性。
但第一種方法具有很大的局限性且依賴于肺結(jié)節(jié)的預(yù)分割和算法的初始化。目前的很多分割算法均依賴于算法的初始化,如該方法中用到的區(qū)域生長算法。算法的初始化不同,最終的分割結(jié)果也會(huì)有差別,因此,利用這樣的分割結(jié)果得到的特征通常是不準(zhǔn)確的,預(yù)測(cè)準(zhǔn)確度也相對(duì)較低;而第二種方法采用了卷積神經(jīng)網(wǎng)絡(luò)構(gòu)造肺結(jié)節(jié)圖像塊,但未說明用來進(jìn)行實(shí)驗(yàn)的肺結(jié)節(jié)圖像塊的真實(shí)性和數(shù)量,并且未結(jié)合患者的其它就診信息,無法充分證明其預(yù)測(cè)方法的準(zhǔn)確性、優(yōu)越性和普遍適用性。并且,該方法僅實(shí)現(xiàn)了肺結(jié)節(jié)的良惡性預(yù)測(cè),并未對(duì)肺結(jié)節(jié)的分級(jí)判定做進(jìn)一步研究。
技術(shù)實(shí)現(xiàn)要素:
針對(duì)現(xiàn)有技術(shù)中的缺陷,本發(fā)明提供一種基于深度學(xué)習(xí)和數(shù)據(jù)融合的肺結(jié)節(jié)分級(jí)判定方法和系統(tǒng),采用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)模型,并結(jié)合多源數(shù)據(jù)整合技術(shù),通過驗(yàn)證與測(cè)試得出一種專門針對(duì)ct肺結(jié)節(jié)進(jìn)行分級(jí)判定的方法,且其判定過程全面且可靠,有效提高了判定結(jié)果的準(zhǔn)確性,進(jìn)而能夠有效地輔助醫(yī)生進(jìn)行疾病診斷工作。
為解決上述技術(shù)問題,本發(fā)明提供以下技術(shù)方案:
第一方面,本發(fā)明提供了一種基于深度學(xué)習(xí)和數(shù)據(jù)融合的肺結(jié)節(jié)分級(jí)判定方法,所述方法包括:
對(duì)獲取的多個(gè)電子計(jì)算機(jī)斷層掃描ct肺部圖像進(jìn)行預(yù)處理,得到預(yù)處理后的各ct肺結(jié)節(jié)圖像;
提取各所述ct肺結(jié)節(jié)圖像的圖像特征,并根據(jù)所述圖像特征對(duì)各所述ct肺結(jié)節(jié)圖像進(jìn)行預(yù)分類;
對(duì)預(yù)分類后的各ct肺結(jié)節(jié)圖像的圖像特征和對(duì)應(yīng)的綜合臨床就診數(shù)據(jù)進(jìn)行反復(fù)訓(xùn)練和迭代,得到診斷模型;
以及,基于所述診斷模型,對(duì)所述ct肺部圖像進(jìn)行ct影像肺結(jié)節(jié)的分級(jí)判定。
進(jìn)一步地,在所述對(duì)獲取的多個(gè)電子計(jì)算機(jī)斷層掃描ct肺部圖像進(jìn)行預(yù)處理之前,所述方法還包括:
獲取多個(gè)患者全面就診信息;
在所述患者全面就診信息中采集所述ct肺部圖像及對(duì)應(yīng)的綜合臨床就診信息;
以及,對(duì)所述綜合臨床就診信息進(jìn)行量化處理,得到量化后的所述綜合臨床就診數(shù)據(jù)。
進(jìn)一步地,所述對(duì)獲取的多個(gè)電子計(jì)算機(jī)斷層掃描ct肺部圖像進(jìn)行預(yù)處理,得到預(yù)處理后的各ct肺結(jié)節(jié)圖像,包括:
對(duì)各所述ct肺部圖像進(jìn)行格式轉(zhuǎn)換,得到格式同一的各ct肺結(jié)節(jié)序列圖像;
以及,對(duì)各所述ct肺結(jié)節(jié)序列圖像進(jìn)行歸一化處理,得到預(yù)處理后的各ct肺結(jié)節(jié)圖像。
進(jìn)一步地,所述對(duì)各所述ct肺結(jié)節(jié)序列圖像進(jìn)行歸一化處理,得到預(yù)處理后的各ct肺結(jié)節(jié)圖像,包括:
對(duì)各所述ct肺結(jié)節(jié)序列圖像進(jìn)行圖像標(biāo)記處理、尺寸重構(gòu)處理及統(tǒng)一像素處理,得到預(yù)處理后的各ct肺結(jié)節(jié)圖像;
其中,所述圖像標(biāo)記處理為對(duì)肺結(jié)節(jié)在肺部的位置進(jìn)行標(biāo)記;
所述尺寸重構(gòu)處理為對(duì)肺結(jié)節(jié)部分進(jìn)行選取和尺寸放大處理;
所述統(tǒng)一像素處理為將數(shù)據(jù)集中的圖像像素做統(tǒng)一修改。
進(jìn)一步地,所述提取各所述ct肺結(jié)節(jié)圖像的圖像特征,并根據(jù)所述圖像特征對(duì)各所述ct肺結(jié)節(jié)圖像進(jìn)行預(yù)分類,包括:
基于深度學(xué)習(xí)的方式提取ct肺結(jié)節(jié)圖像的圖像特征;
以及,整合各圖像特征,根據(jù)所述圖像特征對(duì)各所述ct肺結(jié)節(jié)圖像進(jìn)行預(yù)分類。
進(jìn)一步地,所述基于深度學(xué)習(xí)的方式提取ct肺結(jié)節(jié)圖像的圖像特征,包括:
基于深度學(xué)習(xí)方式中的卷積神經(jīng)網(wǎng)絡(luò)cnn模型對(duì)所述ct肺結(jié)節(jié)圖像中的肺結(jié)節(jié)形態(tài)進(jìn)行分析;
以及,通過所述cnn模型中的卷積層和池化層的設(shè)計(jì)以及參數(shù)配置,提取能夠區(qū)分不同肺結(jié)節(jié)形態(tài)的圖像特征。
進(jìn)一步地,所述對(duì)預(yù)分類后的各ct肺結(jié)節(jié)圖像的圖像特征和對(duì)應(yīng)的綜合臨床就診數(shù)據(jù)進(jìn)行反復(fù)訓(xùn)練和迭代,得到診斷模型,包括:
根據(jù)多源數(shù)據(jù)融合技術(shù),基于預(yù)分類后的各ct肺結(jié)節(jié)圖像的圖像特征和對(duì)應(yīng)的綜合臨床就診數(shù)據(jù),采用支持向量機(jī)作為分類器,通過反復(fù)訓(xùn)練和迭代,獲取所述診斷模型。
另一方面,本發(fā)明還提供了一種基于深度學(xué)習(xí)和數(shù)據(jù)融合的肺結(jié)節(jié)分級(jí)判定系統(tǒng),所述系統(tǒng)包括:
ct肺部圖像預(yù)處理及肺結(jié)節(jié)序列圖像歸一化處理模塊,用于對(duì)獲取的多個(gè)電子計(jì)算機(jī)斷層掃描ct肺部圖像進(jìn)行預(yù)處理,得到預(yù)處理后的各ct肺結(jié)節(jié)圖像;
基于深度學(xué)習(xí)的重要圖像特征提取模塊,用于提取各所述ct肺結(jié)節(jié)圖像的圖像特征,并根據(jù)所述圖像特征對(duì)各所述ct肺結(jié)節(jié)圖像進(jìn)行預(yù)分類;
多源數(shù)據(jù)融合模塊,用于對(duì)預(yù)分類后的各ct肺結(jié)節(jié)圖像的圖像特征和對(duì)應(yīng)的綜合臨床就診數(shù)據(jù)進(jìn)行反復(fù)訓(xùn)練和迭代,得到診斷模型;
分級(jí)判定模塊,用于基于所述診斷模型,對(duì)所述ct肺部圖像進(jìn)行ct影像肺結(jié)節(jié)的分級(jí)判定。
進(jìn)一步地,所述系統(tǒng)還包括:
患者全面就診信息獲取模塊,用于獲取多個(gè)患者全面就診信息;
ct肺部圖像及對(duì)應(yīng)的綜合臨床就診信息采集模塊,用于在所述患者全面就診信息中采集所述ct肺部圖像及對(duì)應(yīng)的綜合臨床就診信息;
綜合臨床就診信息量化模塊,用于對(duì)所述綜合臨床就診信息進(jìn)行量化處理,得到量化后的所述綜合臨床就診數(shù)據(jù)。
進(jìn)一步地,所述多源數(shù)據(jù)融合模塊包括:
多源數(shù)據(jù)融合單元,用于根據(jù)多源數(shù)據(jù)融合技術(shù),基于預(yù)分類后的各ct肺結(jié)節(jié)圖像的圖像特征和對(duì)應(yīng)的綜合臨床就診數(shù)據(jù),采用支持向量機(jī)作為分類器,通過反復(fù)訓(xùn)練和迭代,獲取所述診斷模型。
由上述技術(shù)方案可知,本發(fā)明所述的一種基于深度學(xué)習(xí)和數(shù)據(jù)融合的肺結(jié)節(jié)分級(jí)判定方法和系統(tǒng),方法包括:對(duì)獲取的多個(gè)電子計(jì)算機(jī)斷層掃描ct肺部圖像進(jìn)行預(yù)處理,得到預(yù)處理后的各ct肺結(jié)節(jié)圖像;提取各ct肺結(jié)節(jié)圖像的圖像特征,并根據(jù)圖像特征對(duì)各ct肺結(jié)節(jié)圖像進(jìn)行預(yù)分類;對(duì)預(yù)分類后的各ct肺結(jié)節(jié)圖像的圖像特征和對(duì)應(yīng)的綜合臨床就診數(shù)據(jù)進(jìn)行反復(fù)訓(xùn)練和迭代,得到診斷模型;基于診斷模型對(duì)ct肺部圖像進(jìn)行ct影像肺結(jié)節(jié)的分級(jí)判定。本發(fā)明采用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)模型,并結(jié)合多源數(shù)據(jù)整合技術(shù),通過驗(yàn)證與測(cè)試得出專門針對(duì)ct肺結(jié)節(jié)進(jìn)行分級(jí)判定的方法,且判定過程全面且可靠,有效提高了判定結(jié)果的準(zhǔn)確性,進(jìn)而能夠有效地輔助醫(yī)生進(jìn)行疾病診斷工作。
附圖說明
為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹,顯而易見地,下面描述中的附圖是本發(fā)明的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1是本發(fā)明的一種基于深度學(xué)習(xí)和數(shù)據(jù)融合的肺結(jié)節(jié)分級(jí)判定方法的流程示意圖;
圖2是本發(fā)明的肺結(jié)節(jié)分級(jí)判定方法中步驟001至003的流程示意圖;
圖3是本發(fā)明的肺結(jié)節(jié)分級(jí)判定方法中步驟100的流程示意圖;
圖4是本發(fā)明的肺結(jié)節(jié)分級(jí)判定方法中步驟200的流程示意圖;
圖5是本發(fā)明的一種基于深度學(xué)習(xí)和數(shù)據(jù)融合的肺結(jié)節(jié)分級(jí)判定系統(tǒng)的一種結(jié)構(gòu)示意圖;
圖6是本發(fā)明的一種基于深度學(xué)習(xí)和數(shù)據(jù)融合的肺結(jié)節(jié)分級(jí)判定系統(tǒng)的另一種結(jié)構(gòu)示意圖;
圖7是肺結(jié)節(jié)分級(jí)判定系統(tǒng)實(shí)現(xiàn)肺結(jié)節(jié)分級(jí)判定方法的應(yīng)用實(shí)例的流程示意圖;
圖8是ct肺部圖像示意圖;
圖9是預(yù)處理和歸一化處理后的ct肺結(jié)節(jié)圖像示意圖。
具體實(shí)施方式
為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整的描述,顯然,所描述的實(shí)施例是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
本發(fā)明的實(shí)施例一提供了一種基于深度學(xué)習(xí)和數(shù)據(jù)融合的肺結(jié)節(jié)分級(jí)判定方法的具體實(shí)施方式,參見圖1,該肺結(jié)節(jié)分級(jí)判定方法具體包括如下內(nèi)容:
步驟100:對(duì)獲取的多個(gè)電子計(jì)算機(jī)斷層掃描ct肺部圖像進(jìn)行預(yù)處理,得到預(yù)處理后的各ct肺結(jié)節(jié)圖像。
在本步驟中,ct肺部圖像預(yù)處理及肺結(jié)節(jié)序列圖像歸一化處理模塊在ct肺部圖像預(yù)處理中,對(duì)圖像進(jìn)行格式轉(zhuǎn)換;實(shí)驗(yàn)所采集的ct圖均為醫(yī)學(xué)圖像,需將其轉(zhuǎn)化為統(tǒng)一的圖片格式才能進(jìn)行之后的模型構(gòu)建。在ct肺結(jié)節(jié)圖像歸一化處理中,對(duì)預(yù)處理后的ct肺結(jié)節(jié)序列圖像進(jìn)行歸一化處理,主要包括圖像標(biāo)記、尺寸重構(gòu)及統(tǒng)一像素等。
步驟200:提取各所述ct肺結(jié)節(jié)圖像的圖像特征,并根據(jù)所述圖像特征對(duì)各所述ct肺結(jié)節(jié)圖像進(jìn)行預(yù)分類。
在本步驟中,在完成ct肺部圖像的預(yù)處理和肺結(jié)節(jié)序列圖像的歸一化處理后,模仿醫(yī)生的診斷思路,基于深度學(xué)習(xí)的重要圖像特征提取模塊對(duì)不同的肺結(jié)節(jié)形態(tài),采用基于深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)ct肺結(jié)節(jié)部分進(jìn)行分析,通過卷積層和池化層的設(shè)計(jì)以及相應(yīng)參數(shù)的配置,提取能夠區(qū)分不同肺結(jié)節(jié)形態(tài)的圖像特征,整合這些特征后,可對(duì)這些ct肺結(jié)節(jié)圖像進(jìn)行預(yù)分類。
步驟300:對(duì)預(yù)分類后的各ct肺結(jié)節(jié)圖像的圖像特征和對(duì)應(yīng)的綜合臨床就診數(shù)據(jù)進(jìn)行反復(fù)訓(xùn)練和迭代,得到診斷模型;
在本步驟中,多源數(shù)據(jù)融合模塊采取多種特征標(biāo)準(zhǔn)化后再進(jìn)行融合和預(yù)處理的方法,對(duì)最終診斷結(jié)果有影響的特征進(jìn)行篩選,選取svm作為分類器,構(gòu)建計(jì)算機(jī)輔助診斷模型。
步驟400:基于所述診斷模型,對(duì)所述ct肺部圖像進(jìn)行ct影像肺結(jié)節(jié)的分級(jí)判定。
在本步驟中,綜合考慮和分析從ct肺結(jié)節(jié)圖像中提取的重要圖像特征和對(duì)其他臨床就診信息進(jìn)行量化后的參數(shù),依據(jù)多源數(shù)據(jù)融合技術(shù)進(jìn)行國人ct肺結(jié)節(jié)的分級(jí)判定。
從上述描述可知,本發(fā)明的實(shí)施例提供了一種基于深度學(xué)習(xí)和多源數(shù)據(jù)融合的ct肺結(jié)節(jié)分級(jí)判定方法;其采用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)模型,并結(jié)合多源數(shù)據(jù)整合技術(shù),通過驗(yàn)證與測(cè)試得出一種專門針對(duì)國人ct肺結(jié)節(jié)進(jìn)行分級(jí)判定的方法;本方法的圖像樣本是取自國內(nèi)各大醫(yī)院的真實(shí)肺結(jié)節(jié)ct影像,利用卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練多張肺結(jié)節(jié)ct圖像,并經(jīng)過驗(yàn)證與測(cè)試后,證明此方法在國人肺結(jié)節(jié)的分級(jí)診斷方面具有很高的診斷準(zhǔn)確度,可有效地輔助醫(yī)生進(jìn)行疾病診斷工作。
本發(fā)明的實(shí)施例二提供了上述肺結(jié)節(jié)分級(jí)判定方法中步驟100之前的步驟001至步驟003的一種具體實(shí)施方式,參見圖2,所述步驟001至步驟003具體包括如下內(nèi)容:
步驟001:獲取多個(gè)患者全面就診信息。
步驟002:在所述患者全面就診信息中采集所述ct肺部圖像及對(duì)應(yīng)的綜合臨床就診信息。
步驟003:對(duì)所述綜合臨床就診信息進(jìn)行量化處理,得到量化后的所述綜合臨床就診數(shù)據(jù)。
從上述描述可知,本發(fā)明的實(shí)施例所用的ct肺部圖像是來自國內(nèi)各大醫(yī)院的真實(shí)ct影像,為提供了肺結(jié)節(jié)分級(jí)判定提供了準(zhǔn)確和完整的數(shù)據(jù)基礎(chǔ)。
本發(fā)明的實(shí)施例三提供了上述肺結(jié)節(jié)分級(jí)判定方法中步驟100的一種具體實(shí)施方式,參見圖3,所述步驟100具體包括如下內(nèi)容:
步驟101:對(duì)各所述ct肺部圖像進(jìn)行格式轉(zhuǎn)換,得到格式同一的各ct肺結(jié)節(jié)序列圖像。
以及,對(duì)各所述ct肺結(jié)節(jié)序列圖像進(jìn)行歸一化處理,得到預(yù)處理后的各ct肺結(jié)節(jié)圖像,具體包括:
步驟102:對(duì)各所述ct肺結(jié)節(jié)序列圖像進(jìn)行圖像標(biāo)記處理、尺寸重構(gòu)處理及統(tǒng)一像素處理,得到預(yù)處理后的各ct肺結(jié)節(jié)圖像。
在步驟102中,所述圖像標(biāo)記處理為對(duì)肺結(jié)節(jié)在肺部的位置進(jìn)行標(biāo)記;所述尺寸重構(gòu)處理為對(duì)肺結(jié)節(jié)部分進(jìn)行選取和尺寸放大處理;所述統(tǒng)一像素處理為將數(shù)據(jù)集中的圖像像素做統(tǒng)一修改。
從上述描述可知,本發(fā)明的實(shí)施例能夠?qū)Λ@取的多個(gè)電子計(jì)算機(jī)斷層掃描ct肺部圖像進(jìn)行準(zhǔn)確的預(yù)處理,進(jìn)而得到預(yù)處理后的各ct肺結(jié)節(jié)圖像。
本發(fā)明的實(shí)施例四提供了上述肺結(jié)節(jié)分級(jí)判定方法中步驟200的一種具體實(shí)施方式,參見圖4,所述步驟200具體包括如下內(nèi)容:
基于深度學(xué)習(xí)的方式提取ct肺結(jié)節(jié)圖像的圖像特征,具體包括:
步驟201:基于深度學(xué)習(xí)方式中的卷積神經(jīng)網(wǎng)絡(luò)cnn模型對(duì)所述ct肺結(jié)節(jié)圖像中的肺結(jié)節(jié)形態(tài)進(jìn)行分析。
步驟202:通過所述cnn模型中的卷積層和池化層的設(shè)計(jì)以及參數(shù)配置,提取能夠區(qū)分不同肺結(jié)節(jié)形態(tài)的圖像特征。
以及,步驟203:整合各圖像特征,根據(jù)所述圖像特征對(duì)各所述ct肺結(jié)節(jié)圖像進(jìn)行預(yù)分類。
從上述描述可知,本發(fā)明的實(shí)施例能夠模仿醫(yī)生的診斷思路,對(duì)不同的肺結(jié)節(jié)形態(tài),采用基于深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)ct肺結(jié)節(jié)部分進(jìn)行分析,其判定過程全面且可靠,有效提高了判定結(jié)果的準(zhǔn)確性。
本發(fā)明的實(shí)施例五提供了上述肺結(jié)節(jié)分級(jí)判定方法中步驟300的一種具體實(shí)施方式,所述步驟300具體包括如下內(nèi)容:
根據(jù)多源數(shù)據(jù)融合技術(shù),基于預(yù)分類后的各ct肺結(jié)節(jié)圖像的圖像特征和對(duì)應(yīng)的綜合臨床就診數(shù)據(jù),采用支持向量機(jī)作為分類器,通過反復(fù)訓(xùn)練和迭代,獲取所述診斷模型。
從上述描述可知,本發(fā)明的實(shí)施例綜合考慮和分析從ct肺結(jié)節(jié)圖像中提取的重要圖像特征和對(duì)其他臨床就診信息進(jìn)行量化后的參數(shù),依據(jù)多源數(shù)據(jù)融合技術(shù)進(jìn)行ct肺結(jié)節(jié)的分級(jí)判定;有效提高了判定結(jié)果的準(zhǔn)確性,進(jìn)而能夠有效地輔助醫(yī)生進(jìn)行疾病診斷工作。
本發(fā)明的實(shí)施例六提供了能夠?qū)崿F(xiàn)上述肺結(jié)節(jié)分級(jí)判定方法的一種基于深度學(xué)習(xí)和數(shù)據(jù)融合的肺結(jié)節(jié)分級(jí)判定系統(tǒng)的一種具體實(shí)施方式,參見圖5,所述肺結(jié)節(jié)分級(jí)判定系統(tǒng)具體包括如下內(nèi)容:
ct肺部圖像預(yù)處理及肺結(jié)節(jié)序列圖像歸一化處理模塊10,用于對(duì)獲取的多個(gè)電子計(jì)算機(jī)斷層掃描ct肺部圖像進(jìn)行預(yù)處理,得到預(yù)處理后的各ct肺結(jié)節(jié)圖像。
基于深度學(xué)習(xí)的重要圖像特征提取模塊20,用于提取各所述ct肺結(jié)節(jié)圖像的圖像特征,并根據(jù)所述圖像特征對(duì)各所述ct肺結(jié)節(jié)圖像進(jìn)行預(yù)分類。
多源數(shù)據(jù)融合模塊30,用于對(duì)預(yù)分類后的各ct肺結(jié)節(jié)圖像的圖像特征和對(duì)應(yīng)的綜合臨床就診數(shù)據(jù)進(jìn)行反復(fù)訓(xùn)練和迭代,得到診斷模型。
分級(jí)判定模塊40,用于基于所述診斷模型,對(duì)所述ct肺部圖像進(jìn)行ct影像肺結(jié)節(jié)的分級(jí)判定。
從上述描述可知,本發(fā)明的實(shí)施例提供了一種基于深度學(xué)習(xí)和多源數(shù)據(jù)融合的ct肺結(jié)節(jié)分級(jí)判定系統(tǒng);其采用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)模型,并結(jié)合多源數(shù)據(jù)整合技術(shù),通過驗(yàn)證與測(cè)試得出一種專門針對(duì)國人ct肺結(jié)節(jié)進(jìn)行分級(jí)判定的系統(tǒng);本系統(tǒng)的圖像樣本是取自國內(nèi)各大醫(yī)院的真實(shí)肺結(jié)節(jié)ct影像,利用卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練多張肺結(jié)節(jié)ct圖像,并經(jīng)過驗(yàn)證與測(cè)試后,證明此系統(tǒng)在國人肺結(jié)節(jié)的分級(jí)診斷方面具有很高的診斷準(zhǔn)確度,可有效地輔助醫(yī)生進(jìn)行疾病診斷工作。
本發(fā)明的實(shí)施例七提供了上述肺結(jié)節(jié)分級(jí)判定系統(tǒng)的一種具體實(shí)施方式,參見圖6,所述肺結(jié)節(jié)分級(jí)判定系統(tǒng)還具體包括如下內(nèi)容:
患者全面就診信息獲取模塊01,用于獲取多個(gè)患者全面就診信息。
ct肺部圖像及對(duì)應(yīng)的綜合臨床就診信息采集模塊02,用于在所述患者全面就診信息中采集所述ct肺部圖像及對(duì)應(yīng)的綜合臨床就診信息。
綜合臨床就診信息量化模塊03,用于對(duì)所述綜合臨床就診信息進(jìn)行量化處理,得到量化后的所述綜合臨床就診數(shù)據(jù)。
從上述描述可知,本發(fā)明的實(shí)施例所用的ct肺部圖像是來自國內(nèi)各大醫(yī)院的真實(shí)ct影像,為提供了肺結(jié)節(jié)分級(jí)判定提供了準(zhǔn)確和完整的數(shù)據(jù)基礎(chǔ)。
本發(fā)明的實(shí)施例八提供了上述肺結(jié)節(jié)分級(jí)判定系統(tǒng)中的多源數(shù)據(jù)融合模塊30的一種具體實(shí)施方式,所述多源數(shù)據(jù)融合模塊30具體包括如下內(nèi)容:
多源數(shù)據(jù)融合單元,用于根據(jù)多源數(shù)據(jù)融合技術(shù),基于預(yù)分類后的各ct肺結(jié)節(jié)圖像的圖像特征和對(duì)應(yīng)的綜合臨床就診數(shù)據(jù),采用支持向量機(jī)作為分類器,通過反復(fù)訓(xùn)練和迭代,獲取所述診斷模型。
從上述描述可知,本發(fā)明的實(shí)施例綜合考慮和分析從ct肺結(jié)節(jié)圖像中提取的重要圖像特征和對(duì)其他臨床就診信息進(jìn)行量化后的參數(shù),依據(jù)多源數(shù)據(jù)融合技術(shù)進(jìn)行ct肺結(jié)節(jié)的分級(jí)判定;有效提高了判定結(jié)果的準(zhǔn)確性,進(jìn)而能夠有效地輔助醫(yī)生進(jìn)行疾病診斷工作。
為進(jìn)一步的說明本方案,本發(fā)明還提供了一種基于深度學(xué)習(xí)和數(shù)據(jù)融合的肺結(jié)節(jié)分級(jí)判定系統(tǒng)實(shí)現(xiàn)肺結(jié)節(jié)分級(jí)判定方法的應(yīng)用實(shí)例,參見圖7,具體包括如下內(nèi)容:
本應(yīng)用實(shí)例中所用的ct肺部圖像是來自國內(nèi)各大醫(yī)院的真實(shí)ct影像,圖像總數(shù)為5454張。其中,良性肺結(jié)節(jié)ct圖像和惡性肺結(jié)節(jié)ct圖像的比例為1:1。構(gòu)造模型的過程中,圖像數(shù)據(jù)集按照8:1:1的比例分為訓(xùn)練集,驗(yàn)證集和測(cè)試集,并使得這三個(gè)子數(shù)據(jù)集中良惡性肺結(jié)節(jié)圖片數(shù)的比例維持在1:1,以此保證分級(jí)判定結(jié)果的準(zhǔn)確性以及對(duì)國人的普遍適用性。
(1)ct肺部圖像預(yù)處理及肺結(jié)節(jié)序列圖像歸一化處理模塊:
此模塊主要包括兩個(gè)處理過程:ct肺部圖像預(yù)處理和ct肺結(jié)節(jié)序列圖像歸一化處理。在ct肺部圖像預(yù)處理中,對(duì)圖像進(jìn)行格式轉(zhuǎn)換。實(shí)驗(yàn)所采集的ct圖均為醫(yī)學(xué)圖像,通常格式為dicom,需將其轉(zhuǎn)化為jpg圖片格式才能進(jìn)行之后的模型構(gòu)建。在ct肺結(jié)節(jié)圖像歸一化處理中,對(duì)預(yù)處理后的ct肺結(jié)節(jié)序列圖像進(jìn)行歸一化處理,主要包括圖像標(biāo)記、尺寸重構(gòu)及統(tǒng)一像素等。圖像標(biāo)記是指把肺結(jié)節(jié)在肺部的位置標(biāo)記出來,參見圖8,尺寸重構(gòu)是指對(duì)肺結(jié)節(jié)部分進(jìn)行選取和尺寸放大處理,參見圖9,統(tǒng)一像素是指將數(shù)據(jù)集中的圖像像素統(tǒng)一修改為256*256,便于進(jìn)行后續(xù)的模型構(gòu)建工作。
(2)基于深度學(xué)習(xí)的重要圖像特征提取模塊:
完成ct肺部圖像的預(yù)處理和肺結(jié)節(jié)序列圖像的歸一化處理后,模仿醫(yī)生的診斷思路,對(duì)不同的肺結(jié)節(jié)形態(tài),采用基于深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)ct肺結(jié)節(jié)部分進(jìn)行分析,通過卷積層和池化層的設(shè)計(jì)以及相應(yīng)參數(shù)的配置,提取能夠區(qū)分不同肺結(jié)節(jié)形態(tài)的圖像特征,整合這些特征后,可對(duì)這些ct肺結(jié)節(jié)圖像進(jìn)行預(yù)分類。
(3)其它臨床就診信息量化模塊:
一般醫(yī)生對(duì)患者進(jìn)行疾病診斷時(shí),除了參考肺部ct影像,還要綜合其他臨床就診信息,如患者的臨床表現(xiàn)、其他科室診斷信息等文本描述性信息或圖像信息。因此將其他臨床就診的文本信息進(jìn)行量化,融合到最終的診斷模型中,是一項(xiàng)必不可少的工作。一般量化的方法包括文本分類方法、word2vector、標(biāo)準(zhǔn)化方法等。
(4)多源數(shù)據(jù)融合模塊:
綜合考慮和分析從ct肺結(jié)節(jié)圖像中提取的重要圖像特征和對(duì)其他臨床就診信息進(jìn)行量化后的參數(shù),依據(jù)多源數(shù)據(jù)融合技術(shù)進(jìn)行國人ct肺結(jié)節(jié)的分級(jí)判定。在多源信息融合的過程中,采取多種特征標(biāo)準(zhǔn)化后再進(jìn)行融合和預(yù)處理的方法,對(duì)最終診斷結(jié)果有影響的特征進(jìn)行篩選,選取svm作為分類器,構(gòu)建計(jì)算機(jī)輔助診斷模型,對(duì)國人ct肺結(jié)節(jié)的進(jìn)行分級(jí)判定。
在本應(yīng)用例中,ct肺部圖像預(yù)處理及肺結(jié)節(jié)序列圖像歸一化處理:本應(yīng)用實(shí)例模仿醫(yī)生的診斷思路,對(duì)ct肺部圖像和肺結(jié)節(jié)圖像進(jìn)行以下預(yù)處理和歸一化處理:一是從dicom的格式到j(luò)pg格式的圖像格式轉(zhuǎn)換;二是進(jìn)行圖像標(biāo)記、尺寸重構(gòu)及統(tǒng)一像素的歸一化處理。深度卷積神經(jīng)網(wǎng)絡(luò)模型:在ct肺結(jié)節(jié)的重要特征提取過程中,根據(jù)實(shí)際要解決的問題,選擇深度卷積神經(jīng)網(wǎng)絡(luò)模型或區(qū)域卷積神經(jīng)網(wǎng)絡(luò)模型,并對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)模型的卷積、池化層數(shù)及相應(yīng)參數(shù)進(jìn)行合理設(shè)置,還需要防范模型由于過于復(fù)雜而帶來的過擬合問題。算法設(shè)計(jì)優(yōu)化:為了最大程度地模擬醫(yī)生的診斷思路,從算法設(shè)計(jì)的角度優(yōu)化深度學(xué)習(xí)模型,采用深度學(xué)習(xí)中的卷積網(wǎng)絡(luò)模型結(jié)合多源數(shù)據(jù)融合技術(shù)的方法優(yōu)化最終模型的算法,同時(shí)在提高運(yùn)算速度方面采用多線程并行計(jì)算的方法。針對(duì)國人ct肺結(jié)節(jié)的有效判定方法:本應(yīng)用實(shí)例所用的ct肺部節(jié)圖像采自國內(nèi)各大醫(yī)院的真實(shí)患者信息,是針對(duì)國人ct肺結(jié)節(jié)的行之有效的分級(jí)判定方法,具有95%以上的診斷準(zhǔn)確度,能夠有效地輔助醫(yī)生進(jìn)行肺結(jié)節(jié)的診斷工作。
從上述描述可知,本發(fā)明的應(yīng)用實(shí)例針對(duì)醫(yī)學(xué)的ct肺部圖像的預(yù)處理方法和ct肺結(jié)節(jié)圖像的歸一化處理方法解決了肺部圖像的讀取問題和肺結(jié)節(jié)圖像的尺寸重構(gòu)問題,并且基于深度學(xué)習(xí)模型研發(fā)了針對(duì)肺結(jié)節(jié)部分的自動(dòng)識(shí)別和分類功能;將功能強(qiáng)大的深度學(xué)習(xí)模型應(yīng)用到復(fù)雜的ct肺結(jié)節(jié)分級(jí)判定的研發(fā)中,并且是針對(duì)國人ct肺結(jié)節(jié)做出的成果,是具有先創(chuàng)性的研究;采用多源信息融合技術(shù),將ct肺結(jié)節(jié)圖像特征和其他臨床診斷特征相結(jié)合,設(shè)計(jì)了較為完善的國人ct肺結(jié)節(jié)分級(jí)判定方法。
以上實(shí)施例僅用于說明本發(fā)明的技術(shù)方案,而非對(duì)其限制;盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改,或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換;而這些修改或替換,并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。