本技術(shù)涉及腫瘤預(yù)后預(yù)測(cè),尤其涉及腫瘤預(yù)后預(yù)測(cè)模型訓(xùn)練方法、腫瘤預(yù)后預(yù)測(cè)方法及裝置。
背景技術(shù):
1、腫瘤預(yù)后預(yù)測(cè)旨在預(yù)測(cè)腫瘤相關(guān)疾病進(jìn)展的風(fēng)險(xiǎn),最終預(yù)測(cè)患者的生存期,為腫瘤相關(guān)患者的治療方案的選用提供可靠的參考。腫瘤預(yù)后預(yù)測(cè)可以通過(guò)綜合分析患者的病理圖像、基因組信息、臨床數(shù)據(jù)以及其他生物標(biāo)志物,結(jié)合醫(yī)生經(jīng)驗(yàn)、統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)的方法來(lái)估計(jì)腫瘤相關(guān)患者在一定時(shí)間內(nèi)生存的概率。通過(guò)這些預(yù)測(cè),醫(yī)生可以更好地了解患者的疾病進(jìn)展的風(fēng)險(xiǎn),從而為患者制定更加個(gè)性化且有針對(duì)性的治療方案。
2、隨著可靠的全幅病理掃描儀和高性能計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展,基于醫(yī)學(xué)影像的定量病理學(xué)分析變得可行,然而,目前利用深度學(xué)習(xí)技術(shù)進(jìn)行腫瘤預(yù)后預(yù)測(cè)的方式,在對(duì)如結(jié)直腸癌病理圖像等包含高達(dá)數(shù)十億像素的圖像進(jìn)行處理時(shí),無(wú)法一次處理整個(gè)腫瘤病理圖像且無(wú)法保證特征提取的準(zhǔn)確性,會(huì)在特征提取階段耗費(fèi)較多的時(shí)間成本且影響后續(xù)腫瘤預(yù)后預(yù)測(cè)結(jié)果的準(zhǔn)確性;同時(shí),腫瘤預(yù)后預(yù)測(cè)也面臨訓(xùn)練數(shù)據(jù)缺乏以及易忽視不同病理數(shù)據(jù)集之間的特征分布差異的問(wèn)題,也會(huì)導(dǎo)致腫瘤預(yù)后預(yù)測(cè)結(jié)果的準(zhǔn)確性和可靠性無(wú)法保證。
3、基于此,當(dāng)前亟需設(shè)計(jì)一種能夠提高腫瘤病理圖像的特征提取效率及準(zhǔn)確性,并能夠提高腫瘤預(yù)后預(yù)測(cè)結(jié)果的準(zhǔn)確性和可靠性的方式。
技術(shù)實(shí)現(xiàn)思路
1、鑒于此,本技術(shù)實(shí)施例提供了腫瘤預(yù)后預(yù)測(cè)模型訓(xùn)練方法、腫瘤預(yù)后預(yù)測(cè)方法及裝置,以消除或改善現(xiàn)有技術(shù)中存在的一個(gè)或更多個(gè)缺陷。
2、本技術(shù)的一個(gè)方面提供了一種腫瘤預(yù)后預(yù)測(cè)模型訓(xùn)練方法,包括:
3、將各個(gè)全切片病理圖像數(shù)據(jù)各自的歸一化圖像數(shù)據(jù)分別輸入預(yù)設(shè)的自編碼器,以基于該自編碼器的輸出獲取各個(gè)所述全切片病理圖像數(shù)據(jù)各自對(duì)應(yīng)的目標(biāo)特征圖數(shù)據(jù);
4、將各個(gè)所述全切片病理圖像數(shù)據(jù)各自對(duì)應(yīng)的目標(biāo)特征圖數(shù)據(jù)分別與各個(gè)所述全切片病理圖像數(shù)據(jù)對(duì)應(yīng)的總體生存期數(shù)據(jù)和生存狀態(tài)數(shù)據(jù)進(jìn)行組合,以得到各個(gè)所述全切片病理圖像數(shù)據(jù)各自對(duì)應(yīng)的數(shù)據(jù)樣本;
5、采用各個(gè)所述數(shù)據(jù)樣本訓(xùn)練預(yù)設(shè)的基于注意力機(jī)制的多示例學(xué)習(xí)模型,以使該基于注意力機(jī)制的多示例學(xué)習(xí)模型用于預(yù)測(cè)全切片病理圖像數(shù)據(jù)對(duì)應(yīng)的生存期,并與所述自編碼器共同構(gòu)成腫瘤預(yù)后預(yù)測(cè)模型。
6、在本技術(shù)的一些實(shí)施例中,在所述將各個(gè)全切片病理圖像數(shù)據(jù)各自的歸一化圖像數(shù)據(jù)分別輸入預(yù)設(shè)的自編碼器之前,還包括:
7、分別將各個(gè)全切片病理圖像數(shù)據(jù)切割為多個(gè)大小相同的圖像塊;
8、對(duì)各個(gè)所述圖像塊進(jìn)行過(guò)濾處理;
9、將經(jīng)過(guò)濾處理后的各個(gè)所述圖像塊進(jìn)行歸一化處理,得到各個(gè)所述全切片病理圖像數(shù)據(jù)各自對(duì)應(yīng)的各個(gè)歸一化圖像塊,其中,屬于同一所述全切片病理圖像數(shù)據(jù)的各個(gè)所述歸一化圖像塊共同構(gòu)成該全切片病理圖像數(shù)據(jù)對(duì)應(yīng)的歸一化圖像數(shù)據(jù)。
10、在本技術(shù)的一些實(shí)施例中,所述對(duì)各個(gè)所述圖像塊進(jìn)行過(guò)濾處理,包括:
11、將各個(gè)所述圖像塊分別從rgb空間轉(zhuǎn)化到光密度空間,并在轉(zhuǎn)換至所述光密度空間的各個(gè)所述圖像塊中,將光密度值小于預(yù)設(shè)的光密度閾值的圖像塊剔除。
12、在本技術(shù)的一些實(shí)施例中,所述將經(jīng)過(guò)濾處理后的各個(gè)所述圖像塊進(jìn)行歸一化處理,得到各個(gè)所述全切片病理圖像數(shù)據(jù)各自對(duì)應(yīng)的各個(gè)歸一化圖像塊,包括:
13、對(duì)轉(zhuǎn)換至所述光密度空間的各個(gè)所述圖像塊進(jìn)行奇異值分解以得到各個(gè)圖像塊光密度空間對(duì)應(yīng)的特征向量,再將各個(gè)特征向量的特征值由大到小的順序排序,并自排序后的特征向量中選取前兩個(gè),以構(gòu)成圖像塊光密度空間的平面;
14、將經(jīng)過(guò)濾處理后的各個(gè)所述圖像塊的像素點(diǎn)映射到所述圖像塊光密度空間的平面上并歸一化至預(yù)設(shè)的單位長(zhǎng)度;
15、確定所述圖像塊光密度空間的平面上的每個(gè)像素點(diǎn)各自相對(duì)于預(yù)設(shè)方向的角度,并在各個(gè)所述角度中查找極值角度;
16、將各個(gè)所述極值角度轉(zhuǎn)換回所述光密度空間,以得到各個(gè)所述歸一化圖像塊各自對(duì)應(yīng)的歸一化圖像數(shù)據(jù)。
17、在本技術(shù)的一些實(shí)施例中,所述自編碼器包括相互連接的編碼器和解碼器;
18、相對(duì)應(yīng)的,所述將各個(gè)全切片病理圖像數(shù)據(jù)各自的歸一化圖像數(shù)據(jù)分別輸入預(yù)設(shè)的自編碼器,以基于該自編碼器的輸出獲取各個(gè)所述全切片病理圖像數(shù)據(jù)各自對(duì)應(yīng)的目標(biāo)特征圖數(shù)據(jù),包括:
19、將各個(gè)所述歸一化圖像塊分別輸入所述編碼器,以使該編碼器分別將各個(gè)所述歸一化圖像塊映射到預(yù)設(shè)的特征空間中,并使得所述解碼器將映射到所述特征空間的各個(gè)所述歸一化圖像分別進(jìn)行特征重建,以得到各個(gè)所述歸一化圖像塊各自對(duì)應(yīng)的特征重建圖數(shù)據(jù);
20、分別將屬于同一所述全切片病理圖像數(shù)據(jù)對(duì)應(yīng)的各個(gè)所述特征重建圖數(shù)據(jù)進(jìn)行拼接,以得到各個(gè)所述全切片病理圖像數(shù)據(jù)各自對(duì)應(yīng)的目標(biāo)特征圖數(shù)據(jù);
21、其中,所述自編碼器預(yù)先采用各個(gè)歸一化圖像樣本以及均方誤差損失函數(shù)訓(xùn)練得到。
22、在本技術(shù)的一些實(shí)施例中,所述基于注意力機(jī)制的多示例學(xué)習(xí)模型包括:相互連接的注意力池化層和線性激活層;
23、相對(duì)應(yīng)的,所述采用各個(gè)所述數(shù)據(jù)樣本訓(xùn)練預(yù)設(shè)的基于注意力機(jī)制的多示例學(xué)習(xí)模型,以使該基于注意力機(jī)制的多示例學(xué)習(xí)模型用于預(yù)測(cè)全切片病理圖像數(shù)據(jù)對(duì)應(yīng)的生存期,并與所述自編碼器共同構(gòu)成腫瘤預(yù)后預(yù)測(cè)模型,包括:
24、將各個(gè)所述數(shù)據(jù)樣本分別輸入所述注意力池化層,以使該注意力池化層基于注意力機(jī)制對(duì)輸入的各個(gè)所述目標(biāo)特征圖數(shù)據(jù)進(jìn)行下采樣,并使得所述線性激活層基于預(yù)設(shè)的激活函數(shù)獲取經(jīng)下采樣處理后的所述目標(biāo)特征圖數(shù)據(jù)對(duì)應(yīng)的生存期預(yù)測(cè)結(jié)果數(shù)據(jù),以使該基于注意力機(jī)制的多示例學(xué)習(xí)模型用于預(yù)測(cè)全切片病理圖像數(shù)據(jù)對(duì)應(yīng)的生存期,并與所述自編碼器共同構(gòu)成腫瘤預(yù)后預(yù)測(cè)模型;
25、其中,所述生存期預(yù)測(cè)結(jié)果數(shù)據(jù)包括:用于表示韋伯分布模型的形狀參數(shù)和規(guī)模參數(shù)。
26、本技術(shù)的第二個(gè)方面提供了一種腫瘤預(yù)后預(yù)測(cè)方法,包括:
27、獲取目標(biāo)全切片病理圖像數(shù)據(jù)的歸一化圖像數(shù)據(jù);
28、將目標(biāo)全切片病理圖像數(shù)據(jù)的歸一化圖像數(shù)據(jù)輸入預(yù)設(shè)的腫瘤預(yù)后預(yù)測(cè)模型,以使該腫瘤預(yù)后預(yù)測(cè)模型中的自編碼器輸出所述目標(biāo)全切片病理圖像數(shù)據(jù)對(duì)應(yīng)的目標(biāo)特征圖數(shù)據(jù),并將目標(biāo)特征圖數(shù)據(jù)輸入所述腫瘤預(yù)后預(yù)測(cè)模型中的所述基于注意力機(jī)制的多示例學(xué)習(xí)模型,以使該基于注意力機(jī)制的多示例學(xué)習(xí)模型輸出所述目標(biāo)全切片病理圖像數(shù)據(jù)對(duì)應(yīng)的生存期預(yù)測(cè)結(jié)果數(shù)據(jù),其中,所述腫瘤預(yù)后預(yù)測(cè)模型預(yù)先基于所述的腫瘤預(yù)后預(yù)測(cè)模型訓(xùn)練方法訓(xùn)練得到。
29、本技術(shù)的第三個(gè)方面提供了一種腫瘤預(yù)后預(yù)測(cè)模型訓(xùn)練裝置,包括:
30、自編碼模塊,用于將各個(gè)全切片病理圖像數(shù)據(jù)各自的歸一化圖像數(shù)據(jù)分別輸入預(yù)設(shè)的自編碼器,以基于該自編碼器的輸出獲取各個(gè)所述全切片病理圖像數(shù)據(jù)各自對(duì)應(yīng)的目標(biāo)特征圖數(shù)據(jù);
31、樣本組合模塊,用于將各個(gè)所述全切片病理圖像數(shù)據(jù)各自對(duì)應(yīng)的目標(biāo)特征圖數(shù)據(jù)分別與各個(gè)所述全切片病理圖像數(shù)據(jù)對(duì)應(yīng)的總體生存期數(shù)據(jù)和生存狀態(tài)數(shù)據(jù)進(jìn)行組合,以得到各個(gè)所述全切片病理圖像數(shù)據(jù)各自對(duì)應(yīng)的數(shù)據(jù)樣本;
32、弱監(jiān)督學(xué)習(xí)模塊,用于采用各個(gè)所述數(shù)據(jù)樣本訓(xùn)練預(yù)設(shè)的基于注意力機(jī)制的多示例學(xué)習(xí)模型,以使該基于注意力機(jī)制的多示例學(xué)習(xí)模型用于預(yù)測(cè)全切片病理圖像數(shù)據(jù)對(duì)應(yīng)的生存期,并與所述自編碼器共同構(gòu)成腫瘤預(yù)后預(yù)測(cè)模型。
33、本技術(shù)的第四個(gè)方面提供了一種腫瘤預(yù)后預(yù)測(cè)裝置,包括:
34、歸一化模塊,用于獲取目標(biāo)全切片病理圖像數(shù)據(jù)的歸一化圖像數(shù)據(jù);
35、生存期預(yù)測(cè)模塊,用于將目標(biāo)全切片病理圖像數(shù)據(jù)的歸一化圖像數(shù)據(jù)輸入預(yù)設(shè)的腫瘤預(yù)后預(yù)測(cè)模型,以使該腫瘤預(yù)后預(yù)測(cè)模型中的自編碼器輸出所述目標(biāo)全切片病理圖像數(shù)據(jù)對(duì)應(yīng)的目標(biāo)特征圖數(shù)據(jù),并將目標(biāo)特征圖數(shù)據(jù)輸入所述腫瘤預(yù)后預(yù)測(cè)模型中的所述基于注意力機(jī)制的多示例學(xué)習(xí)模型,以使該基于注意力機(jī)制的多示例學(xué)習(xí)模型輸出所述目標(biāo)全切片病理圖像數(shù)據(jù)對(duì)應(yīng)的生存期預(yù)測(cè)結(jié)果數(shù)據(jù),其中,所述腫瘤預(yù)后預(yù)測(cè)模型預(yù)先基于所述的腫瘤預(yù)后預(yù)測(cè)模型訓(xùn)練方法訓(xùn)練得到。
36、本技術(shù)的第五個(gè)方面提供了一種電子設(shè)備,包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序,所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)所述的腫瘤預(yù)后預(yù)測(cè)模型訓(xùn)練方法,和/或,所述的腫瘤預(yù)后預(yù)測(cè)方法。
37、本技術(shù)的第六個(gè)方面提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述的腫瘤預(yù)后預(yù)測(cè)模型訓(xùn)練方法,和/或,所述的腫瘤預(yù)后預(yù)測(cè)方法。
38、本技術(shù)的第七個(gè)方面提供了一種計(jì)算機(jī)程序產(chǎn)品,包括計(jì)算機(jī)程序,該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述的腫瘤預(yù)后預(yù)測(cè)模型訓(xùn)練方法,和/或,所述的腫瘤預(yù)后預(yù)測(cè)方法。
39、本技術(shù)提供的腫瘤預(yù)后預(yù)測(cè)模型訓(xùn)練方法,將各個(gè)全切片病理圖像數(shù)據(jù)各自的歸一化圖像數(shù)據(jù)分別輸入預(yù)設(shè)的自編碼器,以基于該自編碼器的輸出獲取各個(gè)所述全切片病理圖像數(shù)據(jù)各自對(duì)應(yīng)的目標(biāo)特征圖數(shù)據(jù);將各個(gè)所述全切片病理圖像數(shù)據(jù)各自對(duì)應(yīng)的目標(biāo)特征圖數(shù)據(jù)分別與各個(gè)所述全切片病理圖像數(shù)據(jù)對(duì)應(yīng)的總體生存期數(shù)據(jù)和生存狀態(tài)數(shù)據(jù)進(jìn)行組合,以得到各個(gè)所述全切片病理圖像數(shù)據(jù)各自對(duì)應(yīng)的數(shù)據(jù)樣本;采用各個(gè)所述數(shù)據(jù)樣本訓(xùn)練預(yù)設(shè)的基于注意力機(jī)制的多示例學(xué)習(xí)模型,以使該基于注意力機(jī)制的多示例學(xué)習(xí)模型用于預(yù)測(cè)全切片病理圖像數(shù)據(jù)對(duì)應(yīng)的生存期,并與所述自編碼器共同構(gòu)成腫瘤預(yù)后預(yù)測(cè)模型,能夠基于注意力機(jī)制提高模型訓(xùn)練過(guò)程中針對(duì)患病區(qū)域的識(shí)別及關(guān)注準(zhǔn)確性,并能夠解決全切片圖像標(biāo)簽較少的問(wèn)題以及能夠?qū)⒉±硖卣髋c機(jī)器學(xué)習(xí)模型所提取出的圖像特征相聯(lián)系,還能夠基于歸一化處理提高提取病理圖像的有效區(qū)域,進(jìn)而能夠輔助注意力機(jī)制在模型訓(xùn)練過(guò)程中快速聚焦到病灶區(qū)域,能夠減少模型訓(xùn)練時(shí)間和噪聲干擾并提高注意力機(jī)制的準(zhǔn)確性,進(jìn)而能夠提高腫瘤預(yù)后預(yù)測(cè)模型的訓(xùn)練效率、準(zhǔn)確性和可靠性,以提高采用腫瘤預(yù)后預(yù)測(cè)模型進(jìn)行腫瘤預(yù)后預(yù)測(cè)的結(jié)果有效性及準(zhǔn)確性。
40、本技術(shù)的附加優(yōu)點(diǎn)、目的,以及特征將在下面的描述中將部分地加以闡述,且將對(duì)于本領(lǐng)域普通技術(shù)人員在研究下文后部分地變得明顯,或者可以根據(jù)本技術(shù)的實(shí)踐而獲知。本技術(shù)的目的和其它優(yōu)點(diǎn)可以通過(guò)在說(shuō)明書(shū)以及附圖中具體指出的結(jié)構(gòu)實(shí)現(xiàn)到并獲得。
41、本領(lǐng)域技術(shù)人員將會(huì)理解的是,能夠用本技術(shù)實(shí)現(xiàn)的目的和優(yōu)點(diǎn)不限于以上具體所述,并且根據(jù)以下詳細(xì)說(shuō)明將更清楚地理解本技術(shù)能夠?qū)崿F(xiàn)的上述和其他目的。