本發(fā)明屬于智能醫(yī)學(xué)圖像輔助診斷、人工智能,特別涉及一種多模態(tài)特征提取的雄激素性脫發(fā)檢測(cè)方法。
背景技術(shù):
1、雄激素性脫發(fā)是一種常見(jiàn)的毛發(fā)疾病,給廣大男性和女性群體造成了廣泛的困擾?,F(xiàn)有的雄激素性脫發(fā)檢測(cè)方法主要基于醫(yī)生人工診斷,通過(guò)醫(yī)生肉眼目視觀察,需要醫(yī)生消耗較多的時(shí)間,效率較低,而且醫(yī)療資源的分配不均會(huì)進(jìn)一步加劇這一問(wèn)題。隨著技術(shù)的進(jìn)步,人們提出了一些基于神經(jīng)網(wǎng)絡(luò)的自動(dòng)檢測(cè)方法,但這些方法往往只利用了患者的圖像,從圖像信息中提取毛發(fā)相關(guān)的信息,缺乏對(duì)患者病歷信息的融入,輸入信息的單一可能導(dǎo)致模型預(yù)測(cè)性能較低,從而降低了檢測(cè)的準(zhǔn)確性,無(wú)法全面地、正確地判斷毛發(fā)最后的正確狀態(tài)。還有個(gè)別方法在脫發(fā)檢測(cè)時(shí)雖然考慮了病歷數(shù)據(jù),但只是通過(guò)專(zhuān)家規(guī)則、決策樹(shù)等方法對(duì)病歷的數(shù)據(jù)做了簡(jiǎn)單地利用,沒(méi)有對(duì)病歷數(shù)據(jù)特征進(jìn)行深入且充分的分析和利用,導(dǎo)致輸出的結(jié)果準(zhǔn)確性較低。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足,提供一種能夠?qū)崿F(xiàn)對(duì)患者的毛發(fā)狀態(tài)的精準(zhǔn)檢測(cè),輸出可靠診斷數(shù)據(jù),并且可以提高毛發(fā)檢測(cè)效率的多模態(tài)特征提取的雄激素性脫發(fā)檢測(cè)方法。
2、本發(fā)明的目的是通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)的:一種多模態(tài)特征提取的雄激素性脫發(fā)檢測(cè)方法,包括如下步驟:
3、s1、采集樣本數(shù)據(jù):收集多名患者相差180天以上的兩份樣本數(shù)據(jù),每份樣本數(shù)據(jù)由用戶(hù)的毛發(fā)圖像數(shù)據(jù)和病歷數(shù)據(jù)組成;
4、s2、構(gòu)建圖像特征提取模型和基于微調(diào)技術(shù)的自然語(yǔ)言處理模型;
5、圖像特征提取模型由resnet-50主干網(wǎng)絡(luò)組成,在resnet-50主干網(wǎng)絡(luò)中分布著4個(gè)殘差塊;通過(guò)4個(gè)殘差塊后將特征圖輸入到一個(gè)由4個(gè)多尺度特征提取模塊組成的多級(jí)多尺度特征網(wǎng)絡(luò),每個(gè)多尺度特征提取模塊中包含四個(gè)尺度塊;四個(gè)殘差塊輸出的特征圖分別輸入第一個(gè)多尺度特征提取模塊中的同級(jí)和深一級(jí)的尺度塊;在多級(jí)多尺度特征提取模塊中,上一層的尺度塊輸出的特征同時(shí)輸入到下一層的同級(jí)尺度塊和深一級(jí)的尺度塊中;然后分別將多個(gè)特征圖通過(guò)3*3卷積層后再進(jìn)行組歸一化處理,得到尺度-偏移變換處理后的特征值;在獲取到特征值后將其傳入到relu激活層,最后將特征數(shù)據(jù)傳送到池化層;
6、圖像特征提取模型訓(xùn)練過(guò)程中,涉及的損失函數(shù)lce公式如下:
7、
8、其中,c是分類(lèi)數(shù),yi,c和分別是第i個(gè)樣本對(duì)第c類(lèi)的實(shí)際和預(yù)測(cè)概率。
9、基于微調(diào)技術(shù)的自然語(yǔ)言處理模型由一個(gè)基于llama?3的嵌入層、一個(gè)transformer模型組成;
10、文本特征提取模型訓(xùn)練過(guò)程中,涉及的損失函數(shù)l'ce公式如下:
11、
12、其中,v是詞匯表,yi(ω)和分別是第i個(gè)樣本中第w個(gè)詞的實(shí)際和預(yù)測(cè)概率。
13、在transformer模型后連接一個(gè)全連接層,用于圖像特征提取模型輸出的數(shù)據(jù)與基于微調(diào)技術(shù)的自然語(yǔ)言處理模型輸出的數(shù)據(jù)進(jìn)行融合;
14、s3、全連接層將特征數(shù)據(jù)進(jìn)行特征對(duì)齊后,輸入mamba模型進(jìn)行處理;
15、s4、采用雙向注意力機(jī)制,計(jì)算圖像與文本兩個(gè)模態(tài)之間的相關(guān)性,得到聯(lián)合特征數(shù)據(jù),并將聯(lián)合特征數(shù)據(jù)通過(guò)一個(gè)特征拼接層后輸出到分類(lèi)層。
16、本發(fā)明的有益效果是:本發(fā)明通過(guò)圖像特征提取模塊獲取毛發(fā)的特征數(shù)據(jù),文本特征提取模塊獲取患者的病歷特征數(shù)據(jù),然后通過(guò)雙向注意力機(jī)制計(jì)算出兩個(gè)模態(tài)之間的關(guān)系,并輸出新的聯(lián)合特征數(shù)據(jù),最終聯(lián)合特征數(shù)據(jù)通過(guò)分類(lèi)層輸出詳細(xì)的毛發(fā)檢測(cè)結(jié)果、毛發(fā)脫發(fā)面積趨勢(shì)預(yù)測(cè)結(jié)果以及對(duì)患者的診斷報(bào)告。能夠?qū)崿F(xiàn)對(duì)患者的毛發(fā)狀態(tài)的精準(zhǔn)檢測(cè),輸出可靠診斷數(shù)據(jù),并且可以提高毛發(fā)檢測(cè)效率。
1.一種多模態(tài)特征提取的雄激素性脫發(fā)檢測(cè)方法,其特征在于,包括如下步驟:
2.根據(jù)權(quán)利要求1所述的一種多模態(tài)特征提取的雄激素性脫發(fā)檢測(cè)方法,其特征在于,在采用雙向注意力機(jī)制進(jìn)行跨模態(tài)特征數(shù)據(jù)融合時(shí),將圖像特征和文本特征轉(zhuǎn)化為鍵向量,鍵生成層公式是: