欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

一種多模態(tài)特征提取的雄激素性脫發(fā)檢測(cè)方法

文檔序號(hào):40509434發(fā)布日期:2024-12-31 13:18閱讀:9來(lái)源:國(guó)知局
一種多模態(tài)特征提取的雄激素性脫發(fā)檢測(cè)方法

本發(fā)明屬于智能醫(yī)學(xué)圖像輔助診斷、人工智能,特別涉及一種多模態(tài)特征提取的雄激素性脫發(fā)檢測(cè)方法。


背景技術(shù):

1、雄激素性脫發(fā)是一種常見(jiàn)的毛發(fā)疾病,給廣大男性和女性群體造成了廣泛的困擾?,F(xiàn)有的雄激素性脫發(fā)檢測(cè)方法主要基于醫(yī)生人工診斷,通過(guò)醫(yī)生肉眼目視觀察,需要醫(yī)生消耗較多的時(shí)間,效率較低,而且醫(yī)療資源的分配不均會(huì)進(jìn)一步加劇這一問(wèn)題。隨著技術(shù)的進(jìn)步,人們提出了一些基于神經(jīng)網(wǎng)絡(luò)的自動(dòng)檢測(cè)方法,但這些方法往往只利用了患者的圖像,從圖像信息中提取毛發(fā)相關(guān)的信息,缺乏對(duì)患者病歷信息的融入,輸入信息的單一可能導(dǎo)致模型預(yù)測(cè)性能較低,從而降低了檢測(cè)的準(zhǔn)確性,無(wú)法全面地、正確地判斷毛發(fā)最后的正確狀態(tài)。還有個(gè)別方法在脫發(fā)檢測(cè)時(shí)雖然考慮了病歷數(shù)據(jù),但只是通過(guò)專(zhuān)家規(guī)則、決策樹(shù)等方法對(duì)病歷的數(shù)據(jù)做了簡(jiǎn)單地利用,沒(méi)有對(duì)病歷數(shù)據(jù)特征進(jìn)行深入且充分的分析和利用,導(dǎo)致輸出的結(jié)果準(zhǔn)確性較低。


技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足,提供一種能夠?qū)崿F(xiàn)對(duì)患者的毛發(fā)狀態(tài)的精準(zhǔn)檢測(cè),輸出可靠診斷數(shù)據(jù),并且可以提高毛發(fā)檢測(cè)效率的多模態(tài)特征提取的雄激素性脫發(fā)檢測(cè)方法。

2、本發(fā)明的目的是通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)的:一種多模態(tài)特征提取的雄激素性脫發(fā)檢測(cè)方法,包括如下步驟:

3、s1、采集樣本數(shù)據(jù):收集多名患者相差180天以上的兩份樣本數(shù)據(jù),每份樣本數(shù)據(jù)由用戶(hù)的毛發(fā)圖像數(shù)據(jù)和病歷數(shù)據(jù)組成;

4、s2、構(gòu)建圖像特征提取模型和基于微調(diào)技術(shù)的自然語(yǔ)言處理模型;

5、圖像特征提取模型由resnet-50主干網(wǎng)絡(luò)組成,在resnet-50主干網(wǎng)絡(luò)中分布著4個(gè)殘差塊;通過(guò)4個(gè)殘差塊后將特征圖輸入到一個(gè)由4個(gè)多尺度特征提取模塊組成的多級(jí)多尺度特征網(wǎng)絡(luò),每個(gè)多尺度特征提取模塊中包含四個(gè)尺度塊;四個(gè)殘差塊輸出的特征圖分別輸入第一個(gè)多尺度特征提取模塊中的同級(jí)和深一級(jí)的尺度塊;在多級(jí)多尺度特征提取模塊中,上一層的尺度塊輸出的特征同時(shí)輸入到下一層的同級(jí)尺度塊和深一級(jí)的尺度塊中;然后分別將多個(gè)特征圖通過(guò)3*3卷積層后再進(jìn)行組歸一化處理,得到尺度-偏移變換處理后的特征值;在獲取到特征值后將其傳入到relu激活層,最后將特征數(shù)據(jù)傳送到池化層;

6、圖像特征提取模型訓(xùn)練過(guò)程中,涉及的損失函數(shù)lce公式如下:

7、

8、其中,c是分類(lèi)數(shù),yi,c和分別是第i個(gè)樣本對(duì)第c類(lèi)的實(shí)際和預(yù)測(cè)概率。

9、基于微調(diào)技術(shù)的自然語(yǔ)言處理模型由一個(gè)基于llama?3的嵌入層、一個(gè)transformer模型組成;

10、文本特征提取模型訓(xùn)練過(guò)程中,涉及的損失函數(shù)l'ce公式如下:

11、

12、其中,v是詞匯表,yi(ω)和分別是第i個(gè)樣本中第w個(gè)詞的實(shí)際和預(yù)測(cè)概率。

13、在transformer模型后連接一個(gè)全連接層,用于圖像特征提取模型輸出的數(shù)據(jù)與基于微調(diào)技術(shù)的自然語(yǔ)言處理模型輸出的數(shù)據(jù)進(jìn)行融合;

14、s3、全連接層將特征數(shù)據(jù)進(jìn)行特征對(duì)齊后,輸入mamba模型進(jìn)行處理;

15、s4、采用雙向注意力機(jī)制,計(jì)算圖像與文本兩個(gè)模態(tài)之間的相關(guān)性,得到聯(lián)合特征數(shù)據(jù),并將聯(lián)合特征數(shù)據(jù)通過(guò)一個(gè)特征拼接層后輸出到分類(lèi)層。

16、本發(fā)明的有益效果是:本發(fā)明通過(guò)圖像特征提取模塊獲取毛發(fā)的特征數(shù)據(jù),文本特征提取模塊獲取患者的病歷特征數(shù)據(jù),然后通過(guò)雙向注意力機(jī)制計(jì)算出兩個(gè)模態(tài)之間的關(guān)系,并輸出新的聯(lián)合特征數(shù)據(jù),最終聯(lián)合特征數(shù)據(jù)通過(guò)分類(lèi)層輸出詳細(xì)的毛發(fā)檢測(cè)結(jié)果、毛發(fā)脫發(fā)面積趨勢(shì)預(yù)測(cè)結(jié)果以及對(duì)患者的診斷報(bào)告。能夠?qū)崿F(xiàn)對(duì)患者的毛發(fā)狀態(tài)的精準(zhǔn)檢測(cè),輸出可靠診斷數(shù)據(jù),并且可以提高毛發(fā)檢測(cè)效率。



技術(shù)特征:

1.一種多模態(tài)特征提取的雄激素性脫發(fā)檢測(cè)方法,其特征在于,包括如下步驟:

2.根據(jù)權(quán)利要求1所述的一種多模態(tài)特征提取的雄激素性脫發(fā)檢測(cè)方法,其特征在于,在采用雙向注意力機(jī)制進(jìn)行跨模態(tài)特征數(shù)據(jù)融合時(shí),將圖像特征和文本特征轉(zhuǎn)化為鍵向量,鍵生成層公式是:


技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種多模態(tài)特征提取的雄激素性脫發(fā)檢測(cè)方法,包括如下步驟:S1、采集樣本數(shù)據(jù):收集多名患者相差180天以上的兩份樣本數(shù)據(jù),每份樣本數(shù)據(jù)由用戶(hù)的毛發(fā)圖像數(shù)據(jù)和病歷數(shù)據(jù)組成;S2、構(gòu)建圖像特征提取模型和基于微調(diào)技術(shù)的自然語(yǔ)言處理模型;S3、全連接層將特征數(shù)據(jù)進(jìn)行特征對(duì)齊后,輸入Mamba模型進(jìn)行處理;S4、采用雙向注意力機(jī)制,計(jì)算圖像與文本兩個(gè)模態(tài)之間的相關(guān)性,得到聯(lián)合特征數(shù)據(jù),并將聯(lián)合特征數(shù)據(jù)通過(guò)一個(gè)特征拼接層后輸出到分類(lèi)層。本發(fā)明能夠?qū)崿F(xiàn)對(duì)患者的毛發(fā)狀態(tài)的精準(zhǔn)檢測(cè),輸出可靠診斷數(shù)據(jù),并且可以提高毛發(fā)檢測(cè)效率。

技術(shù)研發(fā)人員:蔣獻(xiàn),杜丹,李佳奇,劉緒
受保護(hù)的技術(shù)使用者:四川大學(xué)華西醫(yī)院
技術(shù)研發(fā)日:
技術(shù)公布日:2024/12/30
網(wǎng)友詢(xún)問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
普宁市| 武冈市| 昭平县| 桂林市| 阳春市| 吐鲁番市| 咸丰县| 枣强县| 屏边| 通化市| 平阳县| 崇左市| 临江市| 岗巴县| 沙雅县| 壶关县| 利津县| 长乐市| 泰安市| 沛县| 郴州市| 大洼县| 闸北区| 彩票| 万载县| 栖霞市| 福鼎市| 岳阳市| 酉阳| 新巴尔虎左旗| 宝鸡市| 荆门市| 泰兴市| 屏山县| 临江市| 鱼台县| 祁阳县| 吉安市| 梨树县| 汾西县| 石景山区|