本發(fā)明涉及數(shù)據(jù)處理，具體地，涉及一種多源醫(yī)療數(shù)據(jù)融合方法、系統(tǒng)、介質(zhì)及設(shè)備。

背景技術(shù)：

1、隨著社會不斷的發(fā)展，計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)技術(shù)得到了前所未有的飛速發(fā)展，人類社會邁入了大數(shù)據(jù)時代，醫(yī)療產(chǎn)業(yè)信息化建設(shè)也隨之不斷加速，各類醫(yī)療信息數(shù)據(jù)量呈現(xiàn)出了爆炸式的增長趨勢。

2、多源數(shù)據(jù)融合技術(shù)指利用相關(guān)手段將調(diào)查、分析獲取到的所有信息全部綜合到一起，并對信息進(jìn)行統(tǒng)一的評價，最后得到統(tǒng)一的信息的技術(shù)。該技術(shù)研發(fā)出來的目的是將各種不同的數(shù)據(jù)信息進(jìn)行綜合，吸取不同數(shù)據(jù)源的特點(diǎn)然后從中提取出統(tǒng)一的，比單一數(shù)據(jù)更好、更豐富的信息。

3、在醫(yī)療行業(yè)內(nèi)，數(shù)據(jù)通常是以多模態(tài)數(shù)據(jù)的形式進(jìn)行混合記錄，即文本數(shù)據(jù)、音頻數(shù)據(jù)、視頻數(shù)據(jù)，醫(yī)療產(chǎn)業(yè)信息化的前提必須是將這些多模態(tài)數(shù)據(jù)進(jìn)行融合和利用，而傳統(tǒng)的多模態(tài)數(shù)據(jù)融合存在數(shù)據(jù)融合準(zhǔn)確性、一致性差的問題。

技術(shù)實(shí)現(xiàn)思路

1、針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種多源醫(yī)療數(shù)據(jù)融合方法、系統(tǒng)、介質(zhì)及設(shè)備。

2、根據(jù)本發(fā)明提供的多源醫(yī)療數(shù)據(jù)融合方法，包括：從不同的數(shù)據(jù)源中采集多模態(tài)數(shù)據(jù)；采用深度學(xué)習(xí)模型，對采集的多模態(tài)數(shù)據(jù)進(jìn)行特征提取，得到不同模態(tài)數(shù)據(jù)的特征數(shù)據(jù)；對不同模態(tài)數(shù)據(jù)的特征數(shù)據(jù)進(jìn)行融合，得到融合數(shù)據(jù)；調(diào)整不同模態(tài)數(shù)據(jù)的融合權(quán)重，從而對融合數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量控制。

3、不難理解，本發(fā)明通過融合來自不同數(shù)據(jù)源的多模態(tài)數(shù)據(jù)(如影像數(shù)據(jù)、生理信號、實(shí)驗(yàn)室檢測結(jié)果等)，可以更全面地了解患者的健康狀況，從而提高臨床診斷的準(zhǔn)確性；進(jìn)一步地，本發(fā)明使用深度學(xué)習(xí)模型進(jìn)行特征提取，可以從復(fù)雜且龐大的醫(yī)療數(shù)據(jù)集中挖掘出深層次的信息，增強(qiáng)了對數(shù)據(jù)的理解和分析能力；進(jìn)一步地，本發(fā)明通過數(shù)據(jù)一致性檢查算法和異常檢測機(jī)制，確保了融合后數(shù)據(jù)的質(zhì)量，減少了因數(shù)據(jù)錯誤或異常而導(dǎo)致的誤診風(fēng)險(xiǎn)。

4、進(jìn)一步地，多模態(tài)數(shù)據(jù)包括圖像數(shù)據(jù)、音頻數(shù)據(jù)和文本數(shù)據(jù)；對采集的多模態(tài)數(shù)據(jù)進(jìn)行特征提取包括：通過第一模型對圖像數(shù)據(jù)進(jìn)行空間層次結(jié)構(gòu)的特征表示，生成第一模態(tài)特征；通過第二模型對音頻和文本數(shù)據(jù)進(jìn)行時間序列數(shù)據(jù)的特征表示，生成第二模態(tài)特征；通過第三模型的自注意力機(jī)制處理文本數(shù)據(jù)的上下文信息，生成第三模態(tài)特征。

5、不難理解，通過使用針對不同數(shù)據(jù)類型(如圖像、音頻、文本)的專門模型，可以確保從每個模態(tài)中提取到最有效的特征，從而使得最終的特征表示更加全面。將三種模態(tài)的特征結(jié)合在一起，可以在多模態(tài)學(xué)習(xí)任務(wù)中發(fā)揮協(xié)同效應(yīng)，比如在視頻理解和分析中，圖像、音頻與文本信息的互補(bǔ)可以使系統(tǒng)做出更精確的決策。

6、進(jìn)一步地，對不同模態(tài)數(shù)據(jù)的特征數(shù)據(jù)進(jìn)行融合包括：將第一模態(tài)特征、第二模態(tài)特征以及第三模態(tài)特征輸入至預(yù)先訓(xùn)練好的特征融合模型，得到第一模態(tài)融合特征、第二模態(tài)融合特征以及第三模態(tài)融合特征；對第一模態(tài)融合特征、第二模態(tài)融合特征以及第三模態(tài)融合特征進(jìn)行下采樣，得到更新的第一模態(tài)融合特征、更新的第二模態(tài)融合特征以及更新的第三模態(tài)融合特征；將更新的第一模態(tài)融合特征、更新的第二模態(tài)融合特征以及更新的第三模態(tài)融合特征進(jìn)行拼接，得到融合數(shù)據(jù)。

7、不難理解，通過融合來自不同模態(tài)的數(shù)據(jù)特征，可以綜合各個模態(tài)的優(yōu)點(diǎn)，獲取更全面的信息描述，從而提高最終分析結(jié)果的準(zhǔn)確性與可靠性。通過預(yù)先訓(xùn)練好的特征融合模型處理數(shù)據(jù)，可以簡化后續(xù)模型的設(shè)計(jì)難度，并且由于進(jìn)行了下采樣操作，還可以減少計(jì)算資源的需求，提高計(jì)算效率。

8、進(jìn)一步地，所述預(yù)先訓(xùn)練好的特征融合模型包括：將第一模態(tài)特征中每個通道的平均值、第二模態(tài)特征中每個通道的平均值與第三模態(tài)特征中每個通道的平均值進(jìn)行拼接，得到中間融合模態(tài)；基于中間融合模態(tài)獲取第一模態(tài)特征、第二模態(tài)特征和第三模態(tài)特征在整體特征中分別所占的第一權(quán)重、第二權(quán)重、第三權(quán)重；將第一權(quán)重與第一模態(tài)特征相乘，得到第一模態(tài)融合特征；第二權(quán)重與第二模態(tài)特征相乘，得到第二模態(tài)融合特征；第三權(quán)重與第三模態(tài)特征相乘，得到第三模態(tài)融合特征。

9、進(jìn)一步地，調(diào)整不同模態(tài)數(shù)據(jù)的融合權(quán)重的方法包括：根據(jù)預(yù)設(shè)置信區(qū)間判斷融合數(shù)據(jù)的數(shù)據(jù)質(zhì)量是否滿足預(yù)設(shè)要求，在融合數(shù)據(jù)的數(shù)據(jù)質(zhì)量不滿足預(yù)設(shè)要求的情況下，調(diào)整第一權(quán)重、第二權(quán)重和第三權(quán)重。

10、進(jìn)一步地，根據(jù)預(yù)設(shè)置信區(qū)間判斷融合數(shù)據(jù)的數(shù)據(jù)質(zhì)量是否滿足預(yù)設(shè)要求的方法包括：分別對第一模態(tài)特征、第二模態(tài)特征以及第三模態(tài)特征進(jìn)行預(yù)測，生成第一決策結(jié)果、第二決策結(jié)果和第三決策結(jié)果；根據(jù)預(yù)設(shè)置信區(qū)間分別得到第一決策結(jié)果、第二決策結(jié)果和第三決策結(jié)果的偏差值；其中，根據(jù)所述偏差值調(diào)整對應(yīng)的第一權(quán)重、第二權(quán)重和第三權(quán)重。

11、不難理解，通過監(jiān)測各模態(tài)數(shù)據(jù)(即第一、第二、第三模態(tài)特征)預(yù)測結(jié)果的偏差，并依據(jù)這些偏差調(diào)整它們在最終融合數(shù)據(jù)中的權(quán)重，可以確保那些提供更準(zhǔn)確信息的模態(tài)在決策過程中占據(jù)更重要的位置。當(dāng)某個模態(tài)的數(shù)據(jù)質(zhì)量下降或出現(xiàn)異常時，該模態(tài)的影響可以通過降低其權(quán)重來減弱，而其他模態(tài)的數(shù)據(jù)則會相應(yīng)地增加其影響力，以彌補(bǔ)這一不足。

12、進(jìn)一步地，在融合數(shù)據(jù)的數(shù)據(jù)質(zhì)量滿足預(yù)設(shè)要求的情況下，將融合數(shù)據(jù)發(fā)送給用戶界面顯示。

13、根據(jù)本發(fā)明提供的多源醫(yī)療數(shù)據(jù)融合系統(tǒng)，包括如下模塊：

14、數(shù)據(jù)采集模塊：從不同的數(shù)據(jù)源中采集多模態(tài)數(shù)據(jù)；

15、多模態(tài)學(xué)習(xí)模塊：采用深度學(xué)習(xí)模型，對采集的多模態(tài)數(shù)據(jù)進(jìn)行特征提取，得到不同模態(tài)數(shù)據(jù)的特征數(shù)據(jù)；

16、數(shù)據(jù)融合模塊：對不同模態(tài)數(shù)據(jù)的特征數(shù)據(jù)進(jìn)行融合，得到融合數(shù)據(jù)；

17、數(shù)據(jù)質(zhì)量控制模塊：調(diào)整不同模態(tài)數(shù)據(jù)的融合權(quán)重，從而對融合數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量控制。

18、根據(jù)本發(fā)明提供的存儲有計(jì)算機(jī)程序的計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)所述的多源醫(yī)療數(shù)據(jù)融合方法的步驟。

19、根據(jù)本發(fā)明提供的電子設(shè)備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)所述的多源醫(yī)療數(shù)據(jù)融合方法的步驟。

20、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果：

21、本發(fā)明通過多源數(shù)據(jù)融合技術(shù)，能夠整合和協(xié)調(diào)來自不同來源的醫(yī)療數(shù)據(jù)，使用多模態(tài)學(xué)習(xí)技術(shù)和數(shù)據(jù)融合算法生成綜合的數(shù)據(jù)表示，并通過數(shù)據(jù)質(zhì)量控制確保數(shù)據(jù)的準(zhǔn)確性和一致性，解決了醫(yī)療數(shù)據(jù)分散和不一致的問題，提高了數(shù)據(jù)的綜合利用價值和分析的準(zhǔn)確性，并且通過多模態(tài)學(xué)習(xí)和自適應(yīng)數(shù)據(jù)融合算法，顯著提高了數(shù)據(jù)融合的效率和質(zhì)量。

技術(shù)特征：

1.一種多源醫(yī)療數(shù)據(jù)融合方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的多源醫(yī)療數(shù)據(jù)融合方法，其特征在于，多模態(tài)數(shù)據(jù)包括圖像數(shù)據(jù)、音頻數(shù)據(jù)和文本數(shù)據(jù)；

3.根據(jù)權(quán)利要求2所述的多源醫(yī)療數(shù)據(jù)融合方法，其特征在于，對不同模態(tài)數(shù)據(jù)的特征數(shù)據(jù)進(jìn)行融合包括：

4.根據(jù)權(quán)利要求3所述的多源醫(yī)療數(shù)據(jù)融合方法，其特征在于，所述預(yù)先訓(xùn)練好的特征融合模型包括：

5.根據(jù)權(quán)利要求4所述的多源醫(yī)療數(shù)據(jù)融合方法，其特征在于，調(diào)整不同模態(tài)數(shù)據(jù)的融合權(quán)重的方法包括：

6.根據(jù)權(quán)利要求5所述的多源醫(yī)療數(shù)據(jù)融合方法，其特征在于，根據(jù)預(yù)設(shè)置信區(qū)間判斷融合數(shù)據(jù)的數(shù)據(jù)質(zhì)量是否滿足預(yù)設(shè)要求的方法包括：

7.根據(jù)權(quán)利要求5所述的多源醫(yī)療數(shù)據(jù)融合方法，其特征在于，在融合數(shù)據(jù)的數(shù)據(jù)質(zhì)量滿足預(yù)設(shè)要求的情況下，將融合數(shù)據(jù)發(fā)送給用戶界面顯示。

8.一種多源醫(yī)療數(shù)據(jù)融合系統(tǒng)，其特征在于，采用權(quán)利要求1至7中任一項(xiàng)所述的多源醫(yī)療數(shù)據(jù)融合方法，包括：

9.一種存儲有計(jì)算機(jī)程序的計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的多源醫(yī)療數(shù)據(jù)融合方法的步驟。

10.一種電子設(shè)備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的多源醫(yī)療數(shù)據(jù)融合方法的步驟。

技術(shù)總結(jié)
本發(fā)明提供了一種多源醫(yī)療數(shù)據(jù)融合方法、系統(tǒng)、介質(zhì)及設(shè)備，包括：從不同的數(shù)據(jù)源中采集多模態(tài)數(shù)據(jù)；采用深度學(xué)習(xí)模型，對采集的多模態(tài)數(shù)據(jù)進(jìn)行特征提取，得到不同模態(tài)數(shù)據(jù)的特征數(shù)據(jù)；對不同模態(tài)數(shù)據(jù)的特征數(shù)據(jù)進(jìn)行融合，得到融合數(shù)據(jù)；調(diào)整不同模態(tài)數(shù)據(jù)的融合權(quán)重，從而對融合數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量控制。本系統(tǒng)通過多源數(shù)據(jù)融合技術(shù)，解決了醫(yī)療數(shù)據(jù)分散和不一致的問題，提高了數(shù)據(jù)的綜合利用價值和分析的準(zhǔn)確性。

技術(shù)研發(fā)人員：姚娟娟
受保護(hù)的技術(shù)使用者：上海明品醫(yī)學(xué)數(shù)據(jù)科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9