本發(fā)明涉及生物醫(yī)學(xué)工程和信息，尤其涉及基于自監(jiān)督學(xué)習(xí)與多模態(tài)生物醫(yī)療信號處理和應(yīng)用系統(tǒng)及終端。

背景技術(shù)：

1、傳統(tǒng)醫(yī)療監(jiān)測手段通常局限于單一或有限幾種生理信號的采集與分析，難以全面了解個(gè)體的生理狀態(tài)和變化，限制了對患者全面健康狀況的了解和干預(yù)能力。而現(xiàn)代醫(yī)療需求更傾向于全面監(jiān)測患者的多個(gè)生理參數(shù)，并能夠及時(shí)響應(yīng)不同參數(shù)變化，以提供個(gè)性化的服務(wù)。

2、傳統(tǒng)生物醫(yī)療信號處理主要依賴于手工設(shè)計(jì)的特征提取方法，這限制了系統(tǒng)對個(gè)體差異和生理變化的適應(yīng)性。然而，由于單一模態(tài)數(shù)據(jù)通常無法提供足夠的信息，研究重心逐漸轉(zhuǎn)向運(yùn)動(dòng)想象識別的多模態(tài)數(shù)據(jù)融合。多模態(tài)數(shù)據(jù)包含不同的數(shù)據(jù)類型，例如圖像、文本、語音等，多模態(tài)數(shù)據(jù)采集技術(shù)能夠同時(shí)獲取多種類型的數(shù)據(jù)，如運(yùn)動(dòng)數(shù)據(jù)、生理數(shù)據(jù)、圖像數(shù)據(jù)等，從而為各種評估提供更全面、準(zhǔn)確的信息。盡管多模態(tài)數(shù)據(jù)在生物醫(yī)學(xué)工程和信息技術(shù)領(lǐng)域領(lǐng)域具有潛力，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型存在對多模態(tài)數(shù)據(jù)特征表示不足的問題，無法充分挖掘不同模態(tài)之間的相關(guān)信息。此外，各領(lǐng)域中主要利用有監(jiān)督的數(shù)據(jù)或半監(jiān)督的多模態(tài)數(shù)據(jù)進(jìn)行特征學(xué)習(xí)，需要對多模態(tài)數(shù)據(jù)進(jìn)行標(biāo)記處理，存在難以直接利用未標(biāo)記數(shù)據(jù)進(jìn)行模型訓(xùn)練的問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)的問題，提供基于自監(jiān)督學(xué)習(xí)與多模態(tài)生物醫(yī)療信號處理方法、系統(tǒng)及終端。

2、本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的：基于自監(jiān)督學(xué)習(xí)與多模態(tài)生物醫(yī)療信號處理方法，該方法包括訓(xùn)練步驟：

3、采用無監(jiān)督學(xué)習(xí)的自編碼器提取多模態(tài)數(shù)據(jù)的特征表示，多模態(tài)數(shù)據(jù)包括作為源域數(shù)據(jù)的患者生理數(shù)據(jù)，以及作為目標(biāo)域數(shù)據(jù)的運(yùn)動(dòng)想象數(shù)據(jù)；

4、以源域數(shù)據(jù)的特征表示作為輸入、目標(biāo)域數(shù)據(jù)的特征表示作為輸出，基于最大似然估計(jì)對基于transformer架構(gòu)的大語言模型進(jìn)行訓(xùn)練，進(jìn)而優(yōu)化大語言模型參數(shù)，完成對大語言模型的訓(xùn)練。

5、在一示例中，所述自編碼器提取多模態(tài)數(shù)據(jù)的特征表示包括：

6、利用自編碼器中的編碼器獲取源域數(shù)據(jù)、目標(biāo)源數(shù)據(jù)在高維特征空間中的向量表示，并輸入自編碼器中的解碼器中；

7、利用解碼器將逐步處理輸入數(shù)據(jù)，并在每個(gè)時(shí)間步驟生成一個(gè)隱藏狀態(tài)向量；使用解碼器的隱藏狀態(tài)向量作為輸入，通過解碼器的自回歸機(jī)制逐步生成對應(yīng)源域數(shù)據(jù)或目標(biāo)域數(shù)據(jù)的特征信息；在每個(gè)時(shí)間步驟，解碼器將使用當(dāng)前隱藏狀態(tài)向量預(yù)測下一個(gè)時(shí)間步驟的特征值，重復(fù)該預(yù)測步驟，直至生成完整的數(shù)據(jù)特征序列。

8、在一示例中，對大語言模型進(jìn)行訓(xùn)練時(shí)，采用交叉熵?fù)p失函數(shù)衡量模型預(yù)測的概率分布與真實(shí)概率分布之間的差異；交叉熵?fù)p失函數(shù)的表達(dá)式為：

9、

10、其中，lmle表示大語言模型的最大似然估計(jì)損失；n表示訓(xùn)練樣本的數(shù)量；p表示表示輸入序列的條件概率；ti表示第i個(gè)樣本的序列長度，xi，t表示第i個(gè)樣本中的第t個(gè)數(shù)據(jù)；xi＜t表示第個(gè)樣本中的前t-1個(gè)數(shù)據(jù)；α表示學(xué)習(xí)率。

11、在一示例中，所述方法還包括生成對抗對齊步驟：

12、構(gòu)建以完成訓(xùn)練的大語言模型作為生成器、卷積神經(jīng)網(wǎng)絡(luò)作為判別器的條件生成對抗網(wǎng)絡(luò)，基于條件生成對抗網(wǎng)絡(luò)進(jìn)行生成對抗學(xué)習(xí)，條件信息為生成器產(chǎn)生的特征信息以及任務(wù)標(biāo)簽，基于判別器判斷生成的目標(biāo)域數(shù)據(jù)和源域數(shù)據(jù)是否真實(shí)，并計(jì)算生成對抗學(xué)習(xí)中的循環(huán)一致性損失lcyc、對抗損失ladv；

13、對齊生成器產(chǎn)生的數(shù)據(jù)特征與真實(shí)數(shù)據(jù)的特征分布，使用批歸一化、最大均值化差異度量對齊損失lmmd；

14、結(jié)合循環(huán)一致性損失lcyc、對抗損失ladv、對齊損失lmmd，并引入動(dòng)態(tài)權(quán)重機(jī)制確定最終損失函數(shù)ltotal，計(jì)算ltotal對傳輸矩陣的梯度，進(jìn)而對權(quán)重參數(shù)進(jìn)行更新，進(jìn)而實(shí)現(xiàn)對生成器、判別器以及傳輸矩陣的優(yōu)化處理。

15、在一示例中，所述對齊損失lmmd的表達(dá)式為：

16、

17、

18、其中，表示源域特征表示；ft表示目標(biāo)域特征表示；n表示樣本數(shù)量；k表示高斯核函數(shù)，用于計(jì)算樣本之間的相似度；i，j均為特征表示序號。

19、在一示例中，所述方法還包括多模態(tài)數(shù)據(jù)融合步驟：

20、采用雙線性插值法統(tǒng)一對齊后的特征向量尺寸；

21、使用雙線性池化層將兩個(gè)模態(tài)的特征進(jìn)行融合，得到融合后的特征表達(dá)；

22、使用跨模態(tài)注意力機(jī)制計(jì)算不同模態(tài)特征之間的權(quán)重，并利用學(xué)到的注意力權(quán)重對雙線性池化后的特征進(jìn)行加權(quán)融合，得到模態(tài)數(shù)據(jù)融合結(jié)果。

23、在一示例中，所述方法還包括分類器訓(xùn)練及功能訓(xùn)練步驟：

24、采用多模態(tài)融合后的數(shù)據(jù)集對分類器進(jìn)行訓(xùn)練；

25、根據(jù)完成訓(xùn)練的分類器對多模態(tài)數(shù)據(jù)進(jìn)行識別，并基于識別結(jié)果控制功能模塊裝置進(jìn)行工作，例如控制康復(fù)機(jī)械手帶動(dòng)康復(fù)訓(xùn)練。

26、需要進(jìn)一步說明的是，上述方法各示例對應(yīng)的技術(shù)特征可以相互組合或替換構(gòu)成新的技術(shù)方案。

27、本發(fā)明還包括一種基于自監(jiān)督學(xué)習(xí)與多模態(tài)生物醫(yī)療信號處理系統(tǒng)，與上述任一示例或多個(gè)示例組合形成的方法具有相同的發(fā)明構(gòu)思，所述系統(tǒng)包括訓(xùn)練模塊，用于采用無監(jiān)督學(xué)習(xí)的自編碼器提取多模態(tài)數(shù)據(jù)的特征表示，以源域數(shù)據(jù)的特征表示作為輸入、目標(biāo)域數(shù)據(jù)的特征表示作為輸出，基于最大似然估計(jì)對基于transfonmer架構(gòu)的大語言模型進(jìn)行訓(xùn)練，進(jìn)而優(yōu)化大語言模型參數(shù)，完成對大語言模型的訓(xùn)練；多模態(tài)數(shù)據(jù)包括作為源域數(shù)據(jù)的患者生理數(shù)據(jù)，以及作為目標(biāo)域數(shù)據(jù)的運(yùn)動(dòng)想象數(shù)據(jù)。

28、在一示例中，所述系統(tǒng)還包括：

29、生成對抗對齊模塊，用于構(gòu)建以完成訓(xùn)練的大語言模型作為生成器、卷積神經(jīng)網(wǎng)絡(luò)作為判別器的條件生成對抗網(wǎng)絡(luò)，再基于條件生成對抗網(wǎng)絡(luò)進(jìn)行生成對抗學(xué)習(xí)，條件信息為生成器產(chǎn)生的特征信息以及任務(wù)標(biāo)簽，基于判別器判斷生成的目標(biāo)域數(shù)據(jù)和源域數(shù)據(jù)是否真實(shí)，并計(jì)算生成對抗學(xué)習(xí)中的循環(huán)一致性損失lcyc、對抗損失ladv；對齊生成器產(chǎn)生的數(shù)據(jù)特征與真實(shí)數(shù)據(jù)的特征分布，使用批歸一化、最大均值化差異度量對齊損失lmmd；結(jié)合交叉熵?fù)p失、循環(huán)一致性損失lcyc、對抗損失ladv、對齊損失lmmd，并引入動(dòng)態(tài)權(quán)重機(jī)制確定最終損失函數(shù)ltotal，計(jì)算ltotal對傳輸矩陣的梯度，進(jìn)而對權(quán)重參數(shù)進(jìn)行更新，進(jìn)而實(shí)現(xiàn)對生成器、判別器以及傳輸矩陣的優(yōu)化處理；

30、多模態(tài)數(shù)據(jù)融合模塊，用于采用雙線性插值法統(tǒng)一對齊后的特征向量尺寸；使用雙線性池化層將兩個(gè)模態(tài)的特征進(jìn)行融合，得到融合后的特征表達(dá)；再使用跨模態(tài)注意力機(jī)制計(jì)算不同模態(tài)特征之間的權(quán)重，并利用學(xué)到的注意力權(quán)重對雙線性池化后的特征進(jìn)行加權(quán)融合，得到模態(tài)數(shù)據(jù)融合結(jié)果；

31、分類訓(xùn)練模塊，用于采用多模態(tài)融合后的數(shù)據(jù)集對分類器進(jìn)行訓(xùn)練；

32、功能訓(xùn)練控制模塊，根據(jù)完成訓(xùn)練的分類器對多模態(tài)數(shù)據(jù)進(jìn)行識別，并基于識別結(jié)果控制功能模塊裝置進(jìn)行工作，例如控制康復(fù)機(jī)械手帶動(dòng)康復(fù)訓(xùn)練。

33、需要進(jìn)一步說明的是，上述系統(tǒng)各示例對應(yīng)的技術(shù)特征可以相互組合或替換構(gòu)成新的技術(shù)方案。

34、本發(fā)明還包括一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令運(yùn)行時(shí)執(zhí)行上述任一示例或多個(gè)示例組成形成的所述的基于自監(jiān)督學(xué)習(xí)與多模態(tài)生物醫(yī)療信號處理方法的步驟。

35、本發(fā)明還包括一種終端，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器上存儲(chǔ)有可在所述處理器上運(yùn)行的計(jì)算機(jī)指令，所述處理器運(yùn)行所述計(jì)算機(jī)指令時(shí)執(zhí)行上述任一示例或多個(gè)示例形成的所述的基于自監(jiān)督學(xué)習(xí)與多模態(tài)生物醫(yī)療信號處理方法的步驟。

36、與現(xiàn)有技術(shù)相比，本發(fā)明有益效果是：

37、1.在一示例中，通過自編碼器學(xué)習(xí)多模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)性和共同特征，并將自編碼器提取的特征表示應(yīng)用于大語言模型的預(yù)訓(xùn)練，可以將不同類型的數(shù)據(jù)轉(zhuǎn)化為相同的特征表示，從而實(shí)現(xiàn)不同類型數(shù)據(jù)的統(tǒng)一處理，進(jìn)而使大語言模型學(xué)習(xí)到更加抽象和高級的特征表示，以此提高對多模態(tài)數(shù)據(jù)的處理能力以及泛化性能；且大語言模型在預(yù)測時(shí)采用最大似然估計(jì)并加入正則化參數(shù)優(yōu)化了模型的擬合能力和泛化能力，進(jìn)一步提高了大語言模型在生成任務(wù)中的性能和效果。同時(shí)，由于采用的是無監(jiān)督學(xué)習(xí)的方法，能夠利用大量的未標(biāo)記數(shù)據(jù)對大語言模型進(jìn)行預(yù)訓(xùn)練，從而能夠更好地利用數(shù)據(jù)資源，適用于數(shù)據(jù)樣本稀缺的個(gè)性化醫(yī)療、疾病預(yù)防、康復(fù)輔助等領(lǐng)域。

38、2.在一示例中，利用條件生成對抗網(wǎng)絡(luò)生成在源域和目標(biāo)域之間進(jìn)行遷移的特征表示，從而實(shí)現(xiàn)不同領(lǐng)域或數(shù)據(jù)分布之間的特征對齊；再利用學(xué)習(xí)到的多模態(tài)的特點(diǎn)自行構(gòu)造監(jiān)督信息進(jìn)行自監(jiān)督學(xué)習(xí)和微調(diào)預(yù)訓(xùn)練模型(生成器、判別器)，從而減少了訓(xùn)練中對標(biāo)簽數(shù)據(jù)的依賴，還能夠避免無監(jiān)督學(xué)習(xí)中強(qiáng)先驗(yàn)知識與數(shù)據(jù)真實(shí)分布偏離帶來的問題，并讓模型針對目標(biāo)任務(wù)微調(diào)預(yù)訓(xùn)練模型獲得任務(wù)特有的個(gè)性化模型，提升目標(biāo)任務(wù)的整體性能。

39、3.在一示例中，通過多模態(tài)特征融合，可以將不同數(shù)據(jù)源中的特征信息進(jìn)行結(jié)合，從而提高了特征融合的靈活性和表達(dá)能力。同時(shí)，通過跨模態(tài)注意力機(jī)制學(xué)習(xí)不同模態(tài)特征之間的關(guān)聯(lián)權(quán)重，可以更好地挖掘不同模態(tài)之間的相關(guān)性，從而提高了特征表示的準(zhǔn)確性和穩(wěn)定性。