本發(fā)明涉及生物識別，特別涉及一種多模態(tài)融合特征情感識別方法。

背景技術(shù)：

1、隨著互聯(lián)網(wǎng)、虛擬現(xiàn)實、移動計算等飛速發(fā)展，對人機(jī)交互技術(shù)提出了新的挑戰(zhàn)和更高的要求，同時也提供了很多新的機(jī)遇。目前，“以人為中心”的交互設(shè)計原則是發(fā)展新一代人機(jī)交互的主要目標(biāo)，因此，若能對人在作業(yè)過程中的情緒狀態(tài)進(jìn)行有效識別，并及時預(yù)警，可有效減少人機(jī)交互過程中的人因失誤，保證作業(yè)的安全性，具有重要的現(xiàn)實意義。

2、情緒識別研究長期以來一直受到各個領(lǐng)域研究者們的關(guān)注，在各類相關(guān)領(lǐng)域開展了大量的研究工作，主要研究方法有兩類：非生理信號和生理信號情緒識別。非生理信號識別主要包括面部表情、語音語調(diào)、文本以及肢體動作等相關(guān)識別的特征，雖然目前這幾種方法在情緒識別領(lǐng)域已經(jīng)取得了很大進(jìn)步和突破，但仍存在一些問題：(1)這幾種最常用的情緒識別方式都是基于個體的表象特征，而這些表象特征可以通過個體的主觀意愿進(jìn)行偽裝，有時并不能真正反映個體當(dāng)下的情緒狀態(tài)；(2)每個個體特性存在差異，如面部結(jié)構(gòu)特征、音色特征、文字運用習(xí)慣等，這些特性增加了情緒識別工作的難度，導(dǎo)致識別模型泛化能力較差；(3)對數(shù)據(jù)的要求高，但是數(shù)據(jù)的提取工作很容易受到外界環(huán)境的干擾，如圖像很容易受到光線和遮擋等影響，語音很容易受到周圍環(huán)境噪音的影響等。

3、根據(jù)canon的理論，生理信號是中樞神經(jīng)系統(tǒng)和周圍神經(jīng)系統(tǒng)活動而產(chǎn)生的結(jié)果，神經(jīng)系統(tǒng)在人無意識狀態(tài)下對生理活動進(jìn)行著控制和調(diào)控，即生理信號難以被人的主觀意識支配，因此基于生理信號的情緒識別具有最大的客觀性。在國外內(nèi)，一些學(xué)者也分別研究了腦電、呼吸、心電、脈搏波、肌電信號各自在情緒識別中的作用，同時也研究了綜合面部肌電、腦電、心電、脈搏、呼吸和皮膚電導(dǎo)信號，通過遺傳算法、蟻群算法、粒子群算法進(jìn)行特征提取，fisher判別作為分類算法，進(jìn)行高興、驚奇、厭惡、悲傷、憤怒、恐懼六種情緒的識別，取得了較好的結(jié)果。目前，關(guān)于情緒識別研究還主要集中在利用單模態(tài)數(shù)據(jù)進(jìn)行情感識別，雖然已取得了一定成果，但是依然存在識別率低、情感識別模型的魯棒性較差等缺點。

技術(shù)實現(xiàn)思路

1、本發(fā)明意在提供一種多模態(tài)融合特征情感識別方法，解決了現(xiàn)有的情緒識別存在識別率低、情感識別模型的魯棒性較差的問題。

2、為了達(dá)到上述目的，本發(fā)明的技術(shù)方案如下：一種多模態(tài)融合特征情感識別方法，包括如下步驟：

3、s1、通過篩選或設(shè)計vr場景任務(wù)來搭建情緒誘發(fā)實驗任務(wù)平臺；

4、s2、基于情緒誘發(fā)實驗任務(wù)平臺來采集被試者在不同情緒下的生理信號并對生理信號進(jìn)行預(yù)處理；

5、s3、將預(yù)處理后的生理信號進(jìn)行特征提取及降維處理；

6、s4、將降維處理后的特征通過循環(huán)神經(jīng)網(wǎng)絡(luò)建立情緒分類和預(yù)測模型。

7、進(jìn)一步的，步驟s1的搭建方法如下：

8、s1.1、確定目標(biāo)情緒模型：通過選取不同的效價和喚醒度水平選取六種情緒狀態(tài)：消極(選取沮喪、壓力、恐懼)，積極(選取困倦、放松、興奮)；

9、s1.2、情緒誘發(fā)手段及素材篩選：統(tǒng)計不同vr素材誘發(fā)目標(biāo)情緒的適應(yīng)性和有效性數(shù)值，通過設(shè)定一定的閾值，來篩選有效的情緒誘發(fā)材料；

10、s1.3、認(rèn)知實驗任務(wù)設(shè)計：選取2-back實驗范式；

11、s1.4、實驗范式設(shè)計：實驗范式程序由多段vr片段組成，被試者在體驗每段vr視頻之后需根據(jù)剛才觀看視頻的感受迅速作自我評估，然后執(zhí)行認(rèn)知實驗任務(wù)來檢驗其操作績效的變化。

12、進(jìn)一步的，步驟s1.4中，在新的vr視頻開始之前對被試者進(jìn)行放松處理，同時采集被試者在放松狀態(tài)的數(shù)據(jù)以及在放松狀態(tài)下的認(rèn)知操作績效。

13、進(jìn)一步的，步驟s2中生理信號的預(yù)處理方法如下：

14、s2.1、對腦電信號進(jìn)行去噪處理；

15、s2.2、對心電信號去噪；

16、s2.3、使用平滑濾波器來去除皮電信號中的高頻毛刺；

17、s2.4、基線信號去除。

18、進(jìn)一步的，步驟s2.1的去噪方法如下：

19、s2.1.1、基于正常eeg信號的頻率范圍，使用濾波器對eeg進(jìn)行0.5-40hz帶通濾波和50hz陷波處理；

20、s2.1.2、采用獨立成分分析法對眼電偽跡進(jìn)行剔除。

21、進(jìn)一步的，步驟s2.2的去噪方法如下：

22、s2.2.1、通過設(shè)計50hz和100hz工頻陷波器進(jìn)行濾除；

23、s2.2.2、采用小波變換降噪法去除毛刺；

24、s2.2.3、利用中值濾波法提取基線漂移的形狀，再將原信號減去提取出來的基線。

25、進(jìn)一步的，步驟s2.4的具體方法如下：采集每個被試者在放松狀態(tài)下的基線生理信號，然后用不同情緒狀態(tài)下的生理信號分別減去每個人的基線生理信號，獲得被試者真正在情緒誘發(fā)后的生理變化值。

26、進(jìn)一步的，步驟s3的特征提取方法如下：

27、腦電信號的情緒識別特征提?。翰捎眯〔ò儞Q的方法對腦電信號的情緒識別特征進(jìn)行提??；

28、心電信號的情緒識別特征提?。豪胵rs波群對心電信號的情緒識別特征進(jìn)行提取；

29、皮電信號的情緒識別特征提?。禾崛∑る娦盘栃蛄校浩つw電導(dǎo)、皮膚電導(dǎo)的一階差分和二階差分，在此基礎(chǔ)上求與情緒相關(guān)的時域特征參數(shù)。

30、進(jìn)一步的，步驟s3的特征降維方法如下：

31、s3.1、通過單因素方差分析算法分析每個屬性與最終數(shù)據(jù)點的類別進(jìn)行相關(guān)度的分析，將不相關(guān)或者相關(guān)度低的屬性特征剔除，在屬性選擇上實現(xiàn)特征降維；

32、s3.2、運用主成分分析算法在線性變換上，通過均值比較和方差分析將原始數(shù)據(jù)投影到能夠較好區(qū)分這些屬性特征和類別的低維度上，實現(xiàn)特征降維。

33、進(jìn)一步的，步驟s4的具體方法如下：將lstm預(yù)測模型根據(jù)預(yù)測結(jié)果百分比從高到低排序，選擇準(zhǔn)確率前幾名的模型，每一模型各自的預(yù)測準(zhǔn)確率作為預(yù)測結(jié)果類別的權(quán)重，通過對應(yīng)每一條記錄相應(yīng)類別權(quán)重的統(tǒng)計，決定出該記錄的最終判定結(jié)果。

34、與現(xiàn)有技術(shù)相比，本方案的有益效果：

35、1、本方案將反映中樞神經(jīng)系統(tǒng)變化的腦電信號、自主神經(jīng)系統(tǒng)變化的外周生理信號(心電、皮電)進(jìn)行多模態(tài)生理信號融合作為情緒識別的研究線索，利用更具沉浸感、交互感的vr場景任務(wù)作為情緒誘發(fā)手段，建立有效的情緒模型，在此基礎(chǔ)上收集多樣本、高質(zhì)量的生理數(shù)據(jù)用于分析，通過探討多模態(tài)生理信號與情緒加工和表達(dá)之間的內(nèi)在聯(lián)系、情緒與認(rèn)知的交互關(guān)系，并提取有效的特征子集，在此基礎(chǔ)上利用深度學(xué)習(xí)的方法建立基于多源生理信號的情緒識別模型。

36、2、本方案借助高質(zhì)量的生理數(shù)據(jù)是情緒識別和分析的基礎(chǔ)，因此，如何獲取高質(zhì)量的生理數(shù)據(jù)是非常關(guān)鍵的。相比圖片、音樂、視頻等傳統(tǒng)的情緒誘發(fā)方法，本方案引入了vr技術(shù)，它不僅僅是將被試的視覺、聽覺等感覺與認(rèn)知納入到虛擬情境中，而且能夠解決被試與環(huán)境的直接交互，增加其“臨境感”，被試體驗的社會壓力更大，刺激反應(yīng)更強(qiáng)烈，可誘發(fā)出更貼近日常的情緒。

37、3、現(xiàn)有技術(shù)中關(guān)于情緒識別的研究多借助于面部表情、語音、手勢、姿勢等人體物理信號，但在社交過程中人們相對容易通過控制面部表情或言語等來隱藏自己的真實情感，因而可靠性得不到保證。本方案借助于可靠性較高的生理信號對情緒進(jìn)行識別，并且避免了單一生理信號評價帶來精確性低的問題，選取反映中樞神經(jīng)系統(tǒng)情緒變化的腦電信號及自主神經(jīng)系統(tǒng)情緒變化的外周生理信號(心電、皮電)三種生理信號對情緒進(jìn)行綜合識別，而多模態(tài)生理信號的情緒識別很好的實現(xiàn)了信息的互補(bǔ)，大大提高了情緒識別的準(zhǔn)確性。

38、4、本方案利用多生理信號融合進(jìn)行情緒識別易造成特征數(shù)目的冗余，有些特征對識別情緒有很小的作用或根本沒有作用，這一部分特征會影響分類器的分類效果，因此在分類之前常常需要對特征進(jìn)行選擇和降維。本方案在傳統(tǒng)降維算法的基礎(chǔ)上，提出了單因素方差分析與主成分分析相結(jié)合的特征降維方法，該方法能夠在保證原始有效數(shù)據(jù)一定屬性貢獻(xiàn)度的情況下，有效實現(xiàn)高維度屬性的特征降維，滿足后續(xù)情感學(xué)習(xí)和情感識別的特征維度需要。

39、5、關(guān)于情緒分類模型的建立，深度學(xué)習(xí)方法優(yōu)于傳統(tǒng)的機(jī)器學(xué)習(xí)方法，學(xué)習(xí)到的情緒識別模型精度更高。循環(huán)神經(jīng)網(wǎng)絡(luò)(rnn)作為深度學(xué)習(xí)算法之一，在很多領(lǐng)域有著廣泛的應(yīng)用，lstm算法是在rnn算法的基礎(chǔ)上加入了短時記憶功能片段，它的算法執(zhí)行結(jié)果較傳統(tǒng)rnn算法效果更優(yōu)。