本發(fā)明涉及腦電情感信號模式識別領(lǐng)域,適合對不同類型的腦電信號進(jìn)行分類的應(yīng)用。
背景技術(shù):
情感作為人腦的高級功能,保證了人們的日常生存以及對客觀環(huán)境的適應(yīng),并在不同程度上影響著人們的學(xué)習(xí)、工作以及決策。
對人的情緒狀態(tài)的識別和變化趨勢的判斷,在教育領(lǐng)域、醫(yī)療領(lǐng)域、娛樂領(lǐng)域以及商業(yè)領(lǐng)域,都有著重要而廣闊的應(yīng)用前景。
人們情緒的表現(xiàn)主要有內(nèi)心體驗和外部行為表現(xiàn),同時會伴隨復(fù)雜的神經(jīng)過程和生理變化。對人們情緒變化的表現(xiàn),除了可以觀察人們的表情、語調(diào)以及身體姿態(tài)的相對變化之外,還可以表現(xiàn)為生理電信號以及內(nèi)分泌相關(guān)指標(biāo)的變化。對情緒變化的判斷也可以通過情緒量表或心境量表等工具進(jìn)行問答式的自評或他評。然而,通過表情、語調(diào)以及身體姿態(tài)進(jìn)行的情緒判別,很容易被人掩飾或者偽裝,而通過量表進(jìn)行的情緒變化測量,也存在答者主觀因素的影響。與從主觀因素判別情緒狀態(tài)對應(yīng)的是通過自發(fā)性的生理和神經(jīng)電信號進(jìn)行情緒狀態(tài)的判斷。由于生理電信號的客觀性,故通過對生理電信號的收集和分析,就能獲得相對客觀真實的情緒變化判斷。
而現(xiàn)階段運用分類算法對情感腦電的識別分類方法也很多,但出現(xiàn)有準(zhǔn)確率不高的問題,如何提高分類正確率,一直是難以解決的問題。
技術(shù)實現(xiàn)要素:
為了克服上述現(xiàn)有技術(shù)的不足,本發(fā)明提供了一種基于emd及高斯核函數(shù)svm的腦電情感分類方法。首先將原始信號先進(jìn)行emd處理,提取各個模函數(shù)分量,各個分量包含不同頻率的信息,將每個分量提取頻率的能量作為此分量的特征值,并將此特征值作為下一步分類中的樣本值,提高了分類正確率。
本發(fā)明采用了如下的技術(shù)方案及實現(xiàn)步驟:
1)對原始腦電進(jìn)行emd處理,將腦電序列信號分解為若干個本征模函數(shù),隨后提取本征模函數(shù)頻域的能量特征作為信號的特征值。
2)將特征值作為分類器的樣本值進(jìn)行分類。線性分類問題,用下式表示:
f(x)=ωtx+b
其中,f(x)定義為將空間的點分開的超平面,位于f(x)一側(cè)的x點f(x)=-1,而另外一側(cè)的o點f(x)=1,位于超平面上的點f(x)=0。因此,平面上面的點的分類問題也就轉(zhuǎn)化成為了確定超平面f(x)的問題。
3)為了得到完美分類的超平面f(x),此超平面所應(yīng)具有的屬性是f(x)距離兩類點的間距d盡可能達(dá)到最小的情況下γ達(dá)到最大,γ的定義為:
其中||ω||是ω的2范數(shù),y是點的分類值(1或者-1)。那么,求分類最優(yōu)超平面f(x)的問題便轉(zhuǎn)化為求極值問題:
4)對于求解
由于中的最小值求解問題定義的是在線性約束條件下,因此引入拉格朗日對偶性,將原問題轉(zhuǎn)化為到對偶變量的優(yōu)化問題:
其中α是拉格朗日算子,令:
5)求解問題歸結(jié)為求解下式的問題:
用smo高效優(yōu)化算法就能求解出相應(yīng)的分類模型,在建立分類模型,通過求需要預(yù)測數(shù)據(jù)與訓(xùn)練數(shù)據(jù)的內(nèi)積就對數(shù)據(jù)進(jìn)行分類預(yù)測。
6)用核函數(shù)來解決線性不可分問題。核函數(shù)是高斯核函數(shù),高斯核函數(shù)在大多數(shù)的分類問題中都表現(xiàn)出穩(wěn)定和高效的特性,其表達(dá)式是:
用來判斷x和y之間的內(nèi)積,如果x和y很相似,那么核函數(shù)的值為1,如果x和y相差很大那么和函數(shù)值約等于0,由于這個函數(shù)類似于高斯分布因此被稱為高斯核函數(shù)。
附圖說明
圖1為二維平面二分類問題示意圖。
圖2為本發(fā)明的實施流程圖。
具體實施方式
實驗采取網(wǎng)上公開數(shù)據(jù)集deap數(shù)據(jù)庫,抽取的實驗數(shù)據(jù)為兩部分,一部分是被試的腦電信號數(shù)據(jù),另一部分是被試對于mv的情感自評數(shù)據(jù)。腦電數(shù)據(jù)的處理過程是,首先通過濾波方法去除腦電信號中的肌電信號干擾,之后通過降采樣的方法將腦電采樣頻率降為128hz。對腦電信號主要在頻域進(jìn)行相關(guān)分析,而人們在清醒狀態(tài)下大腦的活動特征主要集中在頻率較快和能量相對集中的波段,因此,通過emd方法將最初獲得的腦電原始信號分解為12個本征模函數(shù)(imf),隨后提取本征模函數(shù)頻域的能量特征作為隨后情感分類的特征值。在12個imf中,選取了包含了整個腦電信號的大部分能量值的前5個imf來提取信號的功率譜密度。以被試1為例,應(yīng)于腦電通道fp1點的信號進(jìn)行emd分解后的前5個imf的波形,可以看到隨著展開層數(shù)的增加,imf中包含的能量值隨之減少。由于腦電信號時序相關(guān)的特性,故在進(jìn)行特征值提取的時候需要對信號按照時間進(jìn)行窗口的劃分。本文中的特征值提取過程,將腦電信號按照1秒鐘時間尺寸進(jìn)行分段,隨后進(jìn)行特征值提取,時間窗口之間沒有重疊。
針對通過emd方法分解得到的5個本征模函數(shù),提取了時間窗口內(nèi)腦電信號不同本征模函數(shù)的功率譜密度作為接下來機器學(xué)習(xí)訓(xùn)練的特征值。功率譜密度的物理含義是信號功率在單位頻域的分布情況。因此,提取腦電信號的功率譜密度作為特征值進(jìn)行訓(xùn)練,可以反映不同情緒狀態(tài)下,腦電信號在單位頻域的變化情況。
deap數(shù)據(jù)庫中所包含的另外一個重要數(shù)據(jù),就是被試每次實驗中對所觀看mv的情感評價數(shù)據(jù),對mv的valence和arousal評價都是從1到9的9個整數(shù),valence的評分從高到低表示的是mv引起的情感由負(fù)性情感逐漸到正性情感,而arousal的評分從1到9代表的則是刺激的由弱到強。本文先從valence和arousal兩方面對32個被試的情感評價數(shù)據(jù)進(jìn)行了統(tǒng)計分析,隨后用箱線圖的方式將統(tǒng)計結(jié)果進(jìn)行了展示。
32個被試對于40個mv測試實驗從valence方面進(jìn)行的統(tǒng)計結(jié)果。在進(jìn)行mv素材篩選的過程中,對40個選中mv的596次的專業(yè)評測顯示valence的平均得分是5.2左右。從中可以看到,大部分被試對mv的valence評價中位數(shù)也位于5附近,然而被試1,4,5,6,7,16,24對mv的好惡度評價與平均分差別很大。相對來說,被試4,16和24覺得所看mv更偏向于反映的是負(fù)向情緒,而被試5,6,7三者對于mv的評價更加偏向正性。這也從側(cè)面反映了不同的被試對同一mv所能引起的主管情感感受是不同的。
同樣按照統(tǒng)計valence的方法,對arousal維度進(jìn)行統(tǒng)計分析之后,做成箱線圖。在對mv進(jìn)行在線測試的過程中,596次的在線投票arousal平均值結(jié)果為4.9左右。而對32個被試對40個mv進(jìn)行的評價中卻看到大家對于mv的評價波動非常大,與在線評價基本相符的只有6個左右,其余的被試中,1號被試對40個mv的感覺刺激性很強,而23號被試卻感覺40個mv大部分的刺激性都很弱。這也說明了每個人對于視頻內(nèi)容以及所配歌曲所感受到的刺激力度是不一樣的。
綜上,得出,由于不同個體對于相同刺激物,從valence和arousal兩方面的反應(yīng)存在差別,因此在通過腦電信號進(jìn)行情感分類的過程中,需要秉持在個體內(nèi)部腦電數(shù)據(jù)訓(xùn)練和驗證的原則,而不進(jìn)行個體間情感分類模型的交叉驗證過程。
另外一個需要處理的是每個被試對于mv的情感自評數(shù)據(jù)。deap數(shù)據(jù)庫中包含了被試對于40個mv從5個維度(包括valence,arousal,dominance,like和familiarity)進(jìn)行的評價,本文對于自評數(shù)據(jù)的處理思路是抽取五個評價維度中的valence和arousal維度,為了標(biāo)記被試對每次實驗的情感體驗,通過將自評結(jié)果按照每個被試valence/arousal兩個維度中評分值的均差先將每個實驗映射到二維情感維度空間中的四個象限中。隨后用k-means方法對映射到不同象限的個體內(nèi)部情感評價的均差值進(jìn)行聚類分析后求出每個聚類中心的中心點,作為各個象限情感識別的閾值對每次實驗的訓(xùn)練數(shù)據(jù)加上情感類別標(biāo)簽。
通過k-means方法對進(jìn)行的聚類分析結(jié)果如表3,表4所示:
表3.k-means對被試自評情感得分聚類分析得到的最終聚類中心
表4.k-means對被試自評情感得分聚類分析每個聚類中的個案數(shù)目
表3中的內(nèi)容是在二維情感模型中,4個聚類中心;表4的內(nèi)容是每個聚類中所包含的樣本個數(shù),可以看出4種類型的樣本個數(shù)基本相差不多。用散點圖的方式,將被試對于mv的自評結(jié)果對于自身的均差映射到二維情感平面的四個象限中,同時標(biāo)度出了每個分類的中心點。隨后,被試對應(yīng)于每個實驗的腦電數(shù)據(jù)按照4個分類歸屬被標(biāo)上相應(yīng)的分類標(biāo)簽以進(jìn)行下一步的情感狀態(tài)分類訓(xùn)練。
通過聚類方法在每類中找到了聚類的中心點,聚類中心點將作為情感分類的閾值對媒體情感評價值進(jìn)行分類,從而獲得每個被試對mv情感的分類。
為了驗證高斯核函數(shù)svm在腦電特征值情感分類問題中方法的有效性,分別將腦電特征值分類問題通過線性判別式分類法,決策樹分類法,k最近鄰分類法也進(jìn)行了訓(xùn)練識別,隨后對實驗的分類準(zhǔn)確度進(jìn)行了對比分析。同時,對通過emd分解后不同的本征模函數(shù)對應(yīng)的特征值進(jìn)行了不同分類方法的訓(xùn)練。
實驗的具體過程是,在將腦電信號特征值輸入進(jìn)行訓(xùn)練之前,先采用主成分分析(pca)的方法確定特征值中能表達(dá)95%有用信息的主要腦電特征,隨后,對每個被試進(jìn)行一次分類實驗,得到不同被試對應(yīng)的情感分類準(zhǔn)確率。整體實驗進(jìn)行5折交叉驗證。訓(xùn)練的結(jié)果如下:
表5.1-10號被試對應(yīng)imf1腦電特征值情感分類結(jié)果精確度(%)
表6.11-20號被試對應(yīng)imf1腦電特征值情感分類結(jié)果精確度(%)
表7.21-32號被試對應(yīng)imf1腦電特征值情感分類結(jié)果精確度(%)
表5-7展示了32個被試對應(yīng)imf1的腦電特征值通過不同的分類方法進(jìn)行分類所對應(yīng)的分類精確度的值,可以看到除了24和25號被試之外,其余的被試通過高斯核函數(shù)的svm分類方法得到的精確度最高。同時,對各被試的分類精確度按照同一種分類方法進(jìn)行平均之后,可以得到通過高斯核函數(shù)的svm方法對腦電特征值進(jìn)行情感分類的精確度達(dá)到了67.95%。knn分類算法的平均精確度能夠達(dá)到65%左右。
將表5-7的分類精確度通過曲線圖的方式展示出來,橫坐標(biāo)是32個被試的編號(從被試1到32),縱坐標(biāo)是分類精度,單位是百分比。從中可以看出在通過腦電信號進(jìn)行情感分類的分析中,svm算法比knn算法、復(fù)雜樹算法和二次方程判別式方法都有更好的分類正確率。同時,在svm算法中,高斯核函數(shù)又比線性核函數(shù)和二次有理核函數(shù)有更高的分類精確率。同時,還能看出,不同的被試通過相同的特征值提取方法和分類分析方法進(jìn)行情感分類識別的時候還是有差別的,這也說明了本文3.2節(jié)提出的被試對相同的mv情感評價有差別的觀點,即不同的個體對相同的刺激引起的反應(yīng)是不同的,從而由刺激引起的情緒感受也有差別。從而就反應(yīng)在通過生理信號進(jìn)行的情感分類識別中,有些被試的分類精確度高,而有些被試的情感分類識別精確度就偏低。
將腦電信號通過emd方法分解之后,對不同的imf提取腦電特征值后,用高斯核函數(shù)svm進(jìn)行分類得到的精確度進(jìn)行對比。包含能量較多的imf1提出的特征值進(jìn)行分類所獲得的分類精確度較高,隨著包含能量的逐步遞減,imf2和imf3對應(yīng)的分類精度也逐步遞減。由此,也可以得出通過腦電信號測試清醒狀態(tài)下被試的情感的話,最好選取頻率較高的信號頻段進(jìn)行分析。
具體的分類分析方法,在對比了二次方程式分類法,復(fù)雜書分類法,不同距離測量方法的k最近鄰分類法以及不同核函數(shù)的支持向量機分類法之后,發(fā)現(xiàn)高斯核函數(shù)svm分類方法,在對于時域頻域相關(guān)的腦電信號進(jìn)行情感分類時,能夠取得最高的分類準(zhǔn)確度。高斯核函數(shù)svm對于腦電在頻域中提取的功率譜密度特征值進(jìn)行情感分類,最高分類準(zhǔn)確度達(dá)到90.9%(被試22),平均分類準(zhǔn)確率達(dá)到68.31%,顯示了本發(fā)明提出的通過emd及高斯核函數(shù)svm對腦電信號進(jìn)行情感分類的有效性。