本發(fā)明涉及表情識別和圖像識別技術(shù)，更具體地，涉及一種自動微表情識別方法。

背景技術(shù)：
當(dāng)今全球政治格局動蕩不安、恐怖活動多處頻發(fā)。世界各國的科學(xué)家和工程師都在努力尋找與暴力和極端行為有關(guān)的行為線索，并嘗試開發(fā)能對上述行為進(jìn)行檢測的技術(shù)或方法。微表情與人類內(nèi)在的情感信息加工過程緊密相關(guān)，它無法偽造，不受意識控制，反映了人類內(nèi)心的真實(shí)情感與意圖。從而，微表情成為了能夠進(jìn)行謊言與危險(xiǎn)意圖檢測的有效線索。美國國防部、中情局、本土安全局、安全管理檢查署等甚至已經(jīng)開始接受Ekman的訓(xùn)練課程，利用微表情進(jìn)行反恐工作。然而，人們對微表情本質(zhì)的認(rèn)識、對微表情的實(shí)際應(yīng)用都還十分有限。這主要是由于作為微表情研究基礎(chǔ)的微表情表達(dá)的研究才剛剛起步。由于微表情的持續(xù)時(shí)間非常短，沒有受過訓(xùn)練的觀察者很難正確識別微表情。雖然研究者推出了微表情訓(xùn)練工具，但Frank、Herbasz、Sinuk、Keller和Nolan的研究發(fā)現(xiàn)，即使接受了微表情訓(xùn)練工具(METT)訓(xùn)練，被試識別現(xiàn)實(shí)中的微表情的成績依然很差(準(zhǔn)確率只有40％左右)。目前，微表情研究者和相關(guān)實(shí)踐工作者若想對微表情進(jìn)行準(zhǔn)確識別，就必須借助于面部行為編碼系統(tǒng)FACS對可能包含微表情的視頻進(jìn)行逐幀編碼。但是，不僅FACS編碼的訓(xùn)練比較費(fèi)時(shí)，編碼者一般需要接受100小時(shí)的訓(xùn)練才能達(dá)到初步熟練的程度；而且使用FACS進(jìn)行編碼也很費(fèi)時(shí)，編碼10分鐘的視頻至少需要10個(gè)小時(shí)。在Porter等人的研究中，僅使用低速攝像機(jī)(30幀/秒)對被試的面部表情進(jìn)行短時(shí)間記錄，研究中需要分析的視頻即高達(dá)30萬幀。而這樣的情況下由于捕捉到的微表情的數(shù)量太少，對微表情的表達(dá)僅能進(jìn)行描述統(tǒng)計(jì)而無法使用推斷統(tǒng)計(jì)的方法來進(jìn)行數(shù)據(jù)分析。若考慮使用高速攝像機(jī)，以滿足統(tǒng)計(jì)分析的需求，則需要手工編碼的視頻幀數(shù)將增長數(shù)倍。若考慮長時(shí)間記錄面部表情(例如在審訊情境下)，則需要手工編碼的視頻數(shù)量將更加快速的增長。過于緩慢的編碼速度和海量需要人工處理的視頻數(shù)據(jù)，使得微表情的編碼成為了費(fèi)時(shí)費(fèi)力的艱巨工作，使得相關(guān)研究和實(shí)踐都很難進(jìn)行下去，這是目前微表情研究與微表情應(yīng)用工作中面臨的最大障礙。因此，無論是微表情研究，還是微表情的應(yīng)用，對于自動化的微表情分析工具，都具有非常大的需求。發(fā)展自動化的微表情分析工具，是目前微表情研究者們的第一要?jiǎng)?wù)。將計(jì)算機(jī)視覺(ComputerVision)的技術(shù)與方法與心理學(xué)的相關(guān)研究成果相結(jié)合，是有可能開發(fā)出自動化的微表情識別系統(tǒng)的。實(shí)際上，目前，已經(jīng)有來自美國和日本的兩個(gè)獨(dú)立的研究小組在該問題上進(jìn)行了探索。Polikovsky，Kameda和Ohta于2009年提出了一種利用3D梯度方向直方圖(3Dgradientsorientationhistogram)提取面部運(yùn)動信息的方法。他們將人臉劃分成12個(gè)興趣區(qū)(ROI)，并通過對視頻中相應(yīng)區(qū)域進(jìn)行追蹤來完成提取相應(yīng)區(qū)域的3D梯度方向直方圖表征。除此外，他們還收集了一個(gè)‘微表情數(shù)據(jù)庫’。他們要求被試以盡可能低的表情強(qiáng)度、盡可能快的速度來做出面部表情，并對被試做出面部表情的過程用高速攝像機(jī)進(jìn)行攝像。K均值聚類(K-means)的結(jié)果表明，在該數(shù)據(jù)庫上，3D梯度方向直方圖可以有效表征不同面部區(qū)域的處在不同相位(phase)的面部表情動作單元(actionunit)。Shreve等于2009到2011年間提出了一種新的表情視頻分割方法。他們利用光流(opticalflow)來計(jì)算光學(xué)應(yīng)力(opticalstrain)。然后，他們將面部劃分成8個(gè)興趣區(qū)域，并將眼睛、鼻子和嘴部的圖像以一個(gè)T型標(biāo)記予以去除。他們通過將在各個(gè)興趣區(qū)域計(jì)算得到的光學(xué)應(yīng)力與訓(xùn)練得到的某一閾值進(jìn)行比較，實(shí)現(xiàn)了對宏觀表情(即普通表情)和微表情視頻的分割。這兩項(xiàng)研究距離自動識別微表情的目標(biāo)尚有較大的距離，僅僅只是初步探索。Polikovsy等提出的方法只能區(qū)分不同面部區(qū)域的不同AU及其所處的不同相位，而不能直接對表情以及表情的持續(xù)時(shí)間進(jìn)行直接的測量。而表情持續(xù)時(shí)間的測量對于自動微表情識別系統(tǒng)來說是必須能夠完成的功能。此外，該研究中誘發(fā)微表情的方法也有很大的問題：在該研究中，微表情是要求被試模仿出來的，且要求表情強(qiáng)度要盡可能低。目前，研究者認(rèn)為微表情是難以被偽造的，微表情與普通表情的差別在于其持續(xù)時(shí)間很短而與表情的強(qiáng)度無任何關(guān)系。Shreve等于2009年提出的方法不能對同時(shí)包含微表情和宏觀表情的視頻進(jìn)行分割，在2011年他們首次實(shí)現(xiàn)了在一個(gè)統(tǒng)一的框架內(nèi)對這兩者進(jìn)行分割，但結(jié)果表明，該方法對微表情的捕獲率很低(50％)，誤報(bào)率很高(50％)。此外，Shreve等收集的微表情數(shù)據(jù)集也有很大的問題，是用要求被試模仿的方法收集的。最關(guān)鍵的是，Shreve等的方法只是一個(gè)表情視頻分割的方法，不能對視頻中包含的表情所屬類別進(jìn)行識別。

技術(shù)實(shí)現(xiàn)要素：
為克服現(xiàn)有技術(shù)中的上述缺陷，本發(fā)明提出一種自動微表情識別方法。根據(jù)本發(fā)明的一個(gè)方面，提出了一種自動微表情識別方法，包括：步驟10)、捕獲視頻的幀圖像中的人臉區(qū)域，并進(jìn)行預(yù)處理；步驟20)、對相應(yīng)人臉區(qū)域的圖像提取Gabor特征和EOH特征；步驟30)、將相應(yīng)特征進(jìn)行融合，獲取目標(biāo)視頻的最終表征；通過訓(xùn)練所得的分類器，獲取每一幀視頻圖像的表情標(biāo)簽序列；步驟40)、對該表情標(biāo)簽序列進(jìn)行掃描，判斷表情的持續(xù)時(shí)間，根據(jù)獲取的微表情，輸出表情類別。本申請的方法提高了識別速度和準(zhǔn)確性，提高了訓(xùn)練的速度和效率，使得微表情識別進(jìn)入可應(yīng)用領(lǐng)域。附圖說明圖1為根據(jù)本發(fā)明的微表情識別方法的流程圖。如圖所示，為了能明確實(shí)現(xiàn)本發(fā)明的實(shí)施例的結(jié)構(gòu)，在圖中標(biāo)注了特定的結(jié)構(gòu)和器件，但這僅為示意需要，并非意圖將本發(fā)明限定在該特定結(jié)構(gòu)、器件和環(huán)境中，根據(jù)具體需要，本領(lǐng)域的普通技術(shù)人員可以將這些器件和環(huán)境進(jìn)行調(diào)整或者修改，所進(jìn)行的調(diào)整或者修改仍然包括在后附的權(quán)利要求的范圍中。具體實(shí)施方式下面結(jié)合附圖和具體實(shí)施例對本發(fā)明提供的一種自動微表情識別方法進(jìn)行詳細(xì)描述。在以下的描述中，將描述本發(fā)明的多個(gè)不同的方面，然而，對于本領(lǐng)域內(nèi)的普通技術(shù)人員而言，可以僅僅利用本發(fā)明的一些或者全部結(jié)構(gòu)或者流程來實(shí)施本發(fā)明。為了解釋的明確性而言，闡述了特定的數(shù)目、配置和順序，但是很明顯，在沒有這些特定細(xì)節(jié)的情況下也可以實(shí)施本發(fā)明。在其他情況下，為了不混淆本發(fā)明，對于一些眾所周知的特征將不再進(jìn)行詳細(xì)闡述?？偟膩碚f，在進(jìn)行微表情識別時(shí)，將綜合提取微表情的Gabor特征與EOH特征，在獲得了目標(biāo)的Gabor+EOH的綜合表征之后，不直接將所有特征用于訓(xùn)練，而是對特征進(jìn)行過濾。實(shí)驗(yàn)表明，僅針對EOH特征進(jìn)行過濾才是有效的。過濾的方法為：以初期得到的Gentleboost(MI+DWT)在初始化訓(xùn)練樣本權(quán)重后，對訓(xùn)練樣本進(jìn)行一輪訓(xùn)練，獲得弱分類器在每一維特征上的加權(quán)錯(cuò)誤率；若該錯(cuò)誤率高于某一預(yù)先設(shè)定的閾值a則將該特征拋棄，反之則將該特征予以保留。在獲得過濾的特征后，將用PreAvgGentleboost_EOHfilter行特征選擇。該方法將在極大減少算法計(jì)算復(fù)雜度的同時(shí)(減少特征數(shù)量約74％)，保留分類器的分類精度，使得將Gabor+EOH特征用于微表情識別成為可能。在使用PreAvgGentleboost_EOHfilter進(jìn)行特征選擇時(shí)，將綜合考慮弱分類器的加權(quán)誤差和加權(quán)平方誤差，而不是簡單的考慮弱分類器的加權(quán)平方誤差。PreAvgGentleboost_EOHfilter將根據(jù)該綜合指標(biāo)進(jìn)行排序，將訓(xùn)練循環(huán)迭代時(shí)得到的弱分類器以該綜合指標(biāo)升序排列。弱分類器的選擇將按照該列表，根據(jù)之前的選擇方法進(jìn)行。該方法將解決直接采用Gabor+EOH特征時(shí)會損害分類器準(zhǔn)確率的問題。將SVM與PreAvgGentleboost_EOHfilter進(jìn)行組合，用于訓(xùn)練以獲得新的分類器?；贕abor特征的自動微表情識別人類視覺系統(tǒng)可近似的看成是一個(gè)層狀結(jié)構(gòu)，對視覺信息的加工是呈層狀遞進(jìn)的，而其中初級視覺皮層為該層狀結(jié)構(gòu)的基礎(chǔ)，因此，可以從這一結(jié)論推得，人類初級視覺皮層對靜態(tài)表情圖片的響應(yīng)中，應(yīng)該包含了能將不同表情區(qū)分開來的有用信息，即，人類初級視覺皮層對靜態(tài)表情圖片的表征方式是一種識別表情的有效表征方式。若計(jì)算機(jī)視覺系統(tǒng)能模擬或者模仿人類初級視覺皮層對表情的表征方式，并以某種方式予以分析，則以計(jì)算機(jī)系統(tǒng)的高速處理速度，最終形成的計(jì)算機(jī)視覺系統(tǒng)則可能會以一種相當(dāng)于人類以超高速對表情進(jìn)行掃描的方式對表情進(jìn)行識別。這樣的系統(tǒng)能對視頻的每一幀中每一個(gè)人的每一個(gè)表情進(jìn)行識別，將識別的結(jié)果予以分析后，計(jì)算機(jī)系統(tǒng)應(yīng)該能夠以一定的準(zhǔn)確率識別到視頻中是否包含微表情以及包含的微表情分別是什么表情。小波變換是近十幾年來新發(fā)展起來的一種數(shù)學(xué)工具。其中，Gabor小波變換作為一種特征提取和圖像表征方法，在模式識別領(lǐng)域中得到了廣泛的應(yīng)用。Gabor小波變換具有能同時(shí)在空域和頻域同時(shí)取得最優(yōu)局部化的特性，因此能夠很好地描述對應(yīng)于空間頻率特征(spatialfrequencycharacteristics，又名尺度scale)、空間位置(spatiallocalization)及方向選擇性(orientationselectivity)的局部結(jié)構(gòu)信息。研究者已經(jīng)證明，哺乳動物(包括人類在內(nèi))的大部分初級視覺皮層簡單細(xì)胞的濾波響應(yīng)可以由一組自相似的二維Gabor小波來模擬。人臉檢測及預(yù)處理方法為提高系統(tǒng)自動化程度，采用Kienzle，Bakir，F(xiàn)ranz和Scholkopf提出的人臉檢測算法對視頻中的人臉進(jìn)行自動的捕獲。該算法使用5層的支持向量機(jī)(supportvectormachines，SVM)來組成一個(gè)級聯(lián)的(cascaded-based)面孔檢測系統(tǒng)。其中，第一層的SVM采用秩虧(rankdeficient)方法進(jìn)行了改進(jìn)以改善系統(tǒng)的識別速度。該算法在Pentium42.8Ghz的系統(tǒng)上即可實(shí)現(xiàn)實(shí)時(shí)對視頻中的人臉進(jìn)行檢測。其在MIT-CMU人臉數(shù)據(jù)庫上的測試數(shù)據(jù)表明，該算法的準(zhǔn)確性很高(擊中率93.1％，誤報(bào)率0.034％)。采用的圖像預(yù)處理過程如下：完成自動人臉檢測后，捕獲到的人臉圖像將首先被轉(zhuǎn)化為8位灰度圖像；然后，以二次線性插值方法將圖像歸一化至48×48像素大小。在本申請中，實(shí)施例1和實(shí)施例2都將采取該方法進(jìn)行圖像預(yù)處理。人臉表情的Gabor表征方法采用二維Gabor濾波器組對捕獲到的人臉圖像進(jìn)行特征提取，以形成人臉表情的Gabor表征。二維Gabor濾波器是一組具有高斯包絡(luò)的平面波，能夠精確地提取圖像的局部特征，且對位移、形變、旋轉(zhuǎn)、尺度變化和光照變化都有一定的魯棒性。其Gabor核被定義為：其中Kmax是最大頻率，f是頻域中Gabor核之間的間隔因子。φu∈[0，π)，這決定了Gabor濾波器的方向。z＝(x，y)表示位置，‖·‖表示取模操作，而參數(shù)u和v分別代表控制Gabor濾波器的方向和尺度。式(1)的第一項(xiàng)決定了濾波器的振蕩部分，第二項(xiàng)則用于補(bǔ)償直流分量，以消除濾波器響應(yīng)對圖像全局光照變換的敏感性。參數(shù)σ控制包絡(luò)函數(shù)的振蕩次數(shù)。在提取表情圖像的Gabor特征時(shí)，一般會選擇不同的尺度與方向以形成一組Gabor核，然后將Gabor核與給定圖像進(jìn)行卷積運(yùn)算產(chǎn)生圖像的Gabor特征。Gabor濾波器組的設(shè)計(jì)取決于參數(shù)u，v，Kmax，f，σ的選擇。在本申請中，采用9尺度8方向的Gabor過濾器組對捕獲到的人臉圖像進(jìn)行特征提取。具體參數(shù)選擇如下：σ＝2π，kmax＝π/2，v＝0，…，8，u＝0，…，7.(2)人臉表情圖像I(z)的Gabor表征|o(z)|u，v可以由該圖像與Gabor濾波器的卷積運(yùn)算產(chǎn)生，即：Re(o(z))u，v＝I(z)*Re(Ψu，v(z))，Im(o(z))u，v＝I(z)*Im(Ψu，v(z)).(3)將|o(z)|u，v轉(zhuǎn)化為列向量Ou，u，然后將Ou，v按尺度與方向依次連接，形成一個(gè)列向量G(I)，即：G(I)＝O＝(O0，0O0，1…O8，7).(4)由于有多個(gè)方向與尺度，最終形成的Gabor特征維數(shù)將高達(dá)48×48×9×8＝165888維，具有很高的冗余度。實(shí)施例一、結(jié)合Gabor特征與Gentleboost的人臉表情識別要能對視頻中的微表情進(jìn)行分析，首先要能對靜態(tài)圖片中的普通表情進(jìn)行識別。實(shí)施例一首先在人臉表情數(shù)據(jù)庫(又稱CK)上對算法的人臉表情識別性能進(jìn)行評估。該數(shù)據(jù)庫包含100名大學(xué)生(年齡范圍：18-30歲)的6種基本表情視頻。其中，65％的模特為女性，15％的模特為黑人，3％的模特為亞洲人或拉丁裔。視頻拍攝方式為：模特按照要求對規(guī)定的表情動作予以表演，攝像機(jī)以模擬S端子(S-video)信號對被試正面人臉表情進(jìn)行記錄。視頻最終以640×480的8位灰度圖像形式予以儲存。在實(shí)施例一中，選用其中97名模特的374段視頻中的中性表情和一張或兩張?zhí)幱陧旤c(diǎn)相位(peak)的6種基本表情圖像來組成數(shù)據(jù)集。最終選用的表情圖片數(shù)量為518張。為了測驗(yàn)算法的泛化性能，采用10折交叉檢驗(yàn)(10-foldcrossvalidation)對算法性能進(jìn)行評估。首先采用Gentleboost作為分類器(classifier)。Gentleboost是一種委員會機(jī)器，它采用分而治之的原則(principleofdivideandconquer)的方法來解決復(fù)雜的學(xué)習(xí)任務(wù)。它模擬了人類群體決策的過程，即尋找一些‘專家’來獲得關(guān)于問題的知識，并通過讓這些專家投票的方式，來形成對問題的最終描述。Gentleboost通過改變樣本的分布，將一個(gè)弱學(xué)習(xí)模型(weaklearningmodel)轉(zhuǎn)化為強(qiáng)學(xué)習(xí)模型(stronglearningmodel)。因此，Gentleboost算法能適用于表情識別這類復(fù)雜的分類問題，并擁有出色的性能。由于Gentleboost算法在訓(xùn)練時(shí)隱含著特征選擇過程，而采用的Gabor表征具有很高的特征維數(shù)，因此Gentleboost將會選擇很少數(shù)量的特征以用于最后的分類，最終形成的分類器應(yīng)該會擁有很高分類速度和泛化性能。選擇Gentleboost而不是更加常用的Adaboost的原因在于，研究者已經(jīng)證明Gentleboost收斂的速度更快，對于物體識別而言Gentleboost的準(zhǔn)確性更高。在實(shí)施例一中，采用以互信息(mutualinformation，MI)和動態(tài)權(quán)重裁剪(dynamicalweighttrimming，DWT)方法改進(jìn)過的Gentleboost進(jìn)行表情識別。由于采用的Gabor特征是高度冗余的，因此，這里采用互信息的方法來去除被選擇到的弱分類器之間的信息冗余，以剔除無效的弱分類器，提升Gentleboost的性能?；バ畔⑹菍蓚€(gè)隨機(jī)變量之間相關(guān)性的一種度量。兩個(gè)隨機(jī)變量X和Y的互信息可定義為：I(X；Y)＝H(X)+H(Y)-H(X，Y)＝H(X)-H(X|Y)＝H(Y)-H(Y|X).(5)若隨機(jī)變量為離散的，則熵H(X)可定義為：H(X)＝-∑p(x)lg(p(x))(6)假設(shè)在訓(xùn)練的T+1輪時(shí)，已經(jīng)有T個(gè)弱分類器{hv(1)，hv(2)，…h(huán)v(T)}被選擇，則計(jì)算備選分類器與已選分類器之間最大MI的函數(shù)可定義為：其中MI(hj，hv(t))為隨機(jī)變量hj和hv(g)之間的MI。通過將R(hj)與某一預(yù)先確定的閾值TMI(thresholdofmutualinformation)做比較來判斷該弱分類器是否在訓(xùn)練時(shí)被摒棄，以保證新訓(xùn)練得到的弱分類器的信息沒有被已選弱分類器組成的集合所包含。若R(hj)＜TMI則說明該弱分類器有效，并將之加入弱分類器集合之中，反之則予以拋棄，算法將從備選弱分類器集合中選擇一個(gè)新的弱分類器，直至符合條件的弱分類器被選中為止。若無弱分類器能符合條件，則訓(xùn)練終止。在上述過程中，除了考慮弱分類器的MI，算法還需將弱分類器的性能考慮在內(nèi)。在每一輪選擇時(shí)，算法選擇的是在訓(xùn)練集上具有最小加權(quán)平方誤差(weighted-squarederror)且符合MI條件的弱分類器。動態(tài)權(quán)重裁剪在加入MI后，由于根據(jù)MI選擇弱分類器會額外增加算法的循環(huán)次數(shù)，因此算法的訓(xùn)練時(shí)間會比未修改前還長，使得訓(xùn)練速度的問題變得更加嚴(yán)重。如前所述，算法訓(xùn)練時(shí)間過長，在此將DWT擴(kuò)展至Gentleboost。該方法依然被稱之為DWT。在算法每一輪迭代過程中，訓(xùn)練集中的樣本將根據(jù)其樣本權(quán)重進(jìn)行過濾。若樣本權(quán)重wi＜t(β)則該樣本將從當(dāng)前訓(xùn)練集中予以剔除。t(β)為當(dāng)前循環(huán)當(dāng)前樣本權(quán)重分布的βth百分位數(shù)。弱分類器與多類分類問題采用regressionstump為Gentleboost的弱分類器，即有：ht(x)＝aδ(xf＞θ)+b.(8)上式中xf為特征向量x的f’th特征，θ是閾值，δ是指示函數(shù)(indicatorfunction)，a和b是回歸參數(shù)。其中θ)Σiwiδ(xf>θ).---(10)]]>式(9)和(10)中y為樣本的類別標(biāo)簽(±1)。Gentleboost算法的一對多的方法可看成是一種特定條件下的Adaboost.MH算法。對于表情識別這個(gè)多類分類問題，采用一對多的方法予以實(shí)現(xiàn)，即將某一類別的樣本作為訓(xùn)練中的正類，而其他所有類別的樣本作為訓(xùn)練中的負(fù)類，最后通過投票確定樣本的所屬類別，即有：上式中l(wèi)為樣本的類別標(biāo)簽，H(x，l)是二類分類分類器的判別方程，K為要分類的類別的數(shù)量。實(shí)驗(yàn)對比了分別打開和關(guān)閉MI與DWT的各種條件下Gentleboost算法的性能。表1列出了各算法的準(zhǔn)確率和訓(xùn)練時(shí)間。表1各種Gentleboost算法的表情識別準(zhǔn)確率與訓(xùn)練時(shí)間在各種Gentleboost算法中，基于MI與DWT的Gentleboost擁有最高的準(zhǔn)確率(88.61％)，但這樣的準(zhǔn)確率對于微表情識別而言還不夠讓人滿意。結(jié)果顯示，MI+DWT的組合提升了Gentleboost的訓(xùn)練速度，訓(xùn)練速度提升到了原始Gentleboost的1.44倍，約可節(jié)約近一半的訓(xùn)練時(shí)間。這一效果是由DWT帶來的。值得注意的是，根據(jù)問題的不同，DWT的加速效果應(yīng)該是不同的。分類界面越簡單的問題，DWT的加速效果應(yīng)該就越好。采用更高的閾值可以帶來更快的訓(xùn)練速度，但同時(shí)也會降低分類器的準(zhǔn)確率。在使用DWT時(shí)，研究者需要在速度與準(zhǔn)確性直接做出權(quán)衡。采用的參數(shù)設(shè)置為β＝0.1，這應(yīng)該能保證Gentleboost算法在面對絕大多數(shù)分類問題時(shí)都具有較高的性能和較快的訓(xùn)練速度。實(shí)施例二、結(jié)合Gabor特征與GentleSVM的人臉表情識別SVM是一種通用的前饋型神經(jīng)網(wǎng)絡(luò)，它通過最小化結(jié)構(gòu)風(fēng)險(xiǎn)來建立一個(gè)超平面(hyper-plane)作為決策曲面，使得正例和反例之間的間隔(margin)最大化。對于表情識別而言，SVM與Gentleboost的性能相近，均擁有此領(lǐng)域的最高性能。用Gentleboost對Gabor特征進(jìn)行選擇，而SVM則在經(jīng)過特征選擇而形成的新的表征上進(jìn)行訓(xùn)練以形成最終的分類器。在本研究中，將這種組合稱之為GentleSVM。實(shí)施例二所采用的數(shù)據(jù)集與實(shí)施例一相同。為了測驗(yàn)算法的泛化性能，采用10折交叉檢驗(yàn)對算法性能進(jìn)行評估。在Gentleboost的訓(xùn)練完成后，將Gentleboost選擇出的弱分類器所采用的Gabor特征在去除冗余特征(剔除重復(fù)項(xiàng))后重新連接起來，形成對人臉表情的新的Gabor表征。而SVM將在該新的表征上進(jìn)行訓(xùn)練。SVM是一種兩類分類器，對于表情識別這種多類模式識別問題，可以通過分解為多個(gè)兩類問題的組合來實(shí)現(xiàn)。實(shí)施例二中采用一對多方式來實(shí)現(xiàn)SVM的多類別分類問題。具體有：上式中i為樣本類別標(biāo)簽，w為權(quán)重向量，φ(x)是特征向量，K是類別的數(shù)量?？紤]當(dāng)采用Adaboost進(jìn)行特征選擇時(shí)，線性SVM與非線性SVM的性能非常接近，而線性SVM的分類速度遠(yuǎn)快于非線性的SVM，在實(shí)施例二中采用1范數(shù)軟間隔線性SVM(1-normsoftmarginlinearSVM)作為分類器。實(shí)施例2對比了各種GentleSVM算法組合與原始SVM的表情識別的性能。結(jié)果如表2與表3所示。表2各種GentleSVM算法的表情識別準(zhǔn)確率與訓(xùn)練時(shí)間表3各類表情的識別準(zhǔn)確率如表2所示，所有GentleSVM算法組合的準(zhǔn)確率均超過了原始的SVM和實(shí)施例一中經(jīng)過改進(jìn)的Gentleboost的準(zhǔn)確率。此外，所有GentleSVM算法組合均在20秒之內(nèi)就完成了10次的訓(xùn)練，這意味著在完成Gentleboost的訓(xùn)練后，系統(tǒng)只需要付出很少的時(shí)間代價(jià)就能將性能進(jìn)一步提高。在所有的GentleSVM算法組合中，MI+DWT組合表情識別的準(zhǔn)確率最高(92.66％)。與實(shí)施例一的結(jié)果結(jié)合起來看，上述結(jié)果說明MI+DWT組合有效地提升了Gentleboost用于分類與特征選擇時(shí)的性能。如表3所示，所有GentleSVM算法組合，以及SVM，均能非常準(zhǔn)確地識別驚訝、厭惡、快樂以及中性的表情。對于悲傷、憤怒和恐懼，上述算法均較難識別。但是，除了SVM外，所有GentleSVM組合對于上述3種表情識別的準(zhǔn)確率均在80％以上。對于一個(gè)全自動的表情識別系統(tǒng)而言，這樣的準(zhǔn)確率處于可接受的范圍之內(nèi)。實(shí)施例三、基于Gabor特征的自動微表情識別在實(shí)施例二的基礎(chǔ)上，在實(shí)施例三中構(gòu)建基于Gabor特征的自動微表情識別。為了提升系統(tǒng)的泛化性能，收集了一個(gè)新的訓(xùn)練集來對系統(tǒng)進(jìn)行訓(xùn)練。該訓(xùn)練集總共包含1135張表情圖片。其中，518張圖片來選自于前述的CK數(shù)據(jù)庫，146張選自于MMI表情數(shù)據(jù)庫，185張選自于FG-NET數(shù)據(jù)庫，143張選自于JAFEE數(shù)據(jù)庫，63張選自于STOIC數(shù)據(jù)庫，54張選自于POFA數(shù)據(jù)庫，另外26張由網(wǎng)絡(luò)自行下載。METT中總共包括表達(dá)了悲傷、驚訝、憤怒、厭惡、恐懼、快樂、輕蔑等7種基本表情的總共56段微表情視頻。選用其中表達(dá)了前6種基本表情的共48段微表情視頻為測試集對系統(tǒng)性能進(jìn)行評估。用于系統(tǒng)評估的性能指標(biāo)包括：微表情捕獲準(zhǔn)確率，即系統(tǒng)要正確指出視頻中有沒有微表情，有幾個(gè)微表情；微表情再認(rèn)準(zhǔn)確率，即系統(tǒng)除了要正確捕獲微表情，還要正確識別出微表情的表情類別。為了處理來自不同表情數(shù)據(jù)庫表情圖像在光照水平上的差異，在微表情識別系統(tǒng)中加入了額外的預(yù)處理過程。除了執(zhí)行實(shí)施例1和2中的預(yù)處理過程，還選擇對圖像的灰度進(jìn)行一個(gè)額外的歸一化處理，即圖像灰度均值歸一化為0，而圖像灰度的方差歸一化為1。為了對微表情進(jìn)行識別，首先用實(shí)施例2得到的算法對視頻中的每一幀圖像進(jìn)行識別，獲得對該視頻的表情標(biāo)簽的輸出。此后，將對該表情標(biāo)簽輸出進(jìn)行掃描，以確認(rèn)視頻中表情變換的轉(zhuǎn)折點(diǎn)。此后，系統(tǒng)將根據(jù)獲得的轉(zhuǎn)折點(diǎn)和視頻的幀率對表情的持續(xù)時(shí)間進(jìn)行測量。例如，假設(shè)一段視頻的幀率為30幀/秒，其表情標(biāo)簽輸出為111222，則該視頻的表情變換轉(zhuǎn)折點(diǎn)為第一幀、標(biāo)簽1→2的中點(diǎn)以及最后一幀。故在該例中表情1和2的持續(xù)時(shí)間均為1/10s。此后，系統(tǒng)將根據(jù)微表情定義對微表情及其所屬標(biāo)簽進(jìn)行提取。其中，系統(tǒng)將持續(xù)時(shí)間為1/25s至1/5s間的表情考慮為微表情。持續(xù)時(shí)間大于1/5s的表情將被認(rèn)定為普通表情，并予以忽略。目前，考慮輕蔑的表情的普遍性不如其他6種基本表情(Franketal，2009)，目前只訓(xùn)練系統(tǒng)識別6種微表情(悲傷、驚訝、憤怒、厭惡、恐懼、快樂)。本實(shí)施例對在使用不同訓(xùn)練集和不同預(yù)處理方法時(shí)的性能進(jìn)行了比較，若訓(xùn)練集為CK，且不進(jìn)行額外的預(yù)處理，系統(tǒng)在METT上的識別準(zhǔn)確率相當(dāng)?shù)?，僅僅只有50％，這甚至低于沒有受過訓(xùn)練的人類被試在METT前測上的成績。當(dāng)訓(xùn)練集更換為新的訓(xùn)練集時(shí)，系統(tǒng)的捕獲準(zhǔn)確率上升到了91.67％，此時(shí)的識別準(zhǔn)確率為81.25％。若系統(tǒng)同時(shí)還執(zhí)行前述的額外預(yù)處理過程，則系統(tǒng)的捕獲準(zhǔn)確率會上升到95.83％，而此時(shí)的識別準(zhǔn)確率可以達(dá)到85.42％。這一成績好于受過訓(xùn)練的人類被試在METT后測上的成績(約為70％-80％，見Franketal，2009；Russelletal，2006)。上述結(jié)果指出了具有代表性的大訓(xùn)練樣本對于自動微表情識別的重要性?？紤]當(dāng)系統(tǒng)使用新訓(xùn)練集時(shí)額外預(yù)處理對系統(tǒng)的貢獻(xiàn)度約為4％，上述結(jié)果提示，樣本的代表性對于微表情識別來說可能更重要，使用復(fù)雜的預(yù)處理方法可能只會帶來有限的性能提升。表4系統(tǒng)對不同人種的微表情的識別成績基于Gabor+EOH混合特征的自動微表情識別通過上述實(shí)施例已經(jīng)初步得到了一個(gè)能對視頻中的微表情進(jìn)行分析的自動微表情識別系統(tǒng)。但從前述結(jié)果來看，該系統(tǒng)的準(zhǔn)確率還可以進(jìn)一步得到提高。其中一個(gè)重要問題就是小樣本的問題?？紤]目前自動表情識別領(lǐng)域的研究者大多為西方研究者，他們所用的表情數(shù)據(jù)庫中包含的大多為白人，因此，要想獲得足夠樣本量的具有足夠代表性的訓(xùn)練集并不容易。如何在僅擁有小樣本的情況下提升算法的準(zhǔn)確率？這是所面臨的問題。解決這一問題可從改變系統(tǒng)所用的表征著手。好的表征會使得不同概念間的類間距離大，概念內(nèi)的類內(nèi)距離小，同時(shí)，好的表征對于誤差也有更高的容忍程度。簡而言之，好的表征能夠在小樣本情況下也能較好地描述問題的分類界面。EOH(EdgeOrientationHistogram)能夠提供這樣的特性。EOH提取的是圖像中關(guān)于圖像邊緣及其方向的信息，即有關(guān)于圖像形狀的信息，對于圖像全局光照變化不敏感，對于小尺度的位移和旋轉(zhuǎn)不敏感。這一特征提取方法也有生理學(xué)上的基礎(chǔ)。例如，研究者發(fā)現(xiàn)，初級視覺皮層下細(xì)胞的感受野具有顯著的方向敏感性，單個(gè)神經(jīng)元僅對處于其感受野中的刺激做出反應(yīng)，即單個(gè)神經(jīng)元僅對某一頻段的信息呈現(xiàn)較強(qiáng)的反應(yīng)，如特定方向的邊緣、線段、條紋等圖像特征。EOH可看成對這一特性的模擬。如前所述，采用具有生物學(xué)基礎(chǔ)的視覺信息表征方法可幫助研究者更好地構(gòu)造計(jì)算機(jī)視覺系統(tǒng)。同時(shí)，研究也證明了EOH可以成功提取人臉中區(qū)分笑與非笑的特征。更重要的是，研究者發(fā)現(xiàn)EOH在訓(xùn)練集的樣本量較少的情況下也能提供出色的性能。Gabor+EOH混合特征的提取對于Gabor特征提取，如前所述。對于EOH特征提取與特征融合如下：首先對圖像進(jìn)行邊緣提取，在此使用Sobel算子進(jìn)行邊緣提取。其中，圖像I在點(diǎn)(x，y)的梯度可以由相應(yīng)方向的Sobel算子與圖像的卷積而得，即有：Gx(x，y)＝Sobelx*I(x，y)Gy(x，y)＝Sobely*I(x，y)(13)其中：則圖像I在點(diǎn)(x，y)的邊緣強(qiáng)度為：為了對邊緣信息中的噪音進(jìn)行過濾，我們有圖像I在點(diǎn)(x，y)的邊緣方向可定義為：若將邊緣方向劃分為K個(gè)區(qū)間，則圖像I在點(diǎn)(x，y)的邊緣方向直方圖可計(jì)算為：則，圖像的邊緣積分圖可計(jì)算為：其中R為圖像I中任意區(qū)域。由于EOH特征維數(shù)很高，在進(jìn)行EOH特征提取時(shí)，選擇將捕獲到的人臉縮放至24×24像素大小。此外，僅采用比率特征，即有：其中ε為平滑因子。在完成Gabor與EOH特征提取后，即進(jìn)行特征融合。將EOH特征與Gabor同樣的方式轉(zhuǎn)化為一個(gè)列向量，此后，將其與Gabor特征聯(lián)結(jié)，形成一個(gè)新的列向量，進(jìn)行特征融合，即有：F＝{fGabor，fEOH}(21)以下均使用上述方法進(jìn)行特征提取。實(shí)施例四、基于Gabor+EOH混合特征的表情識別實(shí)施例4所采用的數(shù)據(jù)集、人臉檢測方法以及預(yù)處理方法與實(shí)施例1和2相同。為了測驗(yàn)算法的泛化性能，采用10折交叉檢驗(yàn)對算法性能進(jìn)行評估。實(shí)施例4中的分類器分別采用實(shí)施例1與實(shí)施例2中得到的Gentleboost和GentleSVM，以考察采用不同分類器時(shí)系統(tǒng)的性能。其中，對算法進(jìn)行修改，去除了錯(cuò)誤率檢查條件，即由DWT變成了WT，樣本過濾的閾值不會發(fā)生變化，且不會由于錯(cuò)誤率過高而重新訓(xùn)練。從實(shí)驗(yàn)結(jié)果看來，當(dāng)使用Gabor+EOH混合特征時(shí)Gentleboost識別的準(zhǔn)確率相當(dāng)?shù)?，只?0％左右，甚至低于只使用Gabor特征的情況。這說明在Gabor+EOH混合特征情況下，用Gentleboost進(jìn)行識別是不適用的。GentleSVM的識別結(jié)果受Gentleboost特征選擇的影響較小(準(zhǔn)確率為85％-88％)，這主要是因?yàn)镚enteSVM對Gentleboost選擇出的特征進(jìn)行了特征融合，將針對不同表情選擇出的特征進(jìn)行了聯(lián)結(jié)，并去除了其中的冗余特征。然而，此時(shí)兩組GentleSVM的識別準(zhǔn)確率均低于只使用Gabor特征時(shí)的情況。該結(jié)果再次說明Gentleboost在混合Gabor和EOH特征的情況下失效了。實(shí)施例五、基于平均誤差等級的Gentleboost在實(shí)施例5中，采用平均誤差等級的方法對Gentleboost進(jìn)行進(jìn)一步的改進(jìn)，將新得到的算法稱為AvgGentleboost。該方法將解決在采用Gabor和EOH混合表征，Gentleboost算法會失效的問題?？紤]在迭代的第t輪中，Gentleboost在某個(gè)訓(xùn)練集合At上了獲得了N個(gè)弱分類器hi，t，i＝1，2，…，N，同時(shí)，設(shè)hi，t在訓(xùn)練集At上的加權(quán)誤差為Ei，t，加權(quán)平方誤差為εi，t，且有Et＝{Ei，t|i＝1，2，…，N}，εt＝{εi，t|i＝1，2，…，N}，則：r1，i，t＝Rank(Et，Ei，t)，r2，i，t＝Rank(εt，εi，t).(22)上式中函數(shù)Rank(x，y)為一排序函數(shù)，表示的是將變量x做升序排序后，變量y在該排列中所處的位置。將弱分類器hi，T的平均誤差等級定義為：Ri，t＝(r1，i，t+r2，i，t)/2.(23)則在第t輪迭代中，Gentleboost選擇具有最小平均誤差等級的弱分類器。即：ht＝hj，t(24)若考慮在訓(xùn)練中使用MI，則Gentleboost選擇的是以平均誤差等級以升序排序獲得的備選弱分類器列表中第一個(gè)符合MI過濾條件的弱分類器。實(shí)施例5所采用的數(shù)據(jù)集、人臉檢測方法以及預(yù)處理方法與實(shí)施例4相同。為了測驗(yàn)算法的泛化性能，采用10折交叉檢驗(yàn)對算法性能進(jìn)行評估。實(shí)施例5中分別采用Gabor+EOH和Gabor特征，以比較不同特征提取方法下系統(tǒng)的性能。實(shí)施例5中的分類器為新得到的AvgGentleboost和AvgGentleSVM，以和實(shí)施例4進(jìn)行比較，并考察采用不同分類器時(shí)系統(tǒng)的性能。在采用Gabor表征時(shí)，AvgGentleboost和Gentleboost的性能非常接近，兩者幾乎無差別，只是在采用特征數(shù)量較少時(shí)，AvgGentleboost表現(xiàn)出了高于Gentleboost的性能。這一結(jié)果表明，在Gentleboost算法誤差最小化方法還適用的范圍內(nèi)，AvgGentleboost的性能與Gentleboost相近(comparable)。當(dāng)表征方式改為Gabor+EOH混合表征時(shí)，AvgGentleboost的性能要遠(yuǎn)遠(yuǎn)高于Gentleboost。這一結(jié)果說明了AvgGentleboost的有效性。當(dāng)分類器為AvgGentleboost時(shí)，采用Gabor+EOH表征時(shí)的算法性能要好于僅使用Gabor特征時(shí)，同時(shí)，AvgGentleboost+Gabor+EOH的組合的性能也要好于Gentleboost+Gabor組合的性能，再次說明了新得到的算法對于表情識別問題的有效性。表5.1各種Gentleboost算法組合所獲得的最佳表情識別準(zhǔn)確率表5.2各種GentleSVM算法組合所獲得的最佳表情識別準(zhǔn)確率在各種條件下，AvgGentleSVM與GentleSVM的性能都比較接近。其中，在使用Gabor表征時(shí)，AvgGentleSVM與GentleSVM的性能幾乎完全相同。將AvgGentleSVM使用的表征更換為Gabor+EOH時(shí)，算法的準(zhǔn)確率最高可以達(dá)到94.01％，略高于僅使用Gabor表征時(shí)的情況，此時(shí)分類器之間的差異主要存在于使用特征較多的情況。當(dāng)表征方式為Gabor+EOH時(shí)，AvgGentleSVM的性能要高于GentleSVM，說明了AvgGentleboost在特征選擇上的有效性。綜合以上結(jié)果，可以得到一個(gè)結(jié)論：相對于Gentleboost，AvgGentleboost在分類及特征選擇上的性能都得到了提高。然而，實(shí)驗(yàn)結(jié)果表明，相對于實(shí)施例2中我們所獲得的算法而言，實(shí)施例5所獲得的算法在準(zhǔn)確率上的提升還比較有限制，尚有進(jìn)一步提升的空間。實(shí)施例六、基于特征預(yù)過濾的AvgGentleboost在實(shí)際應(yīng)用時(shí)，過慢的訓(xùn)練速度會嚴(yán)重限制參數(shù)尋優(yōu)的范圍和實(shí)際使用的訓(xùn)練集的大小。要想將Gabor和EOH混合表征方法實(shí)際用于微表情識別，Gentleboost算法訓(xùn)練速度過慢的問題一定需要得到解決。Gentleboost算法訓(xùn)練速度緩慢的原因是因?yàn)樵谟?xùn)練弱分類器時(shí)Gentleboost需要進(jìn)行窮舉搜索，以選擇最優(yōu)的弱分類器。該算法訓(xùn)練方法的時(shí)間復(fù)雜度為O(NMTlogN)，其中，N為訓(xùn)練集中所包含的樣例的數(shù)量，M為樣本的特征維數(shù)，T為訓(xùn)練要獲得的弱分類器的數(shù)量?？梢钥吹剑?dāng)N、M或T中任意一個(gè)變量的值較大時(shí)，算法的訓(xùn)練時(shí)間就將變得很長。若其中兩者或三者均為較大的值時(shí)，則算法訓(xùn)練速度就有可能會變得讓人無法接受。由于之前研究者所提出的分解變量M的方法無法和現(xiàn)有的AvgGentleboost進(jìn)行組合，因此，在本研究中，提出用特征預(yù)過濾的方法來對變量M進(jìn)行分解，以此進(jìn)一步加速算法的訓(xùn)練過程。將該方法和DWT進(jìn)行組合，將能同時(shí)對變量N和M進(jìn)行優(yōu)化，使得算法在大樣本高維度的情況下也能進(jìn)行快速訓(xùn)練。在執(zhí)行Gentleboost迭代前，對樣本特征進(jìn)行預(yù)過濾。使用Gentleboost算法在全部的訓(xùn)練樣本上為每一特征訓(xùn)練一個(gè)弱分類器。若該弱分類器在訓(xùn)練集上的錯(cuò)誤率大于或等于預(yù)先設(shè)定的閾值α，則將該弱分類器所對應(yīng)的特征予以拋棄，反之則予以保留。最后，將所有得以保留的特征予以聯(lián)結(jié)，組成新的表征，形成新的訓(xùn)練集。此后AvgGentleboost將在該新的訓(xùn)練集上進(jìn)行訓(xùn)練。我們將這兩者的組合稱為PreAvgGentleboost。實(shí)施例6所采用的數(shù)據(jù)集、人臉檢測方法以及預(yù)處理方法與實(shí)施例5相同。為了測驗(yàn)算法的泛化性能，采用10折交叉檢驗(yàn)對算法性能進(jìn)行評估。實(shí)施例6中我們采用Gabor+EOH混合特征，但分別采用不同的參數(shù)進(jìn)行特征提取，以考察在不同參數(shù)設(shè)置下系統(tǒng)的性能。實(shí)施例6中的分類器為AvgGentleboost和AvgGentleSVM，以及新得到的PreAvgGentleboost和PreAvgGentleSVM，以檢驗(yàn)特征預(yù)過濾的有效性。實(shí)施例6采用的EOH特征提取參數(shù)為：K＝{4，6，8}，θ∈[-π，π)or[-π/2，π/2)，T＝100，ε＝0.01(25)考慮在訓(xùn)練集中，某一類別的表情的正類樣本數(shù)量要遠(yuǎn)遠(yuǎn)小于其負(fù)類數(shù)量，則對這兩類樣本分類存在一個(gè)最簡單的策略，即將所有樣本分為負(fù)類。若特征預(yù)過濾中得到的弱分類器的準(zhǔn)確率低于或等于上述準(zhǔn)確率，則可能說明該弱分類器所用特征的無法較好的對正類和負(fù)類做出區(qū)分。因此，在本實(shí)施例中，特征預(yù)過濾參數(shù)為α＝m/N。其中，m為某一類表情的正類樣本數(shù)量，N為訓(xùn)練集中的訓(xùn)練樣例的數(shù)量。初步實(shí)驗(yàn)結(jié)果表明，AvgGentleboost的訓(xùn)練速度得到很大改善，在K＝4，θ∈[-π，π)條件下，訓(xùn)練時(shí)間由原來的近20天縮短到10小時(shí)。不同參數(shù)下特征預(yù)過濾算法所獲得的最佳表情識別準(zhǔn)確率如表6.1所示：表6.1不同參數(shù)下特征預(yù)過濾算法所獲得的最佳表情識別準(zhǔn)確率從上表可以看到，特征預(yù)過濾方法可以大幅減少用于訓(xùn)練的特征數(shù)量，過濾了約97％的特征，從而極大的降低訓(xùn)練時(shí)的計(jì)算復(fù)雜度。然而，實(shí)驗(yàn)結(jié)果表明，直接用此方法對Gabor+EOH特征進(jìn)行過濾，會在降低訓(xùn)練計(jì)算復(fù)雜度的同時(shí)，使得Gentleboost和GentlebSVM兩種分類器的分類精度受到不同程度的損害。這兩種分類器的準(zhǔn)確率均會降低至比沒有加入EOH特征之前還要低的水平。其中，采用有符號的邊緣梯度的EOH的條件均好于無符號的邊緣梯度的EOH的條件。對于Gentleboost來說，采用6個(gè)方向的EOH是最佳的參數(shù)，8方向和4方向時(shí)結(jié)果相似。對于GentleSVM而言，EOH特征所具有的方向數(shù)量越多，其性能受損害的程度就越高，在采用8方向的EOH時(shí)，其性能甚至低于了采用相同參數(shù)的Gentleboost。出現(xiàn)這樣的結(jié)果應(yīng)該是由于特征預(yù)過濾算法去除了太多的特征引起的，這大大降低了特征的冗余程度。眾所周知，Boosting算法在處理具有高度冗余的特征的樣本時(shí)容易具有較高的性能。因此，直接對Gabor+EOH特征進(jìn)行特征過濾會破壞我們所使用的特征選擇算法所需要的工作條件。那么如何保持Gabor+EOH特征高度冗余的特性同時(shí)又使得訓(xùn)練能夠加速且不損害分類器的性能呢？考慮Gabor特征為16萬維，特征維數(shù)尚在可接受的范圍之內(nèi)，因而訓(xùn)練時(shí)間過長主要是由于EOH特征維數(shù)過高導(dǎo)致了維數(shù)災(zāi)而引起的。結(jié)合上表的結(jié)果和實(shí)例5的結(jié)果，我們認(rèn)為，加入更多更細(xì)致的EOH特征并不能大幅提升算法的性能，這很可能是由于很多EOH特征對于表情識別而言是無效的。因此，若保留完整的Gabor特征，僅對EOH特征進(jìn)行過濾，就有可能實(shí)現(xiàn)我們即加速算法訓(xùn)練過程，又保留分類器分類精度的目標(biāo)。以上表的實(shí)驗(yàn)結(jié)果為基礎(chǔ)，我們選擇了部分更加有意義的參數(shù)，進(jìn)行了新的實(shí)驗(yàn)，在該實(shí)驗(yàn)中，我們選擇僅對EOH參數(shù)進(jìn)行過濾，該算法我們稱之為PreAvgGentleboost_EOHfilter和PreAvgGentleSVM_EOHfilter。表6.2不同參數(shù)下PreAvgGentleboost_EOHfilter所獲得的最佳表情識別準(zhǔn)確率根據(jù)表6.2的結(jié)果，我們可以看到在采用6方向有符號的EOH特征時(shí)，PreAvgGentleboost_EOHfilter的性能最佳，相對于表6.1中的結(jié)果存在較大提升。在表6.2的兩種參數(shù)條件下，該算法的最高識別準(zhǔn)確率均略低于實(shí)例5中的PreAvgGentleboost在Gabor+EOH特征條件下所獲得最高91.31％的準(zhǔn)確率，然而，其計(jì)算復(fù)雜度卻大為降低。表6.3不同參數(shù)下PreAvgGentleboost_EOHfilter所獲得的最佳表情識別準(zhǔn)確率根據(jù)表6.3的結(jié)果，我們可以看到在采用4方向有符號的EOH特征時(shí)，PreAvgGentleSVM_EOHfilter的性能最佳，遠(yuǎn)好于6方向有符號的條件。在表3的兩種參數(shù)條件下，PreAvgGentleSVM_EOHfilter的性能均好于PreAvgGentleboost_EOHfilter。至此，在我們的6個(gè)實(shí)例中，GentleSVM的性能均一致性的高于了Gentleboost。因此我們有理由相信對于表情識別而言，GentleSVM的性能是要好于Gentleboost的。在表6.3中，采用(4，2)參數(shù)所獲得的最佳結(jié)果(94.4％)與實(shí)驗(yàn)5中AvgGentleSVM在Gabor+EOH特征條件下所獲得的最佳準(zhǔn)確率類似(94.01％)。然而，采用相同參數(shù)的PreAvgGentleSVM_EOHfilter訓(xùn)練時(shí)的計(jì)算復(fù)雜度相比AvgGentleSVM減少了74.08％，訓(xùn)練時(shí)間大大縮短，這使得構(gòu)造一個(gè)基于Gabor+EOH特征的微表情識別系統(tǒng)成為了可能。在實(shí)例7中，我們將以此算法實(shí)際構(gòu)造一個(gè)基于Gabor+EOH特征的微表情識別系統(tǒng)。實(shí)施例七、基于Gabor+EOH混合特征的自動微表情識別在實(shí)施例6的基礎(chǔ)上，構(gòu)建基于Gabor+EOH混合特征的自動微表情識別系統(tǒng)。實(shí)施例7中將使用兩個(gè)訓(xùn)練集。其中一個(gè)訓(xùn)練集與實(shí)施例3中得到的新訓(xùn)練集相同。在本實(shí)施例中稱之為訓(xùn)練集1。另一訓(xùn)練集為在訓(xùn)練集1的基礎(chǔ)上加入從已有人臉表情數(shù)據(jù)庫中提取的977張亞洲人表情圖像形成的新訓(xùn)練集，稱之為訓(xùn)練集2。通過使用不同的訓(xùn)練集，在實(shí)施例7中考察訓(xùn)練集樣本大小對于系統(tǒng)性能的影響。實(shí)施例7采用的測驗(yàn)集與實(shí)施例3相同。實(shí)施例7的人臉檢測算法與實(shí)施例6相同。Gabor特征提取預(yù)處理方法與實(shí)施例3相同。EOH特征提取預(yù)處理方法與實(shí)施例6相同。特征提取方法同實(shí)施例5。實(shí)施例7中的分類器為GentleSVM，AvgGentleSVM，以及新得到的PreAvgGentleSVM_EOHfilter，以考察系統(tǒng)使用不同分類器時(shí)的性能。實(shí)施例7進(jìn)行的實(shí)驗(yàn)比對結(jié)果如下表。表7.1不同算法在不同參數(shù)下的微表情捕獲性能比較表7.2不同算法在不同參數(shù)下的微表情識別性能比較從表7.1上可以看到，對于微表情捕獲而言，在使用樣本數(shù)量較少的訓(xùn)練集1時(shí)，AvgGentleSVM-Gabor的微表情捕獲準(zhǔn)確率要好于GentleSVM-Gabor，而此時(shí)PreAvgGentleSVM_EOHfilter在采用較多特征時(shí)可以達(dá)到最高值100％，好于AvgGentleSVM-Gabor。當(dāng)訓(xùn)練集更換為擁有更多樣本的訓(xùn)練集2時(shí)，GentleSVM-Gabor和AvgGentleSVM-Gabor的捕獲準(zhǔn)確率可以進(jìn)一步的提升，并在一定參數(shù)下均可達(dá)到天花板的100％，而此時(shí)的PreAvgGentleSVM_EOHfilter在各參數(shù)下幾乎均達(dá)到了100％。該結(jié)果說明PreAvgGentleSVM_EOHfilter進(jìn)行微表情捕獲的性能要高于其兩種算法，對于微表情捕獲而言我們所進(jìn)行的修改是有效的。從表7.2上可以看到，對于微表情識別而言，在使用樣本數(shù)量較少的訓(xùn)練集1時(shí)，AvgGentleSVM-Gabor的微表情識別準(zhǔn)確率基本與GentleSVM-Gabor無差異，僅在采用較多特征時(shí)略好于GentleSVM-Gabor。PreAvgGentleSVM_EOHfilter在這種條件下可以達(dá)到最高的87.5％的識別準(zhǔn)確率，好于AvgGentleSVM-Gabor。當(dāng)訓(xùn)練集更換為擁有更多樣本的訓(xùn)練集2時(shí)，GentleSVM-Gabor和AvgGentleSVM-Gabor的識別準(zhǔn)確率可以進(jìn)一步的提升，但提升的幅度有限，均只提升了2％，此時(shí)兩種算法的性能無差異。然而，在更換了擁有更多樣本的訓(xùn)練集后，PreAvgGentleSVM_EOHfilter的識別準(zhǔn)確率卻可以得到更大幅度的提升，最高可達(dá)到91.67％的識別準(zhǔn)確率，遠(yuǎn)好于受過訓(xùn)練的人類被試的平均水平(約80％)。最后應(yīng)說明的是，以上實(shí)施例僅用以描述本發(fā)明的技術(shù)方案而不是對本技術(shù)方法進(jìn)行限制，本發(fā)明在應(yīng)用上可以延伸為其他的修改、變化、應(yīng)用和實(shí)施例，并且因此認(rèn)為所有這樣的修改、變化、應(yīng)用、實(shí)施例都在本發(fā)明的精神和教導(dǎo)范圍內(nèi)。