一種基于非線性降維的人臉微表情捕捉及識(shí)別方法
【專利摘要】本發(fā)明提出了一種基于非線性降維的人臉微表情捕捉及識(shí)別方法，該方法首先構(gòu)建一種高速圖像采集應(yīng)用系統(tǒng)并獲取高速視頻人臉圖像序列，然后利用一種基于拉普拉斯特征映射的非線性降維方法，對(duì)獲得的高速視頻人臉圖像序列進(jìn)行降維，最后在低維空間中進(jìn)行特征參數(shù)計(jì)算，應(yīng)用低維空間特征參數(shù)跟蹤識(shí)別人臉微表情變化。實(shí)驗(yàn)表明該方法對(duì)計(jì)算機(jī)性能要求低，計(jì)算速度快，使得實(shí)時(shí)跟蹤識(shí)別人臉微表情變化成為可能。
【專利說(shuō)明】一種基于非線性降維的人臉微表情捕捉及識(shí)別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于非線性降維的人臉微表情捕捉及識(shí)別方法。構(gòu)建一種高速時(shí)間序列圖像動(dòng)態(tài)采集系統(tǒng)獲取人臉動(dòng)態(tài)時(shí)間序列圖像，利用一種基于拉普拉斯特征映射的非線性降維方法，最終實(shí)現(xiàn)低維空間人臉微表情的捕捉及識(shí)別。
【背景技術(shù)】
[0002]微表情(Micro-expression)是一種持續(xù)時(shí)間僅為40毫秒至200毫秒的非常快速的表情，它不受意識(shí)控制，反映了人類內(nèi)心的真正情感。微表情作為欺騙檢測(cè)線索，在臨床上、偵查審訊、國(guó)家安全等領(lǐng)域有重要價(jià)值，應(yīng)用前景極其廣闊。
[0003]在臨床上，醫(yī)生若能識(shí)別病人的微表情，則可以更好地了解病人的需求，針對(duì)性地確定治療方案，縮短療程，提高療效。在偵查審訊、國(guó)家安全領(lǐng)域，有些訓(xùn)練有素的恐怖分子等危險(xiǎn)人物可能輕易就通過(guò)測(cè)謊儀的檢測(cè)，但是通過(guò)微表情，一般就可以發(fā)現(xiàn)他們虛假表面下的真實(shí)表情。
[0004]目前，人們對(duì)微表情的認(rèn)識(shí)還十分有限，微表情識(shí)別一般借助面部行為編碼系統(tǒng)FACS (Facial Action Coding System)對(duì)可能包含微表情的視頻進(jìn)行逐巾貞的編碼。FACS編碼的訓(xùn)練十分費(fèi)時(shí)，編碼者一般需要接受100小時(shí)的訓(xùn)練才能達(dá)到初步熟練的程度；同時(shí)使用FACS進(jìn)行編碼也很費(fèi)時(shí)，編碼I分鐘的視頻至少需要2個(gè)小時(shí)。這極大地限制了目前的微表情研究及應(yīng)用，此外，由于微表情出現(xiàn)速度很快，人工識(shí)別有很大困難，可靠性也無(wú)法保證，因此，急需一種有效的人臉微表情自動(dòng)識(shí)別方法。
[0005]2011年，美國(guó)南佛羅里達(dá)大學(xué)的Shreve1采用光流法提取微表情特征，然后根據(jù)給定閾值進(jìn)行微表情分類。同年，芬蘭奧盧大學(xué)的趙國(guó)英2以時(shí)間差值模型LBP-TOP為特征提取方法，綜合利用支持向量機(jī)、隨機(jī)森林和多核學(xué)習(xí)方法進(jìn)行微表情分類。但這些研究與自動(dòng)識(shí)別微表情的目標(biāo)尚有較大差距，僅僅只是初步探索。2011年，中國(guó)科學(xué)院心理研究所的吳奇3等對(duì)視頻中的人臉進(jìn)行捕獲并進(jìn)行相應(yīng)的預(yù)處理，基于Gabor特征對(duì)捕獲到的人臉圖像進(jìn)行特征提取，以形成人臉表情的Gabor表征,再結(jié)合Gabor特征與改進(jìn)的GentleSVM算法實(shí)現(xiàn)人臉表情識(shí)別，不過(guò)，該結(jié)果是基于特定的測(cè)試集得到的，對(duì)于幅度較小的表情或?qū)⑵鋺?yīng)用于現(xiàn)實(shí)環(huán)境中可能無(wú)法達(dá)到很高的識(shí)別率。2013年，日本的Polikovsky4使用200fps高速攝像機(jī)在特定的環(huán)境下拍攝了 10組大學(xué)生的面部微表情活動(dòng)，參與者被要求從6種表情以自己最快的速度回到中性表情中，完成模擬微表情變化的過(guò)程。記錄下面部的微變化后，將面部分為12個(gè)感興趣區(qū)，對(duì)每一區(qū)域采用3D梯度方向直方圖描述運(yùn)動(dòng)。綜合K均值聚類和表決程序的分類結(jié)果表明，3D梯度方向直方圖可以有效表征不同面部區(qū)域處在不同相位的面部表情動(dòng)作單元。迄今為止，只有日本的Polikovsky5創(chuàng)建的微表情視頻庫(kù)使用的是高速照相機(jī)，但它是在強(qiáng)光下拍攝，與真實(shí)的自然場(chǎng)景有很大區(qū)別，因此也需要研制一種獲取人臉動(dòng)態(tài)時(shí)間序列圖像的高速圖像采集系統(tǒng)。
[0006]微表情持續(xù)時(shí)間很短并快速變化，需要高速動(dòng)態(tài)圖像跟蹤捕捉，捕捉到的高速動(dòng)態(tài)圖像序列是一個(gè)高維數(shù)據(jù)集，直接對(duì)該高維數(shù)據(jù)進(jìn)行處理識(shí)別微表情特征往往會(huì)面臨維數(shù)災(zāi)難。通過(guò)維數(shù)約減將高維數(shù)據(jù)轉(zhuǎn)換為低維特征空間表示，必然在相當(dāng)大的程度上減輕甚至避免圖像數(shù)據(jù)處理所面臨的維數(shù)災(zāi)難。
[0007]為實(shí)現(xiàn)高維輸入樣本在局部意義下的最優(yōu)低維嵌入，Belkin和Niyogi于2003年提出了基于譜圖理論的Laplacian Eigenmap6 (LE)算法。他們發(fā)現(xiàn)流形上Laplacian-Beltrami算子的特征函數(shù)可以實(shí)現(xiàn)流形的低維嵌入，Laplacian-Beltram算子定義為流形切空間上梯度向量的負(fù)散度函數(shù)。根據(jù)譜圖理論，如果數(shù)據(jù)均勻采樣于高維空間中的低維流形，那么可以用圖的Laplacian去逼近流形上Laplacian-Beltrami算子,進(jìn)而可以用圖的Laplacian特征向量去逼近流形上Laplacian-Beltrami算子的特征函數(shù)。LE算法只需要較少的計(jì)算量，執(zhí)行速度很快，是一種廣泛應(yīng)用的非線性降維方法。
[0008]1Shreve , M.；Godavarthy, S.；Goldgof, D.；Sarkar, S., 〃Macro-andmicro-expression spotting in long videos using spatio-temporal strain, " AutomaticFace&Gesture Recognition and Workshops (FG2011), 2011 IEEE International Conferenceon, vol., n0., pp.51,56,21_25March2011.[0009]2Pfister, T.；Xiaobai Li ；Guoying Zhao ；Pietikainen, M., "Recognisingspontaneous facial micro-expressions, " Computer Vision (ICCV),2011IEEEInternational Conference on, vol., n0., pp.1449,1456,6-13Nov.2011.[0010]3Qi Wu, Xunbing Shen, Xiaolan Fu:The Machine Knows What You Are Hiding:AnAutomatic Micro-expression Recognition System.ACII (2) 2011: 152-162.[0011]4Polikovsky, Senya ； Kame da, Yoshinari ； Oh t a, Yuichi, "FacialMicro-Expression Detection in H1-Speed Video Based on Facial Action CodingSystem(FACS) "，IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS, vol.E96D, n0.1，pp.81-92JAN2013.[0012]5Polikovsky, Senya ；Kameda, Yoshinari ；0hta, Yuichi, " FacialMicro-Expression Detection in H1-Speed Video Based on Facial Action CodingSystem(FACS) "，IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS, vol.E96D, n0.1，pp.81-92JAN2013.[0013]6Mikhail Belkin, Partha Niyog1." Laplacian Eigenmaps for DimensionalityReduction and Data Representation;/ , Neural Computation, 200315:6,1373-1396.
【發(fā)明內(nèi)容】

[0014]本發(fā)明所解決的主要技術(shù)問(wèn)題是研制一種獲取人臉動(dòng)態(tài)時(shí)間序列圖像的高速圖像采集系統(tǒng)，開發(fā)一種基于拉普拉斯特征映射的非線性降維的高維序列圖像特征計(jì)算分析方法，最終實(shí)現(xiàn)人臉微表情的捕捉及識(shí)別。
[0015]本發(fā)明所采用的技術(shù)方案如下:
[0016]1.創(chuàng)建高速圖像采集應(yīng)用系統(tǒng)(硬件組成+應(yīng)用軟件)，設(shè)置好高速圖像采集系統(tǒng)的軟硬件參數(shù)配置。
[0017]2.采集高速視頻人臉圖像序列作為輸入進(jìn)行后續(xù)特征提取分析。
[0018]3.建立一種基于拉普拉斯特征映射非線性降維的方法，對(duì)獲得的高速視頻人臉圖像序列進(jìn)行降維，建立其低維特征空間。[0019]4.在低維空間中進(jìn)行特征參數(shù)計(jì)算，應(yīng)用低維空間特征參數(shù)跟蹤識(shí)別人臉微表情變化。
[0020]本發(fā)明具有如下優(yōu)點(diǎn):
[0021](I)LE算法在構(gòu)造近鄰圖和求低維嵌入的計(jì)算復(fù)雜度分別為O (Dn2)和0(dn2)，在設(shè)置重構(gòu)權(quán)值矩陣的計(jì)算復(fù)雜度最多不超過(guò)O (kDn)，因此，LE算法只需要較少的計(jì)算量，執(zhí)行速度快。
[0022](2)由于微表情變化時(shí)間序列圖像維數(shù)過(guò)高，有的特征會(huì)對(duì)分類起誤導(dǎo)作用，對(duì)其進(jìn)行降維，提取出對(duì)分類最能起作用的特征，從而提高分類準(zhǔn)確率。
[0023](3)在一定程度上消除高維數(shù)據(jù)中存在的噪聲。數(shù)據(jù)的高維性背后可能包含很多冗余無(wú)用的噪聲信息，通過(guò)對(duì)高維數(shù)據(jù)進(jìn)行降維，抽取和問(wèn)題緊密相關(guān)的因子，刪除冗余的噪聲維數(shù)。
[0024](4)實(shí)驗(yàn)表明，降維后提取的低維特征具有很好的分類能力，這使得實(shí)時(shí)檢測(cè)成為可能。
【專利附圖】

【附圖說(shuō)明】
[0025]圖1本發(fā)明的方法流程圖
[0026]圖2部分眼睛變動(dòng)的時(shí)間序列圖像
[0027]圖3眼睛變動(dòng)的時(shí)間序列圖像的拉普拉斯特征映射降一維嵌入結(jié)果
[0028]圖4部分微笑微表情變化時(shí)間序列圖像
[0029]圖5微笑微表情變化時(shí)間序列圖像的拉普拉斯特征映射降一維嵌入結(jié)果【具體實(shí)施方式】
[0030]本發(fā)明的方法流程圖如圖1所示，具體如下:
[0031]1.創(chuàng)建高速圖像采集應(yīng)用系統(tǒng)
[0032]由于微表情持續(xù)時(shí)間最短僅為40毫秒，要求fps至少250，控制噪聲和系統(tǒng)造價(jià)同時(shí)，為了提高精度，我們選擇采樣頻率最高可達(dá)300fps高速攝像系統(tǒng)，分辨率為800x600像素。高速攝像系統(tǒng)與高性能計(jì)算機(jī)工作站直接相連，采集系統(tǒng)軟件實(shí)現(xiàn)圖像的實(shí)時(shí)采集、處理和存儲(chǔ)功能。能夠激發(fā)被試6種表情的相應(yīng)音頻(時(shí)長(zhǎng)各I分鐘)間隔10秒錄制在CD中，10秒間隔便于被試舒緩情緒，自然回到中性表情中。6種基本表情圖像來(lái)自表情數(shù)據(jù)庫(kù)。被試通過(guò)耳機(jī)收聽音頻，并同時(shí)觀看相應(yīng)表情圖像。高速攝像系統(tǒng)自動(dòng)啟停采集相關(guān)視頻，系統(tǒng)安放在在一個(gè)8平米房間內(nèi)，有兩盞LED燈。
[0033]2.微表情變化時(shí)間序列圖像的采集
[0034]招募10名一年級(jí)研究生作為被試，男女各5名，聽力和視力正常，并進(jìn)行培訓(xùn)。房間內(nèi)只有被試一人，測(cè)試過(guò)程中佩戴耳機(jī)并一直觀看攝像機(jī)后面的表情顯示屏幕，嚴(yán)格要求盡力保持中性表情。高速攝像機(jī)正對(duì)受試者面部進(jìn)行視頻采集，采集的視頻流通過(guò)采集卡實(shí)時(shí)存儲(chǔ)在計(jì)算機(jī)工作站中。
[0035]3.對(duì)微表情變化時(shí)間序列圖像預(yù)處理
[0036]先對(duì)視頻圖像進(jìn)行濾波降噪預(yù)處理，然后從人臉中分割出面部區(qū)域并提取相關(guān)視頻。[0037]4.對(duì)人臉微表情變化時(shí)間序列圖像降維
[0038]拉普拉斯特征映射是一種基于局部的非線性降維方法，其思想是通過(guò)保持?jǐn)?shù)據(jù)的局部性來(lái)發(fā)掘潛在的流形結(jié)構(gòu)，也即高維空間中距離較近的點(diǎn)在低維嵌入空間也應(yīng)該比較接近。算法實(shí)施如下:
[0039](4.1)構(gòu)造近鄰圖G
[0040]設(shè)G表示η個(gè)點(diǎn)的矩陣。我們將i和j連接起來(lái)，如果Xi和\離很近，就做如下
變化:如果
[0041]
【權(quán)利要求】
1.一種基于非線性降維的人臉微表情捕捉及識(shí)別方法，包括如下步驟: 步驟(1)，創(chuàng)建高速圖像采集應(yīng)用系統(tǒng)(硬件組成+應(yīng)用軟件)； 步驟(2)，采集高速視頻人臉圖像序列作為輸入進(jìn)行后續(xù)特征提取分析； 步驟(3)，對(duì)微表情變化時(shí)間序列圖像預(yù)處理，先對(duì)視頻圖像進(jìn)行濾波降噪預(yù)處理，然后從人臉中分割出面部區(qū)域并提取相關(guān)視頻； 步驟(4)，應(yīng)用拉普拉斯特征映射對(duì)序列圖像降維； 步驟(5)，在低維空間中進(jìn)行特征參數(shù)計(jì)算，基于k近鄰分類器應(yīng)用低維空間特征參數(shù)跟蹤識(shí)別人臉微表情變化。
2.如權(quán)利要求1所述的高速圖像采集應(yīng)用系統(tǒng)創(chuàng)建方法為: 由于微表情持續(xù)時(shí)間最短僅為40毫秒,要求fps至少250,控制噪聲和系統(tǒng)造價(jià)同時(shí)，為了提高精度，我們選擇采樣頻率最高可達(dá)300fps高速攝像系統(tǒng)，分辨率為800x600像素。高速攝像系統(tǒng)與高性能計(jì)算機(jī)工作站直接相連，采集系統(tǒng)軟件實(shí)現(xiàn)圖像的實(shí)時(shí)采集、處理和存儲(chǔ)功能。能夠激發(fā)被試6種表情的相應(yīng)音頻(時(shí)長(zhǎng)各I分鐘)間隔10秒錄制在CD中，10秒間隔便于被試舒緩情緒，自然回到中性表情中。6種基本表情圖像來(lái)自表情數(shù)據(jù)庫(kù)。被試通過(guò)耳機(jī)收聽音頻，并同時(shí)觀看相應(yīng)表情圖像。高速攝像系統(tǒng)自動(dòng)啟停采集相關(guān)視頻，系統(tǒng)安放在在一個(gè)8平米房間內(nèi)，有兩盞LED燈。
3.如權(quán)利要求2所述的微表情變化時(shí)間序列圖像的采集方法為: 招募10名一年級(jí)研究生作為被試，男女各5名，聽力和視力正常，并進(jìn)行培訓(xùn)。房間內(nèi)只有被試一人，測(cè)試過(guò)程中佩戴耳機(jī)并一直觀看攝像機(jī)后面的表情顯示屏幕，嚴(yán)格要求盡力保持中性表情。高速攝像機(jī)正對(duì)受試者面部進(jìn)行視頻采集，采集的視頻流通過(guò)采集卡實(shí)時(shí)存儲(chǔ)在計(jì)算機(jī)工作站中。
4.如權(quán)利要求4所述的應(yīng)用拉普拉斯特征映射對(duì)序列圖像降維，其特征是，所述序列圖像降維的具體步驟如下: (4.1)構(gòu)造近鄰圖G 設(shè)G表示η個(gè)點(diǎn)的矩陣。我們將i和j連接起來(lái)，如果Xi和\離很近，就做如下變化:如果
【文檔編號(hào)】G06K9/62GK104008391SQ201410184408
【公開日】2014年8月27日 申請(qǐng)日期:2014年4月30日 優(yōu)先權(quán)日:2014年4月30日
【發(fā)明者】李海云, 董建鑫, 景斌, 龍?jiān)屏? 鐘景茹 申請(qǐng)人:首都醫(yī)科大學(xué)