一種基于動(dòng)態(tài)人臉表情序列和k階情感強(qiáng)度模型的特征表示方法
【專利摘要】本發(fā)明公開了一種基于動(dòng)態(tài)人臉表情序列和K階情感強(qiáng)度模型的特征表示方法，其特征包括如下步驟：1、對(duì)動(dòng)態(tài)人臉表情序列集合提取Haar特征然后用PCA進(jìn)行特征降維；2、對(duì)降維后的特征矩陣的每一列作為聚類樣本進(jìn)行K-Means聚類，得到每一類中所有特征的均值和方差，構(gòu)造每一類的正態(tài)分布，生成K階情感強(qiáng)度模型；3、對(duì)待提取特征的動(dòng)態(tài)人臉表情序列提取Haar特征然后用PCA進(jìn)行特征降維。4、將降維后的特征輸入到K階情感強(qiáng)度模型中，得到輸出矩陣。5、對(duì)輸出矩陣編碼，編碼結(jié)果即為待提取特征的動(dòng)態(tài)人臉表情序列的特征表示。本發(fā)明能有效降低特征維數(shù)和計(jì)算復(fù)雜度，提高特征提取的實(shí)時(shí)性。
【專利說明】一種基于動(dòng)態(tài)人臉表情序列和K階情感強(qiáng)度模型的特征表 示方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種特征表示方法，屬于圖像處理領(lǐng)域，具體地說是一種基于動(dòng)態(tài)人 臉表情序列和Κ階情感強(qiáng)度模型的特征表示方法。

【背景技術(shù)】
[0002] 人臉表情識(shí)別是情感計(jì)算與先進(jìn)智能的重要組成部分，同時(shí)也是人機(jī)交互、機(jī)器 學(xué)習(xí)、智能控制和圖像處理等領(lǐng)域的一個(gè)研究熱點(diǎn)。為了促進(jìn)更自然、更人性化的人機(jī)交 互，對(duì)表情識(shí)別的深入研究變得更為重要。其中對(duì)于動(dòng)態(tài)的人臉表情序列的研究更為受到 關(guān)注，因?yàn)槿四槺砬槭且粋€(gè)具有開始，高潮到結(jié)束的完整過程，因此對(duì)動(dòng)態(tài)序列圖像進(jìn)行表 情識(shí)別可以更有效地反映人臉表情過程的本質(zhì)，易于消除各種干擾因素的影響，在進(jìn)行非 特定人表情識(shí)別時(shí)也能夠得到更好的結(jié)果，并且動(dòng)態(tài)序列表情圖像包含更多的信息，所以 動(dòng)態(tài)表情識(shí)別的應(yīng)用更為廣泛，也更有實(shí)際意義。動(dòng)態(tài)表情序列包含了從中性表情開始到 表情最夸張的狀態(tài)的這一過程。近些年來，動(dòng)態(tài)人臉表情識(shí)別仍存在一些問題。特別是如 何提取出實(shí)時(shí)性高、魯棒性強(qiáng)以及穩(wěn)定具有代表性的表情特征。
[0003] 目前動(dòng)態(tài)人臉表情特征提取方法主要可以分為以下幾類：
[0004] 光流法，光流指的是空間運(yùn)動(dòng)物體在觀測(cè)成像面上像素運(yùn)動(dòng)的瞬時(shí)速度。對(duì)于光 流的研究，是利用時(shí)域變化來確定各個(gè)像素的位置和運(yùn)動(dòng)，可以得出動(dòng)態(tài)序列中不同幀之 間同一物體的灰度變化。表情是通過人的五官（特別是眼睛、眉毛、嘴巴等）特征的變化體 現(xiàn)出來的，是一個(gè)動(dòng)態(tài)的過程，可以通過計(jì)算動(dòng)態(tài)序列中表情特征點(diǎn)的光流，將人臉形狀變 化和人臉運(yùn)動(dòng)趨勢(shì)表示出來。因此在動(dòng)態(tài)表情識(shí)別中有很多的應(yīng)用。該方法的缺點(diǎn)是容易 受到光照不均、噪聲、物體遮擋等因素的影響，精度不高同時(shí)計(jì)算量很大。
[0005] 表情特征點(diǎn)跟蹤法，該方法是將人臉特征點(diǎn)的位置變化組成特征向量來識(shí)別人臉 表情。特征點(diǎn)的位置要選擇能夠隨著表情的變化有大幅度變化的地方，比如對(duì)五官輪廓的 角點(diǎn)進(jìn)行跟蹤，可以得到人臉特征的位移或形變信息。這種方法所選取的特征點(diǎn)只提取人 臉的器官特征，從而去除掉背景、光線等多余的信息，計(jì)算量有所減小，運(yùn)算速度快，可實(shí)時(shí) 運(yùn)行。其缺點(diǎn)是忽略了特征點(diǎn)以外的其他細(xì)節(jié)信息，可能會(huì)丟失一些有用的信息，而且很難 準(zhǔn)確的自動(dòng)標(biāo)記特征點(diǎn)，需要人為或者半自動(dòng)標(biāo)記特征點(diǎn)。
[0006] 基于模型的方法，模型有主動(dòng)形狀模型（Active Shape Model，ASM)和主動(dòng)外觀模 型（Active Appearance Model，AAM)，其中AAM是用統(tǒng)計(jì)模型的方式描述人臉的結(jié)構(gòu)，是由 Tim Cootes首先提出的。AAM方法是ASM的改進(jìn).ASM只能反映圖像的局部信息。AAM反應(yīng) 的是圖像的全局信息。AAM的優(yōu)點(diǎn)是將人臉形狀和紋理等信息進(jìn)行統(tǒng)計(jì)建模，這樣建立起的 模型可以模擬大多數(shù)可能的對(duì)象，具有普遍性，這種方法有在表情特征提取時(shí)，有很高的效 率。AAM的缺點(diǎn)是建模過程比較復(fù)雜，獲取初始圖像有困難，必要時(shí)還需手工標(biāo)注，而且受圖 像的光照和背景的影響比較大。
[0007] 差分圖像法，在人臉表情識(shí)別中，對(duì)兩幅圖像進(jìn)行差分運(yùn)算就可以得到表情的變 化。在背景不變的條件下，將表情序列中自第二幀起的每一幀和第一幀表情幀進(jìn)行差分運(yùn) 算，就能得到新的序列，其中包含人臉表情豐富的關(guān)鍵特征。該方法保留了主要表情信息的 同時(shí)，消除了光照、膚色等其他因素的影響，接近應(yīng)用實(shí)際，簡(jiǎn)單直觀，運(yùn)算量少，便于實(shí)現(xiàn) 實(shí)時(shí)處理。該方法的缺點(diǎn)是需要表情圖像之間是嚴(yán)格對(duì)齊的，否則就無法真實(shí)反映表情的 變化。


【發(fā)明內(nèi)容】

[0008] 本發(fā)明為避免上述現(xiàn)有技術(shù)存在的不足之處，提供一種基于動(dòng)態(tài)人臉表情序列和 K階情感強(qiáng)度模型的特征表示方法，能有效降低特征維數(shù)和計(jì)算復(fù)雜度，提高特征提取的實(shí) 時(shí)性。
[0009] 本發(fā)明為解決技術(shù)問題采取如下技術(shù)方案：
[0010] 本發(fā)明一種基于動(dòng)態(tài)人臉表情序列和K階情感強(qiáng)度模型的特征表示方法的特點(diǎn) 是按如下步驟進(jìn)行：
[0011] 步驟a、隨機(jī)選取T個(gè)對(duì)象的動(dòng)態(tài)人臉表情序列集合S = {Si，S2，…，St，···，&}， 1 < t < T ;St表不第t個(gè)對(duì)象的動(dòng)態(tài)人臉表情序列；令所述動(dòng)態(tài)人臉表情序列集合S中所 有對(duì)象的動(dòng)態(tài)人臉表情序列所包含的總幀數(shù)Q = &+%+?+隊(duì)+…+NT ;Nt表示第t個(gè)對(duì)象的 動(dòng)態(tài)人臉表情序列所包含的巾貞數(shù)；
[0012] 步驟b、將所述動(dòng)態(tài)人臉表情序列集合S中的每個(gè)對(duì)象的每一幀人臉表情 圖像作為訓(xùn)練樣本，對(duì)所述訓(xùn)練樣本進(jìn)行Haar特征提取，獲得訓(xùn)練樣本的Haar特征 {A i;z}，l<i<Q，l<z<m;i表不所述動(dòng)態(tài)人臉表情序列集合S中的每個(gè)對(duì)象的每一中貞 人臉表情圖像的索引，z表不動(dòng)態(tài)人臉表情序列集合S中的每個(gè)對(duì)象的每一巾貞人臉表情圖 像所含Haar特征的索引，m表示動(dòng)態(tài)人臉表情序列集合S中的每個(gè)對(duì)象的每一幀人臉表情 圖像所含Haar特征的總數(shù)；
[0013] 步驟c、對(duì)所述訓(xùn)練樣本的Haar特征進(jìn)行PCA降維，獲得降維后的動(dòng)態(tài)特征 {氏，」}，1 < j < M ;j表不動(dòng)態(tài)人臉表情序列集合S中的每個(gè)對(duì)象的每一巾貞人臉表情圖像所 含降維后的動(dòng)態(tài)特征的索引，Μ為動(dòng)態(tài)人臉表情序列集合S中的每個(gè)對(duì)象的每一幀人臉表 情圖像所含降維后的動(dòng)態(tài)特征的總數(shù)；
[0014] 步驟d、對(duì)所述降維后的動(dòng)態(tài)特征{Hij利用K-Means聚類生成Κ階情感強(qiáng)度模型 K-EIM ；
[0015] 步驟e、假設(shè)待提取特征的動(dòng)態(tài)人臉表情序列Stmgrt共有F幀；對(duì)所述待提取特征 的動(dòng)態(tài)人臉表情序列S tmgrt分別進(jìn)行Haar特征提取和PCA降維后獲得目標(biāo)動(dòng)態(tài)特征{hfa}， 1 < f < F，1 < 1 < M ;f表示所述動(dòng)態(tài)人臉表情序列Stogrt中每一幀人臉表情圖像的索引， 1表不所述動(dòng)態(tài)人臉表情序列S tmget中每一巾貞人臉表情圖像的目標(biāo)動(dòng)態(tài)特征的索引，Μ表不 所述動(dòng)態(tài)人臉表情序列Stmge;t中每一巾貞人臉表情圖像所含目標(biāo)動(dòng)態(tài)特征的總數(shù)；
[0016] 步驟f、將目標(biāo)動(dòng)態(tài)特征{hu}中的每個(gè)特征元素依次輸入到所述K階情感強(qiáng)度模 型K-EIM中，獲得輸出矩陣

【權(quán)利要求】
1. 一種基于動(dòng)態(tài)人臉表情序列和K階情感強(qiáng)度模型的特征表示方法，其特征是按如下 步驟進(jìn)行： 步驟a、隨機(jī)選取Τ個(gè)對(duì)象的動(dòng)態(tài)人臉表情序列集合S = {Si，S2，…，St，···，&}， 1 < t < T ;St表不第t個(gè)對(duì)象的動(dòng)態(tài)人臉表情序列；令所述動(dòng)態(tài)人臉表情序列集合S中所 有對(duì)象的動(dòng)態(tài)人臉表情序列所包含的總幀數(shù)Q = &+%+?+隊(duì)+…+NT ;Nt表示第t個(gè)對(duì)象的 動(dòng)態(tài)人臉表情序列所包含的巾貞數(shù)； 步驟b、將所述動(dòng)態(tài)人臉表情序列集合S中的每個(gè)對(duì)象的每一幀人臉表情圖 像作為訓(xùn)練樣本，對(duì)所述訓(xùn)練樣本進(jìn)行Haar特征提取，獲得訓(xùn)練樣本的Haar特征 {Ai;z}，l<i<Q，l<z<m;i表不所述動(dòng)態(tài)人臉表情序列集合S中的每個(gè)對(duì)象的每一中貞 人臉表情圖像的索引，z表不動(dòng)態(tài)人臉表情序列集合S中的每個(gè)對(duì)象的每一巾貞人臉表情圖 像所含Haar特征的索引，m表示動(dòng)態(tài)人臉表情序列集合S中的每個(gè)對(duì)象的每一幀人臉表情 圖像所含Haar特征的總數(shù)； 步驟c、對(duì)所述訓(xùn)練樣本的Haar特征進(jìn)行PCA降維，獲得降維后的動(dòng)態(tài)特征 {氏，」}，1 < j < M ;j表不動(dòng)態(tài)人臉表情序列集合S中的每個(gè)對(duì)象的每一巾貞人臉表情圖像所 含降維后的動(dòng)態(tài)特征的索引，Μ為動(dòng)態(tài)人臉表情序列集合S中的每個(gè)對(duì)象的每一幀人臉表 情圖像所含降維后的動(dòng)態(tài)特征的總數(shù)； 步驟d、對(duì)所述降維后的動(dòng)態(tài)特征餌j利用K-Means聚類生成Κ階情感強(qiáng)度模型 K-EIM ； 步驟e、假設(shè)待提取特征的動(dòng)態(tài)人臉表情序列Stawt共有F幀；對(duì)所述待提取特征的 動(dòng)態(tài)人臉表情序列Stawt分別進(jìn)行Haar特征提取和PCA降維后獲得目標(biāo)動(dòng)態(tài)特征{hfa}， 1 < f < F，1 < 1 < M ;f表示所述動(dòng)態(tài)人臉表情序列Stogrt中每一幀人臉表情圖像的索引， 1表不所述動(dòng)態(tài)人臉表情序列S tmget中每一巾貞人臉表情圖像的目標(biāo)動(dòng)態(tài)特征的索引，Μ表不 所述動(dòng)態(tài)人臉表情序列Stmge;t中每一巾貞人臉表情圖像所含目標(biāo)動(dòng)態(tài)特征的總數(shù)； 步驟f、將目標(biāo)動(dòng)態(tài)特征{hu}中的每個(gè)特征元素依次輸入到所述K階情感強(qiáng)度模 型K-EIM中，獲得輸出矩陣
，Gf;1表示目標(biāo)動(dòng)態(tài)特征 {hf;1}中任意個(gè)特征元素輸入到所述K階情感強(qiáng)度模型K-EIM中所獲得的輸出集合，且Gfa
，gf，k表示輸出集合G fa中的任意個(gè)輸出值；K K，K彡2 ; 并有：
(2) 步驟g、對(duì)所述輸出矩陣G進(jìn)行編碼，所獲得的編碼向量即表示為動(dòng)態(tài)人臉表情序列的 特征。
2. 根據(jù)權(quán)利要求1所述的基于動(dòng)態(tài)人臉表情序列和K階情感強(qiáng)度模型的特征表示方 法，其特征是：所述步驟d中利用K-Means聚類生成Κ階情感強(qiáng)度模型是按如下步驟進(jìn)行： 步驟1、對(duì)所述降維后的動(dòng)態(tài)特征{Hij中每一列的動(dòng)態(tài)特征Hy分別作為K-Means聚 類的樣本；獲得Μ個(gè)聚類樣本； 步驟2、初始化參數(shù)Κ的值； 步驟3、將所述Μ個(gè)聚類樣本按照參數(shù)Κ的值分別進(jìn)行K-Means聚類，從而獲得MXΚ個(gè) 類； 步驟4、分別求出所述MXK個(gè)類中的每個(gè)類所含動(dòng)態(tài)特征的均值μ u和方差 步驟5、利用所述均值μ u和方差分別構(gòu)造每個(gè)類的正態(tài)分布
步驟6、由所述每個(gè)類的正態(tài)分布
構(gòu)造如式（1)所示的Κ階情感強(qiáng)度模 型 Κ-ΕΙΜ :
(1)。
3. 根據(jù)權(quán)利要求1所述的基于動(dòng)態(tài)人臉表情序列和Κ階情感強(qiáng)度模型的特征表示方 法，其特征是，所述步驟g是按如下步驟進(jìn)行編碼： 步驟1、比較輸出集合Gf;1 = {gf;1，gf，2，…gf;k，. . .，gf，K}中的K個(gè)輸出值的大小，并將最 大的輸出值設(shè)置為1，其余的輸出值設(shè)置為〇,從而獲得由FXM個(gè)二進(jìn)制特征集合構(gòu)成的二 進(jìn)制矩陣
，Bf;1表示二進(jìn)制矩陣B中任意個(gè)二進(jìn)制特
征集合，并有 表示二進(jìn)制特征集合Btl中的任意二進(jìn) 制值； 步驟2、分別將所述二進(jìn)制矩陣B中每一列的二進(jìn)制特征集合進(jìn)行累加，從而獲得行向 量
，&表示二進(jìn)制矩陣B中第1列的二進(jìn)制特征集合進(jìn)行累加 所獲得的K維集合，并有
，rk表示集合札中第k個(gè)累加值； 步驟3、將所述行向量
中每個(gè)K維集合進(jìn)行十進(jìn)制轉(zhuǎn)換，從 而獲得十進(jìn)制行向量
表示集合&所轉(zhuǎn)換的十進(jìn)制值，并有：
(3) 步驟4 :利用式（4)將所述十進(jìn)制行向量D中的每一個(gè)十進(jìn)制值利用式（4)進(jìn)行歸一 化處理，獲得編碼值A(chǔ) ;
步驟5 :由每個(gè)十進(jìn)制值進(jìn)行歸一化處理所獲得的編碼值構(gòu)成編碼向量
即為待提取特征的動(dòng)態(tài)人臉表情序列Stawt的特征表不。
【文檔編號(hào)】G06K9/62GK104156708SQ201410412734
【公開日】2014年11月19日 申請(qǐng)日期:2014年8月20日 優(yōu)先權(quán)日:2014年8月20日
【發(fā)明者】全昌勤, 任福繼, 錢瑤, 徐曉明 申請(qǐng)人:合肥工業(yè)大學(xué)