專利名稱：一種基于動(dòng)作跟蹤的臉部表情分析方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理與模式識(shí)別技術(shù)領(lǐng)域，特別涉及人臉多特征跟蹤和表情識(shí)別
技術(shù)方法。
背景技術(shù)：
人臉是人類行為中一種豐富而有力的人際交流信息的來源。人臉表情含有豐富的 人體行為信息，對(duì)它的研究可以進(jìn)一步了解人類對(duì)應(yīng)的心理狀態(tài)。人臉表情也在人際交往 和非言語交流中扮演著非常重要的角色。表情能夠填補(bǔ)言語交流的不足，也可以獨(dú)立傳遞 完整的思想。計(jì)算機(jī)和機(jī)器人如果能夠像人類那樣具有理解和表達(dá)情感的能力，并能夠自 主適應(yīng)環(huán)境，這將從根本上改變?nèi)伺c計(jì)算機(jī)之間的關(guān)系，使計(jì)算機(jī)能夠更好的為人類服務(wù)。 要利用人臉表情所提供的信息，研究出魯棒、準(zhǔn)確、快速且智能的自動(dòng)化實(shí)時(shí)人臉表情識(shí)別 方法是非常重要的。 表情是情緒的外在表現(xiàn)之一，而情緒是受到歷史、社會(huì)和個(gè)體等諸多方面影響的
綜合產(chǎn)物，這也使得表情的變化既細(xì)致入微又撲朔迷離。表情分析與識(shí)別與情感識(shí)別是兩
個(gè)不同的概念，表情識(shí)別僅依賴于視覺信息把面部肌肉的運(yùn)動(dòng)及其它面部特征的變形分成
抽象的各個(gè)類別?，F(xiàn)有的一些表情識(shí)別方法普遍存在這樣以下一些問題 目前大部分算法很難排除不同人的面部差異對(duì)于表情識(shí)別的影B向。在人臉識(shí)別研
究中表情是干擾，而在專門研究表情識(shí)別時(shí)也同樣需要排除因人臉的差異而導(dǎo)致的表情變 化。人臉的類別比表情類別要多得多，可以達(dá)到了幾十億，典型的表情類別卻只有幾種到幾 十種，因此在統(tǒng)計(jì)意義上不同人臉造成的表情類別中的類內(nèi)差異會(huì)大于表情變化引起的人 臉類別的類內(nèi)差異，所以表情識(shí)別中人臉差異的干擾更大于人臉識(shí)別中表情的干擾。另外 不同的文化背景及不同的性別等都會(huì)對(duì)表情的表現(xiàn)形式產(chǎn)生影響，對(duì)表情的分析與識(shí)別帶 來困難。 現(xiàn)有的方法一般將前期的定位跟蹤部分與后續(xù)的表情分類孤立開考慮，即在進(jìn)行 了定位歸一化調(diào)整后再重新對(duì)圖像進(jìn)行特征提取進(jìn)而分類識(shí)別。而實(shí)際上在對(duì)人臉進(jìn)行特 征定位過程中也需要對(duì)于臉部特征進(jìn)行建模和處理，定位以后完全地拋棄之前的結(jié)果再重 新進(jìn)行特征抽取導(dǎo)致了整體效率低下，如果結(jié)合多特征的定位與跟蹤提取出有效的特征來 用于表情識(shí)別就可以節(jié)省很多后續(xù)的處理。現(xiàn)有的表情識(shí)別方法都傾向于使用盡量多的特 征和盡量多的信息保證識(shí)別效果，但很多信息不是必須的。多數(shù)識(shí)別方法直接對(duì)圖像提取 臉部的紋理信息，或臉部紋理信息和形狀信息結(jié)合構(gòu)造表情分類特征向量，依據(jù)觀點(diǎn)主要 是信息越多越有利于表達(dá)表情，越能提高表情識(shí)別率。紋理信息中相對(duì)包含了更多的可用 信息，對(duì)紋理信息處理和表示方法也相對(duì)于形狀信息要多，所以現(xiàn)有的表情識(shí)別研究中基 于紋理信息的方法要相對(duì)多一些。但是紋理特征往往復(fù)雜也導(dǎo)致了冗余度高，效率低的問 題?，F(xiàn)有的識(shí)別方法多數(shù)直接映射到確定性的幾種表情，輸出結(jié)果是表情類別的標(biāo)記，而忽 視表情的復(fù)雜性和不確定性，沒有進(jìn)行表情模糊性的描述。情感是復(fù)雜多樣的，識(shí)別表情是 為了情感的識(shí)別，表情模糊性是情感復(fù)雜性的一種反映。通常說的某一種表情是指那種表情的典型面部表達(dá)，在實(shí)際中，相信每個(gè)人都遇到過憤怒帶點(diǎn)悲傷、高興帶點(diǎn)驚訝等等復(fù)雜 表情的例子。所以如果硬性給某張表情圖像定義成一種表情不是很妥當(dāng)，而有必要在識(shí)別 時(shí)給出表情模糊性的描述。 在實(shí)用性方面，現(xiàn)有技術(shù)對(duì)于人臉檢測(cè)定位、人臉跟蹤和表情分析這三者的結(jié)合， 仍然缺少完整有效的解決方案。本發(fā)明針對(duì)這些問題，平衡各方面性能的需求，同時(shí)考慮到 實(shí)際應(yīng)用中對(duì)計(jì)算速度的要求，給出了有效的解決方法。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于動(dòng)作跟蹤的臉部表情分析方法。本系統(tǒng)首先實(shí)時(shí) 地、魯棒地檢測(cè)到人臉和關(guān)鍵點(diǎn)位置，然后對(duì)視頻中人臉的位置、姿態(tài)及表情動(dòng)作進(jìn)行跟 蹤，并將跟蹤得到的特征參數(shù)直接用于表情識(shí)別。由于表情的復(fù)雜性和不確定性，在識(shí)別時(shí) 給出表情模糊性的描述。 為實(shí)現(xiàn)上述目的，本發(fā)明提出一種基于動(dòng)作跟蹤的臉部表情分析方法，該方法包 括步驟 步驟1 :對(duì)輸入視頻圖像進(jìn)行預(yù)處理并對(duì)人臉和臉部關(guān)鍵點(diǎn)的位置進(jìn)行檢測(cè)和定 位，以確定臉部位置，獲得臉部關(guān)鍵點(diǎn)定位信息并進(jìn)行臉部的歸一化； 步驟2 :采用三維參數(shù)化人臉網(wǎng)格模型對(duì)臉部和臉部表情動(dòng)作進(jìn)行建模，利用臉 部位置和關(guān)鍵點(diǎn)的定位信息對(duì)三維模型進(jìn)行初始化，得到三維模型的初始位置、姿態(tài)和形 狀參數(shù)，然后提取魯棒特征結(jié)合在線學(xué)習(xí)方法實(shí)現(xiàn)視頻中的人臉多特征跟蹤，即對(duì)輸入視 頻圖像中臉部的位置、姿態(tài)及表情動(dòng)作多個(gè)特征進(jìn)行實(shí)時(shí)和有效的跟蹤，相當(dāng)于提取了臉 部特征； 步驟3 :將跟蹤得到人臉多特征中的表情參數(shù)特征作為表情分析的特征，并采用
一種改進(jìn)的基于高斯基距離度量的模糊聚類算法進(jìn)行表情分析，給出表情的模糊性描述。
根據(jù)本發(fā)明的實(shí)施例，所述人臉檢測(cè)和人臉關(guān)鍵點(diǎn)定位的步驟包括 步驟11 :從輸入視頻圖像的視頻流中，提取每一幀圖像； 步驟12 :采用像素的均值和方差算法對(duì)每幀圖像進(jìn)行光線矯正預(yù)處理； 步驟13 :對(duì)輸入視頻圖像序列，使用基于AdaBoost的方法對(duì)人臉進(jìn)行檢測(cè)，得到
人臉在圖像中的位置和大??； 步驟14 :在人臉檢測(cè)得到人臉在圖像中位置和大小的基礎(chǔ)上，使用基于主動(dòng)表觀 模型的方法對(duì)人臉關(guān)鍵點(diǎn)進(jìn)行定位。
根據(jù)本發(fā)明的實(shí)施例，所述的人臉多特征跟蹤，即臉部特征提取的步驟如下
步驟21 :通過檢測(cè)和定位的人臉和臉部多個(gè)特征點(diǎn)位置的結(jié)果，對(duì)三維可變形人 臉網(wǎng)格模型的形狀、位置和姿態(tài)進(jìn)行初始化； 步驟22 :根據(jù)三維網(wǎng)格模型的形狀姿態(tài)參數(shù)，采用分段仿射變換，分別計(jì)算出基 于灰度和邊強(qiáng)度的形狀無關(guān)紋理圖像作為觀測(cè)； 步驟23 :對(duì)基于灰度和邊強(qiáng)度的形狀無關(guān)紋理圖像建立基于高斯分布的在線紋 理模型； 步驟24 :對(duì)于輸入視頻圖像序列中的每幀圖像，利用反轉(zhuǎn)合成圖像對(duì)齊算法進(jìn)行 在線紋理模型的迭代運(yùn)算，得到最優(yōu)的姿態(tài)和表情參數(shù)，實(shí)現(xiàn)實(shí)時(shí)跟蹤；
5
步驟25 :根據(jù)每幀圖像的姿態(tài)表情參數(shù)計(jì)算結(jié)果重新計(jì)算基于灰度和邊強(qiáng)度的 形狀無關(guān)紋理圖像，并利用計(jì)算結(jié)果對(duì)在線紋理模型進(jìn)行更新。
根據(jù)本發(fā)明的實(shí)施例，所述表情分析步驟如下 步驟31 :采集不同表情類別情況下的視頻數(shù)據(jù)，通過自動(dòng)檢測(cè)、定位和跟蹤得到
每張圖片中人臉對(duì)應(yīng)的姿態(tài)和表情參數(shù)，組成了存在不同表情的訓(xùn)練樣本集； 步驟32 :選擇一部分人臉圖像數(shù)據(jù)手動(dòng)標(biāo)定其對(duì)應(yīng)的表情類別，將其對(duì)應(yīng)的姿態(tài)
和表情參數(shù)組成標(biāo)定樣本集合； 步驟33 :根據(jù)標(biāo)定樣本集合計(jì)算各表情參數(shù)特征的改進(jìn)方差率； 步驟34 :根據(jù)改進(jìn)方差率，計(jì)算每個(gè)表情參數(shù)特征對(duì)應(yīng)的懲罰因子； 步驟35 :初始化訓(xùn)練樣本集合中各個(gè)樣本的隸屬度和各個(gè)聚類中心； 步驟36 :采用改進(jìn)的基于高斯基距離度量來計(jì)算各個(gè)樣本與聚類中心的距離，更
新各個(gè)樣本的隸屬度和各個(gè)聚類中心直到收斂，得到各個(gè)表情類別最終的聚類中心； 步驟37 :對(duì)于新輸入視頻中的圖像，根據(jù)跟蹤得到人臉多特征中的表情參數(shù)特征
和各個(gè)表情類別的聚類中心，采用改進(jìn)的基于高斯基距離度量來計(jì)算其對(duì)于每個(gè)分類的隸
屬度，給出表情的模糊性描述，完成表情分析。 本發(fā)明的有益效果本發(fā)明可以實(shí)現(xiàn)對(duì)視頻流中的人臉及人臉動(dòng)作的自動(dòng)檢測(cè)定 位、實(shí)時(shí)跟蹤并進(jìn)行自動(dòng)的表情分析。在人臉和表情建立的模型中引入了生理結(jié)構(gòu)約束，避 免了生成一些實(shí)際不可能出現(xiàn)的表情，提高了后期跟蹤識(shí)別的效率。另外根據(jù)人臉表情的 特點(diǎn)可以選擇出合適的表情動(dòng)作參數(shù)用于人臉多特征跟蹤和表情識(shí)別。使用三維可變形人 臉網(wǎng)格進(jìn)行位置、姿態(tài)和動(dòng)作的跟蹤，可以適用于頭部姿態(tài)和表情具有較大幅度變化的情 況，動(dòng)作跟蹤精細(xì)。在人臉多特征跟蹤過程中，采用魯棒特征和在線學(xué)習(xí)的自適應(yīng)方法來進(jìn) 行觀測(cè)建模，保證了跟蹤算法對(duì)于復(fù)雜的光線和表情變化的高度穩(wěn)定性。同時(shí)觀測(cè)模型在 跟蹤前的檢測(cè)和定位階段進(jìn)行初始化且在跟蹤過程中不斷自我更新，因此不需要針對(duì)特定 使用者進(jìn)行提前訓(xùn)練的過程，可以適用于任何使用者。利用反轉(zhuǎn)合成圖像對(duì)齊算法實(shí)現(xiàn)對(duì) 觀測(cè)模型的匹配，有效地提高了跟蹤的速度。在表情分析過程中，使用一種基于高斯基距離 度量的模糊聚類算法用于表情識(shí)別，基于改進(jìn)方差率來設(shè)計(jì)高斯基度量中的懲罰因子，可 以提高聚類算法的性能。將跟蹤與表情分類進(jìn)行了統(tǒng)一考慮，直接將跟蹤得到的表情參數(shù) 作為表情識(shí)別的特征，排除了不同人的面部差異對(duì)于表情識(shí)別的影響。由于表情的復(fù)雜性 和不確定性，本發(fā)明的方法在識(shí)別時(shí)還可以給出表情模糊性的描述。


圖1是本發(fā)明的人臉表情的自動(dòng)分析方法的流程圖； 圖2是本發(fā)明的自動(dòng)表情分析方法采用的坐標(biāo)系統(tǒng)和姿態(tài)參數(shù)定義； 圖3是本發(fā)明的自動(dòng)表情分析方法的跟蹤正確和跟蹤失敗時(shí)對(duì)應(yīng)的形狀無關(guān)紋
理圖像(邊強(qiáng)度和灰度)； 圖4是本發(fā)明的人臉表情自動(dòng)分析方法的對(duì)三維網(wǎng)格模型進(jìn)行初始化后的結(jié)果 及相應(yīng)得到的形狀無關(guān)邊強(qiáng)度和灰度紋理圖像； 圖5是本發(fā)明的表情自動(dòng)分析方法的模糊聚類算法流程圖。
具體實(shí)施例方式
下面將結(jié)合附圖對(duì)本發(fā)明加以詳細(xì)說明，應(yīng)指出的是，所描述的實(shí)施例僅旨在便 于對(duì)本發(fā)明的理解，而對(duì)其不起任何限定作用。 請(qǐng)參見圖l，本發(fā)明提供的一種基于動(dòng)作跟蹤的自動(dòng)表情分析方法，按照以下步驟 實(shí)施 (1)采用自動(dòng)人臉檢測(cè)和定位算法，對(duì)輸入視頻圖像上人臉及人臉關(guān)鍵點(diǎn)位置 進(jìn)行檢測(cè)和定位，確定臉部位置并實(shí)現(xiàn)臉部的歸一化。人臉檢測(cè)方法采用了 Adaboost和 Cascade結(jié)合的人臉分類器，人臉關(guān)鍵點(diǎn)定位采用了AAM(Active Appearance Model)方法。 采用320X240的彩色視頻圖像作為輸入，完成一次人臉檢測(cè)和人臉關(guān)鍵點(diǎn)定位的總時(shí)間 小于100ms 。 (2)使用CANDIDE三維可變形網(wǎng)格模型對(duì)人臉和表情進(jìn)行建模。CANDIDE模型不 但包括了網(wǎng)格、紋理信息，而且提供了形狀參數(shù)和動(dòng)畫參數(shù)，來分別描述不同人之間和同一 人臉的不同表情所造成的差別。其根據(jù)這樣的思路進(jìn)行設(shè)計(jì)，人臉模型的形狀由N個(gè)頂點(diǎn)
鏈接而成，每個(gè)頂點(diǎn)由一個(gè)三維坐標(biāo)來表示。模型可以通過如下描述進(jìn)行變形
g = ^+STs+ATa ^是模型的三維標(biāo)準(zhǔn)網(wǎng)格，、和、分別為形狀和表情系數(shù)，S和A分別是表示模 型的形狀和動(dòng)畫分量，g表示了變形后的網(wǎng)格模型。因此S、描述的是不同人的人臉形狀 差異，而A t a描述的是同一人臉的表情變化。本文中假設(shè)形狀和表情的變化相互獨(dú)立，實(shí)際 應(yīng)用中可以通過線性組合來逼近這兩種變化。動(dòng)畫分量對(duì)應(yīng)著模型中的活動(dòng)單元向量AUV， 而形狀分量對(duì)應(yīng)著模型中的形狀單元SU(Sh即e Units) 。 CANDIDE-3模型中定義了 14個(gè)形 狀單元SU和20個(gè)活動(dòng)單元向量AUV，通過設(shè)置不同的形狀和表情參數(shù)可以實(shí)現(xiàn)對(duì)模型進(jìn)行 控制，從而實(shí)現(xiàn)對(duì)不同人之間的臉部形狀變化和同一人臉上的表情變化的描述。
得到由形狀和表情系數(shù)確定三維網(wǎng)格后，還需要人臉的姿態(tài)參數(shù)進(jìn)行建模。圖2
中顯示了所采用的坐標(biāo)系統(tǒng)和姿態(tài)參數(shù)定義，由3D到2D的映射使用弱透視模型為
g = f R G+S t s+A t a) +t 其中f為相機(jī)焦距，平移向量t = (tx， ty)T， tx和ty分別表示x和y方向的平移，
旋轉(zhuǎn)矩陣R定義如下
R = Ra Re Ry 其中，a 、 |3 、 Y分別代表三個(gè)軸的旋轉(zhuǎn)方向，Ra 、 Re和RY分別表示了系統(tǒng)中三 個(gè)坐標(biāo)的旋轉(zhuǎn)，定義如下
<formula>formula see original document page 7</formula><formula>formula see original document page 8</formula>.可以表示為 、=[a ， p ， Y ， f， tx， ty]T
則我們需要的所有參數(shù)P可以表示為
在本發(fā)明提供的方法中，形狀變化系數(shù)、是在檢測(cè)和定位以后確定的，在跟蹤過
程中不再發(fā)生改變，除非跟蹤失敗，需要重新初始化網(wǎng)格模型；表情變化系數(shù)t a在跟蹤過 程中根據(jù)每一幀圖像上人臉的動(dòng)作進(jìn)行調(diào)整，在檢測(cè)和定位階段，假設(shè)t a中的每個(gè)值都為 O，即人臉為中性表情。人臉的動(dòng)作跟蹤的結(jié)果即由、表達(dá)。另外，檢測(cè)定位和跟蹤階段 都需要確定人臉三維網(wǎng)格模型的位置和姿態(tài)參數(shù)，即對(duì)人臉位置和姿態(tài)跟蹤的結(jié)果。
(3)采用一種基于邊強(qiáng)度和灰度的融合信息的魯棒特征和在線學(xué)習(xí)的自適應(yīng)目標(biāo) 建模方法并結(jié)合反轉(zhuǎn)合成圖像對(duì)齊算法用于人臉的多特征跟蹤，在視頻圖像序列中對(duì)人臉 位置、姿態(tài)和表情動(dòng)作進(jìn)行實(shí)時(shí)跟蹤。 要對(duì)輸入圖像與參考圖像通過灰度或邊強(qiáng)度紋理信息來進(jìn)行比較，需要去除形狀 變化對(duì)紋理的影響。因此我們采用分段仿射變換將紋理從網(wǎng)格g映射到標(biāo)準(zhǔn)網(wǎng)格S中，得 到形狀無關(guān)紋理圖像。如圖3，通過生成形狀無關(guān)紋理圖像可以很好地判斷跟蹤結(jié)果的準(zhǔn)確 性，當(dāng)參數(shù)準(zhǔn)確時(shí)，對(duì)應(yīng)的紋理圖像是一張完好的正面無表情人臉，而跟蹤錯(cuò)誤時(shí)紋理圖像 也隨之發(fā)生了變形。如圖4是第一幀輸入圖像通過檢測(cè)定位對(duì)三維網(wǎng)格模型進(jìn)行初始化后 的結(jié)果及相應(yīng)得到的形狀無關(guān)邊強(qiáng)度和灰度紋理圖像。 在t時(shí)刻的形狀無關(guān)灰度和邊強(qiáng)度紋理圖像都可以看成是該時(shí)刻的觀測(cè)，將兩者 相結(jié)合組成的特征數(shù)組記為At。假定紋理中的像素與像素間相互獨(dú)立，則可建立一個(gè)多元 高斯模型來描述紋理的分布。假設(shè)t時(shí)刻分布的中心為Pt，方差為。/，它們都是以紋理 圖像大小為長度的向量。這樣觀測(cè)At發(fā)生的概率可以表示為 |/9,) = 1^〃"(7.);)",(力",2(力)
戶i 其中P t為t時(shí)刻的跟蹤參數(shù)，d是像素點(diǎn)總數(shù)，函數(shù)N(x ; ii ， o 2)表示均值為y ， 方差為02正態(tài)分布的概率密度函數(shù)
* 卞、 iV(x;;U,cr" = (2兀G"2)—1/2 exp{
2 a 其中x為函數(shù)變量。 為了更好地利用當(dāng)前幀的跟蹤結(jié)果使模型自適應(yīng)，采用如下方式對(duì)模型參數(shù)進(jìn)行 更新以得到t+l時(shí)刻的分布模型的均值和方差
ii t+1 (j) = (1- a t) i！ t (j) + a tAt (j)
(力=(1 - a, )(7,2 (力+ a, (j, C/) — a (y))2 其中更新速度系數(shù)a t = 1/t，且將其限制在0. 01與0. 1之間。要求得最優(yōu)的形 狀和表情參數(shù)，需所得形狀無關(guān)紋理圖像與觀測(cè)模型的距離最小化，即滿足
8
mine, = min Z)/_y ; p), 〃, ) = min y (一 )2 其中，et表示觀測(cè)模型計(jì)算誤差，W(It ; P )表示對(duì)于輸入圖像It，對(duì)應(yīng)參數(shù)P生 成的形狀無關(guān)紋理圖像，Dis()表示兩者間的距離函數(shù)，d是像素點(diǎn)總數(shù)。
建立在線紋理模型后，采用反轉(zhuǎn)圖像合成算法來實(shí)現(xiàn)對(duì)在線紋理模型的匹配，以 提高模型匹配的效率。反轉(zhuǎn)合成圖像對(duì)齊算法是一種快速的梯度下降算法，其提出就是為 了優(yōu)化梯度下降法中需要每次迭代中都要重新計(jì)算Hessian矩陣的問題。在圖像對(duì)齊問題 中需要最小化的目標(biāo)函數(shù)為 其中T(x)是需要對(duì)齊的目標(biāo)模板，p是迭代參數(shù)，I(W(x ;p))說明利用迭代參數(shù) 對(duì)圖像的變形操作。 一般會(huì)通過迭代參數(shù)的變化量來對(duì)其進(jìn)行優(yōu)化，反轉(zhuǎn)合成圖像對(duì)齊算 法改變了迭代量的優(yōu)化位置
》/(『"P))-7X『(x;^))12 優(yōu)化的過程就變成需要在目標(biāo)模板上求取一個(gè)變化量Ap，使得模板與當(dāng)前形狀 對(duì)齊。通過一階泰勒進(jìn)行近似就得到 Sir")+▽『t—，o;卩 這樣可以得到變化量 a" = Z /r1 [v:r f]r [ j(pt(x; p)) - r(x)] 其中Hessian矩陣H為//=s[wf^wf: 這里定義最快下降圖像SD :
5D = V《 其描述了誤差下降最快的路徑，所以稱之為最快下降圖像，這樣就有
H = SDTSD 其中的雅克比T是在(x，O)處進(jìn)行計(jì)算的，因此Hessian矩陣和最快下降圖像可 以提前計(jì)算出來。迭代參數(shù)的更新上就需要對(duì)變形操作進(jìn)行"合成"運(yùn)算 W(X ;p) — W(W—、X ;p) ;p) p = arg(W(x ;p)} 反轉(zhuǎn)合成圖像對(duì)齊算法主要分成兩塊，提前計(jì)算部分和迭代部分。如果不考慮動(dòng)
態(tài)更新模版，算法包括如下幾個(gè)步驟 1.提前計(jì)算部分 (1)計(jì)算模板的梯度圖像；[oo89](2)計(jì)算(x，o)處的雅克比T; (3)計(jì)算最快下降圖像SD ;
(4)計(jì)算Hessian矩陣
2.迭代至收斂 (1)根據(jù)當(dāng)前系數(shù)，對(duì)輸入圖像進(jìn)行變形操作，得到形狀無關(guān)紋理圖像，表示為 I(W(x ;p)); (2)計(jì)算誤差圖像I(W(x ;p))-T(x)，如果誤差不再減少則退出循環(huán)；
(3)通過以上結(jié)果計(jì)算系數(shù)的變化量Ap ;
(4)更新變形操作W (x ;p) — W (W-1 (x ; A p) ;p) 將在線紋理模型中的觀測(cè)模型的均值P t作為反轉(zhuǎn)圖像合成算法中的目標(biāo)模板， 模型匹配過程為如下步驟
1.初始化 (1)通過檢測(cè)定位確定形狀參數(shù)t s，設(shè)置表情參數(shù)t a和姿態(tài)參數(shù)為零，并計(jì)算形 狀無關(guān)紋理圖像，初始化在線紋理模型。
(2)計(jì)算(x，O)處的雅克比;
2.在t時(shí)刻進(jìn)行如下迭代 (1)設(shè)置模板為t并計(jì)算模板的梯度圖像T(x); (2)計(jì)算最快下降圖像SD和Hessian矩陣； (3)迭代姿態(tài)和表情參數(shù)至收斂(迭代次數(shù)不超過某固定值) (a)根據(jù)當(dāng)前系數(shù)和輸入圖像計(jì)算形狀無關(guān)紋理圖像W(x ; P )并計(jì)算紋理特征At (b)根據(jù)觀測(cè)模型計(jì)算誤差et與上次誤差做比較，如果誤差不再減少則退出循 環(huán)； (c)計(jì)算系數(shù)的變化量A p ; (d)更新變形操作W(x ; P ) — W(W—1 (X ; A p ) ; p ) (e)求得新的參數(shù)P '后，以小步更新姿態(tài)和表情參數(shù)p— p+A(p' -p)，其 中參數(shù)A << 1。 3.跟蹤結(jié)果更新在線紋理模型，即計(jì)算新的均值P和方差o2。
(4)將跟蹤得到的表情參數(shù)作為表情分析的特征，并采用一種改進(jìn)的基于高斯基
距離度量的模糊聚類算法進(jìn)行表情分析，給出表情的模糊性描述。 給定集合義H^,Z2，…，A lci "，Rn表示實(shí)數(shù)n維向量空間，對(duì)于VA:, 1《k《N，N是樣本個(gè)數(shù)，Xk二 (xkl，xk2，…，Xkn)T G r，其中，Xkj(j = 1，2，…，n)是樣本 Xk(k= 1，2，…，N)的第j個(gè)特征值，n是特征個(gè)數(shù)。則所述X的一個(gè)模糊C-劃分Fe是指<formula>formula see original document page 10</formula>
:0115] 其中，U",表示劃分Fc中的元素，M。，是cXN階矩陣的集合，Pik表示樣本Xk屬于第i類的隸屬度。2!j^ 二l,i是指每一個(gè)元素屬于c個(gè)模糊子集的隸屬度總和為1。
0<￡;^ <W是指每一子集非空，但又不能是全集X。為了討論問題方便，也可以將要求
"i Vz
放寬，允許有空集和全集，這樣的劃分空間稱為退化的模糊c劃分空間。在聚類分析中，對(duì)給定的數(shù)據(jù)集，如果能找出在一定條件下的最佳劃分矩陣u，則對(duì)應(yīng)的分類就是在該條件下
的最佳分類。 i己V
.，N)和
(V"V2，， Vc) (Vi G Rn， i = 1，2，， c)為聚類中心向量，Bezdek的模糊聚類算法的關(guān)鍵是在對(duì)于給定的c，選擇隸屬度iiik(i = 1，2，…，c;k二 1，2，Vji = 1，2，…，c)使得誤差函數(shù)最小化min Jm(U， V， c)表示為:
這里，《=||^-F
"1產(chǎn)l
2
:00 R &
"1
/ = 1,2,…,c
產(chǎn)i
《,
/，一i 可以證明當(dāng)h〉 l，可用以上兩個(gè)式子作為更新公式求取類中心和隸屬度的軟分
類矩陣且進(jìn)行迭代運(yùn)算，該運(yùn)算是收斂的。由此得到模糊聚類算法步驟為 1.預(yù)先給定聚類數(shù)C，隨機(jī)生成軟分類矩陣t/f =[ ]0^』是樣本的個(gè)數(shù)； 2.根據(jù)Uj計(jì)算類中心Vi，其中Xj為原始樣本的數(shù)據(jù)，用向量來表達(dá)；3.由Vi計(jì)算新的軟分類矩陣C/' ; 4.對(duì)于預(yù)先給定盡量小的數(shù)e (如i0—2，io— ....)，如果m"[i〃;;- 1]<" 5.則Pi/及相應(yīng)得到的Vi1卩是所求結(jié)果，否則再返回到步驟2。其中e越小，結(jié)果越精確。 改進(jìn)方差率(augmented variance ratio, AVR)是一種非常有效的特征子集選擇方法，其定義為
j , =-_ i亡 Kflr,(尸)
mm;.
|mean, (F) - meanj ("| 其中，c是類別總數(shù)，Var(F)是特征F在整體分布上的方差，也就是類間方差，Vari(F)是特征F屬于第i類的方差，也就是第i類的類內(nèi)方差，meani(F)是特征F屬于第i類的平均值.即使特征屬于某一類的平均值與其屬于另一類的平均值比較接近，也就是說這兩類幾乎重疊在一起，懲罰因子min^jlmeani(F)-meanj(F) |仍然可以保證區(qū)分開這兩類。單個(gè)特征的AVR值越大，則該特征的區(qū)分度也就越大。樣本Xi與Xj之間基于AVR的高斯基距離定義如下
11
l-exp(-— 單個(gè)特征的AVR值越大，則該特征的區(qū)分度也就越好，此時(shí)，其相應(yīng)在高斯基距離度量中懲罰的力度應(yīng)該越小；反之，如果特征的AVR值越差，其區(qū)分力度也越小，其在高斯基距離度量中懲罰的力度應(yīng)該越強(qiáng)。由此，我們將與第i個(gè)特征Fi相應(yīng)的懲罰系數(shù)定義如下 <formula>formula see original document page 12</formula>
A'=7^ 其中n是特征個(gè)數(shù)。 由以上這種基于AVR改進(jìn)的高斯基距離度量方式，我們將對(duì)模糊聚類中的目標(biāo)函數(shù)進(jìn)行重新定義
mi"扁—扁=玄J>jk)"{l — exp(—|^,|xfa
求解最小化全局代價(jià)函數(shù)得到類中心和隸屬度更新公式如下
2(",y'exp(-ZAl卜w-、
X[l/(l-exp(-t/ ,U)] 則我們可以得到基于改進(jìn)方差率的高斯距離度量的模糊聚類過程。如圖5示出本
發(fā)明的表情自動(dòng)分析方法的模糊聚類算法流程圖，具體的表情分析步驟如下 1.采集不同表情類別情況下的視頻數(shù)據(jù)，通過自動(dòng)檢測(cè)、定位和跟蹤得到每張圖
片中人臉對(duì)應(yīng)的姿態(tài)和表情參數(shù)，組成了存在不同表情的訓(xùn)練樣本集。選擇一部分人臉圖
像數(shù)據(jù)手動(dòng)標(biāo)定其對(duì)應(yīng)的表情類別，將其對(duì)應(yīng)的姿態(tài)和表情參數(shù)組成標(biāo)定樣本集合。
2.預(yù)先給定聚類數(shù)，根據(jù)標(biāo)定樣本集合計(jì)算各表情參數(shù)特征的改進(jìn)方差率； 3.根據(jù)改進(jìn)方差率，計(jì)算每個(gè)表情參數(shù)特征對(duì)應(yīng)的懲罰因子； 4.初始化訓(xùn)練樣本集合中各個(gè)樣本的隸屬度和各個(gè)聚類中心； 5.采用改進(jìn)的基于高斯基距離度量來計(jì)算各個(gè)樣本與聚類中心的距離，更新各個(gè)
樣本的隸屬度和各個(gè)聚類中心直到收斂，得到各個(gè)表情類別最終的聚類中心； 6.對(duì)于新輸入視頻中的圖像，根據(jù)跟蹤得到人臉多特征中的表情參數(shù)特征和各個(gè)
表情類別的聚類中心，采用改進(jìn)的基于高斯基距離度量來計(jì)算其對(duì)于每個(gè)分類的隸屬度，
給出表情的模糊性描述，完成表情分析。 以上所述，僅為本發(fā)明中的具體實(shí)施方式
，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi)，可理解想到的變換或替換，都應(yīng)涵蓋在本發(fā)明的包含范圍之內(nèi)，因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求書的保護(hù)范圍為準(zhǔn)。
權(quán)利要求
一種基于動(dòng)作跟蹤的臉部表情分析方法，其特征在于該方法包括步驟步驟1對(duì)輸入視頻圖像進(jìn)行預(yù)處理并對(duì)人臉和臉部關(guān)鍵點(diǎn)的位置進(jìn)行檢測(cè)和定位，以確定臉部位置，獲得臉部關(guān)鍵點(diǎn)定位信息并進(jìn)行臉部的歸一化；步驟2采用三維參數(shù)化人臉網(wǎng)格模型對(duì)臉部和臉部表情動(dòng)作進(jìn)行建模，利用臉部位置和關(guān)鍵點(diǎn)的定位信息對(duì)三維模型進(jìn)行初始化，得到三維模型的初始位置、姿態(tài)和形狀參數(shù)，然后提取魯棒特征結(jié)合在線學(xué)習(xí)方法實(shí)現(xiàn)視頻中的人臉多特征跟蹤，即對(duì)輸入視頻圖像中臉部的位置、姿態(tài)及表情動(dòng)作多個(gè)特征進(jìn)行實(shí)時(shí)和有效的跟蹤，相當(dāng)于提取了臉部特征；步驟3將跟蹤得到人臉多特征中的表情參數(shù)特征作為表情分析的特征，并采用一種改進(jìn)的基于高斯基距離度量的模糊聚類算法進(jìn)行表情分析，給出表情的模糊性描述。
2. 根據(jù)權(quán)利要求1所述的基于動(dòng)作跟蹤的臉部表情分析方法，其特征在于，所述人臉 檢測(cè)和人臉關(guān)鍵點(diǎn)定位的步驟包括步驟11 :從輸入視頻圖像的視頻流中，提取每一幀圖像；步驟12 :采用像素的均值和方差算法對(duì)每幀圖像進(jìn)行光線矯正預(yù)處理；步驟13 :對(duì)輸入視頻圖像序列，使用基于AdaBoost的方法對(duì)人臉進(jìn)行檢測(cè)，得到人臉在圖像中的位置和大??；步驟14 :在人臉檢測(cè)得到人臉在圖像中位置和大小的基礎(chǔ)上，使用基于主動(dòng)表觀模型的方法對(duì)人臉關(guān)鍵點(diǎn)進(jìn)行定位。
3. 根據(jù)權(quán)利要求1所述的基于動(dòng)作跟蹤的臉部表情分析方法，其特征在于，所述的人 臉多特征跟蹤，即臉部特征提取的步驟如下步驟21 :通過檢測(cè)和定位的人臉和臉部多個(gè)特征點(diǎn)位置的結(jié)果，對(duì)三維可變形人臉網(wǎng) 格模型的形狀、位置和姿態(tài)進(jìn)行初始化；步驟22 :根據(jù)三維網(wǎng)格模型的形狀姿態(tài)參數(shù)，采用分段仿射變換，分別計(jì)算出基于灰 度和邊強(qiáng)度的形狀無關(guān)紋理圖像作為觀測(cè)；步驟23 :對(duì)基于灰度和邊強(qiáng)度的形狀無關(guān)紋理圖像建立基于高斯分布的在線紋理模型；步驟24 :對(duì)于輸入視頻圖像序列中的每幀圖像，利用反轉(zhuǎn)合成圖像對(duì)齊算法進(jìn)行在線 紋理模型的迭代運(yùn)算，得到最優(yōu)的姿態(tài)和表情參數(shù)，實(shí)現(xiàn)實(shí)時(shí)跟蹤；步驟25 :根據(jù)每幀圖像的姿態(tài)表情參數(shù)計(jì)算結(jié)果重新計(jì)算基于灰度和邊強(qiáng)度的形狀 無關(guān)紋理圖像，并利用計(jì)算結(jié)果對(duì)在線紋理模型進(jìn)行更新。
4. 根據(jù)權(quán)利要求1所述的基于動(dòng)作跟蹤的臉部表情分析方法，其特征在于，所述表情 分析步驟如下步驟31 :采集不同表情類別情況下的視頻數(shù)據(jù)，通過自動(dòng)檢測(cè)、定位和跟蹤得到每張 圖片中人臉對(duì)應(yīng)的姿態(tài)和表情參數(shù)，組成了存在不同表情的訓(xùn)練樣本集；步驟32 :選擇一部分人臉圖像數(shù)據(jù)手動(dòng)標(biāo)定其對(duì)應(yīng)的表情類別，將其對(duì)應(yīng)的姿態(tài)和表 情參數(shù)組成標(biāo)定樣本集合；步驟33 :根據(jù)標(biāo)定樣本集合計(jì)算各表情參數(shù)特征的改進(jìn)方差率； 步驟34 :根據(jù)改進(jìn)方差率，計(jì)算每個(gè)表情參數(shù)特征對(duì)應(yīng)的懲罰因子； 步驟35 :初始化訓(xùn)練樣本集合中各個(gè)樣本的隸屬度和各個(gè)聚類中心；步驟36 :采用改進(jìn)的基于高斯基距離度量來計(jì)算各個(gè)樣本與聚類中心的距離，更新各 個(gè)樣本的隸屬度和各個(gè)聚類中心直到收斂，得到各個(gè)表情類別最終的聚類中心；步驟37 :對(duì)于新輸入視頻中的圖像，根據(jù)跟蹤得到人臉多特征中的表情參數(shù)特征和各 個(gè)表情類別的聚類中心，采用改進(jìn)的基于高斯基距離度量來計(jì)算其對(duì)于每個(gè)分類的隸屬 度，給出表情的模糊性描述，完成表情分析。
全文摘要
本發(fā)明一種基于動(dòng)作跟蹤的臉部表情分析方法，特別涉及人臉多特征跟蹤和表情識(shí)別技術(shù)方法，包括步驟對(duì)輸入視頻圖像進(jìn)行預(yù)處理并進(jìn)行人臉檢測(cè)和人臉關(guān)鍵點(diǎn)定位，以確定人臉位置并進(jìn)行歸一化；采用三維參數(shù)化人臉網(wǎng)格模型對(duì)人臉和表情動(dòng)作進(jìn)行建模，提取魯棒特征并結(jié)合在線學(xué)習(xí)方法對(duì)輸入視頻圖像中人臉的位置、姿態(tài)及表情動(dòng)作進(jìn)行跟蹤，實(shí)現(xiàn)快速和有效的人臉多特征跟蹤；將跟蹤得到的表情參數(shù)作為表情分析的特征，并采用一種改進(jìn)的基于高斯基距離度量的模糊聚類算法進(jìn)行表情分析，給出表情的模糊性描述。
文檔編號(hào)G06T7/00GK101777116SQ20091024373
公開日2010年7月14日 申請(qǐng)日期2009年12月23日 優(yōu)先權(quán)日2009年12月23日
發(fā)明者馮雪濤, 周明才, 周曉旭, 汪曉妍, 王陽生 申請(qǐng)人:中國科學(xué)院自動(dòng)化研究所