人臉視頻壓縮方法
【專(zhuān)利摘要】一種人臉視頻壓縮方法，屬于多媒體通信時(shí)人臉視頻數(shù)據(jù)壓縮【技術(shù)領(lǐng)域】，其特征在于，在發(fā)送端利用人臉模型進(jìn)行視頻中人臉的定位和參數(shù)化表征，得到由光照參數(shù)向量、姿態(tài)參數(shù)向量和形狀和外觀聯(lián)合參數(shù)向量表示的人臉模型參數(shù)向量，并進(jìn)行基于給定欲保留參數(shù)的幀樣本個(gè)數(shù)時(shí)的全局最小參數(shù)誤差和模型參數(shù)總比特小于給定上限的約束，把最優(yōu)自適應(yīng)幀間壓縮后的人臉模型參數(shù)向量發(fā)送給接收端再利用獨(dú)立分片線性插值方法進(jìn)行人臉模型參數(shù)向量的恢復(fù)，經(jīng)過(guò)人臉形狀計(jì)算和經(jīng)過(guò)恢復(fù)的人臉外觀，得到原圖像，在大大提高人臉視頻壓縮比的同時(shí)保證了最優(yōu)重建質(zhì)量，在時(shí)域上最大限度除去人臉視頻中的冗余，從而提高了通信資源利用率。
【專(zhuān)利說(shuō)明】人臉視頻壓縮方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明提供了一種人臉視頻壓縮方法，屬于多媒體通信【技術(shù)領(lǐng)域】。特別設(shè)計(jì)一種針對(duì)人臉視頻數(shù)據(jù)的壓縮算法，對(duì)數(shù)據(jù)進(jìn)行均勻量化和自適應(yīng)線性插值，主要用于降低視頻的數(shù)據(jù)傳輸量，可以在極低碼率的條件下得到很好的效果，在節(jié)約通信資源的同時(shí)提供高質(zhì)量的視頻通話、視頻會(huì)議等視頻通信服務(wù)。
【背景技術(shù)】
[0002]數(shù)字多媒體通信是當(dāng)前通信技術(shù)眾多領(lǐng)域中最具挑戰(zhàn)性、發(fā)展最快、研究最活躍的領(lǐng)域之一。自從二十世紀(jì)九十年代以來(lái)，從數(shù)字電視廣播到無(wú)線多媒體通信等技術(shù)已在世界各國(guó)陸續(xù)得到普遍應(yīng)用?；ヂ?lián)網(wǎng)的普及使得多媒體通信擺脫了電視的局限:Skype、Google Talk等視頻聊天軟件的出現(xiàn)讓人們可以通過(guò)電腦進(jìn)行視頻通話、遠(yuǎn)程會(huì)議等多媒體通信。而今，隨著智能手機(jī)的快速發(fā)展，移動(dòng)終端上例如Facetime和Tango等的應(yīng)用使多媒體通信在移動(dòng)網(wǎng)絡(luò)上普及，用戶越來(lái)越多地期望得到方便、快捷、無(wú)所不在的多媒體通信服務(wù)。
[0003]另一方面，多樣的多媒體通信服務(wù)帶來(lái)了多媒體數(shù)據(jù)的急劇增長(zhǎng)。Cisco在其Visual Network Index(VNI)白皮書(shū)中進(jìn)行了對(duì)于近年來(lái)采集的移動(dòng)數(shù)據(jù)業(yè)務(wù)相關(guān)統(tǒng)計(jì)數(shù)據(jù)的總結(jié)與分析，以及對(duì)于未來(lái)幾年的移動(dòng)數(shù)據(jù)業(yè)務(wù)發(fā)展的預(yù)測(cè)。其中指出，2011年全球移動(dòng)數(shù)據(jù)使用量達(dá)到每月0.6艾字節(jié)，是2010年的2.3倍，并且其中移動(dòng)視頻數(shù)據(jù)量首次突破了 50%。這充分表示了當(dāng)前多媒體，特別是視頻數(shù)據(jù)對(duì)于帶寬的巨大需求。白皮書(shū)還提出在2016年，移動(dòng)數(shù)據(jù) 量將達(dá)到10.8艾字節(jié)/月，其中70%以上將為移動(dòng)視頻數(shù)據(jù)；這對(duì)于現(xiàn)有的移動(dòng)網(wǎng)絡(luò)提出了嚴(yán)峻挑戰(zhàn)。
[0004]同時(shí)，在如今眾多視頻通信業(yè)務(wù)中，視頻通話占據(jù)愈發(fā)重要的位置。2010年P(guān)EW進(jìn)行的統(tǒng)計(jì)研究表明，19%的美國(guó)用戶曾經(jīng)在線使用手機(jī)嘗試過(guò)視頻通話、聊天、會(huì)議等多媒體服務(wù)，而40%的Skype通話都是視頻通話。2012年12月10日的紐約時(shí)報(bào)刊登的“Mobile
Video Creating a New Frontier”文章指出，“科技行業(yè)的下一個(gè)戰(zhàn)場(chǎng)將是你的臉--讓親
朋好友隨時(shí)隨地看見(jiàn)你的臉?！北M管如此，移動(dòng)視頻通話目前尚未得到廣泛應(yīng)用，而視頻編碼碼率較高是一個(gè)重要原因；其直接后果包括由無(wú)線信道的時(shí)變特性造成的通話質(zhì)量難以保證，以及由于較高數(shù)據(jù)流量造成的更高通信成本。隨著視頻通話在移動(dòng)視頻業(yè)務(wù)中的地位日益提升，針對(duì)視頻通話特定場(chǎng)景設(shè)計(jì)的低碼率高效視頻編碼方法將能夠有效降低移動(dòng)視頻業(yè)務(wù)的整體帶寬需求，促進(jìn)移動(dòng)視頻應(yīng)用和服務(wù)的進(jìn)一步推廣和發(fā)展。
[0005]傳統(tǒng)視頻編碼方法一般是結(jié)合了可減少時(shí)間冗余的幀間預(yù)測(cè)和可減少空間冗余的DCT或小波變換的混合編碼方法，將視頻數(shù)據(jù)視為具有某些統(tǒng)計(jì)特征的隨機(jī)信號(hào)進(jìn)行編碼，而對(duì)視頻的具體內(nèi)容不予考慮。然而，人臉視頻(如視頻通話、會(huì)議等)具有相當(dāng)明顯的特征，且人們對(duì)于其主體(即人臉)有著非常豐富的先驗(yàn)知識(shí)。傳統(tǒng)視頻編碼方法將所有信息一視同仁地編碼傳輸，其中很多關(guān)于人臉的共性冗余信息被視為新信息重復(fù)傳遞，浪費(fèi)了大量網(wǎng)絡(luò)帶寬資源。為了提高人臉視頻的壓縮效率，有研究人員針對(duì)人臉視頻的特征，提出了一系列基于模型的視頻編碼方法。這類(lèi)方法通過(guò)對(duì)人臉建模，實(shí)現(xiàn)對(duì)視頻中人臉的參數(shù)化表征，使得在傳輸視頻時(shí)只需要傳輸模型的一些參數(shù)就可以在接收端利用人臉模型重建出目標(biāo)。與一般通用視頻編碼方法相比，這一成果通過(guò)利用模型的先驗(yàn)信息降低了視頻傳輸數(shù)據(jù)量，節(jié)省了帶寬資源。然而，使用這種壓縮方法壓縮得出的模型參數(shù)向量在時(shí)域變化緩慢，視頻中前后幀的人臉模型參數(shù)仍然具有很大的冗余度和壓縮空間。

【發(fā)明內(nèi)容】

[0006]本發(fā)明要解決的技術(shù)問(wèn)題是:如何提供一種人臉視頻壓縮方法，在減少人臉的共性冗余信息重復(fù)傳遞的同時(shí)，減少人臉參數(shù)化表征后所得到的模型參數(shù)向量的時(shí)域冗余度，最大限度提高人臉視頻的壓縮效率，節(jié)省網(wǎng)絡(luò)帶寬。
[0007]本發(fā)明的特征在于，是一種在移動(dòng)視頻通話時(shí)對(duì)前后幀的人臉模型參數(shù)進(jìn)行時(shí)域冗余度壓縮的人臉模型的視頻編碼方法，是在移動(dòng)視頻通話系統(tǒng)的發(fā)射端和接收端中依次按以下步驟實(shí)現(xiàn)的: [0008]步驟(1)，系統(tǒng)初始化，
[0009]使用至少包括云存儲(chǔ)、介質(zhì)存儲(chǔ)、閑時(shí)傳輸在內(nèi)的任何一種方法在發(fā)射端和接收端各建立一個(gè)統(tǒng)一的人臉模型，步驟如下:
[0010]步驟(1.1)，采集D幀人臉圖像，構(gòu)建一個(gè)人臉圖像訓(xùn)練數(shù)據(jù)庫(kù)，包括:人臉訓(xùn)練圖像集和人臉訓(xùn)練數(shù)據(jù)集，前者存儲(chǔ)供訓(xùn)練用的D幀人臉圖像，后者存儲(chǔ)每幀人臉圖像的相關(guān)訓(xùn)練數(shù)據(jù)，所述人臉訓(xùn)練參數(shù)，也稱(chēng)人臉模型參數(shù)，包括:
[0011]人臉形狀向量Si, i為所述D張人臉圖像的序號(hào)，i = {1，2，...，i，...，D}，D為
有限正整數(shù)，還有人臉平均形狀向量民
[0012]姿態(tài)參數(shù)向量(Vi，Θ J，表示人臉在視頻幀中的位置和角度，是用普魯克分析方法Procrustes Analysis對(duì)所述人臉形狀向量Si和平均人臉形狀向量§用平移和旋轉(zhuǎn)變換校正后得到的平移量Vi和旋轉(zhuǎn)角Θ y
[0013]人臉形狀參數(shù)向量bsi，表示至少包括輪廓、五官的位置、大小、形狀和動(dòng)作在內(nèi)的人臉特征，
[0014]人臉外觀向量gi，是以所述人臉平均形狀向量運(yùn)為目標(biāo)，通過(guò)分片仿射拉伸Piecewise Affine Warping方法使所述人臉形狀向量Si所定義的特征點(diǎn)與人臉平均形狀向量忌所定義的同一個(gè)特征點(diǎn)位置相吻合從而得到的一幅由人臉圖像中人臉部分的像素值
所拉成的向量& = ,(18;^§)，人臉平均外觀向量|是對(duì)人臉訓(xùn)練數(shù)據(jù)集中所有人臉外觀向量進(jìn)行平均所得到的，
[0015]光照參數(shù)向量(μ i; σ J，與拍攝時(shí)的光照條件、亮度、對(duì)比度和光照角度有關(guān):
[0016]μ i = mean (g) , σ j = var (g) , ft = (g — μ,)/σ?
[0017]gi是對(duì)所述人臉外觀向量gi做像素強(qiáng)度歸一化后得到的光照歸一化外觀向量，
[0018]μ i是歸一化過(guò)程得到的平均像素強(qiáng)度，mean為平均值，
[0019]σ i是歸一化過(guò)程得到的像素強(qiáng)度標(biāo)準(zhǔn)差，var為標(biāo)準(zhǔn)差，[0020]步驟(1.2)，按以下方法計(jì)算步驟(1.1)中所述的各人臉訓(xùn)練參數(shù):
[0021]所述人臉形狀向量Si,是對(duì)第i幀人臉圖像用RegularizedLandmarkMean-Shift人臉定位算法所得到的Si = {(xn, yn),..., (Xij, Yij),…，(xiF, yiF)},其中:
[0022]j為特征點(diǎn)序號(hào)，j = {1,2,..., j,..., F}, F為特征點(diǎn)數(shù)目，
[0023]所述人臉平均形狀向量運(yùn)為:
[0024]
【權(quán)利要求】
1.一種人臉視頻壓縮方法，其特征在于，是一種在移動(dòng)視頻通話時(shí)對(duì)前后幀的人臉模型參數(shù)進(jìn)行時(shí)域冗余度壓縮的人臉模型的視頻編碼方法，是在移動(dòng)視頻通話系統(tǒng)的發(fā)射端和接收端中依次按以下步驟實(shí)現(xiàn)的: 步驟(1)，系統(tǒng)初始化， 使用至少包括云存儲(chǔ)、介質(zhì)存儲(chǔ)、閑時(shí)傳輸在內(nèi)的任何一種方法在發(fā)射端和接收端各建立一個(gè)統(tǒng)一的人臉模型，步驟如下: 步驟(1.1)，采集D幀人臉圖像，構(gòu)建一個(gè)人臉圖像訓(xùn)練數(shù)據(jù)庫(kù)，包括:人臉訓(xùn)練圖像集和人臉訓(xùn)練數(shù)據(jù)集，前者存儲(chǔ)供訓(xùn)練用的D幀人臉圖像，后者存儲(chǔ)每幀人臉圖像的相關(guān)訓(xùn)練數(shù)據(jù)，所述人臉訓(xùn)練參數(shù)，也稱(chēng)人臉模型參數(shù)，包括: 人臉形狀向量Si, i為所述D張人臉圖像的序號(hào)，i = {1，2，...，i，...，D}，D為有限正整數(shù)，還有人臉平均形狀向量運(yùn)， 姿態(tài)參數(shù)向量(Vi，Qi),表示人臉在視頻幀中的位置和角度，是用普魯克分析方法Procrustes Analysis對(duì)所述人臉形狀向量Si和平均人臉形狀向量€用平移和旋轉(zhuǎn)變換校正后得到的平移量Vi和旋轉(zhuǎn)角Θ y 人臉形狀參數(shù)向量bsi，表示至少包括輪廓、五官的位置、大小、形狀和動(dòng)作在內(nèi)的人臉特征， 人臉外觀向量gi，是以所述人臉平均形狀向量€為目標(biāo)，通過(guò)分片仿射拉伸PiecewiseAffine Warping方法使所述人臉形狀向量Si所定義的特征點(diǎn)與人臉平均形狀向量目所定義的同一個(gè)特征點(diǎn)位置相吻合從而得到的一幅由人臉圖像中人臉部分的像素值所拉成的向量& = W(/i；s,?s),人臉平均外觀向量g是對(duì)人臉訓(xùn)練數(shù)據(jù)集中所有人臉外觀向量進(jìn)行平均所得到的， 光照參數(shù)向量(U1 D，與拍攝時(shí)的光照條件、亮度、對(duì)比度和光照角度有關(guān): μ j = mean (g) ,Oi = var (gj), g,: = (g,: — /σ.；, Si是對(duì)所述人臉外觀向量gi做像素強(qiáng)度歸一化后得到的光照歸一化外觀向量， μ i是歸一化過(guò)程得到的平均像素強(qiáng)度，mean為平均值， σ i是歸一化過(guò)程得到的像素強(qiáng)度標(biāo)準(zhǔn)差，var為標(biāo)準(zhǔn)差， 步驟(1.2)，按以下方法計(jì)算步驟(1.1)中所述的各人臉訓(xùn)練參數(shù): 所述人臉形狀向量Si,是對(duì)第i幀人臉圖像用Regularized Landmark Mean-Shift人臉定位算法所得到的 Si = {(xn, yn),..., (Xij, Yij),..., (xiF, yiF)},其中:j為特征點(diǎn)序號(hào)，j = {1,2,..., j,..., F}, F為特征點(diǎn)數(shù)目， 所述人臉平均形狀向量目為:
【文檔編號(hào)】G06K9/00GK104023216SQ201410231902
【公開(kāi)日】2014年9月3日 申請(qǐng)日期:2014年5月28日 優(yōu)先權(quán)日:2014年5月28日
【發(fā)明者】陶曉明, 李揚(yáng), 陸建華, 葛寧 申請(qǐng)人:清華大學(xué)