融合灰度信息和深度信息的多模態(tài)人臉識別裝置及方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及人臉識別技術(shù)領(lǐng)域，尤其涉一種融合灰度信息和深度信息的多模態(tài)人 臉識別裝置及方法。
【背景技術(shù)】
[0002] 三維人臉識別相對于二維人臉識別，有著其對光照魯棒、受姿態(tài)以及表情等因素 影響較小等優(yōu)點(diǎn)，因此在三維數(shù)據(jù)采集技術(shù)飛速發(fā)展以及三維數(shù)據(jù)的質(zhì)量和精度大大提升 之后，很多學(xué)者都將他們的研宄投入到該領(lǐng)域中。
[0003] CN20101025690提出了三維彎曲不變量的相關(guān)特征用來進(jìn)行人臉特性描述。該方 法通過編碼三維人臉表面相鄰節(jié)點(diǎn)的彎曲不變量的局部特征，提取彎曲不變量相關(guān)特征； 對所述彎曲不變量的相關(guān)特征進(jìn)行簽名并采用譜回歸進(jìn)行降維，獲得主成分，并運(yùn)用K最 近鄰分類方法對三維人臉進(jìn)行識別。但是由于提取變量相關(guān)特征時(shí)需要復(fù)雜的計(jì)算量，因 此在效率上限制了該方法的進(jìn)一步應(yīng)用；
[0004] CN200910197378提出了一種全自動三維人臉檢測和姿勢糾正的方法。該方法通過 對人臉三維曲面進(jìn)行多尺度的矩分析，提出了臉部區(qū)域特征來粗糙地檢測人臉曲面，及提 出鼻尖區(qū)域特征來準(zhǔn)確地定位鼻尖的位置，然后進(jìn)一步精確地分割出完整的人臉曲面，根 據(jù)人臉曲面的距離信息提出鼻根區(qū)域特征來檢測鼻根的位置后，建立了一個(gè)人臉坐標(biāo)系， 并據(jù)此自動地進(jìn)行人臉姿勢的糾正應(yīng)用。該專利目的在于對三維人臉數(shù)據(jù)的姿態(tài)進(jìn)行估 計(jì)，屬于三維人臉識別系統(tǒng)的數(shù)據(jù)預(yù)處理階段。
[0005] 人臉灰度圖像容易受到光照變化的影響，而人臉深度圖像容易受到數(shù)據(jù)采集精度 以及表情變化等影響，這些因素在一定程度上影響了人臉識別系統(tǒng)的穩(wěn)定性及準(zhǔn)確性。
[0006] 因此多模態(tài)融合系統(tǒng)越來越受到人們的關(guān)注。多模態(tài)系統(tǒng)通過進(jìn)行多模態(tài)數(shù)據(jù)的 采集，可以利用每個(gè)模態(tài)數(shù)據(jù)的優(yōu)點(diǎn)，并通過融合策略來克服單模態(tài)系統(tǒng)的某些內(nèi)在弱點(diǎn) (如灰度圖像的光照，深度圖像的表情），有效地提升了人臉識別系統(tǒng)的性能。

【發(fā)明內(nèi)容】

[0007] 為了解決上述技術(shù)問題，多模態(tài)融合系統(tǒng)越來越受到人們的關(guān)注。多模態(tài)系統(tǒng)通 過進(jìn)行多模態(tài)數(shù)據(jù)的采集，可以利用每個(gè)模態(tài)數(shù)據(jù)的優(yōu)點(diǎn)，通過融合策略來克服單模態(tài)系 統(tǒng)的內(nèi)在弱點(diǎn)（如灰度圖像的光照，深度圖像的表情），有效的提升了人臉識別系統(tǒng)的性 能，本發(fā)明采用如下技術(shù)方案來解決上述技術(shù)問題：
[0008] 一種融合灰度信息和深度信息的多模態(tài)人臉識別裝置，包括對于灰度信息進(jìn)行人 臉識別的計(jì)算單元；用于對深度信息進(jìn)行人臉識別的計(jì)算單元；基于多模態(tài)人臉識別分?jǐn)?shù) 進(jìn)行融合的計(jì)算單元；對數(shù)據(jù)進(jìn)行分類的分類器計(jì)算單元。
[0009] 優(yōu)選的，在上述的一種融合灰度信息和深度信息的多模態(tài)人臉識別裝置中，所述 對于灰度信息進(jìn)行人臉識別的計(jì)算單元包括：人眼檢測單元、二維數(shù)據(jù)配準(zhǔn)計(jì)算單元、灰度 人臉特征提取單元和灰度人臉識別分?jǐn)?shù)計(jì)算單元。
[0010] 優(yōu)選的，在上述的一種融合灰度信息和深度信息的多模態(tài)人臉識別裝置中，對深 度信息進(jìn)行人臉識別的計(jì)算單元包括：鼻尖檢測器單元、三維數(shù)據(jù)配準(zhǔn)計(jì)算單元、深度人臉 特征提取單元和深度人臉識別分?jǐn)?shù)計(jì)算單元。
[0011] 本發(fā)明還公開一種一種融合灰度信息和深度信息的多模態(tài)人臉識別方法，包括如 下步驟：
[0012] A.對人臉灰度信息進(jìn)行識別；
[0013] B.對人臉深度信息進(jìn)行識別；
[0014] C.利用特征層融合策略，在獲取各數(shù)據(jù)源特征后，將所有特征拼接在一起形成特 征池，特征池中的每一個(gè)特征構(gòu)建一個(gè)弱分類器，然后利用Adaboost算法，在特征池中挑 選出對于分類最為有效的特征，最后基于多模態(tài)特征層融合得到的特征，利用最近鄰分類 器計(jì)算出匹配分?jǐn)?shù)，以此實(shí)現(xiàn)多模態(tài)人臉識別。
[0015] 優(yōu)選的，在上述的一種基于灰度和深度信息的多層融合的多模態(tài)臉識別方法中， 所述步驟A包括如下步驟：
[0016] Al.特征區(qū)域定位，使用人眼檢測器獲取人眼區(qū)域，所述人眼檢測器為層級分類器 H，經(jīng)如下算法得到：
[0017] 給定訓(xùn)練樣本集合，弱空間分類器々，其中Xie X，為樣本向量，，為分類標(biāo)簽， 為樣本總數(shù)；初始化樣本概率分布；
[0018] ，對中的每個(gè)弱分類器作如下操作：
[0019] 對樣本空間X進(jìn)行劃分，得到X1, X2, . . .，Xn ;
[0020]
【主權(quán)項(xiàng)】
1. 一種融合灰度信息和深度信息的多模態(tài)人臉識別裝置，其特征在于：包括對于灰度 信息進(jìn)行人臉識別的計(jì)算單元；用于對深度信息進(jìn)行人臉識別的計(jì)算單元；基于多模態(tài)人 臉識別分?jǐn)?shù)進(jìn)行融合的計(jì)算單元；對數(shù)據(jù)進(jìn)行分類的分類器計(jì)算單元。
2. 根據(jù)權(quán)利要求1所述的一種融合灰度信息和深度信息的多模態(tài)人臉識別裝置，其特 征在于，所述對于灰度信息進(jìn)行人臉識別的計(jì)算單元包括：人眼檢測單元、二維數(shù)據(jù)配準(zhǔn)計(jì) 算單元、灰度人臉特征提取單元和灰度人臉識別分?jǐn)?shù)計(jì)算單元。
3. 根據(jù)權(quán)利要求1所述的一種融合灰度信息和深度信息的多模態(tài)人臉識別裝置，其特 征在于，多數(shù)對深度信息進(jìn)行人臉識別的計(jì)算單元包括：鼻尖檢測器單元、三維數(shù)據(jù)配準(zhǔn) 計(jì)算單元、深度人臉特征提取單元和深度人臉識別分?jǐn)?shù)計(jì)算單元。
4. 一種融合灰度信息和深度信息的多模態(tài)人臉識別方法，其特征在于，包括如下步 驟： A. 對人臉灰度彳目息進(jìn)行識別； B. 對人臉深度信息進(jìn)行識別； C. 利用特征層融合策略，在獲取各數(shù)據(jù)源特征后，將所有特征拼接在一起形成特征池， 特征池中的每一個(gè)特征構(gòu)建一個(gè)弱分類器，然后利用Adaboost算法，在特征池中挑選出對 于分類最為有效的特征，最后基于多模態(tài)特征層融合得到的特征，利用最近鄰分類器計(jì)算 出匹配分?jǐn)?shù)，以此實(shí)現(xiàn)多模態(tài)人臉識別。
5. 根據(jù)權(quán)利要求4所述的一種融合灰度信息和深度信息的多模態(tài)人臉識別方法，其特 征在于，所述步驟A包括如下步驟： A1.特征區(qū)域定位，使用人眼檢測器獲取人眼區(qū)域，所述人眼檢測器為層級分類器H， 經(jīng)如下算法得到： 給定訓(xùn)練樣本集合，弱空間分類器I，其中Xie X，為樣本向量，，為分類標(biāo)簽，為樣 本總數(shù)；初始化樣本概率分布； ，對中的每個(gè)弱分類器作如下操作： 對樣本空間x進(jìn)行劃分，得到&，X2, ...Xn;
，其中為一小正常數(shù)； 計(jì)算歸一化因子，
在弱分類器空間中選擇一個(gè)，使得最小化
ht=argminZ 更新訓(xùn)練樣本概率分布
，其中為 歸一化因子，使得為一個(gè)概率分布； 最終強(qiáng)分類器H為
A2.使用獲得的人眼區(qū)域位置進(jìn)行配準(zhǔn)，利用LBP算法處理人眼位置數(shù)據(jù)獲得LBP直 方圖特征，取值公式為
將該LBP直方圖特征作為灰度圖像的特征表述。
6. 根據(jù)權(quán)利要求4所述的一種基于弧度和深度信息的多層融合的多模態(tài)人臉識別方 法，其特征在于，所述步驟B包括如下步驟： B1.特征區(qū)域定位，判定人臉鼻尖區(qū)域位置； B2.對于不同姿態(tài)的三維數(shù)據(jù)，得到配準(zhǔn)的參考區(qū)域后，按照ICP算法進(jìn)行數(shù)據(jù)的配 準(zhǔn)，配準(zhǔn)完成后計(jì)算輸入數(shù)據(jù)與注冊庫中的三維人臉模型數(shù)據(jù)之間的歐式距離； B3.按照深度信息進(jìn)行深度圖像的獲取，利用濾波器對于映射后的深度圖像中的噪音 點(diǎn)進(jìn)行補(bǔ)償去噪，最后對表情魯棒區(qū)域進(jìn)行選擇，得到最終的三維人臉深度圖像； B4.提取是三維深度圖像的視覺詞典直方圖特征向量，當(dāng)測試人臉圖像輸入后，經(jīng)過Gabor濾波后，將任一濾波向量都與其所在位置相對應(yīng)的視覺分詞典中的所有基元詞匯比 較，通過距離匹配的方式，把它映射到與之距離最為接近的基元上，提取出原始深度圖像的 視覺詞典直方圖特征，利用該特征輸入深度圖像分類器獲取匹配分?jǐn)?shù)。
7. 根據(jù)權(quán)利要求6所述的一種融合灰度信息和深度信息的多模態(tài)人臉識別方法，其特 征在于，所述步驟B1具體包括 步驟1 :確定閾值，確定域平均負(fù)有效能量密度的閾值，定義為thr; 步驟2 :利用深度信息選取待處理數(shù)據(jù)，利用數(shù)據(jù)的深度信息，提取在一定深度范圍內(nèi) 的人臉數(shù)據(jù)作為待處理數(shù)據(jù)； 步驟3 :法向量的計(jì)算，計(jì)算由深度信息選取出的人臉數(shù)據(jù)的方向量信息； 步驟4:區(qū)域平均負(fù)有效能量密度的計(jì)算，按照區(qū)域平均負(fù)有效能量密度的定義，求出 待處理數(shù)據(jù)中個(gè)連通域的平均負(fù)有效能量密度，選擇其中密度值最大的連通域； 步驟5 :判定是否找到鼻尖區(qū)域，當(dāng)前區(qū)域閾值大于預(yù)定義的thr時(shí)，該區(qū)域即為鼻尖 區(qū)域，否則回到步驟1重新開始循環(huán)。
8. 根據(jù)權(quán)利要求6所述的一種融合灰度信息和深度信息的多模態(tài)人臉識別方法，其特 征在于，所述ICP算法主要步驟包括： 確定匹配數(shù)據(jù)集合對，從參考模板中的三維鼻尖數(shù)據(jù)選取參考數(shù)據(jù)點(diǎn)集P，再利用點(diǎn)對 點(diǎn)之間的最近的距離來選擇輸入三維人臉中與參考數(shù)據(jù)相匹配的數(shù)據(jù)點(diǎn)集Q; 計(jì)算剛性運(yùn)動參數(shù)，計(jì)算旋轉(zhuǎn)矩陣R和平移向量t 當(dāng)X行列式值為1時(shí)，R=X; t=P-R*Q 根據(jù)剛性變換后的數(shù)據(jù)集RQ+t和參考數(shù)據(jù)集P之間的誤差判斷三維數(shù)據(jù)集是否配準(zhǔn)， 配準(zhǔn)之后通過下式計(jì)算輸入數(shù)據(jù)與注冊庫中的三維人臉模型數(shù)據(jù)之間的歐式距離
其中P，Q分別是待匹配的特征點(diǎn)集合，集合中含有N個(gè)特征點(diǎn)。
9.根據(jù)權(quán)利要求6所述的一種融合灰度信息和深度信息的多模態(tài)人臉識別方法，其特 征在于，步驟B4具體為： 將三維人臉深度圖像分割成一些局部紋理區(qū)域； 對于每個(gè)GaBor濾波響應(yīng)向量，按照位置的不同將其映射到其對應(yīng)的視覺分詞典的詞 匯中，并依此為基礎(chǔ)建立視覺詞典直方圖向量作為三維深度人臉的特征表述。
【專利摘要】本發(fā)明公開一種融合灰度信息和深度信息的多模態(tài)人臉識別裝置及方法，主要包括步驟：對人臉灰度信息進(jìn)行識別；對人臉深度信息進(jìn)行識別；利用特征層融合策略，在獲取各數(shù)據(jù)源特征后，將所有特征拼接在一起形成特征池，特征池中的每一個(gè)特征構(gòu)建一個(gè)弱分類器，然后利用Adaboost算法，在特征池中挑選出對于分類最為有效的特征，最后基于多模態(tài)特征層融合得到的特征，利用最近鄰分類器計(jì)算出匹配分?jǐn)?shù)，以此實(shí)現(xiàn)多模態(tài)人臉識別。采用本發(fā)明的方案，多模態(tài)系統(tǒng)通過進(jìn)行二維灰度信息和三維深度信息的采集，利用二維灰度信息和三維深度信息的優(yōu)點(diǎn)，通過融合策略來克服單模態(tài)系統(tǒng)的某些內(nèi)在弱點(diǎn)，有效地提升了人臉識別系統(tǒng)的性能，使得人臉識別更加準(zhǔn)確快捷。
【IPC分類】G06K9-00, G06K9-62
【公開號】CN104778441
【申請?zhí)枴緾N201510006669
【發(fā)明人】夏春秋
【申請人】深圳市唯特視科技有限公司
【公開日】2015年7月15日
【申請日】2015年1月7日