專利名稱：基于彎曲不變量相關(guān)特征的三維人臉識(shí)別方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理和模式識(shí)別領(lǐng)域，尤其涉及一種基于彎曲不變量相關(guān)特征的 三維人臉識(shí)別方法及系統(tǒng)。
背景技術(shù)：
近年來(lái)，信息和通信技術(shù)已經(jīng)融入到我們生活的各個(gè)部門(mén)和所有部分，打開(kāi)了一 個(gè)史無(wú)前例的世界，這里人們同嵌入在敏感的響應(yīng)用戶存在的電子設(shè)備的進(jìn)行交互。的確， 以提供用戶需要的智能建筑為特征的計(jì)算機(jī)輔助的安保系統(tǒng)正成為國(guó)內(nèi)研究的趨勢(shì)，需要 更多復(fù)雜的服務(wù)。視覺(jué)是人類獲取外界信息的最直接、最普遍的方式。視覺(jué)的最終目的是 要對(duì)場(chǎng)景作出對(duì)觀察者有意義的解釋和描述，然后基于這些解釋和描述并根據(jù)周圍環(huán)境和 觀察者的意愿制定出行為規(guī)劃。這種情況為探索物體的識(shí)別和理解和基于觀察行為的實(shí)用化應(yīng)用提供了機(jī)會(huì)。一 個(gè)主要例子是使用人臉代替侵入式生物特征的潛力，它不僅可以規(guī)則地進(jìn)入到控制環(huán)境 中，而且可以根據(jù)待識(shí)別用戶的偏好和需要提供服務(wù)。生物特征識(shí)別指使用不同的生理特 征(如指紋、人臉、視網(wǎng)膜、虹膜)和行為特征如(步態(tài)、簽名)特征，作為生物辨識(shí)來(lái)自動(dòng)識(shí) 別個(gè)人。因?yàn)樯锉孀R(shí)不易錯(cuò)位、仿造和共享，它們比傳統(tǒng)的標(biāo)識(shí)和基于知識(shí)的識(shí)別方法具 有更高的可靠性。生物識(shí)別的另一個(gè)典型目標(biāo)是用戶方便(如無(wú)需用戶辨別號(hào)的服務(wù)接 入)，更安全(如仿冒接入困難)。所有這些原因使非侵入式生物特征更適于環(huán)繞智能環(huán)境 的應(yīng)用，這點(diǎn)對(duì)基于人臉的生物辨識(shí)尤其準(zhǔn)確，它是用在可視化交互的人臉識(shí)別中最具普 遍性的方法，并且允許一種與傳感器無(wú)任何物理接觸的非侵入方式。

發(fā)明內(nèi)容
鑒于上述問(wèn)題，本發(fā)明的目的在于提供一種基于彎曲不變量相關(guān)特征的三維人臉 識(shí)別方法及系統(tǒng)。一方面，本發(fā)明公開(kāi)了基于彎曲不變量相關(guān)特征的三維人臉識(shí)別方法，包括如下 步驟圖像預(yù)處理步驟，自動(dòng)提取三維人臉區(qū)域，包括人臉區(qū)域提取和三維人臉匹配的操 作，獲取預(yù)處理后的三維人臉；彎曲不變量的計(jì)算步驟，計(jì)算所述預(yù)處理后的三維人臉的彎 曲不變量；彎曲不變量相關(guān)特征提取步驟，編碼三維人臉表面相鄰節(jié)點(diǎn)的彎曲不變量的局 部特征，提取彎曲不變量相關(guān)特征；特征降維步驟，對(duì)所述彎曲不變量的相關(guān)特征進(jìn)行簽名 并采用譜回歸進(jìn)行降維，獲得主成分；分類識(shí)別步驟，基于所述主成分，運(yùn)用K最近鄰分類 方法對(duì)三維人臉進(jìn)行識(shí)別。上述三維人臉識(shí)別方法，優(yōu)選圖像預(yù)處理步驟中，所述的人臉區(qū)域提取包括計(jì)算 有效點(diǎn)矩陣的列和并從點(diǎn)云中估計(jì)一個(gè)垂直投影曲線；定義投影曲線的左右拐點(diǎn)的兩個(gè)側(cè) 閾值來(lái)刪除對(duì)象肩膀上超過(guò)此閾值的數(shù)據(jù)；通過(guò)閾值化深度值直方圖進(jìn)一步刪除對(duì)應(yīng)于對(duì) 象胸部的數(shù)據(jù)點(diǎn)，去除了對(duì)應(yīng)前臉信息后面的大深度值數(shù)據(jù)；刪除保留在區(qū)域中但與主要 人臉區(qū)域不連接的異常點(diǎn)并且僅將最大的區(qū)域視為人臉區(qū)域。
上述三維人臉識(shí)別方法，優(yōu)選圖像預(yù)處理步驟中，所述三維人臉匹配包括點(diǎn)云協(xié) 方差矩陣的正交特征矢量，V1, V2, V3,作為點(diǎn)云的三個(gè)主軸，旋轉(zhuǎn)點(diǎn)云使V1, V2, V3分別平行 于參考坐標(biāo)系的Y，x和Z軸，鼻尖在參考坐標(biāo)系上的位置作為參考坐標(biāo)系的原點(diǎn)，通過(guò)旋轉(zhuǎn) 和平移將所有三維人臉數(shù)據(jù)進(jìn)行粗匹配；人臉信號(hào)用最近鄰內(nèi)插在球面等角網(wǎng)格上采樣， 通過(guò)計(jì)算所有訓(xùn)練人臉圖像上每個(gè)網(wǎng)格點(diǎn)值構(gòu)建平均人臉模型(AFM)，所有人臉信息通過(guò) ICP進(jìn)一步與AFM對(duì)齊避免嘴和頌的影響；通過(guò)最小化Z-buffer距離的全局最優(yōu)技術(shù)進(jìn)行 精細(xì)對(duì)齊，它有效地重采樣數(shù)據(jù)三角形上點(diǎn)獨(dú)立性，并刪除所有的人臉不相關(guān)信息。上述三維人臉識(shí)別方法，優(yōu)選所述三維人臉彎曲不變量的計(jì)算步驟中，所述三維 人臉彎曲不變量通過(guò)快速行進(jìn)法計(jì)算三維人臉表面點(diǎn)的測(cè)地距離，再通過(guò)等距映射獲得低 維歐式空間Rm的距離作為三維表面點(diǎn)的彎曲不變量。上述三維人臉識(shí)別方法，優(yōu)選所述三維人臉彎曲不變量相關(guān)特征提取步驟中，所 述三維人臉彎曲不變量相關(guān)特征通過(guò)運(yùn)用3D LBP編碼三維人臉表面相鄰節(jié)點(diǎn)的彎曲不變 量局部特征獲得。另一方面，本發(fā)明還公開(kāi)了一種基于彎曲不變量相關(guān)特征的三維人臉識(shí)別系統(tǒng)， 包括圖像預(yù)處理模塊，用于自動(dòng)提取三維人臉區(qū)域，包括人臉區(qū)域提取和三維人臉匹配的 操作，獲取預(yù)處理后的三維人臉；彎曲不變量的計(jì)算模塊，用于計(jì)算所述預(yù)處理后的三維人 臉的彎曲不變量；彎曲不變量相關(guān)特征提取模塊，用于編碼三維人臉表面相鄰節(jié)點(diǎn)的彎曲 不變量的局部特征，提取彎曲不變量相關(guān)特征；特征降維模塊，用于對(duì)所述彎曲不變量的相 關(guān)特征進(jìn)行簽名并采用譜回歸進(jìn)行降維，獲得主成分；分類識(shí)別模塊，用于基于主成分，運(yùn) 用K最近鄰分類系統(tǒng)對(duì)三維人臉進(jìn)行識(shí)別。上述三維人臉識(shí)別系統(tǒng)，優(yōu)選所述圖像預(yù)處理模塊中，包括用于實(shí)現(xiàn)人臉區(qū)域提 取的子模塊，包括用于計(jì)算有效點(diǎn)矩陣的列和并從點(diǎn)云中估計(jì)一個(gè)垂直投影曲線的單元； 用于定義投影曲線的左右拐點(diǎn)的兩個(gè)側(cè)閾值來(lái)刪除對(duì)象肩膀上超過(guò)此閾值的數(shù)據(jù)的單元； 用于通過(guò)閾值化深度值直方圖進(jìn)一步刪除對(duì)應(yīng)于對(duì)象胸部的數(shù)據(jù)點(diǎn)，去除了對(duì)應(yīng)前臉信息 后面的大深度值數(shù)據(jù)單元；用于刪除保留在區(qū)域中但與主要人臉區(qū)域不連接的異常點(diǎn)并且 僅將最大的區(qū)域視為人臉區(qū)域的單元。上述三維人臉識(shí)別系統(tǒng)，優(yōu)選所述圖像預(yù)處理模塊中，包括用于實(shí)現(xiàn)三維人臉匹 配的子模塊，包括用于點(diǎn)云協(xié)方差矩陣的正交特征矢量，V1, V2, V3，作為點(diǎn)云的三個(gè)主軸， 旋轉(zhuǎn)點(diǎn)云使Vl，V2, V3分別平行于參考坐標(biāo)系的Y，X和Z軸，鼻尖在參考坐標(biāo)系上的位置作 為參考坐標(biāo)系的原點(diǎn)，通過(guò)旋轉(zhuǎn)和平移將所有三維人臉數(shù)據(jù)進(jìn)行粗匹配的單元；用于人臉 信號(hào)用最近鄰內(nèi)插在球面等角網(wǎng)格上采樣，通過(guò)計(jì)算所有訓(xùn)練人臉圖像上每個(gè)網(wǎng)格點(diǎn)值構(gòu) 建平均人臉模型AFM，所有人臉信息通過(guò)ICP進(jìn)一步與AFM對(duì)齊避免嘴和頌的影響的單元； 用于通過(guò)最小化Z-buffer距離的全局最優(yōu)技術(shù)進(jìn)行精細(xì)對(duì)齊，它有效地重采樣數(shù)據(jù)三角 形上點(diǎn)獨(dú)立性，并刪除所有的人臉不相關(guān)信息的單元。上述三維人臉識(shí)別系統(tǒng)，優(yōu)選所述彎曲不變量的計(jì)算模塊中，所述三維人臉彎曲 不變量通過(guò)快速行進(jìn)法計(jì)算三維人臉表面點(diǎn)的測(cè)地距離，再通過(guò)等距映射獲得低維歐式空 間Rm的距離作為三維表面點(diǎn)的彎曲不變量。上述三維人臉識(shí)別系統(tǒng)，優(yōu)選所述所述彎曲不變量相關(guān)特征提取模塊中，所述三 維人臉彎曲不變量相關(guān)特征通過(guò)運(yùn)用3D LBP編碼三維人臉表面相鄰節(jié)點(diǎn)的彎曲不變量局部特征獲得。相對(duì)于現(xiàn)有技術(shù)而言，本發(fā)明對(duì)比現(xiàn)在通常使用的3D人臉識(shí)別技術(shù)具有更好的 有效性和高效性。在處理人臉表情和姿態(tài)變化上效果尤其好。具體而言，具有如下特點(diǎn)準(zhǔn)確性3D系統(tǒng)對(duì)比2D系統(tǒng)準(zhǔn)確性的顯著增加用來(lái)判定引入的3D系統(tǒng)，或單獨(dú) 使用或結(jié)合其它模式使用。有效性3D捕獲每一個(gè)對(duì)象創(chuàng)造了更大的數(shù)據(jù)文件，要求較大的內(nèi)存和大的計(jì)算 代價(jià)，需要將原始的3D數(shù)據(jù)轉(zhuǎn)換為有效的元數(shù)據(jù)。規(guī)整性傳感器產(chǎn)生的每個(gè)樣本由一個(gè)3D散列點(diǎn)云描述。由于在不同的區(qū)域如 頭發(fā)、遮擋、噪聲和水平邊界的突起物如鼻和較低的下巴，在獲得的捕捉中存在丟失的。本 發(fā)明旨在建立一個(gè)具有固定節(jié)點(diǎn)和面片數(shù)的規(guī)則的和密集的網(wǎng)格來(lái)描述一個(gè)人臉形狀。而 且，不同網(wǎng)格需要有對(duì)應(yīng)節(jié)點(diǎn)并且與平均模型同向。大的姿態(tài)和表情變化中性人臉的識(shí)別性能顯著改進(jìn)，而大姿態(tài)和表情變化是準(zhǔn) 確率顯著下降。自動(dòng)化實(shí)用系統(tǒng)必須使功能全自動(dòng)，因此不能接受用戶干預(yù)如在3D人臉掃描中 手工定位關(guān)鍵點(diǎn)。


圖1是本發(fā)明基于彎曲不變量相關(guān)特征的三維人臉識(shí)別系統(tǒng)實(shí)施例的結(jié)構(gòu)示意 圖；圖2是三維人臉數(shù)據(jù)預(yù)處理過(guò)程示意圖；圖3是預(yù)處理前后的三維人臉數(shù)據(jù)(a)原始的三維人臉數(shù)據(jù)；(b)預(yù)處理后的三 維人臉數(shù)據(jù))示意圖；圖4是3D LBP原理框圖；圖5為本發(fā)明基于彎曲不變量相關(guān)特征的三維人臉識(shí)別方法實(shí)施例的步驟流程 圖。
具體實(shí)施例方式為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖和具體實(shí) 施方式對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。參照?qǐng)D1，圖1為本發(fā)明基于彎曲不變量相關(guān)特征的三維人臉識(shí)別系統(tǒng)實(shí)施例的 結(jié)構(gòu)示意圖，包括圖像預(yù)處理模塊110，用于自動(dòng)提取三維人臉區(qū)域，包括人臉區(qū)域提取和三維人臉 匹配的操作，獲取預(yù)處理后的三維人臉；彎曲不變量的計(jì)算模塊111，用于計(jì)算所述預(yù)處理 后的三維人臉的彎曲不變量；彎曲不變量相關(guān)特征提取模塊112，用于編碼三維人臉表面 相鄰節(jié)點(diǎn)的彎曲不變量的局部特征，提取彎曲不變量相關(guān)特征；特征降維模塊113，用于對(duì) 所述彎曲不變量的相關(guān)特征進(jìn)行簽名并采用譜回歸進(jìn)行降維，獲得主成分；分類識(shí)別模塊 114，用于基于主成分，運(yùn)用K最近鄰分類系統(tǒng)對(duì)三維人臉進(jìn)行識(shí)別。如圖1所示，首先，探索了一種自動(dòng)的3D人臉區(qū)域提取方法。然后處理它使得最 小化大姿態(tài)變化的影響并且有效地改進(jìn)整個(gè)3D人臉識(shí)別系統(tǒng)的性能。為了克服大的表情變化，所提出算法的一個(gè)核心思想就是運(yùn)用人臉表面的一種描述，叫做彎曲不變量(Bi)，它 對(duì)由表情和姿態(tài)變化引起的等距形變不變。為了編碼相鄰網(wǎng)格節(jié)點(diǎn)，3D LBP用于獲得幾何 相關(guān)不變量，它對(duì)于描述孤立點(diǎn)的人臉結(jié)構(gòu)具有更多的潛力并且對(duì)于特征化信號(hào)的局部相 關(guān)細(xì)節(jié)更有效。然后通過(guò)對(duì)特征簽名后的圖像進(jìn)行譜回歸得到特征降維后的主成分節(jié)省了 大量的計(jì)算時(shí)間。最后運(yùn)用K最近鄰分類方法對(duì)人臉進(jìn)行識(shí)別。我們的系統(tǒng)對(duì)比現(xiàn)在通常 使用的3D人臉識(shí)別系統(tǒng)具有更好的有效性和高效性。在處理人臉表情和姿態(tài)變化上效果 尤其好。下面對(duì)具體的實(shí)施過(guò)程分塊進(jìn)行描述；圖像預(yù)處理模塊實(shí)際應(yīng)用中獲取的三維人臉數(shù)據(jù)以三維散列點(diǎn)云方式存儲(chǔ)，一些示例如圖2a，3a。 預(yù)處理過(guò)程主要包括兩方面內(nèi)容，人臉區(qū)域提取和3D人臉匹配。接下來(lái)將描述這些任務(wù)的 細(xì)節(jié)。人臉提取的主要目的是從3D點(diǎn)云中刪除不相關(guān)的信息，如肩膀或頭發(fā)的數(shù)據(jù)和 由激光掃描儀造成的釘狀物。一個(gè)人臉掃描的輸出形成一個(gè)3D點(diǎn)云，點(diǎn)的X和Y坐標(biāo)形成 統(tǒng)一的歐式網(wǎng)格和Z坐標(biāo)值提供對(duì)應(yīng)的深度信息，不同的圖像具有相同的分辨率X*Y。人臉 提取的第一步，我們計(jì)算有效點(diǎn)矩陣的列和并從點(diǎn)云中估計(jì)一個(gè)垂直投影曲線。然后，通過(guò) 定義投影曲線的左右拐點(diǎn)的兩個(gè)側(cè)閾值來(lái)刪除對(duì)象肩膀上超過(guò)此閾值的數(shù)據(jù)如圖2b。我 們通過(guò)閾值化深度值直方圖進(jìn)一步刪除對(duì)應(yīng)于對(duì)象胸部的數(shù)據(jù)點(diǎn)，去除了對(duì)應(yīng)前臉信息后 面的大深度值數(shù)據(jù)如圖2c。最后，刪除保留在區(qū)域中但與主要人臉區(qū)域不連接的異常點(diǎn)并 且僅將最大的區(qū)域視為人臉區(qū)域如圖2d。上述自動(dòng)人臉提取算法在數(shù)據(jù)庫(kù)中的大部分人臉 點(diǎn)云上有效地工作，僅在很少的異常情況下失敗。從3D掃描中提取主要人臉區(qū)域后，一個(gè)關(guān)鍵的預(yù)處理步驟是3D匹配實(shí)現(xiàn)姿態(tài)對(duì) 齊。我們運(yùn)用一個(gè)多階段自動(dòng)匹配方法，存在人臉表情變化時(shí)可以提供魯棒準(zhǔn)確的對(duì)齊結(jié) 果。每一步用前一步的輸出作為輸入。早期的步驟對(duì)局部最小值提供更大容忍度而后面的 步驟提供更準(zhǔn)確的匹配。首先，我們計(jì)算點(diǎn)云協(xié)方差矩陣的正交特征矢量，Vl，V2，V3,作為點(diǎn) 云的三個(gè)主軸。我們旋轉(zhuǎn)點(diǎn)云使力，力，、分別平行于參考坐標(biāo)系的Y，x和Z軸。鼻尖在參 考坐標(biāo)系上的位置作為參考坐標(biāo)系的原點(diǎn)。通過(guò)旋轉(zhuǎn)和平移將所有三維人臉數(shù)據(jù)進(jìn)行粗匹 配。人臉信號(hào)用最近鄰內(nèi)插在球面等角網(wǎng)格上采樣。通過(guò)計(jì)算所有訓(xùn)練人臉圖像上每個(gè)網(wǎng) 格點(diǎn)值構(gòu)建平均人臉模型(AFM)。所有人臉信息通過(guò)ICP進(jìn)一步與AFM對(duì)齊避免嘴和頌的 影響。最后，通過(guò)最小化Z-buffer距離的全局最優(yōu)技術(shù)進(jìn)行精細(xì)對(duì)齊，它有效地重采樣數(shù) 據(jù)三角形上點(diǎn)獨(dú)立性，并刪除所有的人臉不相關(guān)信息。三維人臉數(shù)據(jù)預(yù)處理的結(jié)果如圖3b 所示。彎曲不變量的計(jì)算模塊我們的3D人臉識(shí)別系統(tǒng)的核心是一種對(duì)等距形變不變的人臉表面描述子，叫做 彎曲不變量。人臉表面經(jīng)歷的形變不是任意的，經(jīng)驗(yàn)觀察顯示面部表情可用等距(或長(zhǎng)度 保持)變換模型化。因?yàn)椋覀優(yōu)榈染啾砻嬉胍环N有效的特征用于簽名，推導(dǎo)作為彎曲不 變量，它是在一個(gè)減小的點(diǎn)集上由等距映射形成的人臉表面的多邊形近似并且在全部點(diǎn) 集上進(jìn)行內(nèi)插。給定一個(gè)人臉表面M(x，y，z) e R3，彎曲不變量Im (x，y，z) e R3是等距映射算法的一個(gè)輸出。一個(gè)等距測(cè)地線通過(guò)映射Ψ —M'形成，/(x,y,z) e M3,dM(x,y,z) = Μ,{ψ{χ\ψ{γ\ψ{ζ))對(duì)一個(gè)給定人臉表面構(gòu)建不變量特征的關(guān)鍵一步是一個(gè)計(jì)算表面測(cè)地距離的有 效算法即dM(x，y，ζ)。計(jì)算測(cè)地距離可以有效地反映人臉形狀信息并且克服3D人臉圖像 中一些尚未解決的問(wèn)題，如大的表情和姿態(tài)變化，數(shù)據(jù)噪聲等。一種數(shù)值一致連續(xù)算法用于 計(jì)算一個(gè)表面點(diǎn)和規(guī)則三角化域中其余η個(gè)表面點(diǎn)間的距離，具有0(η)計(jì)算復(fù)雜度，叫做 三角化域中快速行進(jìn)法(FMTD)。距離計(jì)算后，我們通過(guò)在連續(xù)表面有限點(diǎn)集上采樣并且根 據(jù)表面結(jié)構(gòu)離散化這種機(jī)制獲得測(cè)地距離的一個(gè)近似。這種機(jī)制對(duì)于任意順序點(diǎn)的等距表面形變是不變的。我們想要獲得一個(gè)測(cè)地不變 量，一方面他對(duì)等距表面是唯一的，另一方面允許用等距剛性表面匹配來(lái)計(jì)算這個(gè)不變量。基于以上討論，等價(jià)于找到兩種機(jī)制空間的一個(gè)映射，
爐(M, Jm) —、Rm ,d); φ(ρ) = Xi它可以最小化內(nèi)嵌誤差。ε = f(|dM-d|) ；d = Il Xi-Xj Il 2d是嵌入在基于等距映射的低維歐式空間Rm的距離。M維描述獲得是對(duì)應(yīng)于表 面點(diǎn)Pi的一個(gè)點(diǎn)集Xi e Rffl(i = 1，…，n)。Rm中的內(nèi)嵌是通過(guò)雙中心化矩陣Δ形成
B = -^JAJ (這里=I是ηΧη單位矩陣，U是由一個(gè)人臉全部數(shù)據(jù)組成的矩
ο，
陣。前m個(gè)特征矢量ei對(duì)應(yīng)于BWm個(gè)最大特征值，用作內(nèi)嵌坐標(biāo)系。Xj. = C/;/= 1，…= 1,...，W這里Χ/表示矢量Xi的第j-th個(gè)坐標(biāo)。特征矢量用一個(gè)標(biāo)準(zhǔn)的特征分解方法計(jì) 算。因?yàn)橹挥衜個(gè)特征矢量需要(通常m= 3)，所以計(jì)算有效。通過(guò)等距映射，將3D人臉樣本從高維觀測(cè)空間通過(guò)線性或非線性映射投影到一 個(gè)低維特征空間，從而找出隱藏在高維觀測(cè)數(shù)據(jù)中有意義的低維結(jié)構(gòu)并且構(gòu)建了高維數(shù)據(jù) 流形空間與低維表示空間之間的相互映射這種方法有許多優(yōu)點(diǎn)，包括壓縮數(shù)據(jù)，降低存儲(chǔ) 量；消除不必要的噪聲；用于識(shí)別有效數(shù)據(jù)特征便于提??；把數(shù)據(jù)投影到一個(gè)低維空間，有 利于實(shí)現(xiàn)高維數(shù)據(jù)可視化。彎曲不變量相關(guān)特征提取模塊局部二值模式(LBP)描述子首先應(yīng)用于紋理描述并成功用于2D人臉識(shí)別。受到 原始LBP的啟發(fā)，我們引入3D LBP描述子來(lái)獲得人臉表面的局部相關(guān)特征。在3D LBP中 不僅包含原始的LBP，而且將彎曲不變量差也編碼進(jìn)二值模式中。原始的LBP描述子首先將圖像中的每個(gè)節(jié)點(diǎn)彎曲不變量的值減去它的鄰域節(jié)點(diǎn) 值。然后差值轉(zhuǎn)換為二進(jìn)制單元根據(jù)正負(fù)符號(hào)分配0或1。第三步二進(jìn)制單元順時(shí)針排 列，我們可以獲得節(jié)點(diǎn)局部二值模式的二進(jìn)制單元集。二值模式進(jìn)一步轉(zhuǎn)化為十進(jìn)制數(shù)。兩 個(gè)參數(shù)(P，R)用于控制鄰域數(shù)P的選擇和它們的局部半徑R，可以是(8，2)，(16,2), (24， 3)等。從前面的討論中，我們可以看到LBP描述子通?？梢跃幋a它們鄰域節(jié)點(diǎn)的相關(guān) 性，即本專利中的相關(guān)特征。所以LBP可以視為一種局部相關(guān)特征。人臉表面的結(jié)構(gòu)信息應(yīng)該存在于表面點(diǎn)的相關(guān)特征中。根據(jù)前面分析的LBP的相關(guān)屬性，我們將LBP描述子運(yùn)用 到編碼3D人臉表面的結(jié)構(gòu)信息中。但是LBP描述子只能編碼彎曲不變量差的符號(hào)不適于 描述3D人臉，因?yàn)槿四槺砻嫦嗤c(diǎn)的彎曲不變量差在不同人臉上有區(qū)別。例如A和B是兩 個(gè)不同的人，他們鼻尖點(diǎn)LBP是相同的，因?yàn)樗袊@鼻尖點(diǎn)的彎曲不變量值都低于鼻尖。 如果不同的人的兩個(gè)相同位置的人臉區(qū)域有相同的彎曲不變量變化趨勢(shì)，LBP將不適于區(qū) 分它們。然而，雖然兩個(gè)鼻尖點(diǎn)彎曲不變量差的符號(hào)和他們的領(lǐng)域相同，但是差的精確值是 不同的。這一點(diǎn)對(duì)3D人臉識(shí)別尤其關(guān)鍵。我們進(jìn)一步將彎曲不變量差的精確值編碼為二 值模型。根據(jù)統(tǒng)計(jì)分析，在R = 2時(shí)多于94%的點(diǎn)間彎曲不變量差值小于7，所以我們?cè)黾?三個(gè)單元來(lái)編碼節(jié)點(diǎn)和它鄰域的每個(gè)彎曲不變量差。三個(gè)二值單元(U2i3i4})對(duì)應(yīng)彎曲不 變量差的絕對(duì)值DD 0 7。所有DD ^ 7的情況設(shè)為7。彎曲不變量差的符號(hào)記為0、1作 為頭二值單元^這與原始LBP相同。最終我們獲得一個(gè)四個(gè)二值單元UihhiJ來(lái)描述的 兩點(diǎn)間DD。四個(gè)二值單元被劃分為四層如圖4所示。每層的二值單元順時(shí)針排列。最終，我們 在每個(gè)節(jié)點(diǎn)得到四個(gè)十進(jìn)制數(shù)作為其描述=P1,P2，P3，P4，記為3D LBP0匹配時(shí)，3D LBP首先 分別根據(jù) P1, P2，P3，P4 變換為四幅圖3DLBPMapl (等于原始 LBP 圖)，3DLBPMap2, 3DLBPMap3, 3DLBPMap4。然后四幅圖局部區(qū)域的直方圖串聯(lián)作為匹配的相關(guān)特征局部統(tǒng)計(jì)值。此法不僅增強(qiáng)類似于邊緣以及峰、谷、脊輪廓等底層圖像特征，這相當(dāng)于增強(qiáng)了被 認(rèn)為是面部關(guān)鍵部件的鼻子、眼睛、嘴巴等信息，同時(shí)也增強(qiáng)了諸如酒窩、黑痣、傷疤等局部 特征，從而使得在保留總體人臉信息的同時(shí)增強(qiáng)局部相關(guān)特性成為可能。當(dāng)人臉的姿態(tài)、表 情、位置發(fā)生變化時(shí)，其所引起的局部特征的變化要小于全局特征的變化，從而使用局部相 關(guān)特征可以得到更加魯棒的人臉表示。特征降維模塊我們運(yùn)用三維譜回歸進(jìn)行特征降維處理。每個(gè)3D人臉的彎曲不變量相關(guān)特征描 述為一維矢量。提出結(jié)合圖嵌入理論的三維譜回歸降維方法處理三維人臉數(shù)據(jù)不僅保持了 人臉數(shù)據(jù)流形的局部近鄰結(jié)構(gòu)，增加了全局的判別信息，而且很好的繼承了局部特征保持 能力，增加了特征的可分性，也在一定程度上克服了人臉表情，姿態(tài)等變化。假設(shè)我們有m張三維人臉圖像。CI為它們的矢量描述。降維旨在找到接下來(lái)介紹算法細(xì)節(jié)。首先，我們構(gòu)建一個(gè)鄰接圖。給定一個(gè)m個(gè)頂點(diǎn)的圖G，描 述人臉數(shù)據(jù)。W是一個(gè)mXm的稀疏對(duì)稱矩陣，Wij是邊相鄰頂點(diǎn)i和j間權(quán)重，它可以測(cè)量 頂點(diǎn)對(duì)間的相似性。我們?cè)O(shè)定
0，if there is no edge between/andj !/^5Ifxl and Xj- both belongto the A — th class δ. s(iy j)y otherwise 其中0 < δ < 1是在監(jiān)督與非監(jiān)督信息間調(diào)整權(quán)重的參數(shù)，s(i, j)是評(píng)價(jià)樣本 Wjj =間相似性的一個(gè)熱核函數(shù)。在有監(jiān)督訓(xùn)練模式下求解拉普拉斯算子的特征向量，尋找人臉 圖像上的最優(yōu)局部嵌套，從而避免了局部保留投影(LPP)因沒(méi)有去除矩陣行列間相關(guān)性， 導(dǎo)致不能很好的抽取識(shí)別特征并且計(jì)算復(fù)雜的問(wèn)題。
IhII2-^rf-
s(hj) = e 2σ ,aeRy = [Yl,y2,…，ym]T是從圖到實(shí)線間的映射。人臉識(shí)別旨在最小化一個(gè)距離來(lái)確 定是否頂點(diǎn)(樣本)i和j接近，則Yi和Yj也接近。我們得到Y(jié)^y-y^w^i/Ly
Uj這里，L = D-W是拉普拉斯圖且D是對(duì)角矩陣，它的輸入是W的列(或行，因W對(duì) 稱)和，Dii =Σ JffjiO最終，最小化問(wèn)題轉(zhuǎn)化為
*. τ τ■ yTLyy = argminjv Ly = argmin
/y Dy限制yTDy = 1刪除嵌入中的任意尺度因子。解最小化特征問(wèn)題獲得最優(yōu)yLy = λ Dy如果我們選擇一個(gè)線性函數(shù)yi = f(Xi) = aTxi0等式轉(zhuǎn)寫(xiě)為
*. yTWy. aTXWXTaa - arg mm T 二 arg mm -^r-
yTDyaTXDXTa其中x=[Xl，…，xm]T，最優(yōu)a被推推導(dǎo)為XLXTa = λ XDXTa然而，這些方法中的計(jì)算涉及密集矩陣的特征分解費(fèi)時(shí)且占用內(nèi)存。3D人臉識(shí)別 中涉及大量數(shù)據(jù)運(yùn)算，我們引入譜回歸解決特征問(wèn)題同時(shí)減少時(shí)間和內(nèi)存上消耗。算法分 為兩步正則化最小平方找到C-I個(gè)矢量 ，…，ac_! e Rn(k = 1，…，c_l)作為正則化 最小平方問(wèn)題的解
mak = argmin(^{aTxt -y\ f+a||α||2)
a )=1其中J；，是yk的第i-th個(gè)元素。易得到ak是線性等式系統(tǒng)的解。(ΧΧΤ+α I)ak = Xyk其中I是ηΧη單位矩陣。標(biāo)準(zhǔn)的高斯消元法用于解這個(gè)線性等式系統(tǒng)。當(dāng)X大 時(shí)，一些有效迭代算法如LSQR，用來(lái)直接解上面正則最小平方問(wèn)題。SR內(nèi)嵌:A = La1,…，a。_J是nX (c_l)轉(zhuǎn)移矩陣。樣本可以嵌入到c_l維子空 間χ — ζ = A1X將3D人臉樣本從高維觀測(cè)空間通過(guò)線性或非線性映射投影到一個(gè)低維特征空 間，從而找出隱藏在高維觀測(cè)數(shù)據(jù)中有意義的低維結(jié)構(gòu)可以有效地壓縮數(shù)據(jù)，降低存儲(chǔ)量； 消除不必要的噪聲；用于識(shí)別的有效數(shù)據(jù)特征便于提取；把數(shù)據(jù)投影到一個(gè)低維空間，有利于實(shí)現(xiàn)高維數(shù)據(jù)的可視化。分類識(shí)別模塊我們使用K最近鄰分類方法對(duì)3D人臉數(shù)據(jù)進(jìn)行分類識(shí)別。K最近鄰(k-Nearest Neighbor, KNN)分類算法，是一個(gè)理論上比較成熟的方法，也是最簡(jiǎn)單的機(jī)器學(xué)習(xí)算法之 一。該方法的思路是如果一個(gè)樣本在特征空間中的k個(gè)最相似(即特征空間中最鄰近) 的樣本中的大多數(shù)屬于某一個(gè)類別，則該樣本也屬于這個(gè)類別。KNN算法中，所選擇的鄰居 都是已經(jīng)正確分類的對(duì)象。該方法在定類決策上只依據(jù)最鄰近的一個(gè)或者幾個(gè)樣本的類別 來(lái)決定待分樣本所屬的類別。KNN方法雖然從原理上也依賴于極限定理，但在類別決策時(shí)， 只與極少量的相鄰樣本有關(guān)。由于KNN方法主要靠周圍有限的鄰近的樣本，而不是靠判別 類域的方法來(lái)確定所屬類別的，因此對(duì)于類域的交叉或重疊較多的待分樣本集來(lái)說(shuō)，KNN方 法較其他方法更為適合。參照?qǐng)D5，圖5為本發(fā)明基于彎曲不變量相關(guān)特征的三維人臉識(shí)別方法實(shí)施例的 步驟流程圖。包括圖像預(yù)處理步驟510，自動(dòng)提取三維人臉區(qū)域，包括人臉區(qū)域提取和三 維人臉匹配的操作，獲取預(yù)處理后的三維人臉；彎曲不變量的計(jì)算步驟511，計(jì)算所述預(yù)處 理后的三維人臉的彎曲不變量；彎曲不變量相關(guān)特征提取步驟512，編碼三維人臉表面相 鄰節(jié)點(diǎn)的彎曲不變量的局部特征，提取彎曲不變量相關(guān)特征；特征降維步驟513，對(duì)所述彎 曲不變量的相關(guān)特征進(jìn)行簽名并采用譜回歸進(jìn)行降維，獲得主成分；分類識(shí)別步驟514，基 于主成分，運(yùn)用K最近鄰分類方法對(duì)三維人臉進(jìn)行識(shí)別。上述于彎曲不變量相關(guān)特征的三維人臉識(shí)別方法與系統(tǒng)的原理相同，在此不再贅 述，相關(guān)之處互相參照即可。以上對(duì)本發(fā)明所提供的一種基于彎曲不變量相關(guān)特征的三維人臉識(shí)別方法及系 統(tǒng)進(jìn)行詳細(xì)介紹，本文中應(yīng)用了具體實(shí)施例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上 實(shí)施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技 術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式
及應(yīng)用范圍上均會(huì)有改變之處。綜上所述，本 說(shuō)明書(shū)內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。
權(quán)利要求
一種基于彎曲不變量相關(guān)特征的三維人臉識(shí)別方法，其特征在于，包括如下步驟圖像預(yù)處理步驟，自動(dòng)提取三維人臉區(qū)域，包括人臉區(qū)域提取和三維人臉匹配的操作，獲取預(yù)處理后的三維人臉；彎曲不變量的計(jì)算步驟，計(jì)算所述預(yù)處理后的三維人臉的彎曲不變量；彎曲不變量相關(guān)特征提取步驟，編碼三維人臉表面相鄰節(jié)點(diǎn)的彎曲不變量的局部特征，提取彎曲不變量相關(guān)特征；特征降維步驟，對(duì)所述彎曲不變量的相關(guān)特征進(jìn)行簽名并采用譜回歸進(jìn)行降維，獲得主成分；分類識(shí)別步驟，基于所述主成分，運(yùn)用K最近鄰分類方法對(duì)三維人臉進(jìn)行識(shí)別。
2.根據(jù)權(quán)利要求1所述的三維人臉識(shí)別方法，其特征在于，所述圖像預(yù)處理步驟中，所 述的人臉區(qū)域提取包括計(jì)算有效點(diǎn)矩陣的列和并從點(diǎn)云中估計(jì)一個(gè)垂直投影曲線； 定義投影曲線的左右拐點(diǎn)的兩個(gè)側(cè)閾值來(lái)刪除對(duì)象肩膀上超過(guò)此閾值的數(shù)據(jù)； 通過(guò)閾值化深度值直方圖進(jìn)一步刪除對(duì)應(yīng)于對(duì)象胸部的數(shù)據(jù)點(diǎn)，去除了對(duì)應(yīng)前臉信息 后面的大深度值數(shù)據(jù)；刪除保留在區(qū)域中但與主要人臉區(qū)域不連接的異常點(diǎn)并且僅將最大的區(qū)域視為人臉 區(qū)域。
3.根據(jù)權(quán)利要求2所述的三維人臉識(shí)別方法，其特征在于，所述圖像預(yù)處理步驟中，所 述三維人臉匹配包括點(diǎn)云協(xié)方差矩陣的正交特征矢量，V1, V2, V3,作為點(diǎn)云的三個(gè)主軸，旋轉(zhuǎn)點(diǎn)云使Vl，V2, V3 分別平行于參考坐標(biāo)系的Y，x和Z軸，鼻尖在參考坐標(biāo)系上的位置作為參考坐標(biāo)系的原點(diǎn)， 通過(guò)旋轉(zhuǎn)和平移將所有三維人臉數(shù)據(jù)進(jìn)行粗匹配；人臉信號(hào)用最近鄰內(nèi)插在球面等角網(wǎng)格上采樣，通過(guò)計(jì)算所有訓(xùn)練人臉圖像上每個(gè)網(wǎng) 格點(diǎn)值構(gòu)建平均人臉模型(AFM)，所有人臉信息通過(guò)ICP進(jìn)一步與AFM對(duì)齊避免嘴和頌的影 響；通過(guò)最小化Z-buffer距離的全局最優(yōu)技術(shù)進(jìn)行精細(xì)對(duì)齊，它有效地重采樣數(shù)據(jù)三角 形上點(diǎn)獨(dú)立性，并刪除所有的人臉不相關(guān)信息。
4.根據(jù)權(quán)利要求3所述的三維人臉識(shí)別方法，其特征在于，所述三維人臉彎曲不變量的計(jì)算步驟中，所述三維人臉彎曲不變量通過(guò)快速行進(jìn)法計(jì) 算三維人臉表面點(diǎn)的測(cè)地距離，再通過(guò)等距映射獲得低維歐式空間Rm的距離作為三維表面 點(diǎn)的彎曲不變量。
5.根據(jù)權(quán)利要求4所述的三維人臉識(shí)別方法，其特征在于，所述三維人臉彎曲不變量相關(guān)特征提取步驟中，所述三維人臉彎曲不變量相關(guān)特征通 過(guò)運(yùn)用3D LBP編碼三維人臉表面相鄰節(jié)點(diǎn)的彎曲不變量局部特征獲得。
6.一種基于彎曲不變量相關(guān)特征的三維人臉識(shí)別系統(tǒng)，其特征在于，包括圖像預(yù)處理模塊，用于自動(dòng)提取三維人臉區(qū)域，包括人臉區(qū)域提取和三維人臉匹配的 操作，獲取預(yù)處理后的三維人臉；彎曲不變量的計(jì)算模塊，用于計(jì)算所述預(yù)處理后的三維人臉的彎曲不變量； 彎曲不變量相關(guān)特征提取模塊，用于編碼三維人臉表面相鄰節(jié)點(diǎn)的彎曲不變量的局部特征，提取彎曲不變量相關(guān)特征；特征降維模塊，用于對(duì)所述彎曲不變量的相關(guān)特征進(jìn)行簽名并采用譜回歸進(jìn)行降維， 獲得主成分；分類識(shí)別模塊，用于基于主成分，運(yùn)用K最近鄰分類系統(tǒng)對(duì)三維人臉進(jìn)行識(shí)別。
7.根據(jù)權(quán)利要求6所述的三維人臉識(shí)別系統(tǒng)，其特征在于，所述圖像預(yù)處理模塊中，包 括用于實(shí)現(xiàn)人臉區(qū)域提取的子模塊，包括用于計(jì)算有效點(diǎn)矩陣的列和并從點(diǎn)云中估計(jì)一個(gè)垂直投影曲線的單元；用于定義投影曲線的左右拐點(diǎn)的兩個(gè)側(cè)閾值來(lái)刪除對(duì)象肩膀上超過(guò)此閾值的數(shù)據(jù)的 單元；用于通過(guò)閾值化深度值直方圖進(jìn)一步刪除對(duì)應(yīng)于對(duì)象胸部的數(shù)據(jù)點(diǎn)，去除了對(duì)應(yīng)前臉 信息后面的大深度值數(shù)據(jù)單元；用于刪除保留在區(qū)域中但與主要人臉區(qū)域不連接的異常點(diǎn)并且僅將最大的區(qū)域視為 人臉區(qū)域的單元。
8.根據(jù)權(quán)利要求7所述的三維人臉識(shí)別系統(tǒng)，其特征在于，所述圖像預(yù)處理模塊中，包 括用于實(shí)現(xiàn)三維人臉匹配的子模塊，包括用于點(diǎn)云協(xié)方差矩陣的正交特征矢量，V1, V2, v3，作為點(diǎn)云的三個(gè)主軸，旋轉(zhuǎn)點(diǎn)云使V1, V2, V3分別平行于參考坐標(biāo)系的Y，X和Z軸，鼻尖在參考坐標(biāo)系上的位置作為參考坐標(biāo)系的 原點(diǎn)，通過(guò)旋轉(zhuǎn)和平移將所有三維人臉數(shù)據(jù)進(jìn)行粗匹配的單元；用于人臉信號(hào)用最近鄰內(nèi)插在球面等角網(wǎng)格上采樣，通過(guò)計(jì)算所有訓(xùn)練人臉圖像上每 個(gè)網(wǎng)格點(diǎn)值構(gòu)建平均人臉模型AFM，所有人臉信息通過(guò)ICP進(jìn)一步與AFM對(duì)齊避免嘴和頌的 影響的單元；用于通過(guò)最小化Z-buffer距離的全局最優(yōu)技術(shù)進(jìn)行精細(xì)對(duì)齊，它有效地重采樣數(shù)據(jù) 三角形上點(diǎn)獨(dú)立性，并刪除所有的人臉不相關(guān)信息的單元。
9.根據(jù)權(quán)利要求8所述的三維人臉識(shí)別系統(tǒng)，其特征在于，所述彎曲不變量的計(jì)算模塊中，所述三維人臉彎曲不變量通過(guò)快速行進(jìn)法計(jì)算三維人 臉表面點(diǎn)的測(cè)地距離，再通過(guò)等距映射獲得低維歐式空間IT的距離作為三維表面點(diǎn)的彎曲 不變量。
10.根據(jù)權(quán)利要求9所述的三維人臉識(shí)別系統(tǒng)，其特征在于，所述彎曲不變量相關(guān)特征提取模塊中，所述三維人臉彎曲不變量相關(guān)特征通過(guò)運(yùn)用3D LBP編碼三維人臉表面相鄰節(jié)點(diǎn)的彎曲不變量局部特征獲得。
全文摘要
本發(fā)明公開(kāi)了一種基于彎曲不變量相關(guān)特征的三維人臉識(shí)別方法及系統(tǒng)。該方法包括自動(dòng)提取三維人臉區(qū)域，包括人臉區(qū)域提取和三維人臉匹配的操作，獲取預(yù)處理后的三維人臉；計(jì)算所述預(yù)處理后的三維人臉的彎曲不變量；編碼三維人臉表面相鄰節(jié)點(diǎn)的彎曲不變量的局部特征，提取彎曲不變量相關(guān)特征；對(duì)所述彎曲不變量的相關(guān)特征進(jìn)行簽名并采用譜回歸進(jìn)行降維，獲得主成分；基于主成分，運(yùn)用K最近鄰分類方法對(duì)三維人臉進(jìn)行識(shí)別。本發(fā)明相比現(xiàn)有的3D人臉識(shí)別具有更好的有效性和高效性，在處理人臉表情和姿態(tài)變化上效果尤其好。
文檔編號(hào)G06K9/46GK101930537SQ20101025690
公開(kāi)日2010年12月29日 申請(qǐng)日期2010年8月18日 優(yōu)先權(quán)日2010年8月18日
發(fā)明者明悅, 阮秋琦 申請(qǐng)人:北京交通大學(xué)