專利名稱：：一種基于雙目被動立體視覺的快速三維人臉識別方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種三維人臉識別方法，主要是一種以通過雙目被動立體視覺快速自動獲取人臉表面密集、精確三維點云信息為基礎(chǔ)的新思路來進行人臉三維重建，基于點云半隨機統(tǒng)計特征和高維矩向量的表情無關(guān)的三維人臉識別方法。
背景技術(shù)：
：人臉識別作為生物特征識別的一個重要方面，與指紋、虹膜、DNA識別等技術(shù)相比，其過程更加隱蔽、友好和便捷，應(yīng)用前景廣闊。但在二維情況下，不可避免受到環(huán)境光線、背景、視角等以及人臉的姿態(tài)、表情、遮擋等不利影響，因而其識別精度很難有進一步的提髙。為了克服基于二維圖像人臉識別技術(shù)的不足，有研究者已經(jīng)開始轉(zhuǎn)向二維人臉識別技術(shù)的研究。對三維人臉識別技術(shù)而言，存在的最大困難是人臉三維點云數(shù)據(jù)的獲得。近幾年光學(xué)三維形貌測量技術(shù)有了很大的進展，已發(fā)展出一些具有實用潛力的三維形貌測量技術(shù)，如結(jié)構(gòu)光投影相移技術(shù)、結(jié)構(gòu)光投影傅立葉變換技術(shù)等，使得三維人臉的識別成為可能。但是，通過向人臉投射結(jié)構(gòu)光事實上已經(jīng)是一種接觸式的識別方法，對被識別者不夠友好，會引起法律、公共次序等方面的爭議，并且也失去了信息隱蔽采集的能力。這樣，在很大程度上減弱了較之指紋識別等的優(yōu)勢。因此，如何快速高效并且隱蔽的獲取被識別者的密集三維人臉信息引起了人們的重視。正如表情會影響2D人臉圖像的表觀(appearance),表情對3D人臉數(shù)據(jù)的影響是改變了人臉的3D形狀，不同程度的表情造成同一個人的不同采集視圖形狀差異很大，簡單采用形狀匹配時類內(nèi)的模型相似度很低，直接導(dǎo)致識別率下降。因此，尋求一種表情不變的人臉表征方法成為保證識別準確率的關(guān)鍵途徑。在識別與信息存儲方面，采集的人臉三維點云數(shù)據(jù)量通常十分龐大，不宜直接進行儲存和識別比對，傳統(tǒng)的ICP方法，比對過程十分費時，并且歸一化困難。因此，如何通過采集的二維點云信息，提取出易于儲存與識別比對的人臉特征將是人們亟待解決的重要問題。
發(fā)明內(nèi)容本發(fā)明的目的在于克服上述不足而提供一種基于雙目被動立體視覺的快速三維人臉識別方法，主要解決的是不同姿態(tài)與表情下的三維人臉快速識別問題?；陔p目被動立體視覺的快速三維人臉識別方法包括如下步驟1)運用兩臺高清晰數(shù)照碼相機構(gòu)建非接觸式短軸平行雙目立體視覺系統(tǒng)；2)對視覺系統(tǒng)的預(yù)覽幀進行haar-AdaBoost方法的人臉檢測與采集，獲得相應(yīng)的上下立體視覺圖對并估計視差，對人臉區(qū)域進行圖像校正，獲得區(qū)域內(nèi)外極線垂直的上下立體視覺圖對；3)運用Bayesian、haar-AdaBoost分類器以及點云三維信息獲取眼睛與鼻尖的精確定位，構(gòu)建基準二角形；4)運用基于復(fù)小波的相位相關(guān)算法金字塔形并行快速搜索立體圖對中小區(qū)域的相應(yīng)亞像素匹配，既而重建人臉密集三維點云信息；5)運用已構(gòu)建的基準三角形，針對不同姿態(tài)下的人臉進行姿態(tài)歸一與補洞；6)基于人臉表面測地距離不變性假設(shè)，對不同人臉表情進行歸一化；7)利用算法對歸一化后ZI維人臉進行識別。所述的雙目立體視覺系統(tǒng)由兩臺高清晰數(shù)碼照相機平行緊靠安裝，其光軸基本平行且基線長度盡可能短，一般在60mm左右。照相機通過usb接口連接到電腦，通過屯腦，利用雙線程同步技術(shù)控制兩臺照相機同時拍照，并通過雙目立體標定獲得系統(tǒng)內(nèi)外參數(shù)。對視覺系統(tǒng)所拍攝的上下立體圖對進行校正，使上下圖外極線與y軸平行。所述的從上下立體圖對中獲取人臉大致視差與姿態(tài)估計運用haar-AdaBoost分類器對照相機預(yù)覽圖像進行人臉檢測。當上下圖中均有完整人臉時進行同步抓拍，既而運用訓(xùn)練完成的Bayesian分類器，在已確定的人臉區(qū)域上平鄰進行左右瞌孔精確定位運HJhaar-AdaBoost分類器對下半部進行鼻孔初步定位。對異孔周圍區(qū)域以及左右瞳孔進行亞像素級精確匹配，根據(jù)視差求出鼻尖以及左右睡孔的二維深度信息，構(gòu)建人臉基準二角形，其確定的平面為基準平面。從鼻尖向左右瞳孔迕線做乖線，垂足稱為輿基點，二等分鼻基點到奧尖線段，取靠近彝尖的笱分點為圓心，1.2倍瞳距為半徑，在基準平面上做圓，通過該圓計算確定上下視覺圖中的人臉比對區(qū)域。所述的基于復(fù)小波的相位相關(guān)算法金字塔形搜索立體圖對中小區(qū)域的相應(yīng)亞像素匹配采用基于復(fù)小波的相位相關(guān)算法，對人臉比對區(qū)域每隔5像素點進行從粗到細的金字塔形搜索，獲得上'卜'視覺圖的密集精確匹配。具體公式如F，K0(b!,b2,a)laH眼"m,n)5(，,，).(2)(VV2)(bpb2,a,叫,W2)s(W々f氛b2,a,"2)e-i"K).(8)C(WpW2)=(W^)(bpb2,a,oH,u)2).(W,2)(b!,b2,a,w^).(9>e(uh,u)2)=C("2)/IC(u^W2)1e一).(10)《ni,n2)-^Sklk2e.射.,2.(11)所述的金字塔形搜索對圖像進行5層復(fù)小波分解，在像素匹配階段采用簡化的算法從最底層幵始，只比對Re["i^,n2)]中心附近的點，找出最人值，而由該最大值作為a的近似，其位置即為相應(yīng)的視差估計，放大后代入上一層作為新的初始估計，進行新的計算，直到最頂層為.l卜.。因此，在進行亞像素匹配時，視差估計的誤差應(yīng)該小于l個像素。既而通過幾次t.線性最小二乘擬合迭代過程，獲得最終的亞像素級視差估計。所述的引入順序匹配、連續(xù)性、相關(guān)性以及外極線等約束條件，作為對匹配關(guān)系的可信度評估所謂順序匹配約束是指，對于上圖中的兩點，其下圖中的匹配點應(yīng)保持原來的順序；而連續(xù)性是指，對于上圖中接近的兩點，其相應(yīng)視差也應(yīng)該相似；相關(guān)性約束可ffla值來表示，當(T值越大，說明這兩點的匹配相關(guān)性越大；而極線約束是指匹配點擁有基本相似的橫坐標。整個匹配過程可改進為以下算法第一步對于每一層，匹配并估計每一未標記點的ct值。如果ct小于某一閾值，則對該點進行標記并轉(zhuǎn)入第二步。否則，考慮其順序約束，取與其同列并已匹配的最近未標記點，如果順序匹配錯誤，則進行標記并轉(zhuǎn)入第二步。否則，考慮其連續(xù)約束情況，取其附近5x5以內(nèi)所有已匹配而未標記點，取其視差平均，比較與該點差的絕對值，如大于某一陶值，則對該點標記轉(zhuǎn)入第二步。最后，如果匹配點偏離外極線過大，則標記該點并轉(zhuǎn)入第二步第二步對于標記的點，考慮其附近Sx5以內(nèi)所有未標記點，取其關(guān)丁'a值的相對加權(quán)平均作為該點的初始估計，然后進行亞像素匹配，對其結(jié)果進行相應(yīng)的約束檢測。如仍被標記，則將初始估計作為其相應(yīng)視差，所述的運用人臉的對稱性對遮擋或者紋理欠缺部分進行補洞過舁尖點，作垂直于基準二角形和左右瞳孔連線的平面，將二維人臉點云對該平面作鏡向，并運用ICP迭代算法進行人臉補洞。所述的運用算法進行人臉識別先比對兩人臉的瞳距以及鼻尖到鼻基點的距離。如果在一定閾值范圍內(nèi)，則進一步比對，系統(tǒng)提供兩種比對方法第一種，將人臉點云投影到基準平面，對基準平面上的每一同定方格隨機選取一點，對所有選取的點，計算每兩點之間的歐氏距離，而實際上，這個距離在表情歸一化時己經(jīng)計算過，無需重復(fù)計算，畫出基于半隨機的統(tǒng)計特征圖，通過比對不同人臉間的統(tǒng)計特征圖即可對人臉進行識別。第二種，運用Tal的基于點云高維矩的向量比對方法進行歸一化后人臉比對過程。主要思想是，將歸一化人臉點云轉(zhuǎn)化為高維矩的形式，然后再對其主耍部分向量進行相似度比較。定義<formula>formulaseeoriginaldocumentpage7</formula>作為不同人臉Si,S2的相似度函數(shù)，其中Xi,X'2為其相應(yīng)的歸一化點云，<formula>formulaseeoriginaldocumentpage7</formula>所有點的匹配過程可并行計算，W此對雙核cpu采用多線程的編程，可明顯提高計算速度。對每張臉一共計算大約5000個點。本發(fā)明有益的效果是所述的雙目立體視覺系統(tǒng)由兩臺高清晰數(shù)碼照相機平行緊靠安裝，其光軸基本平行且基線長度盡可能短，一般在60mm左右。照相機通過usb接口連接到電腦，通過電腦，利用雙線程同步技術(shù)控制兩臺照相機同時拍照，并通過雙目立體標定獲得系統(tǒng)內(nèi)外參數(shù)。對視覺系統(tǒng)所拍攝的上下立體圖對進行校正，使上下圖外極線與Y軸平行。(1)構(gòu)建基于兩臺平行光軸高清晰數(shù)碼相機的短基線雙目立體視覺系統(tǒng)，利用雙線程同步技術(shù)，通過電腦控制兩臺相機同時拍照，獲得同一瞬間的高清晰人臉圖像對，使后繼的高精度匹配與重建過程得以實現(xiàn)。(2)提出考慮順序匹配、連續(xù)性、相關(guān)性以及外極線等約束條件的基于復(fù)小波變換的相位相關(guān)算法從粗到細地搜索匹配關(guān)系，自動獲得稠密精準的人臉點云信息，使通過雙目被動立體視覺系統(tǒng)對人臉進行快速三維識別成為可能，識別過程更快速、隱蔽、安全與可靠；(3)運用haar-AdaBoost與Bayesian分類器并結(jié)合二維深度信息的方法確定人臉基準三角形，通過該基準三角形對特定人臉進行姿態(tài)歸一化，結(jié)合人臉的對稱性對遮擋部分進行補洞處理，效果良好；(4)采用提取人臉半隨機統(tǒng)計特征圖的方法進行相似度比對，能很好地節(jié)約存儲空間，并使比對過程更加便捷與準確，識別魯棒性強。圖l是基丁雙目被動立體視覺的快速二維人臉識別方法流程示意圖；圖2是本發(fā)明基于髙淸晰數(shù)碼相機的雙目被動立體系統(tǒng)；圖3是本發(fā)明以左右瞳孔中心以及鼻尖的空間位置構(gòu)建的基準坐標系；圖4是本發(fā)明的不同人臉三維重建結(jié)果。具體實施例方式—、本發(fā)明采用雙目被動立體視覺的方法，對人臉進行檢測與表面密集點云的快速二維重建，運用基準三角形對特定人臉進行姿態(tài)歸一與補洞處理，對表情in—化后的人臉重建區(qū)域進行半隨機統(tǒng)計特征圖提取，從而通過比對不同人臉的統(tǒng)計特征圖實現(xiàn)人臉的髙精度Q動識別。為了實現(xiàn)發(fā)明目的，如圖i所示，本方法采用如下的技術(shù)方案.-步驟1:運用兩臺高清晰數(shù)碼照相機構(gòu)建雙目被動立體視覺系統(tǒng)對于平行光軸的雙目系統(tǒng)，由于在光軸距離小的情況下，可以近似地將上下采集圖中對應(yīng)點為中心的小區(qū)域視為相互的一個圖像平移，因而可運用相位相關(guān)筧法對對應(yīng)點進行估計。岡此，希望它們的光軸距離(基線距離)越短越好。然而，由亍對臉部釆樣的精確度以及點云密集程度的要求比較高，在對應(yīng)點的匹配過程中，就需要考慮更多的相鄰像素區(qū)域，既而在更大的臉部表面區(qū)域進行匹配。然而，由丁-臉部表面并非具有相同的深度，那么，我們沒有理由相信其對應(yīng)點附近較人的鄰域仍然可以近似視為一個相互平移，這一點反應(yīng)在鼻梁區(qū)域尤為明顯。所以，匹配算法的可信度將無法保證。而相反的，為了滿足對應(yīng)點鄰近區(qū)域為相互平移的假設(shè)，而只考慮點周圍很小的區(qū)域，算法精度將迅速下降。在匹配箅法中，調(diào)節(jié)小波基的寬度，使得匹配點周圍99X99的像素區(qū)域在窗口范圍內(nèi)時，才可獲得可信度髙的配準關(guān)系。為解決這樣的矛盾關(guān)系，使用髙清晰的照相機取代攝像機作為新的雙目組成視覺系統(tǒng)，如圖2所示。這樣，即使在很小的表面區(qū)域內(nèi)，仍然有足夠多的紋理信息來保證匹配的效果。在系統(tǒng)中，基線距離即為照相機的寬度，取61mm。這也正好是人雙眼的大致距離，符合仿生學(xué)原理。雙目系統(tǒng)通過USB接口與屯腦相連，運用雙線程同步技術(shù)，由電腦控制雙目進行同時拍照。對構(gòu)建完成的雙目視覺系統(tǒng)進行立體標定，獲得其內(nèi)外參數(shù)信息。由于不可避免地受到鏡頭崎變等影響，并且在實際應(yīng)用中雙S光軸往往難以達到精確平行要求，閃此外極線通常不垂直于圖像x軸。通過校正圖像對可解決這一問題。因而，在后繼的對應(yīng)點匹配中，只需對y軸附近進行掃描即可。在新的系統(tǒng)中，由于采用了1000萬像素級的高分辨率照相機，因此，當上下圖中的對應(yīng)點匹配精度達到0.1像素時，利用雙目立體視覺原理可精確獲得空間點的二維深度信息，誤差不超過O.lmm。步驟2:對視覺系統(tǒng)的預(yù)覽幀進行haar-AdaBoost方法人臉檢測與采集，獲得相應(yīng)的上下立體視覺圖對在對應(yīng)點匹配前，我們需耍檢測預(yù)覽幀中是否有完整的入臉，并了解人臉在圖像中的大致區(qū)域與對應(yīng)視差。這樣，匹配的搜索深度與范圍將大大減少，既提高了效率又減少了匹配時的誤判與拒判率。發(fā)明運用RainerLienhart介紹的基于灰度圖像中弱特征檢測方法對預(yù)覽視頻流中每一幀進行實時人臉檢測，對于訓(xùn)練完成的多角度人臉AdaBoost分類器，單幀圖像人臉檢測準確率可達90%。當人臉圖像進入視覺系統(tǒng)中時，系統(tǒng)對每一幀圖像進行檢測，當檢測結(jié)果符合人臉邏輯時由電腦控制雙目進行同步抓拍獲取清晰的圖像對，為后繼的匸維重建提供樣本。這里所謂的符合邏輯是指，上下視頻流中檢測到的人臉區(qū)域的大小與其中心x軸坐標都要基本一致，視差在一定的范圍內(nèi)，并且人臉區(qū)域耍整個地落在視頻內(nèi)。此時，對拍攝的圖像對進行再一次的人臉檢測，此次檢測區(qū)域?qū)⒅幌薅╮預(yù)覽幀所檢測到的人臉區(qū)域附近，若此時，上下圖對中都有完整的人臉并符合邏輯，則記錄檢測結(jié)果，并估計人臉視差。否則，需重新抓照。步驟3:對抓拍圖像進行校正，使外極線垂直于圖像x軸坐標。但由丁'校正過程較為耗時，丙此，可只對人臉區(qū)域進行校正，這樣，同時運用多線程技術(shù)，在主頻為2.4GHz的雙核處理器下，用時可控制在0.75秒以內(nèi)。步驟4:運用Bayesian、AdaBoost分類器以及點云二維信息獲取眼睛與彝尖的精確定位，構(gòu)建基準二角形，針對不同姿態(tài)下的人臉進行姿態(tài)!H—-根據(jù)步驟2的人臉檢測結(jié)果，運用訓(xùn)練完成的Bayesian分類器，在已確定的人臉區(qū)域上半部的左右邊分別進行左右瞳孔精確定位；運用AdaBoost分類器對下半部進行鼻孔初步定位。運用發(fā)明步驟5將要介紹的匹配算法對左右瞳孔中心進行亞像素精確視差估計，并對初步定位的鼻孔區(qū)域進行像素級匹配，通過其各自視差計算H點的空間位置，過該二點確定初始參考平面，以遠離人臉的方向為z軸正方向構(gòu)建初始坐標系。對鼻孔周圍一定區(qū)域(本發(fā)明取卞.徑為瞳距四分之一的圓)內(nèi)每一點進行亞像素級精確匹配'繼而求出各點在初始坐標系中的z坐標，取值最大的點作為鼻尖的估計。以左右瞳孔中心以及鼻尖的空間位置構(gòu)建人臉基準二角形，其確定的平面為基準平面，建立如圖3所示的基準坐標系。從鼻尖向左右瞳孔連線做垂線，稱該垂足為鼻基點，二鄰分鼻基點到鼻尖線段，取靠近弊尖的等分點為圓心，1.2倍瞳距為半徑，在基準平面上做圓，稱該圓為特征圓，根據(jù)視差原理，反求出該圓的邊界在上下圖中的相應(yīng)封閉曲線。由于識別過程只考慮左右服能同時定位的情況，所以，我們總是假定鼻尖位置在該封閉曲線內(nèi)。因此只需考慮曲線內(nèi)像素點的三維重建信息，將其作為后繼識別匹配的人臉特征。步驟5:基于復(fù)小波變換的相位相關(guān)算法以及在匹配過程中的具體運用；給定兩幅大小均為(2M+1)x(2N+1)的灰度圖fi(ni,n)、f2(m,n)，定義它們在連續(xù)域中的對應(yīng)函數(shù)仍為fi(x,y)、fz(x,y),為方便敘述，發(fā)明考慮連續(xù)函數(shù)的情況。假設(shè)f2為fi的平移，平移量為(5i，62)，則f2(m,n)=fi(m—6;!,n—52).(1)設(shè)4)為二維復(fù)小波基，那么對丁'連續(xù)域中的函數(shù)f"f2,在y(R)上的積分小波變換(iwr)分別定義為(W^)(b"2,a):=|a|-U"m,n)不(，,呼).(2)(VV2)(^,b2,a):=lal—Emnf2(m,n)不(^,，).(3)根據(jù)小波變換的平移性可知(VV2)(、,b2，a)--、,b2-62,a).(4)需尋找這樣的小波基，使得在頻域中對(&,52)容易估計。在實際應(yīng)用中，常用的小波基巾(x,y)多為變量可分離的一元凼數(shù)cKx,y)-^(x〕小2(y),特別地，令A(yù)-4V則巾(x,y)-^(x)巾i(y)。由于Morlet復(fù)小波采用時頻窗面積最小的高斯窗函數(shù)，在時、頻域都有較好的局部性，符合人眼的識別規(guī)律。因此，令&為Morlet復(fù)小波基則(5)lal一H2nmfi(m,n)'e—■當^《a，52《a時1.(7)在實際匹配過程中，采用從粗到細的搜索策略，使得相對f給定的分辨率a，6"62總是很小，條件(7)的估計是合適的。利用條件(7)，有^、f2的交叉能量譜C定義為C(U^,W2)=(VVj(bi,b2,a,0^,W2).(V^f2)(bhb2,a,U^,W2).(9)其歸一化后記為對于一定范圍的UH、w2,進行2D離散,記A-glq(10><formula>formulaseeoriginaldocumentpage11</formula>l,一M:Ski^M,—N:SkiSN,傅立葉反變換得:e"'"。=^klk2&々'》1'》2.(U>理論上，"ih,n2)的虛部應(yīng)等于0，然而，實際應(yīng)用中，通常只取其實部來ffl二維Dirichlet函數(shù)擬合在理想情況，o=l。在實際應(yīng)用中，由于存在噪聲等的影響.a通常小丁l。運用Levenberg-Marquardt算法對Re[e(,n2)]中心5x5的整數(shù)點數(shù)值進行非線性最小一乘擬合，得到包括o,62的參數(shù)估計。對人臉圖像進行5層復(fù)小波分解，毎隔10像素進行一次匹配。在像素匹配階段釆用簡化的算法從最底層開始，只比對Re[e(i^,n2)]中心附近的點，找出最大值，由該最人值作為o的近似，其位置即為相應(yīng)的視差估計，放大后代入上一層作為新的初始估計.進行新的計算，直到最頂層為i卜.。ra此，在進行亞像素匹配時，視差估計的誤差應(yīng)該小于l個像素。既而通過兒次非線性最小二乘擬合迭代過程，獲得最終的亞像素級視差估計。這樣的迭代過程進行兩次就可收斂。根據(jù)以上的匹配方法，對丁大部分點都可fl動獲得止確的視差估計，然而由丁'遮擋、噪聲以及缺少紋理等情況的影響，在由粗到細的金字塔匹配過程中，對某些點對將出現(xiàn)錯誤估計，進而導(dǎo)致亞像素匹配無法收斂等情況的發(fā)生。不僅降低了自動配準的魯棒性，而且在很大程度上減弱了三維重建的可靠性和精準度。為克服以上問題，引入順序匹配、連續(xù)性、相關(guān)性以及外極線等約束條件，作為對匹配關(guān)系的可信度評估。所謂順序匹配約束是指，對丁上圖中的兩點，其下圖中的匹配點應(yīng)保持原來的順序；而連續(xù)性是指，對于上圖中接近的兩點，其相應(yīng)視差也應(yīng)該相似；相關(guān)性約束可用o值來表示，當o值越大，說明這兩點的匹配相關(guān)性越大；而極線約束是指匹配點擁有基本相似的橫坐標。因此，整個匹配過程可改進為以下算法第一步對于每一層，匹配并估計每一未標記點的a值。如果o小丁某一閾值，則對該點進行標記并轉(zhuǎn)入第二步。否則，考慮其順序約束，取與其同列并已匹配的最近未標記點，如果順序匹配錯誤，則進行標記并轉(zhuǎn)入第二步。否則，考慮其連續(xù)約束情況，取其附近5x5以內(nèi)所有已匹配而未標記點，取其視差平均，比較與該點差的絕對值，如大于某一閾值，則對該點標記轉(zhuǎn)入第—步。最后，如果匹配點偏離外極線過人，則標記該點并轉(zhuǎn)入第二步；第二步對于標記的點，考慮其附近5x5以內(nèi)所有未標記點，取其關(guān)于a值的相對加權(quán)平均作為該點的初始估計，然后進行亞像素匹配，對其結(jié)果進行相應(yīng)的約束檢測。如仍被標記，則將初始估計作為其相應(yīng)視差。所有點的匹配過程可并行計算，因此在雙核處理器下采用多線程編程，可明顯提髙計算速度。對每張臉一共計算大約5000個點。不同人臉的三維重建結(jié)果請見圖4。步驟6:運用人臉的對稱性對遮擋或者紋理欠缺部分進行補洞當采集具有一定角度人臉圖像時，歸一化后只能得到大半邊臉重建結(jié)果，并且由于鼻子對臉的遮擋等情況，在需匹配區(qū)域出現(xiàn)洞，給識別過程帶來困難。考慮到人臉具有很好的對稱性，我們只需要過鼻尖點，作垂直丁基準三角形和左右瞎孔連線的平面，將二維人臉點云對該平面作鏡向，再將兩幅點云進行ICP迭代。這樣，由于拍攝角度原因被棒子遮擋的臉頰部分以及臉的側(cè)面被很好地恢復(fù)了。以上方法也被運用T當人臉(特別是顴骨部分)皮膚過于細膩而缺少紋理出現(xiàn)人孔時的填補過程。步驟7:運用等長映射對3D人臉進行表情歸一化基于人臉表面任意兩點之間的測地距離在表情變化下的不變性假設(shè)，運用fastMarching方法計算3D人臉上每一對點之間的測地線距離(記錄該測地距離，在步驟8中的半隨機統(tǒng)計特征圖提取時將再次用到)，然后用MDS(咖ltidimensionalscaling)方法，實現(xiàn)從測地距離到歐氏直線距離間的等長映射(isometricmapping)，實現(xiàn)表情歸一。步驟8:運用算法對歸一化后的人臉點云進行比對識別先比對兩人臉的瞳距以及鼻尖到鼻基點的距離。如果在一定閾值范圍內(nèi)，則進一步比對，系統(tǒng)提供兩種比對方法第一種將人臉點云投影到基準平面，對于基準平面上特征圓內(nèi)的每一固定方格隨機選取一點，對于所有選取的點，計算每兩點之間的歐氏距離(即表情歸一化前的測地線距離，已在步驟7中計算過)，畫出基于半隨機的統(tǒng)計特征圖，通過比對不同人臉間的統(tǒng)計特征圖即可對人臉進行識別。假設(shè)對兩人臉M、N進行比對，分別獲得函數(shù)fM與fN作為它們的半隨機統(tǒng)計特征圖，那么只需計算如下函數(shù)-S=Udx.(13)當S小丁給定閾值時，即可判定人臉M、N屬于同一個人。第二種，運用TSl的基丁-點云髙維矩的向量比對方法進行歸一化后人臉比對過程。主要步驟是，將表情歸一化人臉點云轉(zhuǎn)化為高維矩的形式，然后再對其主要部分向量進行相似度比較。定義d咖m(SpS2)=5:p+q+rsP(Ppqr(Xi)_qr(X)2.(14)作為不同人臉Si,S2的相似度函數(shù)，其中Xi,X;為其相應(yīng)的歸一化點云，npqr(X)=/xXPyqzrdxdydz.二、驗證結(jié)果為了驗證該方法對人臉識別的效果，我們對10人在不同光照條件下進行多角度拍攝，每人拍3次，對每組照片建立相應(yīng)的歸一化三維點云信息以及平.隨機統(tǒng)計特征圖.存入數(shù)據(jù)庫中。本次實驗比對該30組數(shù)據(jù)中的任意兩組，判斷是否為同一人。運用第一種基丁統(tǒng)計圖的判別方法，取閾值為150時，獲得完全正確的識別效果。運用第二種基于高維矩向量的方法，取閾值為200時，也獲得了完全正確的識別效果。實驗表明，系統(tǒng)允許接受非正面的人臉采集圖像，只要在該圖像對中能方便地識別出基準三角形即可。系統(tǒng)識別基本不受光照條件以及背景的影響，并且對不同面部表情也有較好的魯棒性。在匹配算法中，每—點都可并行計算，岡此在實際編程中，雙核處理器采川多線程的方式可在很人程度上提高算法的速度。本次實驗，采用主頻為2.4GHz的雙核處理器，采ffl雙線程，對每張臉計算5000個左右匹配點，數(shù)據(jù)庫樣本大小為30,對單個人臉釆樣與比對過程用時約5秒，各項具體耗時如農(nóng)l:表l單個人臉采集與比對過程的用時情況<table>tableseeoriginaldocumentpage13</column></row><table>整個過程基本達到實時化要求。王、實驗結(jié)論-本發(fā)明公開了一種新的基于雙目被動立體視覺采集人臉圖像，運用復(fù)小波變換技術(shù)精確匹配對應(yīng)點，對重建二維點云進行特征提取與比對的三維人臉識別方法，與傳統(tǒng)使用激光掃描儀或結(jié)構(gòu)光等人臉信息釆集方法相比，由于使用了非俊入式的雙目立體視覺系統(tǒng)，使采集過程更加友好、快捷，并可根據(jù)需要達到隱蔽釆集的目的，得出以下結(jié)論(1)運用基于復(fù)小波變換的相位相關(guān)算法可獲得密集且滿足識別精度要求的人臉二維點云信息。該算法對背景無特別要求。{2)采用haar-AdaBoost和BaYesian分類器的方法，結(jié)合二維深度信息，確定人臉基準二角形，方便特定人臉的姿態(tài)歸一化。(3)提供基于統(tǒng)計圖和基亍高維矩向量的兩種不同的人臉比對方法，用戶可根據(jù)實際情況進行選擇。實驗表明，該發(fā)明不僅對環(huán)境以及人臉位姿表情等魯棒性強，識別準確率高，并且成本十分低廉，適合在許多領(lǐng)域推廣應(yīng)用。權(quán)利要求1、一種基于雙目被動立體視覺的快速三維人臉識別方法，其特征在于包括如下步驟1)運用兩臺高清晰數(shù)照碼相機構(gòu)建非接觸式短軸平行雙目立體視覺系統(tǒng)；2)對視覺系統(tǒng)的預(yù)覽幀進行haar-AdaBoost方法的人臉檢測與采集，獲得相應(yīng)的上下立體視覺圖對并估計視差，對人臉區(qū)域進行圖像校正，獲得區(qū)域內(nèi)外極線垂直的上下立體視覺圖對；3)運用Bayesian、haar-AdaBoost分類器以及點云三維信息獲取眼睛與鼻尖的精確定位，構(gòu)建基準三角形；4)運用基于復(fù)小波的相位相關(guān)算法金字塔形并行快速搜索立體圖對中小區(qū)域的相應(yīng)亞像素匹配，既而重建人臉密集三維點云信息；5)運用已構(gòu)建的基準三角形，針對不同姿態(tài)下的人臉進行姿態(tài)歸一與補洞；6)基于人臉表面測地距離不變性假設(shè)，對不同人臉表情進行歸一化；7)利用算法對歸一化后三維人臉進行識別。2、根據(jù)權(quán)利要求l所述的基于雙目被動立體視覺的快速三維人臉識別方法，其特征在于，所述的雙目立體視覺系統(tǒng)由兩臺高淸晰數(shù)碼照相機平行緊靠安裝，其光軸基本平打且基線長度盡可能短，一股在60mm左右。照相機通過usb接口連接到電腦，通過電腦，利用雙線程同步技術(shù)控制兩臺照相機同時拍照，并通過雙目立體標定獲得系統(tǒng)內(nèi)外參數(shù)。3、根據(jù)權(quán)利要求l所述的基于雙目被動立體視覺的快速三維人臉識別方法，其特征在于，所述的從上下立體圖對中獲取人臉大致視差、對人臉區(qū)域校正并進行姿態(tài)估計運用haar-AdaBoost分類器對照相機預(yù)覽圖像進行人臉檢測。當上下圖中均有完整人臉時進行同步抓拍，對人臉區(qū)域進行圖像對校正，獲得區(qū)域內(nèi)外極線垂直的上下立體視覺圖對。既而運用訓(xùn)練完成的Bayesian分類器，在已確定的人臉區(qū)域上半部的左右側(cè)分別進行左右瞳孔精確定位；下半部運用haar-AdaBoost分類器進行鼻子初步定位。對奧子周圍區(qū)域以及左右瞳孔進行亞像素級精確匹配，根據(jù)視差求出鼻尖以及左右瞳孔的三維深度信息，構(gòu)建人臉基準三角形，其確定的平面為基準平面。從鼻尖向左心瞳孔連線做垂線，垂足稱為鼻基點，三等分鼻基點到鼻尖線段，取靠近鼻尖的等分點為圓心，1.2倍瞳距為半徑，在基準平面上做圓，通過該圓計算確定上下視覺圖中的人臉比對區(qū)域。4、根據(jù)權(quán)利要求l所述的基于雙目被動立體視覺的快速三維人臉識別方法，其特征在于，所述的基于復(fù)小波的相位相關(guān)算法金字塔形并行快速搜索立體圖對中小區(qū)域的相應(yīng)亞像素匹配.*采用基于復(fù)小波的相位相關(guān)算法，對人臉比對區(qū)域每隔5像素點進行從粗到細的金字塔形搜索，獲得上下視覺圖的密集精確匹配。具體公式如下<formula>formulaseeoriginaldocumentpage2</formula>(2}<formula>formulaseeoriginaldocumentpage2</formula>(3)<formula>formulaseeoriginaldocumentpage3</formula>(8)<formula>formulaseeoriginaldocumentpage3</formula>(9)<formula>formulaseeoriginaldocumentpage3</formula>(10)<formula>formulaseeoriginaldocumentpage3</formula>(11)<formula>formulaseeoriginaldocumentpage3</formula>(12)5、根據(jù)權(quán)利要求1或4所述的基于雙目被動立體視覺的快速三維人臉識別方法，其特征在于，所述的金字塔形搜索對圖像進行5層復(fù)小波分解，在像素匹配階段采用簡化的算法從最底層開始，只比對Re[e(i^,n2)]中心附近的點，找出最大值，而由該最大值作為o的近似，其位置即為相應(yīng)的視差估計，放大后代入上一層作為新的初始估計，進行新的計算，直到最頂層為止。因此，在進行亞像素匹配時，視差估計的誤差應(yīng)該小于1個像素。既而通過幾次非線性最小二乘擬合迭代過程，獲得最終的亞像素級視差估計。6、根據(jù)權(quán)利要求l所述的基于雙目被動立體視覺的快速二維人臉識別方法，其特征在于，在每一層的匹配過程中，都引入順序匹配、連續(xù)性、相關(guān)性以及外極線等約^條件，作為對匹配關(guān)系的可信度評估。所謂順序匹配約束是指，對于上圖中的兩點，其下圖中的匹配點應(yīng)保持原來的順序；而連續(xù)性是指，對于上圖中接近的兩點，其相應(yīng)視差也應(yīng)該相似；相關(guān)性約汆可用O值來表示，當O值越人，說明這兩點的匹配相關(guān)性越大；而極線約束是指匹配點擁有基本相似的橫坐標。整個匹配過程可改進為以下算法第一步對于每一層，匹配并估計每一未標記點的O值。如果O小亍某一閾值，則對該點進行標記并轉(zhuǎn)入第二步。否則，考慮其順序約束，取與其同列并已匹配的最近未標記點，如果順序匹配錯誤，則進行標記并轉(zhuǎn)入第二步。否則，考慮其連續(xù)約束情況，取其附近5x5以內(nèi)所有已匹配而未標記點，取其視差平均，比較與該點差的絕對值，如大于某一閾值，則對該點標記轉(zhuǎn)入第二步。最后，如果匹配點偏離外極線過大，則標記該點并轉(zhuǎn)入第二步；第二步對于標記的點，考慮其附近5X5以內(nèi)所有未標記點，取其關(guān)于CT值的相對加權(quán)平均作為該點的初始估計，然后進行亞像素匹配，對其結(jié)果進行相應(yīng)的約束檢測。如仍被標記，則將初始估計作為其相應(yīng)視差。7、根據(jù)權(quán)利要求l所述的基于雙目被動立體視覺的快速三維人臉識別方法，其特征在于，運用人臉的對稱性對遮擋或者紋理欠缺部分進行補洞過鼻尖點，作垂直于基準二角形和左右瞳孔連線的平面，將三維人臉點云對該平面作鏡向，并運用ICP迭代算法進行人臉補洞。8、根據(jù)權(quán)利要求l所述的基于雙目被動立體視覺的快速三維人臉識別方法，其特征在于，基于人臉表面任意兩點之間的測地線距離在表情變化下的不變性假設(shè)，用MDS(multidimensionalscarmg)方法，實現(xiàn)從測地距離到歐氏直線距離間的等長映射(isometricm叩ping),實現(xiàn)表情歸一。9、根據(jù)權(quán)利要求l所述的基于雙目被動立體視覺的快速三維人臉識別方法，其特征在于，在識別過程中，先比對兩人臉的瞳距以及鼻尖到鼻基點的距離。如果在一定閾值范圍內(nèi)，則進一步比對，系統(tǒng)提供兩種比對方法-第一種，將歸一化人臉點云投影到基準平面，對基準平面上的每一同定方格隨機選取一點，對所有選取的點，計算每兩點之間的距離，畫出基于半隨機的統(tǒng)計特征圖，通過比對不同人臉間的統(tǒng)計特征圖即可對人臉進行識別。第二種，將歸一化人臉點云轉(zhuǎn)化為高維矩的形式，然后再對其的主要部分向量進行相似度比較。定義:d,(S!,S2)=I]p+q+rsP((Xpqr(Xi)一Hpqr(X;))2.作為不同人臉Si,S2的相似度函數(shù)，其中Xi，X纟為其相應(yīng)的歸一化點云，npqr(X)=/xxPyqZrdxdydz.10、根據(jù)權(quán)利要求1或4所述的基于雙目被動立體視覺的快速三維人臉識別方法，其特征在于，所有點的匹配過程可并行計算，因此，在雙核處理器中采用多線程的編程，可明顯提高計算速度。對每張臉一共計算大約5000個點。全文摘要本發(fā)明公開了一種基于雙目被動立體視覺的快速三維人臉識別方法，其步驟如下1)運用兩臺高清晰數(shù)碼照相機構(gòu)建非接觸式短軸平行雙目立體視覺系統(tǒng)，2)系統(tǒng)標定完成后，對預(yù)覽幀圖像進行基于haar-AdaBoost分類器的人臉檢測與采集，獲得相應(yīng)的上下立體視覺圖對并估計視差，對人臉區(qū)域進行圖像校正，獲得區(qū)域內(nèi)外極線垂直的上下立體視覺圖對，3)運用Bayesian、haar-AdaBoost分類器以及點云三維信息獲取眼睛與鼻尖的精確定位，構(gòu)建基準三角形，4)運用基于復(fù)小波的相位相關(guān)算法金字塔形并行搜索立體圖對中小區(qū)域的相應(yīng)亞像素匹配，既而重建人臉密集三維點云信息，5)運用已構(gòu)建的基準三角形，針對不同姿態(tài)下的人臉進行姿態(tài)歸一與補洞，6)基于人臉表面測地距離不變性假設(shè)，對不同人臉進行表情歸一化，7)利用算法對歸一化后三維人臉進行識別。本發(fā)明有益的效果是主要解決了被動立體視覺難以快速自動獲得與識別不同姿態(tài)與表情下稠密精準人臉三維點云信息的問題，使三維人臉識別過程更快速、隱蔽、安全與可靠。文檔編號G06K9/62GK101398886SQ20081006016公開日2009年4月1日申請日期2008年3月17日優(yōu)先權(quán)日2008年3月17日發(fā)明者(請求不公開姓名)申請人:杭州大清智能技術(shù)開發(fā)有限公司