專利名稱：一種人臉特征點定位方法
技術領域：
本發(fā)明涉及人臉識別領域，尤其涉及人臉識別過程中的一種人臉特征點定位方法。
背景技術：
人臉特征點定位是人臉識別、表情識別等人臉處理技術的基礎，臉部特征點定位的性能很大程度上影響著上述方法的精度。在所有的臉部特征點中，雙眼中心及嘴巴位置最為重要。對于一般的應用，這三點位置已經(jīng)能夠滿足處理方法的需要，能夠?qū)⒉煌螤?、大小的人臉對齊歸一化，并為進一步處理提供信息。此外，左/右眼及嘴巴中心點這三點也可以作為其它臉部特征點定位方法的前提和基礎，以這三點位置為基礎，可以進一步定位出眉毛、眼角、嘴角、鼻孔、臉部輪廓點等特征點。此外，在人機交互以及娛樂領域，對于已知雙眼、嘴巴位置的輸入人臉，可以對其進行紋理、顏色、形狀等變換，產(chǎn)生各種有趣的圖像效果。
眼睛特征點容易受到包括姿態(tài)、光照、圖像質(zhì)量、頭發(fā)眼鏡遮擋等因素的影響，而由人臉表情的變化引起的嘴巴張開與閉合也影響著嘴巴的外觀。因此，準確快速的眼睛、嘴巴特征點定位方法是一個困難且需要解決的問題。目前的左/右眼、嘴巴特征點定位方法可以分為基于啟發(fā)式規(guī)則的方法和基于樣本統(tǒng)計學習的方法?；趩l(fā)式規(guī)則的方法一般結(jié)合圖像處理方法，根據(jù)器官分布、形狀、顏色、邊緣等先驗知識來定位左/右眼和嘴巴。而基于樣本統(tǒng)計學習的方法一般需要收集大量樣本，對模型的參數(shù)進行訓練獲取，并采用訓練獲得的模型對未知樣本進行定位。
在論文《復雜背景下人臉檢測和器官定位研究》(馬勇，清華大學電子工程系工學博士論文，2004年7月，以下簡稱文獻1)中，提出了一種眼睛特征點定位的方法，該方法采用了單一閾值的方式，也就是說對于通過局部特征檢測器所有層的候選才會被進一步處理，沒有通過所有層的候選位置直接被排除。這樣的處理方式有如下缺點首先，無法避免特殊條件眼睛位置和眼鏡邊框、眉毛等干擾之間的矛盾采用層次型檢測器濾除的方式，如果閾值設得太嚴格，則對于某些非正面姿態(tài)、戴眼鏡、特殊光照條件、大胡子等特殊條件下人臉，會造成漏檢；如果閾值設置不夠嚴格，保證了上述特殊條件下的眼睛特征點能夠檢測到，但是會無法濾除某些干擾，如眉毛、眼鏡邊框等。其次，處理速度無法保證在很多情況下，存在的候選很多(大約幾十個)，左右眼組成的候選對數(shù)目太大(可能會成百上千個)會影響速度，雖然該方法進一步采用了合并相鄰候選的方式來減少進一步運算的復雜度，但是依然沒有辦法保證進一步處理的候選數(shù)目固定在某個數(shù)量上。
此外，基于啟發(fā)式規(guī)則的方法，由于其假設模型一般無法代表較多情況下的器官外觀，而且參數(shù)獲取通常會很繁復，需要大量的人工干預，還容易受主觀影響，可擴展性很差，對于一些特殊條件無法處理，對于新的沒有考慮的情況也缺乏可擴展性，因而應用受到很多限制。而以往的基于樣本統(tǒng)計學習的方法，常常采用與人臉相似的處理方式，忽略了人臉外觀模式強于眼睛嘴巴外觀模式這一特點。由于，眼睛、嘴巴這些器官的外觀比人臉變化程度更大，模式更加不確定，因而，采用普通樣本統(tǒng)計方法獲得的特征點定位方法或者由于限制太死，無法定位到特殊情況下的器官位置，或者由于限制太少，使得檢測結(jié)果存在大量虛警，造成定錯，或者受虛警影響而偏離真實位置。
這些方法不可克服的缺點表現(xiàn)為或者無法定位到側(cè)面、戴眼鏡等特殊模式下的特征點，或者會錯把眉毛當作眼睛發(fā)生定位錯誤。因此需要一種人臉特征點定位方法，既能保證在非典型模式下檢測到候選特征點位置，也能很好地排除干擾位置，以達到預期的定位效果。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術問題在于，提供一種人臉特征點定位方法，以在人臉圖像中快速、準確的定位人臉特征點位置。
為解決上述技術問題，本發(fā)明提供一種人臉特征點定位方法，用以根據(jù)人臉位置信息確定眼睛特征點位置，包括如下步驟(1)在已獲人臉位置信息的基礎上，采用統(tǒng)計方式確定左眼搜索區(qū)域和右眼搜索區(qū)域，并確定左眼初選位置與右眼初選位置；(2)在所述左眼與右眼搜索區(qū)域內(nèi)，分別采用左眼局部特征檢測器與右眼局部特征檢測器，對所有左眼初選位置和右眼初選位置進行判別，并為每個初選位置確定一個單眼相似度數(shù)值；(3)從所有左眼初選位置與右眼初選位置中，分別選擇相似度數(shù)值最大的前N1個位置作為左眼候選位置和右眼候選位置，并將所有左眼和右眼候選位置配成雙眼候選對，以每一個候選對為基準確定雙眼區(qū)域；(4)采用雙眼區(qū)域檢測器作為全局約束，對所述每一個雙眼區(qū)域進行判別，為其中每個雙眼候選對確定一個雙眼相似度數(shù)值；(5)選擇雙眼相似度數(shù)值最大的前M1個雙眼候選對，對其中的所有左眼候選位置與所有右眼候選位置分別計算平均值，作為左眼特征點位置與右眼特征點位置。
為解決上述技術問題，本發(fā)明進而還提供一種人臉特征點定位方法，用以根據(jù)人臉位置信息確定嘴巴特征點位置，包括如下步驟(1)在已獲眼睛位置信息的基礎上，采用統(tǒng)計方式確定嘴巴位置搜索區(qū)域，并確定嘴巴初選位置；(2)在嘴巴位置搜索區(qū)域內(nèi)，采用嘴巴局部特征檢測器對每一個嘴巴初選位置進行判別，并為之確定一個嘴巴局部相似度數(shù)值；(3)選擇嘴巴局部相似度數(shù)值最大的前N2個初選位置作為嘴巴候選位置，對于每個候選位置，以左眼特征點位置、右眼特征點位置、嘴巴候選位置為基準，確定臉部區(qū)域；(4)采用臉部區(qū)域檢測器作為全局約束，對每個所述確定的臉部區(qū)域進行判別，為其中的每個嘴巴候選位置確定一個嘴巴全局相似度數(shù)值；
(5)選擇嘴巴全局相似度數(shù)值最大的前M2個候選位置，計算這些候選位置的平均值，作為嘴巴特征點位置。
本發(fā)明采用局部特征檢測器在限定范圍內(nèi)搜索所有可能的候選特征點位置，并采用全局約束檢測器判別并濾除干擾位置，即能保證在非典型模式下能檢測到部件位置，同時，采用全局約束能很好地排除誤檢，快速而準確的實現(xiàn)了人臉特征點的定位。


圖1是根據(jù)本發(fā)明實施例所述的眼睛特征點定位方法的流程框圖；圖2是根據(jù)本發(fā)明實施例所述的嘴巴特征點定位方法的流程框圖；圖3是根據(jù)本發(fā)明實施例所述的人臉眼睛、嘴巴特征點定位方法的流程示意圖；圖4是根據(jù)本發(fā)明實施例所述的局部特征和全局特征的樣本割取及檢測器訓練示意圖；圖5是根據(jù)本發(fā)明實施例所述的層次型檢測器結(jié)構(gòu)示意圖；圖6是根據(jù)本發(fā)明實施例所述的微結(jié)構(gòu)特征示意圖；圖7是根據(jù)本發(fā)明實施例所述的雙眼區(qū)域的定義示意圖；圖8是根據(jù)本發(fā)明實施例所述的以雙眼、嘴巴位置為基準割取人臉區(qū)域的示意圖。
具體實施例方式
如圖1所示，根據(jù)本發(fā)明實施例對眼睛特征點進行定位的過程，可以包括如下步驟參考圖1中的步驟101首先輸入原始圖像，在人臉檢測獲得的人臉位置和角度信息基礎上，根據(jù)統(tǒng)計結(jié)果分別得到左眼、右眼搜索區(qū)域范圍，并在其中確定左右眼初選位置。
根據(jù)本發(fā)明，首先要確定眼睛特征點的搜索區(qū)域和搜索大小，根據(jù)人臉的位置確定左眼、右眼的搜索區(qū)域，這樣既減少了搜索區(qū)域，提高了定位速度，同時也排除了背景中不必要的干擾。
在本發(fā)明的實施例中，可以根據(jù)3000余張標定好的訓練樣本，采用統(tǒng)計的方式確定特征點的搜索范圍。通過公式表達，最終確定的左右眼區(qū)域的搜索范圍可以是Ωleft&rightteye＝(x，y)，其中xfacecenter-0.6Wface＜x＜xfacecenter+0.6Wfaceyfacecenter-0.65Hface＜y＜yfacecenter，(xfacecenter，yfacecenter)為人臉檢測得到的人臉區(qū)域的中心點，Wface為人臉檢測框?qū)挾龋琀face為人臉檢測框高度，且Wface＝Hface。
考慮到需要處理的人臉姿態(tài)范圍不包括左右旋轉(zhuǎn)30度以上的側(cè)面人臉，為了簡化運算，將左右眼區(qū)域的水平分界線定為左右眼區(qū)域中心線，其表達式為x＝xfacecenter。而左眼、右眼的局部特征區(qū)域的搜索大小范圍也影響著系統(tǒng)的處理速度。為了在保證不漏檢的基礎上提高處理速度，統(tǒng)計確定左眼、右眼區(qū)域的搜索大小范圍為0.1Wface＜weye＜0.5Wface。其中，左眼右眼局部特征區(qū)域的寬度/長度固定為3/2。
在搜索區(qū)域范圍內(nèi)確定左右眼初選位置的方式有多種，例如簡單的將每一個像素點都確定為一個可能的特征點位置，或者按照固定的窗口大小，每隔幾個像素點確定一個初選位置。
參考圖1中的步驟102在搜索區(qū)域范圍內(nèi)，采用經(jīng)過單個眼睛局部特征訓練得到的左、右眼局部特征檢測器對所有可能的單個眼睛位置(即確定的左右眼初選位置)進行判別，根據(jù)判別結(jié)果為每個單眼初選位置確定一個單眼相似度數(shù)值。
對于搜索區(qū)域中所有初選位置，需要采用訓練好的檢測器對其進行判別，并根據(jù)判別結(jié)果，對每個初選位置給出一個與該模式的相似度數(shù)值，用來衡量其與目標類別的相似程度。
考慮到左眼、右眼處理過程的相似性，下面就用左眼為例來說明采用局部特征檢測初選位置的過程采用與人臉檢測相似的檢測器結(jié)構(gòu)和訓練方法來訓練眼睛局部特征檢測器。對于采集收集得到的人臉圖像，手工標定左眼特征點、左右眼角點，以特征點為中心，以左右眼角點距離為寬度，割取寬長比為3/2的眼睛區(qū)域，并歸一化為18×12大小的灰度圖像。相對文獻1中24×12的大小，本實施例采用的大小能夠檢測到更小的眼睛。這樣獲得的圖像具有很強的特征性，在臉部背景區(qū)域中存在很少的相似區(qū)域。局部特征和全局特征的樣本割取及檢測器訓練如圖4所示。
一些割取的正樣本和反樣本及經(jīng)過訓練得到的眼睛局部特征檢測器如圖4中的401所示。
根據(jù)本發(fā)明的實施例，可以采用Real AdaBoost算法進行訓練，用得到的微結(jié)構(gòu)特征構(gòu)建分類器，具體方法，可以參見文獻Robust Real TimeObject Detection，(P.Viola and M.Jones，IEEE ICCV Workshop onStatistical and Computational Theories of Vision，Vancouver，Canada，July13，2001，以下簡稱文獻2)中所用的層次型結(jié)構(gòu)來構(gòu)造最終的分類器。算法分為三個部分強分類器訓練算法、弱分類器構(gòu)造選擇算法以及層次型檢測器結(jié)構(gòu)。
Real AdaBoost算法的強分類器訓練算法過程如下所示1.給定訓練集L＝{(xi，yi)}，i＝1，…，n，yi∈{+1，-1}是樣本標號，xi∈X是樣本特征；2.樣本的初始權(quán)重D1(i)=1n,i=1,…,n;]]>3.迭代次數(shù)t＝1，…，T在該輪分布Dt上，采用弱分類器構(gòu)造選擇算法，獲取此輪最佳的弱分類器，得到htX→{+∝，-∝}；4.更新樣本的權(quán)重為Dt+1(i)=Dt(i)exp(-yiht(xi))Zt]]>
其中Zt=ΣiDt(i)exp(-yiht(xi))]]>是歸一化因子；5.輸出最后的強分類器H(x)=sign(Σt=1Tht(x)-b).]]>在每輪迭代中，對于弱分類器構(gòu)造算法，可以采用區(qū)域分割弱分類器構(gòu)造方法(Domain-partitioning weak hypotheses)，具體方式可以參見文獻Improved Boosting Algorithms Using Confidence-rated Predictions(E.Schapire and Y.Singer，Proceedings of the Eleventh Annual Conferenceon Computational Learning Theory，1998.80-91，以下簡稱文獻3)來構(gòu)造弱分類器，并從中選取使得分類誤差上界最小的弱分類器作為本輪輸出。其中弱分類器構(gòu)造算法如下所示首先，在分布Dt上，對于候選特征空間H中的每個特征構(gòu)造其對應的弱分類器如下1.將樣本空間分為n個不同的區(qū)間X1，…，Xn，X1∪X2∪…∪Xn＝X且Xi∩i≠jXj=Φ;]]>2.在分布Dt上，計算 其中l(wèi)＝±1；3.對于Xj中的每個X，設定其對應弱分類器輸出為∀x∈Xj,h(x)=12ln(W+1j+ϵW-1j+ϵ),]]>其中ε＜＜1/2N，引入ε是為了避免分母為零時引起的數(shù)字溢出；4.計算Z=2ΣjW+1jW-1j;]]>然后，從構(gòu)造的所有弱分類器中，選擇使得Z最小的h作為此輪最終選擇輸出的弱分類器，即ht=argminh∈HZ.]]>本發(fā)明實施例采用的層次型檢測器結(jié)構(gòu)如圖5所示。層次型檢測器分為多層，每一層都是上述Real-AdaBoost算法訓練得到的一個強分類器，經(jīng)過閾值調(diào)整，使得每一層都能讓幾乎全部人臉樣本通過，而拒絕很大一部分非人臉樣本。這樣，靠近前面的各層，采用少量的特征卻拒絕了大部分的非人臉樣本，靠近后面的各層，雖然采用大量的特征來排除近似人臉的非人臉候選圖像的干擾，但是由于需要處理的窗口數(shù)目很少，對于整體運算時間的耗費很小，就在保證檢測效果的同時，提高了人臉檢測速度。
上述文獻2中采用了如圖6所示的微結(jié)構(gòu)特征作為候選弱特征，這五類特征為后續(xù)人臉檢測、物體檢測、特征點定位等算法采用。本發(fā)明也可以采用圖6中的微結(jié)構(gòu)特征作為候選弱特征。
經(jīng)過訓練，最后得到的層次型檢測器結(jié)果即左/右眼局部特征檢測器訓練結(jié)果如下表所示

由于僅利用眼睛的局部特征很難區(qū)分開眼睛、眉毛、鏡框等物體，所以眼睛檢測器不需要確定出眼睛的唯一位置，而只需要快速排除掉絕大部分背景窗口并給出少量候選位置，以便于在這些候選基礎上利用更多的特征進一步判別。
與文獻1中采用的單一閾值方式不同，本發(fā)明考慮到眼睛搜索區(qū)域中必然會存在眼睛，故采用了選擇與眼睛相似度最大的N1個作為下一步處理候選的方式。為了衡量眼睛初選位置與真實眼睛位置的相似程度，根據(jù)初選位置通過的層數(shù)和最后層的輸出為每個初選位置確定一個置信度來衡量其與真實眼睛位置的相似程度。
置信度的計算，主要是根據(jù)初選位置通過檢測器的層數(shù)以及最后一層的輸出來決定，具體公式如下所示(sp-sa)+α×(fout-thrret)，
其中，sp為通過的層數(shù)，sa為全部層數(shù)，fout為歷經(jīng)的最后一層的處理結(jié)果，thrret為該層閾值，α為常數(shù)，經(jīng)過試驗取α＝0.2。
提出置信度的計算，一是避免了文獻1中為了減少下一步處理的候選數(shù)目來合并相鄰候選的操作，而且，能夠保證下一步操作的候選數(shù)目固定為N1，可以折衷性能和速度需要確定N1的值；二是避免了某些特殊的眼睛模式，無法通過檢測器的所有層，從而漏檢的問題，這樣處理后，只要真實眼睛位置是相似度最接近眼睛的前N1個候選位置之一，便有可能在下一次操作中脫穎而出成為最終結(jié)果。N1的取值，決定了處理速度也影響了最后漏檢的幾率，需要折衷考慮，在此實施例中，取N1＝4。
參考圖1中的步驟103根據(jù)所有單眼初選位置的相似度，分別對左眼/右眼選擇相似度最大的前N1個結(jié)果作為左眼/右眼特征點候選位置，并將左眼/右眼配對，對所有可能的左眼/右眼特征點候選對，以左眼、右眼中心為基準，割取雙眼區(qū)域，并采用訓練得到的雙眼區(qū)域檢測器作為全局約束來判別，根據(jù)判別結(jié)果為每個雙眼候選對確定一個雙眼相似度數(shù)值。
采用單一的局部特征很難在各種條件下都準確地定位到眼睛、嘴巴位置。某些條件下，眉毛、眼鏡邊框以及頭發(fā)區(qū)域等干擾的相似度會大于眼睛區(qū)域的相似度，這樣，即使取最大相似度的結(jié)果也會產(chǎn)生誤檢結(jié)果。
因此，根據(jù)本發(fā)明的實施例，可以采用雙眼模板作為全局約束特征來拒除干擾的方式。即，首先以左右眼候選位置的中心點為基準，如圖7所示，割取雙眼模板圖像，并對圖像進行旋轉(zhuǎn)矯正，使得在矯正后的圖像中左右眼在同一水平方向上，在該圖像上，以左右眼中心點連線中心為中心，寬度為5/3雙眼距離，高度為雙眼距離，割取一個矩形圖像區(qū)域即為需要的雙眼模板。將所有標定樣本割取雙眼模板圖像，并歸一化為20×12大小，采用層次型Real-AdaBoost算法進行訓練，得到一個雙眼模板檢測器。一些割取的正樣本和反樣本及經(jīng)過訓練得到的雙眼區(qū)域檢測器如圖4中的402所示。最終訓練結(jié)果從34425個候選弱分類器中選擇了209個特征，共包含8層，組成最終的強分類器。該檢測器體現(xiàn)了左右眼位置之間的全局約束關系。
由于本發(fā)明的實施例首先采用局部特征檢測器檢測所有左右眼的初選位置，并依據(jù)置信度從中選擇相似度最大的N1個結(jié)果作為進一步處理的結(jié)果，這樣對于特殊條件下，即使眼睛區(qū)域的相似度不是最高，也沒有通過所有層分類器的情況，也可以將真實的眼睛位置作為候選保留了下來。然后對于所有配對的左右眼候選對，假定它們的位置為左/右眼正選位置，按照圖7所示旋轉(zhuǎn)矯正割取雙眼模板并歸一化到標準大小，并采用訓練好的雙眼模板檢測器進行檢測，得到其與真實雙眼模板的置信度。
考慮到一般情況下，眼睛的干擾一般來源于眉毛或者眼鏡邊框以及頭發(fā)，當假定它們的位置為眼睛位置割取雙眼區(qū)域時，得到的雙眼區(qū)域在區(qū)域范圍和呈現(xiàn)亮度上都與真實雙眼區(qū)域相差很多，而對于真正的眼睛位置，割取得到的雙眼區(qū)域與真實雙眼區(qū)域的相似度一般會很大，這樣采用雙眼區(qū)域的置信度就可以很容易濾除干擾而保留正確結(jié)果。
參考圖1中的步驟104根據(jù)雙眼相似度數(shù)值，選擇其中相似度最大的前M1個候選對，按照左眼、右眼分別求取均值的方式，獲得最終的左眼、右眼特征點位置。
本發(fā)明實施例采用雙眼區(qū)域置信度最大的前M1個結(jié)果的均值作為最終的雙眼候選對，并將M1個結(jié)果的置信度取均值作為左右眼檢測結(jié)果的最終置信度。
這樣，即使采用全局約束得到的最終處理結(jié)果是錯誤的，由于錯誤結(jié)果決定的雙眼區(qū)域全局約束特征與真實雙眼區(qū)域相似度很低，本發(fā)明也能夠根據(jù)得到的最終結(jié)果的置信度得出處理結(jié)果的可信度。在進一步的應用中，對于處理結(jié)果的可信程度使得應用靈活方便。如果最終雙眼相似度很大，則可以確信雙眼檢測結(jié)果的正確性，如果最終置信度很低，則丟棄處理結(jié)果。這在視頻圖像輸入的人臉相關應用中，可以根據(jù)置信度選擇性地處理各幀數(shù)據(jù)，使得方法更加靈活可靠。
參考圖1中的步驟105將獲得的雙眼特征點位置根據(jù)人臉角度旋轉(zhuǎn)矯正，得到原始圖像中雙眼位置。
下面再參考圖2，說明本發(fā)明的實施例對嘴巴特征點進行定位的流程參考圖2中的步驟201在獲得左眼、右眼位置的基礎上，根據(jù)統(tǒng)計結(jié)果獲得嘴巴位置搜索區(qū)域，并在其中確定嘴巴的初選位置。
應當說明的是，盡管嘴巴定位是以已知眼睛位置信息為基礎的，但本發(fā)明所述的嘴巴定位方法并不依賴于任何一種眼睛定位方法，也就是說，本發(fā)明所述的嘴巴定位方法，可以使用本發(fā)明所述的眼睛定位方法獲得的眼睛位置信息，也可以使用其他方法獲得的眼睛位置信息來進行嘴巴定位。
根據(jù)本發(fā)明的實施例，為了減少誤差，采用嘴巴相對雙眼的相對位置來確定嘴巴搜索區(qū)域范圍。
嘴巴搜索區(qū)域的范圍為Ωmouth＝(x，y)，其中xmouthcenter-dbotheye＜x＜xmouthcenter+dbotheyeymouthcenter-dbotheye＜y＜ymouthcenter+dbotheye，其中，dbotheye為雙眼中心點間距，(xmouthcenter，ymouthcenter)是嘴巴中心的估計點，為了計算方便，取為與左眼、右眼中心點呈正三角形的點。統(tǒng)計得到嘴巴區(qū)域局部特征區(qū)域大小的搜索范圍確定為0.6dbotheye＜wmouth＜1.8dbotheye。其中，嘴巴局部特征區(qū)域的寬度/長度比例固定為5/4。
在確定的嘴巴搜索區(qū)域范圍內(nèi)，可以采用與眼睛初選位置類似的方式選定多個嘴巴初選位置。
參考圖2中的步驟202在嘴巴位置搜索區(qū)域中，采用嘴巴局部特征訓練得到的嘴巴局部特征檢測器對所有可能的嘴巴候選位置(即確定的嘴巴初選位置)進行判別，并根據(jù)判別結(jié)果為每個嘴巴候選位置確定一個嘴巴相似度數(shù)值。
嘴巴局部特征檢測器算法與眼睛檢測器訓練算法基本相同。根據(jù)標定的嘴巴特征點和左右嘴角點為基準割取嘴巴區(qū)域圖像，歸一化為20×16大小，采用5類Haar-like特征，采用Real-AdaBoost強分類器訓練流程、Real-AdaBoost弱分類器構(gòu)造流程、層次型人臉檢測器結(jié)構(gòu)構(gòu)造最終的嘴巴局部特征檢測器。一些割取的正樣本和反樣本及經(jīng)過訓練得到的嘴巴局部特征檢測器如圖4中的403所示。最終在89775個候選弱特征中選擇得到共8層，322個特征組成嘴巴局部特征檢測器。
對于搜索區(qū)域中的所有可能位置，采用訓練得到的局部特征檢測器對其進行檢測。并根據(jù)通過的層數(shù)和最終層輸出結(jié)果得到候選與真實嘴巴的置信度。采用類似于眼睛的處理方式，選擇置信度最大的前N2個結(jié)果進行進一步處理。N2取值應該是速度和嘴巴漏檢率的折衷考慮。在此實施中，取N2＝6。
參考圖2中的步驟203根據(jù)所有嘴巴初選位置的相似度數(shù)值，選擇其中相似度最大的前N2個位置作為嘴巴特征點候選位置，對于每個候選位置，以左眼、右眼、嘴巴中心位置為基準，割取臉部區(qū)域圖像，并采用訓練得到的臉部區(qū)域檢測器作為全局約束對臉部區(qū)域圖像進行判別，得到嘴巴全局相似度數(shù)值。
如圖8所示，對于訓練樣本，旋轉(zhuǎn)原始圖像矯正使得雙眼中心在同一水平線上，然后，對于矯正后的圖像，以左右眼睛中心點與候選嘴巴中心點連線的中心點為中心，高度為嘴巴中心點到雙眼連線中心點垂直距離的1.4倍，割取臉部區(qū)域作為全局約束特征區(qū)域。將圖像歸一化為20×20大小圖像，并采用與左眼相似的訓練方法訓練得到臉部區(qū)域局部特征檢測器。一些割取的正樣本和反樣本及經(jīng)過訓練得到的臉部區(qū)域檢測器如圖4中的404所示。最終得到的檢測器，從117045個候選弱分類器中選擇得到169個特征共9層組成最終的檢測器。該檢測器反映了雙眼位置、嘴巴位置之間的全局約束關系。假定雙眼位置定位準確，則結(jié)果嘴巴的位置與真實嘴巴位置之間的差異可以體現(xiàn)在檢測器的檢測結(jié)果中。
對于局部特征置信度最大的前N2個結(jié)果，假定其為真實嘴巴位置，根據(jù)雙眼中心位置、嘴巴中心位置，根據(jù)圖8割取臉部區(qū)域圖像，并送入訓練好的臉部區(qū)域全局約束檢測器進行檢測，為每個嘴巴候選位置得到一個嘴巴全局相似度數(shù)值。
步驟204根據(jù)所述每個嘴巴候選位置的嘴巴全局相似度數(shù)值，選擇其中最大的前M2個結(jié)果，通過求取均值來獲取最終的嘴巴特征點位置。
步驟205根據(jù)雙眼相對人臉的位置，旋轉(zhuǎn)并矯正嘴巴特征點位置，以獲得嘴巴在原始圖像中的位置。
下面以一個真實的人臉圖像為例，來說明本發(fā)明對人臉圖像的眼睛、嘴巴特征點綜合定位的流程。
步驟301輸入原始圖像，在平面內(nèi)進行360度人臉檢測獲得的人臉位置和角度信息的基礎上，根據(jù)統(tǒng)計結(jié)果獲得左右眼搜索區(qū)域；步驟302在搜索區(qū)域范圍內(nèi)，采用經(jīng)過單個眼睛局部特征訓練得到的左右眼局部特征檢測器對所有可能的單個眼睛位置進行判別，根據(jù)判別結(jié)果為每個單眼初選位置確定一個單眼相似度數(shù)值；步驟303根據(jù)所有單眼候選位置的相似度，分別對左眼/右眼選擇相似度最大的前N1個結(jié)果作為左眼/右眼特征點候選位置，并將左眼/右眼配對，對所有可能的左眼/右眼特征點候選對，以左眼、右眼中心為基準，割取雙眼區(qū)域，并采用訓練得到的雙眼區(qū)域檢測器作為全局約束來判別，根據(jù)判別結(jié)果為每個雙眼候選對確定一個雙眼相似度數(shù)值；步驟304根據(jù)所述確定的雙眼相似度，選擇其中相似度最大的前M1個候選對，即采用雙眼區(qū)域全局特征排除錯誤局部特征侯選位置，按照左眼、右眼分別求取均值的方式，獲得最終的左眼、右眼特征點位置；步驟305融合雙眼位置的結(jié)果，并根據(jù)雙眼位置矯正人臉，在獲得的雙眼位置的基礎上，根據(jù)統(tǒng)計結(jié)果獲得嘴巴位置搜索區(qū)域；步驟306在嘴巴位置搜索區(qū)域中，采用嘴巴局部特征訓練得到的嘴巴局部特征檢測器對所有可能的嘴巴候選位置進行判別，并根據(jù)判別結(jié)果為每個嘴巴初選位置確定一個嘴巴相似度數(shù)值；步驟307根據(jù)所有嘴巴初選位置的相似度，選擇其中相似度最大的前N2個位置作為嘴巴特征點候選位置，對于每個候選位置，以左眼、右眼、嘴巴中心位置為基準，割取臉部區(qū)域圖像，并采用訓練得到的臉部區(qū)域檢測器作為全局約束對臉部區(qū)域圖像進行判別，得到嘴巴全局相似度數(shù)值，根據(jù)所述嘴巴全局相似度數(shù)值，選擇其中最大的前M2個結(jié)果，即為用全局特征排除嘴巴侯選位置；步驟308對所述最大的前M2個結(jié)果，通過求取均值來獲取最終的嘴巴特征點位置；步驟309將獲得的雙眼特征點位置根據(jù)人臉角度旋轉(zhuǎn)矯正，得到原始圖像中雙眼位置，根據(jù)雙眼相對人臉的位置，旋轉(zhuǎn)并矯正嘴巴特征點位置，以獲得嘴巴在原始圖像中的位置；步驟310最后得到人臉原始圖像中左眼、右眼、嘴巴位置。
對于器官特征點定位方法而言，衡量方法的定位精度需要定義方法的定位誤差衡量標準。本發(fā)明采用了一種與人臉尺寸無關的定位誤差度量標準來衡量方法的定位準確度。由于正面人臉的雙眼中心間距一般不隨表情等改變，具有相對的穩(wěn)定性，所以衡量標準采用以人工標定的雙眼中心間距為基準。
對于一張人臉，假定手工標定的左眼、右眼、嘴巴位置分別為(Plel，Prel，Pml)，自動定位的左眼、右眼、嘴巴位置分別為(Plea，Prea，Pma)，自動定位結(jié)果與手工標定結(jié)果之間的歐氏距離對于左眼、右眼、嘴巴分別為(dle，dre，dm)。手工標定左右眼之間的歐式距離為dlr。
則眼睛定位誤差定義為eeye=max(dle,dre)dlr,]]>嘴巴定位誤差定義為emouth=dmdlr.]]>本實施例對眼睛和嘴巴采用了不同的定位準確度閾值，判斷標準如下當眼睛定位誤差eeye＜0.15時，認為雙眼的定位是準確的；當嘴巴定位誤差emouth＜0.20時，認為嘴巴的定位是準確的。
為了測試方法的性能，這里采用了收集得到經(jīng)手工標定后的測試庫來進行測試。庫中圖像包括來自BioID、CMU表情庫等的人臉圖像，以及從網(wǎng)絡上收集的圖片。這些圖片涵蓋了各種姿態(tài)條件、各種光照條件、以及各種佩飾條件(如戴眼睛、蓄胡須等)的人臉。經(jīng)測試，得到的雙眼定位準確率為96.0％，定位誤差為0.046，嘴巴定位準確度為97.8％，定位誤差為0.056。
利用本發(fā)明，可以實現(xiàn)一種準確魯棒的眼睛、嘴巴特征點定位方法。該方法定義了一種層次型AdaBoost檢測器置信度的計算方法；采用置信度概念，從局部候選中選擇最具可能的幾個位置作為進一步處理的候選，避免了單一閾值濾除方式容易造成漏檢的問題，同時限制候選位置數(shù)目，從而提高了處理速度；根據(jù)置信度，給出最終處理結(jié)果的可信任程度，為進一步處理提供參考信息，從而減少了二值化結(jié)果造成的信息損失；對于嘴巴候選，以眼睛、嘴巴特征點決定的臉部區(qū)域作為全局約束，從候選中進一步精確定位嘴巴位置。這種方式不僅利用了局部特征結(jié)合全局約束的優(yōu)點，而且，使得嘴巴和眼睛定位方法的框架相同，有利于方法的編程實現(xiàn)。
該方法結(jié)合了局部特征和全局約束特征，不僅能夠檢測到正面正常光照條件下的人臉部件中心點，而且，對于一定范圍內(nèi)的左右旋轉(zhuǎn)、平面內(nèi)旋轉(zhuǎn)、非正面均勻光、非中性表情等姿態(tài)、光照、表情變化也比較魯棒，在實際應用中取得了很好的效果。
權(quán)利要求
1.一種人臉特征點定位方法，用以根據(jù)人臉位置信息確定眼睛特征點位置，其特征在于，包括如下步驟(1)在已獲人臉位置信息的基礎上，采用統(tǒng)計方式確定左眼搜索區(qū)域和右眼搜索區(qū)域，并確定左眼初選位置與右眼初選位置；(2)在所述左眼與右眼搜索區(qū)域內(nèi)，分別采用左眼局部特征檢測器與右眼局部特征檢測器，對所有左眼初選位置和右眼初選位置進行判別，并為每個初選位置確定一個單眼相似度數(shù)值；(3)從所有左眼初選位置與右眼初選位置中，分別選擇相似度數(shù)值最大的前N1個位置作為左眼候選位置和右眼候選位置，并將所有左眼和右眼候選位置配成雙眼候選對，以每一個候選對為基準確定雙眼區(qū)域；(4)采用雙眼區(qū)域檢測器作為全局約束，對所述每一個雙眼區(qū)域進行判別，為其中每個雙眼候選對確定一個雙眼相似度數(shù)值；(5)選擇雙眼相似度數(shù)值最大的前M1個雙眼候選對，對其中的所有左眼候選位置與所有右眼候選位置分別計算平均值，作為左眼特征點位置與右眼特征點位置。
2.如權(quán)利要求1所述的方法，其特征在于，進一步包括將獲得的左眼與右眼特征點位置根據(jù)人臉角度進行矯正，得到原始圖像中的雙眼位置。
3.如權(quán)利要求1所述方法，其特征在于，步驟(1)所述采用統(tǒng)計方式確定左眼搜索區(qū)域和右眼搜索區(qū)域，包括(1-1)采用統(tǒng)計的方式確定雙眼搜索區(qū)域；(1-2)以水平方向中心線為分界線，分別得到左眼與右眼搜索區(qū)域圖像。
4.如權(quán)利要求3所述方法，其特征在于，所述步驟(1-1)中，所述雙眼搜索區(qū)域范圍通過公式Ωleft&rightteye＝(x，y)來確定，其中xfacecenter-0.6Wface＜x＜xfacecenter+0.6Wfaceyfacecenter-0.65Hface＜y＜yfacecenter，其中，(xfacecenter，yfacecenter)為人臉檢測得到的人臉區(qū)域的中心點，Wface為人臉檢測框?qū)挾?，Hface為人臉檢測框高度，且Wface＝Hface。
5.如權(quán)利要求3所述方法，其特征在于，所述步驟(1-2)中，所述分界線的表達式為x＝xfacecenter。
6.如權(quán)利要求1所述方法，其特征在于，所述檢測器是采用AdaBoost算法進行訓練而得到的。
7.如權(quán)利要求1所述方法，其特征在于，所述相似度數(shù)值，通過以下公式進行計算(Sp-Sa)+α×(fout-thrret)其中，Sp為通過的層數(shù)，Sa為全部層數(shù)，fout為歷經(jīng)的最后一層的處理結(jié)果，thrret為該層閾值，α為常數(shù)。
8.如權(quán)利要求1所述方法，其特征在于，步驟(3)所述以每一個候選對為基準確定雙眼區(qū)域，包括(3-1)對圖像進行矯正，以使圖像中的雙眼處于同一水平線上；(3-2)以雙眼中心點的連線中點作為中心，以雙眼中心點距離的5/3倍作為寬度，以雙眼中心點距離作為高度，確定雙眼區(qū)域。
9.一種人臉特征點定位方法，用以根據(jù)人臉位置信息確定嘴巴特征點位置，其特征在于，包括如下步驟(1)在已獲眼睛位置信息的基礎上，采用統(tǒng)計方式確定嘴巴位置搜索區(qū)域，并確定嘴巴初選位置；(2)在嘴巴位置搜索區(qū)域內(nèi)，采用嘴巴局部特征檢測器對每一個嘴巴初選位置進行判別，并為之確定一個嘴巴局部相似度數(shù)值；(3)選擇嘴巴局部相似度數(shù)值最大的前N2個初選位置作為嘴巴候選位置，對于每個候選位置，以左眼特征點位置、右眼特征點位置、嘴巴候選位置為基準，確定臉部區(qū)域；(4)采用臉部區(qū)域檢測器作為全局約束，對每個所述確定的臉部區(qū)域進行判別，為其中的每個嘴巴候選位置確定一個嘴巴全局相似度數(shù)值；(5)選擇嘴巴全局相似度數(shù)值最大的前M2個候選位置，計算這些候選位置的平均值，作為嘴巴特征點位置。
10.如權(quán)利要求9所述的方法，其特征在于，進一步包括根據(jù)雙眼相對于人臉的位置，矯正嘴巴特征點位置，獲得嘴巴在原始圖像中的位置。
11.如權(quán)利要求9所述方法，其特征在于，所述步驟(1)中，嘴巴位置搜索區(qū)域范圍通過公式Ωmouth＝(x，y)來確定其中xmouthcenter-dbotheye＜x＜xmouthcenter+dbotheyeymouthcenter-dbotheye＜y＜ymouthcenter+dbotheye’其中，dbotheye為雙眼特征點間距，(xmouthcenter，ymouthcenter)是嘴巴中心的估計點，取為與左眼、右眼成正三角形的點。
12.如權(quán)利要求9所述方法，其特征在于，所述檢測器是采用AdaBoost算法進行訓練而得到的。
13.如權(quán)利要求9所述方法，其特征在于，所述相似度數(shù)值，通過以下公式進行計算(Sp-Sa)+α×(fout-thrret)其中，Sp為通過的層數(shù)，Sa為全部層數(shù)，fout為歷經(jīng)的最后一層的處理結(jié)果，thrret為該層閾值，α為常數(shù)。
14.如權(quán)利要求9所述方法，其特征在于，步驟(3)所述確定臉部區(qū)域，包括如下步驟(3-1)對圖像進行矯正，以使圖像中雙眼處于同一水平線上；(3-2)以雙眼中心點的連線中點與嘴巴候選位置中心點之間連線的中點作為中心，以嘴巴候選位置中心點到雙眼連線之間的垂直距離的1.4倍為寬度與高度，得到臉部區(qū)域。
全文摘要
本發(fā)明公開了一種人臉特征點定位方法，首先確定左右眼初選位置，然后采用單眼局部特征檢測器為每個左右眼初選位置確定單眼相似度數(shù)值，選擇最大的前N
文檔編號G06K9/46GK1822024SQ20061001167
公開日2006年8月23日 申請日期2006年4月13日 優(yōu)先權(quán)日2006年4月13日
發(fā)明者鄧亞峰, 黃英, 王浩 申請人:北京中星微電子有限公司