專利名稱：基于有限多幅人臉圖像的人臉匹配方法
技術(shù)領域：
本發(fā)明涉及一種基于有限多幅人臉圖像的人臉匹配方法，涉及人臉檢測、人臉匹配、模式識別、智能監(jiān)控等領域，能直接判斷監(jiān)控視頻中所檢測到的人臉是否與多幅照片中的人臉匹配。
背景技術(shù)：
人臉匹配是當前模式識別和智能監(jiān)控領域的一個熱門話題，有著廣泛的應用前景。人臉匹配的有效進行，能夠提高監(jiān)控系統(tǒng)中識別人物的速度和效率，為生產(chǎn)和生活等諸多方面帶來極大的便利，尤其是在當前國際上恐怖事件頻繁發(fā)生，國內(nèi)還有一些不安定因素的環(huán)境下，人臉匹配對于公共場所的安全檢查有著積極而深遠的意義和影響。
目前在人臉匹配方面已經(jīng)提出了許多方法，從PCA(主成分分析法)到E(PC)2A(增強的標準特征臉擴展技術(shù))，從基于整體的人臉匹配到基于局部的人臉匹配，再到整體和局部相混合的人臉匹配技術(shù)。但還存在若干局限，1)在許多人臉匹配的問題中，均需通過訓練已知人臉來匹配未知人臉，而訓練和匹配的過程中，存在著“維數(shù)災難”(計算量隨維數(shù)的增加而呈指數(shù)增長)的問題，它將直接導致匹配率的降低和時間復雜度的提高。2)并且現(xiàn)在的研究中，以單幅人臉訓練樣本居多的先決條件導致訓練樣本的嚴重不足，這也將導致匹配率的降低。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于有限多幅人臉圖像的人臉匹配方法，對實時的監(jiān)控視頻與已經(jīng)采集到的有限多幅入臉照片進行人臉匹配。
為了實現(xiàn)這個目的，本發(fā)明的構(gòu)思是采用雙重主成分分析算法將E(PC)2A方法和PCA方法有機結(jié)合。E(PC)2A方法在只有單幅人臉圖像的情況下具有很好的人臉匹配能力，該方法采用了二維投影的方法，有效地增強了人臉的關(guān)鍵特征部位，從而提高了人臉的匹配能力。而由于光線變化等的諸多因素，若將PCA方法作為該方法的補充，并利用獲得的有限多幅人臉圖像，則可以進一步提高人臉的匹配能力。
本發(fā)明所運用的人臉數(shù)據(jù)中每個人擁有3張不同表情的照片和一段實時監(jiān)控視頻。但必須滿足以下要求1)照片和視頻中的人臉為正面，上、下、左、右的傾角在5度之內(nèi)均可；2)照片和視頻的背景均為單一的顏色，允許有背景顏色的輕微變化；3)照片和視頻以自然光為宜；4)照片和視頻中只包含人臉。
根據(jù)上述的發(fā)明構(gòu)思，本發(fā)明采用下述技術(shù)方案一種基于有限多幅人臉圖像的人臉匹配方法，其特征在于采用雙重主成分分析算法，以二維投影方法E(PC)2A方法為主，以PCA方法為輔，使用人臉主成分之間的相關(guān)性來檢測人臉的匹配；具體操作步驟如下(1)照片和視頻數(shù)據(jù)的歸一化把用RGB形式的照片和視頻幀數(shù)據(jù)轉(zhuǎn)換成灰度圖像，再把灰度值映射在0到1之間；(2)人臉在照片中的定位從上到下計算照片中行與行之間的相關(guān)性，當相關(guān)性發(fā)生了突變，則表明探測到了頭頂?shù)倪吔?；從左到右計算列與列之間的相關(guān)性，當相關(guān)性發(fā)生了突變，則表明探測到了人臉的左邊界；從右到左計算列與列之間的相關(guān)性，當相關(guān)性發(fā)生了突變，則表明探測到了人臉的右邊界；(3)計算照片中人臉的主成分在已經(jīng)定位完畢的人臉矩形區(qū)域中，分別用二維投影方法E(PC)2A方法和PCA方法計算人臉的主成分，兩種方法所得的主成分均按照各個成分的影響大小從大到小排序；(4)人臉在視頻中的定位每隔數(shù)幀抽取一幀進行人臉定位，定位方法同步驟(2)；(5)計算視頻幀中人臉的主成分；(6)首次匹配；(7)處理首次匹配結(jié)果如果步驟(6)的匹配結(jié)果中有大于等于某個數(shù)值的視頻幀和三幅照片之間的平均匹配程度Match_degree_A超過某個數(shù)值，則匹配成功；如果步驟(6)的匹配結(jié)果中有大于某個數(shù)值的視頻幀和三幅照片之間的平均匹配程度Match_degree_A未達到某個數(shù)值，則匹配不成功；其他情況下跳到步驟(8)；(8)二次匹配；(9)處理二次匹配結(jié)果如果步驟(8)的結(jié)果中有大于等于某個數(shù)值的視頻幀和三幅照片之間的匹配程度的最小值Match_degree_min超過了某個數(shù)值，則匹配成功；否則匹配不成功。
上述的E(PC)2A方法如下假設Imn(x，y)是經(jīng)過歸一化后的人臉的灰度值；x∈[1，row]，y∈[1，col]，m∈[1，P]，n∈[1，3]；(x，y)是像素點的坐標，假設每一幀人臉圖像的分辨率是row*col，row表示圖像幀的行數(shù)，col表示圖像幀的列數(shù)；具體操作步驟如下①Jmn(x，y)＝Imn(x，y)*Imn(x，y)，Jmn是Jmn(x，y)矩陣的平均值；②V2mn(x)=1colΣy=1colJmn(x,y);]]>③H2mn(y)=1rowΣx=1rowJmn(x,y);]]>④P2mn(x,y)=V2mn(x)H2mn(y)Jmn‾;]]>⑤V1mn(x)=1colΣy=1colImn(x,y);]]>⑥H1mn(y)=1rowΣx=1rowImn(x,y);]]>⑦P1mn(x,y)=V1mn(x)H1mn(y)Imn(x,y)‾;]]>⑧IImn(x,y)=Imn(x,y)+αP1mn(x,y)+βP2mn(x,y)1+α+β,]]>α和β均為常量；⑨計算IImn的PCA主成分，并按照各個成分的影響大小從大到小排序，得Rmn。
上述的計算IImn的PCA主成分的方法步驟如下a、以大小為row×1的矩陣IImnvge記錄圖像幀IImn每一行的平均值；b、IImnnew(x，y)＝IImn(x，y)-IImnvge(x，1)，此處IImnnew記錄了IImn和其平均值IImnvge作差之后的結(jié)果；c、對IImnnew進行奇異值分解，[U，S，V]＝SVD(IImnnew)，其中S是一對角矩陣，U和V代表二個相互正交矩陣；d、提取對角矩陣S的對角元素并按照元素值進行降序排列，記為S_diag；e、計算S_diag的前百分之i的元素的個數(shù)，記S_diag的前百分之i的元素的個數(shù)為num_n；f、取矩陣U的前num_n列作為IImn的主成分。
上述的計算視頻幀中人臉的主成分步驟為步驟①-⑧同上述的步驟(3)的分步驟①-⑧步驟相同，步驟⑨為計算IImn的主成分，得VRmn。
上述的首次匹配是假設視頻段中共有視頻幀Video_frame_num幀，具體步驟如下①讀入視頻的第num_frame＝i幀的經(jīng)E(PC)2A方法獲得的前百分之n的主成分，假設前百分之n的主成分的個數(shù)是num_n。第一次迭代時，i＝15；②讀入第num_photo＝j幅照片的經(jīng)E(PC)2A方法獲得的前num_n個主成分。第一次進入二次迭代時，j＝1；③計算第num_frame＝i幀視頻幀和第num_photo＝j幅照片的前num_n個主成分之間的相關(guān)性，記為match_degreeij。j＝j+1；④如果j小于等于3，則繼續(xù)分步驟②；⑤計算當前視頻幀和三幅照片之間相關(guān)性的平均值，得Match_degree_Ai；⑥i＝i+15；⑦如果i小于等于視頻幀總數(shù)Video_frame_num，則繼續(xù)步驟①。
上次的二次匹配是，假設視頻段中共有視頻幀Video_frame_num幀，具體操作步驟如下①讀入視頻的第num_frame＝i幀的經(jīng)PCA方法獲得的前百分之n的主成分，假設前百分之n的主成分的個數(shù)是num_n；第一次迭代時，i＝15；②讀入第num_photo＝j幅照片的經(jīng)PCA方法獲得的前num_n個主成分；第一次進入二次迭代時，j＝1；③計算第num_frame＝i幀視頻幀和第num_photo＝j幅照片的前num_n個主成分之間的相關(guān)性，記為match_degree_pcaij；j＝j+1；④如果j小于等于3，則繼續(xù)步驟②；⑤計算當前視頻幀和三幅照片之間相關(guān)性的最小值，得Match_degree_mini；⑥i＝i+15；⑦如果i小于等于Video_frame_num，則繼續(xù)步驟①。
本發(fā)明與現(xiàn)有技術(shù)相比較，具有如下顯而易見的突出實質(zhì)性特點和顯著優(yōu)點本發(fā)明的方法能夠獲得較高的匹配準確率由于基于視頻和有限多幅照片的人臉匹配能夠充分利用已有樣例，而E(PC)2A方法的運用和PCA方法的補充，則能針對有限多幅圖像從中發(fā)現(xiàn)更具有代表性的人臉的特征。而以往的人臉匹配方法由于缺少訓練樣本和采用單一的人臉匹配方法而未能得到比較高的匹配準確率。本發(fā)明的方法適用于通過有限多幅正面人臉進行實時監(jiān)控所得視頻之間的匹配，能獲得比較高的測試準確率，更具有實際使用價值。


圖1為本發(fā)明的人臉匹配方法的流程圖。
圖2為本發(fā)明的人臉匹配方法的操作界面示意圖。
圖3是本發(fā)明一個實施例中圖像檢測到的人臉圖像。
圖4是本實施例中視頻檢測到的人臉圖像。
具體實施例方式
以下結(jié)合具體的實施例對本發(fā)明的技術(shù)方案作進一步詳細描述。
本實施例中采用的人臉匹配方法數(shù)據(jù)庫共有樣例5份，不包括姓名等私人信息。每份樣例均有3張不同表情的JPEG正面頭部照片和一段avi頭部視頻。
參見圖1和圖2，整個人臉匹配實現(xiàn)過程如下(1)照片和視頻數(shù)據(jù)的歸一化把用RGB形式的照片轉(zhuǎn)換成灰度圖像，再把灰度值映射在0到1之間。每隔15幀從視頻中抽取一幀進行歸一化。如歸一化后的某一象素的值為0.56。
(2)人臉在照片中的定位由于照片中只存在人臉且背景顏色比較單一，所以可通過確定頭頂邊界、臉左側(cè)邊界、臉右側(cè)邊界來定位人臉。在頭頂邊界的測定中，自上而下計算行與行之間的相關(guān)性，由于背景顏色幾乎單一，所以還未探測到頭頂邊界時，行之間的相關(guān)性幾乎在90％以上，一旦探測到了頭頂，則相關(guān)性發(fā)生突變，此時相關(guān)性急劇下降，再繼續(xù)計算以下行與行之間的相關(guān)性時，其值又立刻回升在90％左右，則表明相關(guān)性突變點處為頭頂邊界。檢測人臉左邊界和右邊界的方法類似，所不同的是在檢測人臉左邊界時，是從左往右計算列與列之間的相關(guān)性，而在檢測人臉右邊界時，是從右往左計算列與列之間的相關(guān)性。人臉定位完畢之后，將所有的人臉區(qū)域都定在一個具有相同大小的矩陣[90*60]中。如圖3。
(3)計算照片中人臉的主成分在人臉矩形區(qū)域中，分別用二維投影方法E(PC)2A方法和PCA方法計算人臉的主成分，兩種方法所得的主成分均按照各個成分的影響大小從大到小排序。
E(PC)2A方法具體如下假設Imn(x，y)是經(jīng)過歸一化后的人臉的灰度值(x∈[1，90]，y∈[1，60]，n∈[1，5]，n∈[1，3])①Jmn(x，y)＝Imn(x，y)*Imn(x，y)，Jmn是Jmn(x，y)矩陣的平均值；②V2mn(x)=160Σy=160Jmn(x,y);]]>③H2mn(y)=190Σx=190Jmn(x,y);]]>④P2mn(x,y)=V2mn(x)H2mn(y)Jmn‾;]]>⑤V1mn(x)=160Σy=160Imn(x,y);]]>⑥H1mn(y)=190Σx=190Imn(x,y);]]>⑦P1mn(x,y)=V1mn(x)H1mn(y)Imn(x,y)‾;]]>⑧IImn(x,y)=Imn(x,y)+αP1mn(x,y)+βP2mn(x,y)1+α+β;]]>
⑨計算IImn的主成分，并按照各個成分的影響大小從大到小排序，得Rmn；取α＝0.25，β＝1.5PCA方法計算人臉I(yè)mn(x，y)的主成分，并按照各個成分的影響大小從大到小排序，得Qmn。
如Rmn是一個90×60的矩陣，Qmn是一個90×60的矩陣。
(4)人臉在視頻中的定位在匹配的過程中，并非每一幀都被提取為可以匹配的幀，而是每隔15幀取一幀進行匹配。在提取的每一幀中，人臉的定位如步驟(2)所述。得到的結(jié)果如圖4所示。
(5)計算視頻幀中人臉的主成分對于每一個提取的幀，分別用二維投影方法E(PC)2方法和PCA方法計算人臉的主成分。假設視頻中一共有N幀，則一共被提取num＝[N/15]幀，假設用E(PC)2A方法和PCA方法計算得到的前68％的主成分分別是VEab和VPab(α∈[1，5]，b∈[1，num])。如VEab是一個90×8的矩陣，VPab是一個90×6的矩陣。
(6)首次匹配(假設視頻段中共有視頻幀N幀)①讀入視頻的第num_frame＝i幀的經(jīng)E(PC)2A方法獲得的前68％的主成分，假設前68％的主成分的個數(shù)是num_n。第一次迭代時，i＝15。
②讀入第num_photo＝j幅照片的經(jīng)E(PC)2A方法獲得的前num_n個主成分。第一次進入二次迭代時，j＝1。
③計算第num_frame＝i幀視頻幀和第num_photo＝j幅照片的前num_n個主成分之間的相關(guān)性，記為match_degreeij。j＝j+1。如某次匹配的視頻幀與某幅照片之間的相關(guān)性為0.83。
④如果j小于等于3，則繼續(xù)分步驟②。
⑤計算當前視頻幀和三幅照片之間相關(guān)性的平均值，得Match_degree_Ai。如當前視頻幀與三張照片之間的相關(guān)性的平均數(shù)為0.87。
⑥i＝i+15。
⑦如果i小于等于N，則繼續(xù)步驟①。
(7)處理首次匹配結(jié)果如果步驟(6)的匹配結(jié)果中有大于等于[num/3]的視頻幀和照片的匹配程度超過了70％，則匹配成功；如果步驟(6)的匹配結(jié)果中有大于[num/3]的視頻幀和照片的匹配程度未達到50％，則匹配不成功；其他情況下跳到步驟(8)。如某個首次匹配過程的結(jié)果如下{0.85，0.84，0.78，0.79，0.93，0.82，0.75，0.71，0.59，0.78，0.62，0.61，0.89，0.76，0.64}，則首次匹配通過。
(8)二次匹配(假設視頻段中共有視頻幀N幀)①讀入視頻的第num_frame＝i幀的經(jīng)PCA方法獲得的前68％的主成分，假設前68％的主成分的個數(shù)是num_n。第一次迭代時，i＝15。
②讀入第num_photo＝j幅照片的經(jīng)PCA方法獲得的前num_n個主成分。第一次進入二次迭代時，j＝1。
③計算第num_frame＝i幀視頻幀和第num_photo＝j幅照片的前num_n個主成分之間的相關(guān)性，記為match_degree_pcaij。j＝j+1。如某次匹配的視頻幀與某幅照片之間的相關(guān)性為0.78。
④如果j小于等于3，則繼續(xù)分步驟②。
⑤計算當前視頻幀和三幅照片之間相關(guān)性的最小值，得Match_degree_mini。如當前視頻幀與三張照片之間的相關(guān)性的最小值為0.73。
⑥i＝i+15。
⑦如果i小于等于N，則繼續(xù)步驟①。
(9)處理二次匹配結(jié)果如果步驟(8)的結(jié)果中有大于等于[num/3]的視頻幀和照片的匹配程度超過了70％，則匹配成功；否則匹配不成功。如某二次匹配的結(jié)果如下{0.85，0.83，0.72，0.81，0.76，0.79，0.60，0.75，0.86，0.90，0.70，0.84，0.88}，則二次匹配通過。
權(quán)利要求
1.一種基于有限多幅人臉圖像的人臉匹配方法，其特征在于采用雙重主成分分析算法，以二維投影方法E(PC)2A方法為主，以PCA方法為輔，使用人臉主成分之間的相關(guān)性來檢測人臉的匹配；具體操作步驟如下(1)照片和視頻數(shù)據(jù)的歸一化把用RGB形式的照片和視頻幀數(shù)據(jù)轉(zhuǎn)換成灰度圖像，再把灰度值映射在0到1之間；(2)人臉在照片中的定位從上到下計算照片中行與行之間的相關(guān)性，當相關(guān)性發(fā)生了突變，則表明探測到了頭頂?shù)倪吔?；從左到右計算列與列之間的相關(guān)性，當相關(guān)性發(fā)生了突變，則表明探測到了人臉的左邊界；從右到左計算列與列之間的相關(guān)性，當相關(guān)性發(fā)生了突變，則表明探測到了人臉的右邊界；(3)計算照片中人臉的主成分在已經(jīng)定位完畢的人臉矩形區(qū)域中，分別用二維投影方法E(PC)2A方法和PCA方法計算人臉的主成分，兩種方法所得的主成分均按照各個成分的影響大小從大到小排序；(4)人臉在視頻中的定位每隔數(shù)幀抽取一幀進行人臉定位，定位方法同步驟(2)；(5)計算視頻幀中人臉的主成分；(6)首次匹配；(7)處理首次匹配結(jié)果如果步驟(6)的匹配結(jié)果中有大于等于某個數(shù)值的視頻幀和三幅照片之間的平均匹配程度Match_degree_A超過某個數(shù)值，則匹配成功；如果步驟(6)的匹配結(jié)果中有大于某個數(shù)值的視頻幀和三幅照片之間的平均匹配程度Match_degree_A未達到某個數(shù)值，則匹配不成功；其他情況下跳到步驟(8)；(8)二次匹配；(9)處理二次匹配結(jié)果如果步驟(8)的結(jié)果中有大于等于某個數(shù)值的視頻幀和三幅照片之間的匹配程度的最小值Match_degree_min超過了某個數(shù)值，則匹配成功；否則匹配不成功。
2.根據(jù)權(quán)利要求1所述的基于有限多幅人臉圖像的人臉匹配方法，其特征在于所述的E(PC)2A方法如下假設Imn(x，y)是經(jīng)過歸一化后的人臉的灰度值；x∈[1，row]，y∈[1，col]，m∈[1，p]，n∈[1，3]；(x，y)是像素點的坐標，假設每一幀人臉圖像的分辨率是row*col，row表示圖像幀的行數(shù)，col表示圖像幀的列數(shù)；具體操作步驟如下①Jmn(x，y)＝Imn(x，y)*Imn(x，y)，Jmn是Jmn(x，y)矩陣的平均值；②V2mn(x)=1colΣy=1colJmn(x,y);]]>③H2mn(y)=1rowΣx=1rowJmn(x,y);]]>④P2mn(x,y)=V2mn(x)H2mn(y)Jmn;]]>⑤V1mn(x)=1colΣy=1colImn(x,y);]]>⑥H1mn(y)=1rowΣx=1rowImn(x,y);]]>⑦P1mn(x,y)=V1mn(x)H1mn(y)Imn(x,y);]]>⑧IImn(x,y)=Imn(x,y)+αP1mn(x,y)+βP2mn(x,y)1+α+β,]]>α和β均為常量；⑨計算IImn的PCA主成分，并按照各個成分的影響大小從大到小排序，得Rmn。
3.根據(jù)權(quán)利要求2所述的基于有限多幅人臉圖像的人臉匹配方法，其特征在于所述的計算IImn的PCA主成分的方法步驟如下a、以大小為row×1的矩陣IImnvge記錄圖像幀IImn每一行的平均值；b、IImnnew(x，y)＝IImn(x，y)-IImnvge(x，1)，此處IImnnew記錄了IImn和其平均值IImnvge作差之后的結(jié)果；c、對IImnnew進行奇異值分解，[U，S，V]＝SVD(IImnnew)，其中S是一對角矩陣，U和V代表二個相互正交矩陣；d、提取對角矩陣S的對角元素并按照元素值進行降序排列，記為S_diag；e、計算S_diag的前百分之i的元素的個數(shù)，記S_diag的前百分之i的元素的個數(shù)為num_n；f、取矩陣U的前num_n列作為IImn的主成分。
4.根據(jù)權(quán)利要求1所述的基于有限多幅人臉圖像的人臉匹配方法，其特征在于所述的(5)步驟中計算視頻幀中人臉的主成分步驟為①-⑧步驟與權(quán)利要求2中的①-⑧步驟相同；⑨計算IImn的主成分，得VRmn。
5.根據(jù)權(quán)利要求1所述的基于有限多幅人臉圖像的人臉匹配方法，其特征在于所述的首匹配是假設視頻段中共有視頻幀Video_frame_num幀，操作步驟如下①讀入視頻的第num_frame＝i幀的經(jīng)E(PC)2A方法獲得的前百分之n的主成分，假設前百分之n的主成分的個數(shù)是num_n。第一次迭代時，i＝15；②讀入第num_photo＝j幅照片的經(jīng)E(PC)2A方法獲得的前num_n個主成分。第一次進入二次迭代時，j＝1；③計算第num_frame＝i幀視頻幀和第num_photo＝j幅照片的前num_n個主成分之間的相關(guān)性，記為match_degreeij。j＝j+1；④如果j小于等于3，則繼續(xù)分步驟②；⑤計算當前視頻幀和三幅照片之間相關(guān)性的平均值，得Match_degree_Ai；⑥i＝i+15；⑦如果i小于等于視頻幀總數(shù)Video_frame_num，則繼續(xù)步驟①。
6.根據(jù)權(quán)利要求1或5所述的基于有限多幅人臉圖像的人臉匹配方法，其特征在于所述的二次匹配是假設視頻段中共有視頻幀Video_frame_num幀，操作步驟如下①讀入視頻的第num_frame＝i幀的經(jīng)PCA方法獲得的前百分之n的主成分，假設前百分之n的主成分的個數(shù)是num_n；第一次迭代時，i＝15；②讀入第num_photo＝j幅照片的經(jīng)PCA方法獲得的前num_n個主成分；第一次進入二次迭代時，j＝1；③計算第num_frame＝i幀視頻幀和第num_photo＝j幅照片的前num_n個主成分之間的相關(guān)性，記為match_degree_pcaij；j＝j+1；④如果j小于等于3，則繼續(xù)步驟②；⑤計算當前視頻幀和三幅照片之間相關(guān)性的最小值，得Match_degree_mini；⑥i＝i+15；⑦如果i小于等于Video_frame_num，則繼續(xù)步驟①。
全文摘要
本發(fā)明涉及一種基于有限多幅人臉圖像的人臉匹配方法。采用雙重主成分分析算法，以E(PC)
文檔編號G06K9/70GK1949245SQ20061011816
公開日2007年4月18日 申請日期2006年11月9日 優(yōu)先權(quán)日2006年11月9日
發(fā)明者李丹, 李國正 申請人:上海大學