本發(fā)明涉及人臉識別技術(shù)領(lǐng)域，特別是一種基于LBP和深度學(xué)校的非限制條件下人臉識別方法。

背景技術(shù)：

人臉識別作為非入侵式的生物特征識別方法，在國防安全、視頻監(jiān)控、人機(jī)交互等方面具有廣泛的應(yīng)用。傳統(tǒng)人臉識別算法在受某種或某幾種特定因素影響的限制條件下能夠獲得較好的效果，但在非限制條件下識別性能急劇下降。目前，非限制條件下人臉識別研究可分為2 類：基于3-D模型和2-D模型的人臉識別方法。其中，后者是研究的熱點(diǎn)?；?-D模型的人臉識別方法，對克服環(huán)境因素中姿態(tài)和光照影響非常有效。但3-D模型法計算復(fù)雜，擬合時間較長，不易達(dá)到實(shí)時性要求。2-D模型法主要將人臉圖像中具有判別性的相對不變特征表達(dá)出來。Wolf 等[3]對LBP(local binarypattern )描述子進(jìn)行優(yōu)化，并將其與Gabor小波結(jié)合，試圖獲得非限制條件下人臉圖像特征的最佳表示，但該算法特征提取過程有過多主動因素介Marsico 等提出FACE (face analysis for commer-cial entities)算法進(jìn)行非限制條件下人臉識別，該算法主要通過對非限制條件下的姿態(tài)和光照進(jìn)行歸一化，從而得到非限制條件下的準(zhǔn)確識別。在LFW(labeled faces in the wild)庫上識別率達(dá)到61%，但其識別性能過度依賴于對眼角、嘴巴、鼻尖等13個標(biāo)注點(diǎn)的準(zhǔn)確定位。現(xiàn)存算法所提取的

人臉圖像特征判別性不強(qiáng)，且特征的表達(dá)方式過度依賴于人工選擇，但實(shí)際應(yīng)用中研究者往往不知道如何準(zhǔn)確選擇和表達(dá)。

最近，深度學(xué)習(xí)越來越受學(xué)者關(guān)注。深度學(xué)習(xí)模擬大腦組的深度組織結(jié)構(gòu)，通過組合低層特征形成更抽象、更有效的高層表示。其中，深度信念網(wǎng)絡(luò)（DBN, deep belief network）是一種典型的深度學(xué)習(xí)方法，由Hinton在2006年首次提出，可稱為第三代神經(jīng)網(wǎng)絡(luò)。它通過自下而上自動學(xué)習(xí)不同層次的抽象特征，最終獲得特征的非線性描述，表達(dá)了一種不依賴于人工選擇的特征自動提取過程。DBN已成功應(yīng)用于手寫數(shù)字識別、動態(tài)人體檢測等諸多領(lǐng)域。但是，DBN忽略了圖像局部結(jié)構(gòu)，難以學(xué)習(xí)到人臉圖像的局部特征；同時，以像素級的人臉特征作為DBN的輸入，網(wǎng)絡(luò)會因光照等因素影響而學(xué)習(xí)到不利的特征表達(dá)。LBP算子是由Ojala等提出的一種有效紋理描述子，能夠刻畫出人臉圖像的亮點(diǎn)、暗點(diǎn)、邊緣等局部微模式及其分布情況, 且計算簡單、運(yùn)算速度快，具有光照和旋轉(zhuǎn)不變性。LBP算子在動態(tài)紋理識別、表情分析、人臉識別等方面得到廣泛應(yīng)用。以LBP紋理特征作為DBN的輸入，可有效避免深度學(xué)習(xí)中遇到的難題。二者相結(jié)合，能為人臉識別提供更科學(xué)的理論基礎(chǔ)，而將其用于非限制條件人臉識別目前國內(nèi)外報道不多。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種能夠進(jìn)一步自動學(xué)習(xí)更抽象、更有效的人臉特征，并在DBN頂層自動進(jìn)行人臉分類且有效避免了過多主動因素干預(yù)的基于LBP和深度學(xué)校的非限制條件下人臉識別方法。

本發(fā)明采用的技術(shù)方案為：

一種基于LBP和深度學(xué)校的非限制條件下人臉識別方法，其創(chuàng)新點(diǎn)在于，具體方法步驟如下：

1）分別用雙線性內(nèi)插法將測試樣本和訓(xùn)練樣本降維至32×32，并進(jìn)行直方圖均衡化等歸一化預(yù)處理；

2）對訓(xùn)練樣本和測試樣本進(jìn)行分塊并提取每個子塊的LBP紋理特征，將每個子塊的特征連接起來形成樣本的LBP紋理特征，其中LBP紋理特征提取時樣本分塊為4×5，半徑R為1，像素數(shù)P為8，此時所提取的LBP 紋理特征和像素級特征維數(shù)相當(dāng)；

3）將訓(xùn)練樣本的LBP紋理特征作為DBN可視層輸入，對深度網(wǎng)絡(luò)進(jìn)行逐層訓(xùn)練，以獲取最優(yōu)網(wǎng)絡(luò)參數(shù)，文中DBN層數(shù)選為2層：第1層學(xué)習(xí)率為0.002，迭代次數(shù)為40；第2層為0.003，迭代次數(shù)為40；

4）當(dāng)深度網(wǎng)絡(luò)訓(xùn)練完后，將測試樣本的LBP紋理特征作為DBN可視層輸入，利用優(yōu)化后的網(wǎng)絡(luò)由下向上多層次地學(xué)習(xí)和提取測試樣本的抽象特征，在網(wǎng)絡(luò)最頂層進(jìn)行SoftMax回歸分類，獲得測試樣本的類標(biāo)值，并計算正確識別率。

進(jìn)一步的，所述DBN的訓(xùn)練過程如下：

1）對第一層RBM，以LBP紋理特征為輸入，對RBM進(jìn)行無監(jiān)督訓(xùn)練，獲得該層最優(yōu)的參數(shù)；

2）高層RBM以低一層RBM 輸出數(shù)據(jù)為輸入，對RBM進(jìn)行無監(jiān)督訓(xùn)練，獲得RBM網(wǎng)絡(luò)最優(yōu)的參數(shù)值；

3）最后利用全局訓(xùn)練的方法對訓(xùn)練好的各層參數(shù)微調(diào)，使DBN收斂到全局最優(yōu)。

本發(fā)明的有益效果如下：

本發(fā)明采用的LBP和DBN相結(jié)合的非限制條件下人臉識別，在LFW人臉庫上的實(shí)驗(yàn)結(jié)果表明，能夠自下而上自動提取非限制條件下人臉圖像的有效特征；將LBP與DBN相結(jié)合，克服了DBN不能學(xué)習(xí)到人臉圖像局部結(jié)構(gòu)特征的缺點(diǎn)，使得DBN學(xué)習(xí)到的抽象特征受光照、微小平移等的影響較小；本發(fā)明在受姿態(tài)、光照、表情、遮擋等綜合因素影響的非限制條件下具有較好的識別效果，同時在受多種因素影響的Yale 庫和光照因素影響的Yale-B 庫上取得較高的識別率。

附圖說明

下面結(jié)合附圖和具體實(shí)施方式對本發(fā)明做進(jìn)一步詳細(xì)說明。

圖1為本發(fā)明的原理框架圖。

具體實(shí)施方式

以下由特定的具體實(shí)施例說明本發(fā)明的實(shí)施方式，熟悉此技術(shù)的人士可由本說明書所揭露的內(nèi)容輕易地了解本發(fā)明的其他優(yōu)點(diǎn)及功效。

為了驗(yàn)證本文算法在非限制條件下的有效性，選用LFW人臉庫進(jìn)行人臉識別實(shí)驗(yàn)，同時，為進(jìn)一步評估算法的性能，在限制條件下的人臉庫Yale和Yale-B 上進(jìn)行仿真實(shí)驗(yàn)。實(shí)驗(yàn)前，所有的人臉圖像經(jīng)過眼睛定位、校準(zhǔn)、剪切，最后歸一化到32×32。實(shí)驗(yàn)硬件配置為：2.20 GHz的Intel(R)Core(TM)2 Duo CPU，2.00 GB內(nèi)存。

實(shí)施例1：

LFW人臉庫實(shí)驗(yàn)：LFW中的人臉圖像是用標(biāo)準(zhǔn)人臉檢測器Viola-Jones從Internet 上收集到的，包含5749人共13233幅圖像。其中，1680人的圖像數(shù)目大于或等于兩幅，另外4069人只有一幅圖像。圖像分辨率為250×250，人臉圖像以彩色為主，包含少量灰度圖像。LFW 主要用于非限制條件下的人臉識別，該庫能充分表現(xiàn)真實(shí)條件下人臉圖像的變化，如姿態(tài)、光照、遮擋、表情、背景、種族、性別等的變化。本申請選取圖像數(shù)目大于或等于20幅的人作為實(shí)驗(yàn)對象，其中，包括62 個人共3023 幅圖像。每人隨機(jī)選取5 幅圖像作為訓(xùn)練樣本，剩下為測試樣本。

1）隱藏單元數(shù)不同時算法性能：DBN 對輸入數(shù)據(jù)分類的準(zhǔn)確性取決于對其自下向上、多層次學(xué)習(xí)的有效性。Hinton指出，為保證貪婪學(xué)習(xí)算法提高網(wǎng)絡(luò)的性能，DBN各層隱藏單元的個數(shù)應(yīng)保持一致，本實(shí)施例中，各層隱藏單元數(shù)相同。非限制條件下人臉圖像特征復(fù)雜，且含有較多噪聲，為提取人臉圖像的有效特征，首先討論不同隱藏單元數(shù)情況下本文算法性能。實(shí)驗(yàn)結(jié)果如表1所示。其中，訓(xùn)練時間是無監(jiān)督預(yù)訓(xùn)和有監(jiān)督訓(xùn)練的時間之和，分類時間指測試樣本分類時間，總時間指訓(xùn)練時間和測試時間之和。值得注意的是，在進(jìn)行傳統(tǒng)LBP 紋理特征作為DBN 輸入的實(shí)驗(yàn)中，當(dāng)隱層單元數(shù)達(dá)到4 000 時，由于特征維數(shù)巨大，其對內(nèi)存要求超出了本文的硬件能力范圍，因而主要考慮隱藏單元數(shù)在1000 到3000 的情況。

表1：不同隱藏單元數(shù)的正確識別率及時間消耗

從表1可知，隨著隱藏單元數(shù)的增加，深度網(wǎng)絡(luò)能夠更好地表達(dá)人臉圖像特征，但是網(wǎng)絡(luò)的訓(xùn)練時間和分類時間也隨之增加，計算量逐漸增大，因而對硬件要求也隨之提高。同時，由表1可知，當(dāng)隱藏單元數(shù)相同時，基于均勻LBP紋理特征的深度學(xué)習(xí)方法識別率均高于基于像素級特征和傳統(tǒng)LBP紋理特征的深度學(xué)習(xí)方法，基于傳LBP紋理特征的深度網(wǎng)絡(luò)分類能力同基于像素級的深度網(wǎng)絡(luò)相當(dāng)。均勻LBP 在降低特征維數(shù)的同時，還能減少高頻噪聲帶來的不利影響，對光照和微小旋轉(zhuǎn)具有極強(qiáng)的頑健性，它沒有因?yàn)樘卣鞯牟煌暾詫?dǎo)致深度網(wǎng)絡(luò)學(xué)習(xí)能力下降，性能反而得到一定的提升。因此，均勻LBP紋理特征相對于傳統(tǒng)LBP紋理特征和像素級圖像，當(dāng)作為DBN輸入時在降低維度情況下能更好地代表人臉圖像信息，更有利于深度網(wǎng)絡(luò)學(xué)習(xí)。

2）樣本數(shù)不同時算法性能：在人臉識別中，訓(xùn)練樣本主要為整個識別過程提供原型，訓(xùn)練樣本數(shù)越多則能夠提取的差異性特征越多，對測試階段的預(yù)測越有利。表2為深度網(wǎng)絡(luò)隱藏單元為5000，不同訓(xùn)練樣本數(shù)時，本文算法與傳統(tǒng)算法的比較結(jié)果。

表2：不同訓(xùn)練樣本數(shù)的正確識別率

從表2可知，傳統(tǒng)算法PCA、SVM、LBP在樣本比較少時，提取的類別特征代表性并不強(qiáng)。當(dāng)訓(xùn)練樣本數(shù)增加時，提取類別特征較為豐富，算法識別率劇增，可見傳統(tǒng)算法在非限制條件下頑健性較差。深度學(xué)習(xí)經(jīng)過非監(jiān)督預(yù)訓(xùn)練，為網(wǎng)絡(luò)參數(shù)提供良好的優(yōu)化起點(diǎn)后只需要少量有標(biāo)注訓(xùn)練樣本進(jìn)行監(jiān)督訓(xùn)練，就能獲得較好的識別效果。訓(xùn)練樣本數(shù)的增加對DBN和LBP+DBN影響不是很大，表明深度學(xué)習(xí)算法在非限制條件下穩(wěn)定性更好，對各種因素的綜合影響具有更強(qiáng)的頑健性，同時，由表2進(jìn)一步說明基于LBP紋理特征的深度學(xué)習(xí)算法較基于像素級深度學(xué)習(xí)算法的識別率更好。

3）LFW庫不同類別時算法性能：為探討本文算法在非限制條件人臉識別的有效性和普適性，以文獻(xiàn)[MARSICO M D E, NAPPI M, RICCO D.]為參考基準(zhǔn)，另外選取LFW庫中人臉圖像數(shù)目大于或等于8幅的最前面50個人共417幅人臉圖像作為實(shí)驗(yàn)對象，每人隨機(jī)選取5幅圖像作為訓(xùn)練樣本，其余為測試樣本。深度網(wǎng)絡(luò)隱藏單元數(shù)與表2相同，實(shí)驗(yàn)結(jié)果如表3所示。

表3：不同類別時不同算法的正確識別率

由表3可知，不同算法分類時，本申請算法識別率最高，達(dá)到85.16%，說明本文算法具有較好的識別能力。文獻(xiàn)[MARSICO M D E, NAPPI M, RICCO D]在LFW取得61%的識別率，但其算法的識別效果依賴于特征提取過程中人臉特征點(diǎn)的準(zhǔn)確定位，且當(dāng)樣本數(shù)目龐大時，人工介入非常繁瑣。比較表2和表3可知，當(dāng)測試樣本復(fù)雜多變時，PCA、SVM、LBP識別率波動較大，而本文算法能夠保持較穩(wěn)定的識別率，從而更進(jìn)一步表明本文算法在非限制條件下頑健性更強(qiáng)。

實(shí)施例1總結(jié)：通過在LFW人臉庫上實(shí)驗(yàn)結(jié)果可知，基于LBP紋理特征的DBN分類精度高于輸入特征為像素級的情況。將LBP紋理特征作為網(wǎng)絡(luò)的輸入，有助于網(wǎng)絡(luò)減少對冗余信息的聯(lián)想記憶，學(xué)習(xí)到人臉圖像中局部性的特征，從而實(shí)現(xiàn)對非限制條件下人臉圖像的準(zhǔn)確識別。

實(shí)施例2：

Yale人臉庫實(shí)驗(yàn)：Yale人臉庫有15個人，每人11幅圖像，共165幅圖像，圖像灰度級為256，分辨率為243×320。每個人有6種不同的表情，3種不同的光照，并且圖像有戴眼鏡和不戴眼鏡的區(qū)別。在實(shí)驗(yàn)中，每人隨機(jī)選取5幅圖像作為訓(xùn)練樣本，剩下的作為測試樣本。

表4：Yale 庫上不同隱藏單元時正確識別率

從表4 可知，當(dāng)隱藏單元較少時，同樣深度網(wǎng)絡(luò)不能準(zhǔn)確學(xué)習(xí)到限制條件下人臉圖像的類別信息，隨著隱藏單元數(shù)的增加，網(wǎng)絡(luò)學(xué)習(xí)到的特征越來越充分，隱藏單元數(shù)為5000時，網(wǎng)絡(luò)學(xué)習(xí)到的人臉圖像特征判別性較強(qiáng)。

表5：Yale 庫上不同算法時正確識別率

從表5 可知，本文算法在Yale人臉庫上識別率最高達(dá)到98.89%，較PCA、SVM、LBP、DBN 分別提高了18.89%、4.45%、5.89%、2.22%，說明算法在限制條件下具有較好的識別能力。

實(shí)施例3：

Yale-B庫上實(shí)驗(yàn)：Yale-B人臉庫有10個人，每人有64幅光照不同的圖像，圖像分辨率為192×168、灰度級256。在實(shí)際應(yīng)用中，對方位角大于90°，垂直角大于90°的人臉圖像研究的價值不高，舍棄這部分圖像。剩余的人臉圖像分成3 部分：子集1受光照影響很小，光源的方位角小于10°，垂直角小于10°，每人7幅人臉圖像；子集2與子集1光照條件相近，光源方位角小于20°、垂直角小于20°，每人共12幅人臉圖像；子集3與子集1光照條件差異很大，每人共30 幅人臉圖像。子集1設(shè)為訓(xùn)練集，子集2和子集3設(shè)為測試集。

表6：Yale-B 庫上不同隱藏單元時正確識別率

由表6可知，本文算法對于光照變化具有較強(qiáng)的頑健性。

表7：Yale-B庫上不同算法時正確識別率

由表7可知，本申請算法與PCA、SVM、MSR（muitiscale retinex）、SQI（self-quotient image）、LBP、DBN 等算法在光照變化不大的子集2 識別率相當(dāng)，但光照變得復(fù)雜時，如在子集3上實(shí)驗(yàn)結(jié)果可知，本申請算法能夠保持比較穩(wěn)定的識別率，而傳統(tǒng)算法識別率急劇下降，進(jìn)一步說明本文算法對光照的頑健性較強(qiáng)。

總結(jié)：由以上實(shí)施例結(jié)果可知，基于LBP紋理特征的深度學(xué)習(xí)網(wǎng)絡(luò)能夠?qū)W習(xí)到更加有效的人臉圖像的類別特征。由于深度網(wǎng)絡(luò)模擬了人的大腦組織結(jié)構(gòu)，隱藏單元類似于腦細(xì)胞，因此隱藏單元數(shù)越多，深度網(wǎng)絡(luò)提取的特征判別性越強(qiáng)。比較表2 和表5 可知，本申請中算法在限制條件下的正確識別能力遠(yuǎn)遠(yuǎn)高于非限制條件下，非限制條件的人臉圖像比限制條件下的人臉圖像需要更多的隱藏單元來模擬其特征分布情況。

以上所述是本發(fā)明的優(yōu)選實(shí)施方式，不能以此來限定本發(fā)明之權(quán)利范圍。應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，對本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換，都不脫離本發(fā)明的保護(hù)范圍。