本發(fā)明涉及的是模式識別中的生物特征識別領域，尤其涉及的是一種基于深度卷積神經(jīng)網(wǎng)絡的人證合一識別方法及系統(tǒng)。

背景技術：

人臉識別主要用于身份識別，特別是近年來隨著計算機技術、圖像處理技術、模式識別技術等快速進步，而出現(xiàn)的一種嶄新的生物特征識別技術。由于可廣泛應用于安全驗證、視頻監(jiān)控、出入口控制等諸多領域，識別速度快、識別率高，因此已經(jīng)成為身份識別技術研究領域主要的發(fā)展方向

如今二代身份證件中內(nèi)置了非接觸式IC智能芯片，其中存儲了持有人的人臉圖像信息，以及身份信息；人證合一系統(tǒng)，是利用身份證件芯片內(nèi)存儲的人臉圖像與證件持有人現(xiàn)場采集的人臉圖像比對來進行身份驗證；

目前主流的人臉識別在需要配合的基礎上獲取人臉圖像，應用分類算法進行人臉識別。主要有以下幾類方法：(1)基于幾何特征的方法：檢測臉部器官如眼睛、眉毛、鼻子、嘴巴和下巴等，利用各個器官的位置、大小及相互之間的空間分布關系來識別人臉；(2)基于子空間的方法：將人臉圖像經(jīng)過投影變換投射至子空間中，由于投影變換具有非正交、非線性的特性，因此子空間中的人臉表示更具分辨力；(3)、基于局部特征的方法：利用各類局部算子計算出相應的人臉圖像，通過統(tǒng)計其直方圖，利用直方圖信息進行識別。

這些方式在實際監(jiān)控時，容易受到光線變化、背景、姿態(tài)等諸多因素的干擾，使得提取的特征在以上外界因素發(fā)生變化時，導致原始圖像出現(xiàn)結構丟失、特征描述不全面和不確定等問題，這些缺陷導致人臉識別率低，可靠性差，無法進行大面積推廣等。因此在實際監(jiān)控惡劣的環(huán)境下實現(xiàn)準確快速的人臉識別技術成為當前具有挑戰(zhàn)性的問題。

卷積神經(jīng)網(wǎng)絡(CNNs)是深度學習的另一分支，具有層級化的結構，在各種環(huán)境下的人臉識別都獲得了優(yōu)異的性能。加之GPU等硬件的大幅加速，使得大規(guī)模的圖像處理變得簡單可行，獲取的模型也更好，基于此模型而設計的人證合一系統(tǒng)提高了身份驗證的準確度。

技術實現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術的不足，提供了一種基于深度卷積神經(jīng)網(wǎng)絡的人證合一識別方法及系統(tǒng)，以解決在光線、背景、姿態(tài)等諸多因素的干擾下，人證合一的識別率低、可靠性差等技術問題。

本發(fā)明是通過以下技術方案實現(xiàn)的：

本發(fā)明提供了一種基于深度卷積神經(jīng)網(wǎng)絡的人證合一識別方法，包括以下步驟：

步驟S1：利用人臉圖像采集模塊采集人臉樣本圖像，或者直接使用標準人臉圖像數(shù)據(jù)庫中的圖像作為人臉樣本圖像，將樣本圖像隨機劃分預測集和訓練集；將樣本圖像輸入圖像預處理模塊，采用基于Haar特征的Adaboost算法得到樣本圖像中的人臉區(qū)域，將樣本圖像中的人臉區(qū)域進行定比例擴展，然后截取部分人臉區(qū)域的圖像進行縮放后，再通過灰度處理，獲得預測集和訓練集樣本的灰度圖像；

步驟S2：利用模型訓練模塊構建初步的人臉卷積神經(jīng)網(wǎng)絡模型，將預測集樣本的灰度圖像輸入人臉卷積神經(jīng)網(wǎng)絡進行訓練，得到全連接層的人臉高層次特征值，根據(jù)該特征值與其理想值的差距，調(diào)整模型的權值矩陣，獲得訓練后的人臉識別卷積神經(jīng)網(wǎng)絡模型；

步驟S3：對特征值進行L2范數(shù)歸一化，獲得人臉圖像的特征表示；

步驟S4：從預測集樣本中隨機選擇某個人的灰度圖像作為錨點，選擇該人其它圖像生成的特征值與錨點之間的距離最大的一張灰度圖像作為正樣本，選擇其他人圖像生成的特征值與錨點之間的距離最小的一張灰度圖像作為負樣本，構建獲得由錨點、正樣本和負樣本組成的三元組；利用目標函數(shù)進行篩選，選擇不滿足目標函數(shù)的三元組為最難區(qū)分三元組；

步驟S5：精調(diào)卷積神經(jīng)網(wǎng)絡模型：將選取的最難區(qū)分三元組輸入人臉識別卷積神經(jīng)網(wǎng)絡模型進行訓練、精調(diào)，再次獲得相應的特征值，重復步驟S3-S4，利用上一輪訓練好的人臉識別卷積神經(jīng)網(wǎng)絡模型，進行下一輪最難三元組選擇和訓練，通過最后生成的特征值，利用圖像對比模塊計算與校正集樣本之間的歐式距離，將歐式距離與設定閾值比較，判斷是否為同一人，從而獲取人臉識別的正確率和誤識率，所述判斷的標準為，若歐式距離小于設定值，則為同一人；

步驟S6：多次迭代優(yōu)化直到人臉識別卷積神經(jīng)網(wǎng)絡模型收斂，直至迭代收斂，即人臉識別的正確率的評價標準達到最高值，獲得最終用于識別的人臉識別深度卷積神經(jīng)網(wǎng)絡模型，訓練結束；

步驟S7：利用證件圖像采集模塊采集證件圖像，利用人臉圖像采集模塊采集待識別人臉圖像，利用圖像預處理模塊，采用基于Haar特征的Adaboost算法得到證件圖像和人臉圖像中的人臉區(qū)域，然后截取部分人臉區(qū)域的圖像，縮放后通過灰度處理獲得證件圖像和人臉圖像的灰度圖像；將證件圖像和人臉圖像的灰度圖像輸入步驟S6的深度卷積神經(jīng)網(wǎng)絡模型中，利用圖像對比模塊計算證件圖像和人臉圖像的全連接層的人臉高層次特征值；利用特征值計算證件圖像與人臉圖像之間的歐式距離，若歐式距離小于識別閾值，則人證統(tǒng)一，反之，則人證不統(tǒng)一。

進一步地，所述步驟S2的步驟包括：

步驟S201：構建共有22層的深度卷積神經(jīng)網(wǎng)絡，每層的各個神經(jīng)元的初始權值、參數(shù)全部通過隨機函數(shù)生成，大小為正負1之間，每層采用的卷積核分別為1、3、5，卷積步長為1，卷積間隔為0、1、2，同時網(wǎng)絡中每層數(shù)據(jù)使用3×3的矩陣池化，完成初步構建；

步驟S202：前向傳播：將預測集樣本的灰度圖像輸入到深度卷積神經(jīng)網(wǎng)絡里面，通過整個網(wǎng)絡一步步收斂，使維度一層層降低，最后輸出128維的人臉高層次特征值O_p；

步驟S203：反向傳播：計算O_p與相應的理想輸出值Yp的差，按極小化誤差的方法調(diào)整權值矩陣，獲得訓練后的人臉識別卷積神經(jīng)網(wǎng)絡模型。

進一步地，所述步驟S4中，目標函數(shù)的公式為：

式中，表示錨點的特征表示，表示正樣本的特征表示，表示負樣本的特征表示，α代表兩者距離之間的最小間隔，L代表三元組損失，三元組選擇即選擇損失大于零的情況。

本發(fā)明還提供了一種基于深度卷積神經(jīng)網(wǎng)絡的人證合一識別系統(tǒng)，包括：

人臉圖像采集模塊：用于采集人臉圖像；

證件圖像采集模塊：用于采集證件圖像；

圖像預處理模塊：用于獲得圖像的人臉區(qū)域，并將人臉區(qū)域進行定比例擴展，然后截取部分人臉區(qū)域的圖像進行縮放后，再通過灰度處理，獲得灰度圖像；

模型訓練模塊：用于構建人臉卷積神經(jīng)網(wǎng)絡模型，并對模型進行訓練，獲得圖像特征值；

圖像對比模塊：用于計算人臉圖像之間的歐式距離，并與設定閾值進行比較，輸出結果；

用戶登錄模塊：用于輸入登錄名和密碼，并啟動識別系統(tǒng)。

本發(fā)明相比現(xiàn)有技術具有以下優(yōu)點：本發(fā)明提供了一種基于深度卷積神經(jīng)網(wǎng)絡的人證合一識別方法及系統(tǒng)，該方法對背景、光照以及姿態(tài)等變化具有較好的魯棒性，其可利用深度學習不斷迭代訓練，提升人臉識別的性能與及提取特征的準確度，有效地增強系統(tǒng)的性能。

附圖說明

圖1為基于深度卷積神經(jīng)網(wǎng)絡的人證合一識別方法的步驟流程圖；

圖2為深度卷積神經(jīng)網(wǎng)絡的基本框架圖。

具體實施方式

下面對本發(fā)明的實施例作詳細說明，本實施例在以本發(fā)明技術方案為前提下進行實施，給出了詳細的實施方式和具體的操作過程，但本發(fā)明的保護范圍不限于下述的實施例。

實施例1

本實施例提供了一種基于深度卷積神經(jīng)網(wǎng)絡的二維人臉識別模型的訓練方法，如圖1所示，包括以下步驟：

步驟S1：利用人臉圖像采集模塊采集人臉樣本圖像：在采集人臉樣本時，人臉和攝像頭的距離為30-60厘米，目光直視攝像頭，保持表情自然，并慢慢的前后左右移動，過程中可以流露出多種表情，姿態(tài)。每隔2秒獲取一張人臉圖像，每人截取10張。所述樣本圖像也可直接用標準人臉圖像數(shù)據(jù)庫中的圖像代替。

將樣本圖像輸入圖像預處理模塊，應用人臉檢測算法Haar特征與Adaboost對圖像進行檢測，檢測結果顯示包含人臉圖像的作為可用樣本。將樣本圖像中的人臉區(qū)域進行定比例擴展，然后截取部分人臉區(qū)域的圖像，再通過縮放將截取部分的圖像變換到224×224像素大小，最后通過灰度處理，獲得預測集和訓練集樣本的灰度圖像。

步驟S2：利用模型訓練模塊構建初步的人臉卷積神經(jīng)網(wǎng)絡模型，將預測集樣本的灰度圖像輸入人臉卷積神經(jīng)網(wǎng)絡進行訓練，得到全連接層的人臉高層次特征值，根據(jù)該特征值與其理想值的差距，調(diào)整模型的權值矩陣，獲得訓練后的人臉識別卷積神經(jīng)網(wǎng)絡模型，具體為：

步驟S201：構建共有22層的深度卷積神經(jīng)網(wǎng)絡，每層的各個神經(jīng)元的初始權值、參數(shù)全部通過隨機函數(shù)生成，大小為正負1之間，每層采用的卷積核分別為1、3、5，卷積步長為1，卷積間隔為0、1、2，同時網(wǎng)絡中每層數(shù)據(jù)使用3×3的矩陣池化，完成初步構建，本實施例中使用的網(wǎng)絡的最基本框架如圖2所示；采用不同大小的卷積核是為了最后拼接時不同尺度特征的融合，之所以卷積核大小采用1、3和5，主要是為了方便對齊。設定卷積步長為1之后，只要分別設定間隔為0、1、2，那么卷積之后便可以得到相同維度的特征，然后這些特征就可以直接拼接在一起了；同時結構里面也嵌入了最大池，可以將計算并行化，加快訓練速度。

步驟S202：前向傳播：將灰度圖像輸入到深度卷積神經(jīng)網(wǎng)絡里面，通過整個網(wǎng)絡一步步收斂，使維度一層層降低，最后輸出128維的人臉高層次特征值O_p，具體步驟包括：

a)由采集到的人臉樣本，根據(jù)不同的表情、姿態(tài)將樣本共分為6類訓練樣本，從各類樣本集中取一個樣本X，將X輸入網(wǎng)絡；

b)輸入的樣本經(jīng)過逐級的變換，傳送到輸出層，在此過程中，通過如下方式計算出實際輸出Op：即每一層的卷積核覆蓋在輸入樣本X上，對應位置求卷積再求和，得到一個值并賦值給輸出對應的位置，每次卷積核在X上移動一個位置，從上到下、從左到右交疊覆蓋一遍后得到輸出矩陣，此輸出矩陣進行降采樣操作，然后將結果再作為下一層的輸入，通過這種逐級變換，最終求得實際輸出。

步驟S203：反向傳播：計算O_p與相應的理想輸出值Yp的差，按極小化誤差的方法調(diào)整權值矩陣，獲得訓練后的人臉識別卷積神經(jīng)網(wǎng)絡模型，具體步驟包括：

I)通過公式E＝1/2∑_k(o_k-t_k)²，計算訓練樣本X在輸出層的誤差，k表示該層第k個神經(jīng)元。

Ⅱ)根據(jù)I)中列舉的公式，計算E關于n、n+1層第i個神經(jīng)元的偏導數(shù)。

Ⅲ)計算誤差E關于n+1層第i個神經(jīng)元的增益系數(shù)的偏導數(shù)、偏置的偏導數(shù)，并根據(jù)計算結果，調(diào)整增益系數(shù)與偏置。

Ⅳ)計算誤差E關于卷積核權值的偏導數(shù)和偏置的偏導數(shù)，并根據(jù)結果調(diào)整模型的權值和偏置，獲得訓練后模型。

步驟S3：對這些特征值進行L2歸一化，這樣，所有預測集樣本圖像的特征都會被映射到一個超球面上，要使特征值歸一化到單位L²范數(shù)，即建立一個從x到x’的映射，使得x’的L²范數(shù)為1，滿足公式所以x’＝xf(i)。

步驟S4：從預測集樣本中隨機選擇某個人的灰度圖像作為錨點，選擇該人其它圖像生成的特征值與錨點之間的距離最大的一張灰度圖像作為正樣本，選擇其他人圖像生成的特征值與錨點之間的距離最小的一張灰度圖像作為負樣本，構建獲得由錨點、正樣本和負樣本組成的三元組；利用目標函數(shù)進行篩選，選擇不滿足目標函數(shù)的三元組為最難區(qū)分三元組，所述目標函數(shù)為；

式中，表示錨點的特征表示，表示正樣本的特征表示，表示負樣本的特征表示，α代表兩者距離之間的最小間隔，L代表三元組損失，三元組選擇即選擇損失大于零的情況。

步驟S5：精調(diào)卷積神經(jīng)網(wǎng)絡模型：將選取的最難區(qū)分三元組輸入人臉識別卷積神經(jīng)網(wǎng)絡模型進行訓練、精調(diào)，再次獲得相應的特征值，重復步驟S3-S4，利用上一輪訓練好的人臉識別卷積神經(jīng)網(wǎng)絡模型，進行下一輪最難三元組選擇和訓練，利用圖像對比模塊計算與校正集樣本之間的歐式距離，將歐式距離與設定閾值比較，判斷是否為同一人，從而獲取人臉識別的正確率和誤識率，本實施例中，設定閾值為1。

步驟S6：多次迭代優(yōu)化直到人臉識別卷積神經(jīng)網(wǎng)絡模型收斂，直至迭代收斂，即人臉識別的正確率的評價標準達到最高值，獲得最終用于識別的人臉識別深度卷積神經(jīng)網(wǎng)絡模型，訓練結束。

步驟S7：用戶在系統(tǒng)登錄界面輸入用戶名與密碼進行登錄，登陸后識別系統(tǒng)自動開啟。

登陸后，用戶首先利用證件圖像采集模塊刷一下身份證，系統(tǒng)獲取身份證的圖像，然后，用戶面對人臉圖像采集模塊的攝像頭進行人臉圖像采集，采集時應盡量保持表情姿態(tài)與身份證表面的圖像一致，聽到系統(tǒng)提示完畢后，則表示已經(jīng)采集完成圖像。

系統(tǒng)采集到的圖像有16張，包括身份證的一張證件圖像和15張人臉圖像，利用圖像預處理模塊，采用基于Haar特征的Adaboost算法得到證件圖像和人臉圖像中的人臉區(qū)域，然后截取部分人臉區(qū)域的圖像，縮放后通過灰度處理獲得證件圖像和人臉圖像的灰度圖像。

將這些灰度圖像輸入到步驟S6的深度卷積神經(jīng)網(wǎng)絡模型中，利用圖像對比模塊計算證件圖像和人臉圖像的全連接層的人臉高層次特征值，計算結果同步驟S2；利用特征值計算證件圖像與人臉圖像之間的歐式距離，若歐式距離小于步驟S5的設定閾值，則人證統(tǒng)一，反之，則人證不統(tǒng)一。

本實施例還提供了上述基于深度卷積神經(jīng)網(wǎng)絡的人證合一識別方法的系統(tǒng)，包括：

人臉圖像采集模塊：用于采集人臉圖像；

證件圖像采集模塊：用于采集證件圖像；

圖像預處理模塊：用于獲得圖像的人臉區(qū)域，并將人臉區(qū)域進行定比例擴展，然后截取部分人臉區(qū)域的圖像進行縮放后，再通過灰度處理，獲得灰度圖像；

模型訓練模塊：用于構建人臉卷積神經(jīng)網(wǎng)絡模型，并對模型進行訓練，獲得圖像特征值；

圖像對比模塊：用于計算人臉圖像之間的歐式距離，并與設定閾值進行比較，輸出結果；

用戶登錄模塊：用于輸入登錄名和密碼，并啟動識別系統(tǒng)。

以上為本發(fā)明一種詳細的實施方式和具體的操作過程，是以本發(fā)明技術方案為前提下進行實施，但本發(fā)明的保護范圍不限于上述的實施例。