本發(fā)明涉及計算機視覺，機器學習，圖像處理，信息安全和生物識別技術領域，具體涉及一種基于深度學習，用于驗證人證是否一致的手持人證比對系統(tǒng)及方法，以提高現(xiàn)代生活的信息安全程度。

背景技術：

隨著現(xiàn)代社會的發(fā)展，整個社會對信息安全的要求也越來越高。身份證作為標識持證人身份的有效證件，在各個場合都起著舉足輕重的作用。

如何確認個人身份是一個亟待解決的社會問題。這一問題包括兩個部分：第一部分是身份證的安全性，這里包括證件的真?zhèn)危C件是否過期，該身份是否屬于黑名單等。這一部分的檢查是目前身份證檢查關注的重點。第二部分是指持證人員是否就是證件所屬人員的問題，即人證一致性檢查。在各種需要進行驗證人證一致性的場所，多數(shù)采取的方式還是安全檢查人員簡單觀察持證人員的性別是否符合，面部明顯特征是否一致。人工識別具有較大的誤差，識別的準確率不高，而且一個一個地識別，識別速度非常慢，工作人員的工作量也大，非常的耗費人力，效率低下。

近年來，人臉識別的飛速發(fā)展使基于人臉識別的人證比對系統(tǒng)得以實現(xiàn)并應用。市面上的人證一致性檢驗系統(tǒng)大多采取的方案是：通過高清攝像頭采集人臉圖像，身份證閱讀器提取身份證證件照圖像，后臺服務器安裝比對軟件，并審核比對結(jié)果。這種做法的缺點是:

(1)系統(tǒng)的各個部分相對分散，部署不是很方便，整體移動困難；

(2)與后臺服務器之間的交互有延時；

(3)必須聯(lián)網(wǎng)。

技術實現(xiàn)要素：

為了解決以上的缺陷和問題，本發(fā)明提供了一種基于深度學習的手持人證比對系統(tǒng)及方法，將人臉識別技術與身份證讀取技術相結(jié)合，提供了便攜、實時的手持人證一致性識別解決方案，能有效提高身份安全的程度。

本發(fā)明提供一種基于深度學習的手持人證比對系統(tǒng)，系統(tǒng)包括身份證信息讀取模塊，圖像采集模塊，人臉識別模塊，人證比對模塊和顯示模塊。其中身份證信息讀取模塊包括身份證讀卡區(qū)域和身份證閱讀器芯片，模塊完成的工作是讀取身份證證件照和身份證基本信息，其中身份證基本信息包括身份證號碼，姓名，性別，出生日期等信息。圖像采集模塊調(diào)用攝像頭并獲取持證人現(xiàn)場照片。人臉識別模塊包括圖像預處理，人臉檢測和人臉對齊三個部分。人證比對模塊進行特征提取以及比對證件照與持證人現(xiàn)場照片的特征值。顯示模塊顯示的內(nèi)容包括讀取到的身份證信息，采集的現(xiàn)場持證人的圖像，操作提醒和比對結(jié)果。

上述基于深度學習的手持人證比對系統(tǒng)，所述身份證信息讀取模塊，圖像采集模塊，人臉識別模塊，人證比對模塊和顯示模塊之間的關系如下：身份證信息讀取模塊將讀取到的身份證證件照傳到人臉識別模塊進行人臉檢測和對齊等處理，同時也將讀取到的身份證所有信息傳到顯示模塊，圖像采集模塊將持證人現(xiàn)場照片分別傳到顯示模塊和人臉識別模塊進行處理，經(jīng)過人臉識別模塊處理后，提取出的照片中人臉信息被送往人證比對模塊進行特征提取和比對，人證比對模塊將比對的結(jié)果返回給顯示模塊。

本發(fā)明進一步提供了一種基于深度學習的手持人證比對方法，利用上述基于深度學習的手持人證比對系統(tǒng)，按照如下步驟進行：

s1讀取身份證證件照信息

使用時，將身份證放置于身份證信息讀取模塊的身份證讀卡區(qū)域，內(nèi)置的身份證閱讀器芯片將讀取到此身份證相關信息，其中就有身份證證件照信息；

s2讀取身份證基本信息

身份證閱讀器芯片讀取的除了身份證證件照信息之外，還有身份證基本信息，這里讀取的身份證基本信息包括身份證號碼，姓名，性別，出生日期等；

s3調(diào)用攝像頭

在讀取到身份證相關信息之后，利用圖像采集模塊，調(diào)用攝像頭，攝像頭大致朝向持證人面部方向即可；

s4獲取持證人照片

攝像頭采集的照片不一定是含有持證人面部信息，人臉識別模塊中的檢測步驟用于檢測圖像中的人臉，當返回檢測到人臉時，即表示獲取到了持證人的照片，否則，繼續(xù)采集；

s5圖像預處理

為了提高人臉檢測和識別的精度，人臉識別模塊對攝像頭采集的照片進行圖像預處理；而身份證身份證的證件照照片是在一定要求下采集，所以暫不對身份證證件照進行預處理，此處的輸入圖像只有采集的現(xiàn)場持證人照片；所述人臉識別模塊中的圖像預處理可以采用某一種或者多種方法結(jié)合，主要處理方法有直方圖均衡化、中值濾波、灰度拉伸、同態(tài)濾波，對圖像的rgb色彩空間進行歸一化處理去除光照和陰影的影響；對圖像進行預處理能夠去除圖像中的不相關信息，準確定位人臉部分，使圖像細節(jié)更明顯，進一步提高人臉圖像的特征提取、匹配和識別的可靠性；

s6人臉檢測

人臉檢測是人臉識別模塊中的一個重要環(huán)節(jié)；對經(jīng)過預處理之后的圖像進行人臉檢測，即可定位出圖像中的人臉大致范圍，為接下來的環(huán)節(jié)做準備。此處的輸入圖像是身份證證件照和采集的現(xiàn)場持證人照片，后面的人臉對齊，特征提取和特征值比對環(huán)節(jié)都是對這兩者進行處理。所述人臉識別模塊中人臉檢測的方法可以采用多種方法，主要分類如下：(1)基于模板的方法：該類方法主要是用設計好的模板和待測的人臉圖像進行匹配，計算兩者相似度，通過閾值判別人臉；(2)基于特征的方法：基于特征的方法是根據(jù)人臉的一些特征或特征點，包括幾何特征、空間特征、灰度特征等各種度量或者它們之間的關系組成一個矢量，然后用這個矢量作為人臉識別系統(tǒng)的輸入；(3)基于外觀學習的方法：將人臉檢測視為區(qū)分“非人臉樣本”與“人臉樣本”的模式分類問題，通過對人臉和非人臉樣本集的學習產(chǎn)生分類器；

s7人臉對齊

人臉對齊即人臉特征點定位，利用人臉識別模塊根據(jù)輸入的人臉圖像自動定位出面部關鍵特征點，如眼睛、鼻尖、嘴角點、眉毛以及人臉各部件輪廓點。目前主要的人臉對齊技術有以下幾類：(1)asm與aam類方法：asm和aam是針對人臉等特定類別物體進行特征點提取的兩個最為經(jīng)典的方法，asm方法更強調(diào)特征點特征的匹配，有更好的定位精度，而aam方法在速度方面則更有優(yōu)勢；(2)統(tǒng)計能量函數(shù)類方法：人臉特征點定位問題實際是各類不同類型信息的綜合利用問題。近年來，許多學者將人臉特征點定位問題轉(zhuǎn)化為統(tǒng)計能量函數(shù)的優(yōu)化問題進行求解，豐富了信息的融合方式，也取得了較好的實際效果；(3)回歸分析方法：回歸分析是一種經(jīng)典的分析預測判斷方法，可以方便地建立從輸入信息到輸出信息之間的映射關系；(4)深度學習方法：深度學習技術基于多層神經(jīng)網(wǎng)絡架構實現(xiàn)對復雜模型的模擬和逼近，具有突出的揭示數(shù)據(jù)內(nèi)在聯(lián)系和結(jié)構的能力；

s8特征提取

輸入的圖像在經(jīng)過人臉對齊之后，利用人證比對模塊將進行人臉特征提取；所謂的特征提取，就是從圖像信息中利用各種方法挑選出對分類最有利最有效的特征，同時進行適當?shù)慕稻S。

s9特征值比對

特征提取之后的特征比對時可以選用距離度量或者相似度度量；主要用于計算個體間差異的距離有歐式距離，明氏距離(歐氏距離的推廣)，馬氏距離等；距離值越大，個體差異越大；與距離度量相反，相似度度量用于計算個體間的相似程度，主要有向量空間余弦相似度，皮爾森相關系數(shù)，jaccard相似系數(shù)等，相似度越趨近于1表明個體相似度越高；

s10比對結(jié)果顯示

將特征值比對結(jié)果與設定閾值比較，顯示模塊上返回比對的結(jié)果，即人證一致或者人證不一致。閾值的設定對系統(tǒng)的使用有關鍵的作用，尤其是在照片的特征距離值在人證不一致但距離較近的情況和人證一致但距離較遠的情況；不同的應用場景下，閾值的設定也需要調(diào)整。

本發(fā)明提供一種基于深度學習的手持人證比對系統(tǒng)及方法，其有益成果在于：本發(fā)明為一體式結(jié)構，各個模塊集成于同一塊嵌入式開發(fā)板，可支持單手持機操作，使用方便，便于攜帶，系統(tǒng)識別速度快，應用范圍廣泛；此外本發(fā)明內(nèi)置的人臉檢測和識別模塊擬采用基于深度學習的算法，目前在人臉識別領域，基于深度學習的人臉識別算法已經(jīng)被證明在人臉識別領域比傳統(tǒng)的人臉識別算法具有更高的精度。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，以下將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單的介紹，顯而易見地，以下描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員而言，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖所示實施例得到其它的實施例及其附圖。

圖1是本發(fā)明系統(tǒng)的功能模塊示意圖。

圖2是本發(fā)明系統(tǒng)的模塊關系示意圖。

圖3是本發(fā)明系統(tǒng)的系統(tǒng)流程示意圖。

具體實施方式

下面將結(jié)合附圖對本發(fā)明的具體實施方式作進一步詳細說明。

如圖1所示，本發(fā)明基于深度學習的手持人證比對系統(tǒng)包括五大模塊：身份證信息讀取模塊，圖像采集模塊，人臉識別模塊，人證比對模塊和顯示模塊。所述身份證信息讀取模塊完成的工作是讀取身份證證件照和身份證基本信息，身份證基本信息包括姓名，性別，出生年月等信息。所述圖像采集模塊調(diào)用攝像頭并獲取持證人現(xiàn)場照片。所述人臉識別模塊對身份證證件照和持證人現(xiàn)場照片進行預處理，人臉檢測和對齊。所述人證比對模塊進行特征提取以及比對證件照與持證人現(xiàn)場照片的特征值。所述的顯示模塊顯示的內(nèi)容包括讀取到的身份證相關信息，采集的現(xiàn)場持證人的圖像，操作提醒和比對結(jié)果。各個模塊集成于同一塊嵌入式開發(fā)板，可支持單手持機操作。

(1)身份證信息讀取模塊：身份證信息讀取模塊讀取的證件照作為人證比對的輸入照片之一，而讀取的身份證基本信息可用于簡單核查證件所有者的基本情況，如身份證號碼，姓名，性別，出生日期等。

(2)圖像采集模塊：圖像采集模塊目的在于采集持證人現(xiàn)場照片，讀取到身份證之后開始調(diào)用攝像頭采集持證人現(xiàn)場照片。如果攝像頭采集的照片并沒有檢測到人臉，則繼續(xù)采集。

(3)人臉識別模塊：人臉識別模塊包括圖像預處理，人臉檢測和人臉對齊三個部分。其中人臉檢測是自動人臉識別系統(tǒng)中的一個關鍵環(huán)節(jié)。采集的圖像可能不只有人臉部分，所以人臉識別的第一步就是做人臉檢測，對圖像中的人臉區(qū)域檢測出來。人臉對齊也叫人臉特征點定位，即根據(jù)輸入的人臉圖像，自動定位出面部關鍵特征點，如眼睛、鼻尖、嘴角點、眉毛以及人臉各部件輪廓點等。人臉圖像預處理是為了去除光照，角度等對人臉的影響。去除圖像中的干擾信息，使圖像細節(jié)更明顯，提高識別的可靠性。

(4)人證比對模塊：人證比對模塊包括特征提取和特征值比對。這里特征提取是指提取預處理后的人臉圖像的特征值。將預處理后的證件中人臉圖像的特征記為第一特征值；將預處理后的持證人現(xiàn)場照片中人臉圖像的特征記為第二特征值；特征值比對是指身份證證件照和持證人人臉圖像的信息比對，即將第一特征值和第二特征值匹配比對，記錄其特征距離度量值或者相似度；若比較時采用距離度量值，則將特征距離度量值與設定閾值進行比較，若距離度量值度不高于對比閾值，判定身份證件不屬于持證人，否則判定身份證屬于持證人。若比較時采用相似度，則將相似度值與設定閾值進行比較，若相似度值高于對比閾值，判定身份證件屬于持證人，否則判定身份證不屬于持證人。

(5)顯示模塊：顯示模塊是系統(tǒng)的界面部分，顯示的內(nèi)容包括讀取到的身份證相關信息，采集的現(xiàn)場持證人的圖像，操作提醒和比對結(jié)果。其中身份證相關信息由閱讀器讀取，包括身份證證件照和身份證基本信息，身份證基本信息可供檢查人員簡單核查證件所有者的性別，出生年月等基本信息。顯示的持證人照片選取用于比對的那張持證人面部照片。比對的結(jié)果即人證是否一致的判斷結(jié)果，人證一致或者人證不一致。如果在讀取到身份證之后一直檢測不到鏡頭捕捉的人臉，顯示提醒：“請對準持證人人臉”。

上述基于深度學習的手持人證比對系統(tǒng)包括身份證信息讀取模塊，圖像采集模塊，人臉識別模塊，人證比對模塊和顯示模塊五個部分，模塊之間關系如圖2所示：身份證信息讀取模塊將讀取到的身份證證件照傳到人臉識別模塊進行人臉檢測和對齊等處理，同時也將讀取到的身份證所有信息(包括身份證證件照和身份證基本信息)傳到顯示模塊。圖像采集模塊將持證人現(xiàn)場照片分別傳到顯示模塊和人臉識別模塊進行處理。經(jīng)過人臉識別模塊處理后，提取出的照片中人臉信息被送往人證比對模塊進行特征提取和比對。人證比對模塊將比對的結(jié)果返回給顯示模塊。

上述基于深度學習的手持人證比對系統(tǒng)，其執(zhí)行流程如圖3所示：

s1讀取身份證證件照信息

使用時，將身份證放置于身份證信息讀取模塊的身份證讀卡區(qū)域。內(nèi)置的身份證閱讀器芯片將讀取到此身份證相關信息，其中就有身份證證件照信息。身份證證件照信息是系統(tǒng)使用中的關鍵信息，也是人臉識別和人證比對模塊中的輸入之一。

s2讀取身份證基本信息

身份證閱讀器芯片讀取的除了身份證證件照信息之外，還有身份證基本信息。這里讀取的身份證基本信息包括姓名，性別，出生年月，家庭地址等。身份證基本信息的讀取便于檢查人員簡單核查姓名，性別等基本信息。

s3調(diào)用攝像頭

在讀取到身份證相關信息之后，圖像采集模塊調(diào)用攝像頭，攝像頭大致朝向持證人面部方向即可。如果開啟攝像頭捕捉的照片在一分鐘之內(nèi)都沒有被檢測出人臉，系統(tǒng)會返回顯示提醒“請對準持證人人臉”。

s4獲取持證人照片

攝像頭采集的照片不一定是含有持證人面部信息，人臉識別模塊中的檢測步驟用于檢測圖像中的人臉，當返回檢測到人臉時，即表示獲取到了持證人的照片，否則，繼續(xù)采集。

s5圖像預處理

為了提高人臉檢測和識別的精度，人臉識別模塊對攝像頭采集的照片進行圖像預處理。而身份證的證件照照片是在一定要求下采集，所以暫不對身份證證件照進行預處理。根據(jù)實際情況的需要，人臉識別模塊通過對圖像的rgb色彩空間進行歸一化處理去除光照和陰影的影響。

s6人臉檢測

系統(tǒng)在人臉檢測，人臉對齊和特征提取部分都采用基于深度學習的方法。近幾年，深度學習因其出色的性能，成為了研究的熱點。與其它方法相比，利用神經(jīng)網(wǎng)絡的方法提取人臉特征，使復雜的特征提取工作更加簡單，同時能夠?qū)W習到人臉圖像中的一些隱性規(guī)律和規(guī)則。神經(jīng)網(wǎng)絡以并行的方式處理信息，速度較快，耗時較小，識別效率更高。

s7人臉對齊

人臉對齊的問題，很大程度上依賴信息的綜合融合，而基于模擬生物智能的神經(jīng)網(wǎng)絡技術的深度學習方法在該方面無疑具有獨特的優(yōu)勢。

s8特征提取

輸入的圖像在經(jīng)過人臉對齊之后，將進行人臉特征提取。深度學習與傳統(tǒng)模式識別方法的最大不同在于它是從大數(shù)據(jù)中自動學習特征，而非采用手工設計的特征。好的特征可以極大提高模式識別系統(tǒng)的性能。由于依賴手工調(diào)參數(shù)，特征的設計中只允許出現(xiàn)少量的參數(shù)。而深度學習可以從大數(shù)據(jù)中自動學習特征的表示，其中可以包含成千上萬的參數(shù)。深度學習可以充分利用大數(shù)據(jù)，針對新的應用從訓練數(shù)據(jù)中很快學習得到新的有效的特征表示。

s9特征值比對

提取特征后，人證比對模塊使用歐式距離度量兩者的特征值距離。距離大于設定閾值表明不是同一人，否則表明是同一人。

s10比對結(jié)果顯示

顯示模塊返回比對的結(jié)果，人證一致或者人證不一致。