專利名稱：基于層次結(jié)構(gòu)的人臉和虹膜圖像融合識別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字圖像處理，模式識別和統(tǒng)計學(xué)習(xí)等領(lǐng)域，特別是一種基于層次結(jié) 構(gòu)的人臉和虹膜圖像融合識別方法。
背景技術(shù)：
生物特征識別技術(shù)是利用人的生理和行為特征進(jìn)行身份鑒別，單一模態(tài)生物特征 識別技術(shù)在研究和商業(yè)領(lǐng)域都已經(jīng)有了重大的突破，但是單一模態(tài)的生物特征識別技術(shù)無 論從算法的識別精度和產(chǎn)品的易用程度上，都離大規(guī)模的應(yīng)用需求還有一定的距離。多個 模態(tài)的生物特征融合技術(shù)不僅能提高系統(tǒng)的識別精度，也擴(kuò)展了系統(tǒng)的應(yīng)用領(lǐng)域，是當(dāng)前 生物特征識別技術(shù)的一大趨勢。人臉識別和虹膜識別是近幾年最具有發(fā)展?jié)摿Φ纳锾卣髯R別技術(shù)。人臉識別 以其使用方便得到廣大用戶的青睞，但是由于人臉本身結(jié)構(gòu)的相似性，人臉識別的精度難 以滿足安全性能的要求。虹膜識別是世界上公認(rèn)的識別精度最高的生物特征識別技術(shù)之 一，但是由于虹膜圖像采集困難，高質(zhì)量的虹膜圖像的獲取成為虹膜識別技術(shù)發(fā)展的一大 瓶頸。綜合人臉識別和虹膜識別的特點(diǎn)，將人臉和虹膜進(jìn)行融合成為最具有潛力的多模態(tài) 生物特征識別技術(shù)。目前，國內(nèi)外人臉和虹膜融合的方法可以分為特征級融合和分?jǐn)?shù)級融 合。特征級融合是指將采集到的人臉圖像和虹膜圖像分別進(jìn)行特征抽取，然后將得到的人 臉特征和虹膜特征采用不同的信息融合方法融合到一起，作為統(tǒng)一的特征，進(jìn)行身份鑒別。 分?jǐn)?shù)級融合是指利用人臉和虹膜各自的識別方法，得到各自的識別結(jié)果(以相似度分?jǐn)?shù)的 形式出現(xiàn))，然后采用不同的分?jǐn)?shù)級別融合方法進(jìn)行融合得到最終的相似度分?jǐn)?shù)，進(jìn)行身份 鑒別。典型的方法包括中國科學(xué)技術(shù)大學(xué)莊鎮(zhèn)全等(CN1932840A)提出的基于數(shù)據(jù)融合的 分?jǐn)?shù)級融合方法；吉林大學(xué)周春光(CN101261677A)提出的基于神經(jīng)網(wǎng)絡(luò)，進(jìn)化計算和模糊 理論等的人臉和虹膜特征級融合方法。這些方法都是單一層次的并行融合方法，沒有充分 發(fā)揮人臉識別易用性的特點(diǎn)，在真正的系統(tǒng)很難實(shí)用。由于我國人口多、人員流動頻繁，大規(guī)模的生物特征識別系統(tǒng)具有廣闊的應(yīng)用前 景。它對于國土安全、公共安全、金融安全和網(wǎng)絡(luò)安全都具有重要意義。但是，隨著數(shù)據(jù)規(guī) 模的增多，系統(tǒng)的識別效率成為一個客觀現(xiàn)實(shí)中必須解決的問題。例如虹膜識別已經(jīng)開始 在在電子護(hù)照、身份證、嫌疑犯排查、失蹤人員身份鑒定、銀行、電子商務(wù)、醫(yī)療、保險、社會 福利等國家級和行業(yè)級的應(yīng)用中推廣，此時中心數(shù)據(jù)庫中虹膜特征模板的規(guī)模必將達(dá)到海 量(百萬、千萬乃至上億)，完成一次識別的時間長度將會讓人無法忍受，這就是生物特征 識別領(lǐng)域中的三大頑疾之一——規(guī)模(Scale)問題。此外，一對多的生物特征識別系統(tǒng)的 錯誤接收率(False Accept Rate，F(xiàn)AR，又稱誤識率)等于錯誤匹配率FMR和數(shù)據(jù)庫容量的 乘積，規(guī)模問題的出現(xiàn)還會增加系統(tǒng)的誤識率。另外，現(xiàn)有的生物特征識別系統(tǒng)需要用戶的高度配合，給用戶的使用帶來不便，在 某些應(yīng)用場景，例如機(jī)場通關(guān)等，需要快速及時地對用戶進(jìn)行識別，繁瑣的用戶配合將嚴(yán)重 降低系統(tǒng)效率。特別地，某些安全領(lǐng)域采用被動生物特征識別技術(shù)，需要在用戶不知情或者不配合的情況下進(jìn)行識別。這就引出了生物特征識別系統(tǒng)的又一頑疾——人機(jī)交互問題。相對于指紋識別、掌紋識別、步態(tài)識別和簽名識別等，人臉識別是人機(jī)交互最強(qiáng)的 生物特征識別技術(shù)，虹膜識別是公認(rèn)的精度最高的生物特征識別技術(shù)。這兩種模態(tài)的融合 具有廣闊的應(yīng)用前景。而遠(yuǎn)距離的人臉和虹膜識別系統(tǒng)能夠發(fā)揮人臉識別的靈活性和虹膜 識別的精確性，能夠在極少的用戶配合下進(jìn)行識別。但是，現(xiàn)有的人臉和虹膜融合的方法主 要包括特征級融合和分?jǐn)?shù)級融合，主要的關(guān)注點(diǎn)都在于識別算法性能的提高。難以滿足實(shí) 際應(yīng)用場景中的要求。綜上所述，現(xiàn)有的人臉和虹膜融合識別的方法，沒有充分發(fā)揮人臉識別的優(yōu)勢，不 能滿足實(shí)際系統(tǒng)和應(yīng)用場景的需求，如何充分將人臉識別和虹膜識別進(jìn)行有效的融合是一 個亟待解決的問題。

發(fā)明內(nèi)容
現(xiàn)有的人臉和虹膜融合識別的方法，沒有充分發(fā)揮人臉識別的優(yōu)勢，不能滿足實(shí) 際系統(tǒng)和應(yīng)用場景的需求的問題，本發(fā)明目的是在最大程度的發(fā)揮人臉識別和虹膜識別的 互補(bǔ)優(yōu)勢，基于層次結(jié)構(gòu)的人臉和虹膜圖像融合識別方法，不僅提高了系統(tǒng)的精確度，而且 提高了系統(tǒng)的靈活性，同時也提高了整個系統(tǒng)的識別效率，能夠滿足國家公共安全領(lǐng)域的 重大應(yīng)用需求，為此，提出一種有效的基于層次結(jié)構(gòu)的人臉和虹膜圖像融合識別方法。為達(dá)成所述目的，本發(fā)明基于層次結(jié)構(gòu)的人臉和虹膜圖像融合識別方法的技術(shù)方 案的步驟包括注冊步驟R 采用特征抽取方法，對待注冊用戶的人臉圖像和虹膜圖像抽取人臉 特征和虹膜特征，得到人臉識別特征和虹膜特征的注冊信息并保存到人臉特征注冊數(shù)據(jù)庫 和虹膜特征注冊數(shù)據(jù)庫；識別步驟S 通過三級層次結(jié)構(gòu)進(jìn)行人臉和虹膜圖像融合識別第一級，對待識別 用戶的人臉圖像抽取人臉特征，調(diào)用人臉特征注冊數(shù)據(jù)庫中的注冊人臉特征對待識別用戶 的人臉特征進(jìn)行識別；第二級，調(diào)用人臉特征注冊數(shù)據(jù)庫的人臉特征數(shù)據(jù)和虹膜特征注冊 數(shù)據(jù)庫的虹膜特征數(shù)據(jù)并基于典型相關(guān)分析(CCA)模型進(jìn)行人臉到虹膜的檢索，得到候選 身份集合；第三級，基于人臉特征注冊數(shù)據(jù)庫的人臉特征數(shù)據(jù)和虹膜特征注冊數(shù)據(jù)庫的虹 膜特征數(shù)據(jù)對候選身份集合對人臉和虹膜進(jìn)行特征抽取和融合識別，對人臉圖像和虹膜圖 像進(jìn)行身份檢索和認(rèn)證。其中，對待注冊用戶的人臉圖像抽取3種人臉特征，包括用于人臉識別的人臉識 別特征、用于人臉到虹膜的檢索的人臉檢索特征和用于人臉和虹膜融合的人臉融合特征， 根據(jù)人臉識別特征、人臉檢索特征及人臉融合特征分別建立含有人臉識別數(shù)據(jù)庫、人臉檢 索數(shù)據(jù)庫和人臉虹膜數(shù)據(jù)庫的系統(tǒng)注冊數(shù)據(jù)庫。其中，對待注冊用戶的虹膜圖像抽取2種虹膜特征，包括用于人臉到虹膜的檢索 的虹膜檢索特征，用于人臉和虹膜融合的虹膜融合特征，根據(jù)虹膜檢索特征和虹膜融合特 征分別建立含有虹膜檢索數(shù)據(jù)庫和虹膜融合數(shù)據(jù)庫的系統(tǒng)注冊數(shù)據(jù)庫。其中，對待識別用戶的人臉圖像抽取人臉特征是采用人臉識別特征抽取方法，抽 取人臉特征，通過人臉識別分類器進(jìn)行人臉識別。其中，所述基于典型相關(guān)分析(CCA)的模型進(jìn)行人臉到虹膜的檢索的具體步驟包
5括步驟S21 通過給定的注冊的人臉檢索特征和虹膜檢索特征的基礎(chǔ)上，采用典型 相關(guān)分析(CCA)模型進(jìn)行離線訓(xùn)練，得到模型參數(shù)；步驟S22 在識別階段，采用人臉檢索特征抽取方法，對輸入的人臉圖像抽取人臉 特征，獲得人臉檢索特征；步驟S23 對步驟S22得到的人臉檢索特征，通過步驟S21中訓(xùn)練得到的模型參數(shù) 和虹膜檢索數(shù)據(jù)庫中的所有虹膜特征進(jìn)行預(yù)測，得到所有虹膜特征對應(yīng)的預(yù)測分?jǐn)?shù)集合；步驟S24 對得到的預(yù)測分?jǐn)?shù)集合進(jìn)行由高到低的排序，抽取分?jǐn)?shù)最高的一組虹 膜特征所對應(yīng)的身份作為檢索結(jié)果。其中，所述特征抽取和融合識別的步驟包括步驟S31 采用用于人臉和虹膜融合的特征抽取方法，對給定的待識別的人臉圖 像抽取待識別的人臉特征，得到人臉融合特征；
步驟S31 采用用于人臉和虹膜融合的特征對給定的待識別的虹膜圖像抽取待識 別的虹膜特征，得到虹膜融合特征。其中，所述的融合識別采用特征級或分?jǐn)?shù)級融合策略進(jìn)行識別。本發(fā)明的有益效果本發(fā)明提出了一種基于層次結(jié)構(gòu)的人臉和虹膜圖像融合識別 方法。本發(fā)明提出的方法對人臉識別和虹膜識別進(jìn)行了有效的融合，其主要優(yōu)點(diǎn)如下1.本發(fā)明融合人臉和虹膜兩種生物特征信息進(jìn)行身份鑒別，系統(tǒng)識別精度高；2.本發(fā)明采用層次結(jié)構(gòu)的融合策略，充分發(fā)揮了人臉識別的靈活性優(yōu)勢，增加了 基于人臉和虹膜融合身份識別系統(tǒng)的易用性；3.本發(fā)明采用典型相關(guān)分析(CCA)模型進(jìn)行人臉到虹膜的檢索，降低同一個人 的人臉在不同情況下所表現(xiàn)出的類內(nèi)差異，提高人臉檢索的精度，保證整個系統(tǒng)的識別性 能；4.人臉和虹膜的層次結(jié)構(gòu)，使得在人臉和虹膜融合識別只需要在人臉檢索的結(jié)果 中進(jìn)行，降低系統(tǒng)的錯誤接受率。5.由于人臉的檢索可以實(shí)時連續(xù)地進(jìn)行，而最后的人臉和虹膜的融合識別只是在 檢索的結(jié)果中進(jìn)行，減小人臉和虹膜融合識別的搜索空間。6.本發(fā)明可以用于遠(yuǎn)距離身份認(rèn)證技術(shù)。通過遠(yuǎn)距離的人臉識別和檢索，能夠盡 快確定用戶身份，然后通過人臉和虹膜的融合，對用戶身份進(jìn)行最終確認(rèn)；7.本發(fā)明具有擴(kuò)展性和兼容性，所有的單一模態(tài)的人臉識別算法和虹膜識別算 法，以及特征級融合和分?jǐn)?shù)級融合方法都可以集成到本方法中。得益于以上優(yōu)點(diǎn)，本發(fā)明使得基于人臉和虹膜識別融合方法的大規(guī)模應(yīng)用成為可 能?；诒痉椒ǖ娜四樅秃缒と诤系纳锾卣髯R別系統(tǒng)可用于通關(guān)人員檢查、安全場景監(jiān) 控、門禁、考勤等領(lǐng)域。


圖1示出基于層次結(jié)構(gòu)的人臉和虹膜圖像融合識別方法的流程圖；圖2示出步驟S中的人臉識別子流程圖；圖3示出基于典型相關(guān)分析(CCA)模型的人臉到虹膜的檢索流程圖4示出人臉和虹膜融合識別流程圖；圖5 (a)示出人臉的原始圖像，分辨率640*480，RGB圖像；圖5(b)示出虹膜的原始圖像，分辨率2352*1728，灰度圖像；圖6(a)示出經(jīng)過預(yù)處理的人臉原始圖像雙目定位結(jié)果圖像；圖6 (b)示出經(jīng)過預(yù)處理的虹膜原始圖像虹膜定位結(jié)果圖像；圖7(a)示出人臉歸一化圖像，分辨率20*20，灰度圖像；圖7(b)示出虹膜歸一化圖像，分辨率512*80，灰度圖像。
具體實(shí)施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照 附圖，對本發(fā)明進(jìn)一步詳細(xì)說明。—個典型的生物特征識別系統(tǒng)包括注冊和識別兩個環(huán)節(jié)。注冊環(huán)節(jié)是將合法用戶 的生物特征數(shù)據(jù)通過注冊算法保存到系統(tǒng)數(shù)據(jù)庫中。識別環(huán)節(jié)是通過識別算法判斷待識別 的用戶是否為數(shù)據(jù)庫中注冊的用戶。本發(fā)明所提出的基于層次結(jié)構(gòu)的人臉和虹膜圖像融合 識別方法的流程圖如圖1所示，包括注冊環(huán)節(jié)和識別環(huán)節(jié)注冊環(huán)節(jié)R 采用特征抽取方法，對待注冊用戶的人臉圖像和虹膜圖像抽取人臉 特征和虹膜特征，得到人臉識別特征和虹膜特征的注冊信息并保存到人臉特征注冊數(shù)據(jù)庫 和虹膜特征注冊數(shù)據(jù)庫，主要包括以下步驟步驟Rll 對注冊的人臉圖像抽取人臉識別特征，人臉檢索特征和人臉融合特征， 分別保存到人臉識別數(shù)據(jù)庫，人臉檢索數(shù)據(jù)庫和人臉融合數(shù)據(jù)庫，組成系統(tǒng)注冊數(shù)據(jù)庫。步驟R12 對注冊的虹膜圖像抽取虹膜檢索特征和虹膜融合特征，分別保存到虹 膜檢索數(shù)據(jù)庫，虹膜融合數(shù)據(jù)庫，組成系統(tǒng)注冊數(shù)據(jù)庫。識別環(huán)節(jié)S 通過三級層次結(jié)構(gòu)進(jìn)行人臉和虹膜圖像融合識別第一級，對待識別 用戶的人臉圖像抽取人臉特征，調(diào)用人臉特征注冊數(shù)據(jù)庫中的注冊人臉特征對待識別用戶 的人臉特征進(jìn)行識別；第二級，調(diào)用人臉特征注冊數(shù)據(jù)庫的人臉特征數(shù)據(jù)和虹膜特征注冊 數(shù)據(jù)庫的虹膜特征數(shù)據(jù)并基于典型相關(guān)分析模型進(jìn)行人臉到虹膜的檢索，得到候選身份集 合；第三級，基于人臉特征注冊數(shù)據(jù)庫的人臉特征數(shù)據(jù)和虹膜特征注冊數(shù)據(jù)庫的虹膜特征 數(shù)據(jù)對候選身份集合對人臉和虹膜進(jìn)行特征抽取和融合識別，對人臉圖像和虹膜圖像進(jìn)行 身份檢索和認(rèn)證。根據(jù)注冊數(shù)據(jù)庫的信息，對待識別的用戶進(jìn)行人臉和虹膜融合識別，主要包括以 下步驟步驟Sl 人臉識別。通過人臉識別算法進(jìn)行人臉識別，如果識別通過，則返回待識 別人身份，否則轉(zhuǎn)向人臉檢索步驟；步驟S2 人臉到虹膜的檢索。通過典型相關(guān)分析(CCA)，在同一個人的人臉信息和 虹膜信息之間建立回歸模型，經(jīng)過預(yù)測得到檢索的結(jié)果。步驟S3 人臉和虹膜融合識別。通過信息融合和數(shù)據(jù)融合算法，將待識別人的人 臉和虹膜信息進(jìn)行融合，得到最終的識別結(jié)果。下面對本發(fā)明涉及的關(guān)鍵步驟進(jìn)行逐一說明。本發(fā)明所述方法中各個基本步驟的 具體形式如下所述
無論是注冊或者識別過程，原始采集到的人臉和虹膜圖像(圖5 (a)和圖5 (b)所 示)都需要經(jīng)過人眼定位和虹膜定位(圖6(a)和圖6(b)所示)，然后得到能夠用以特征抽 取的歸一化人臉圖像和歸一化虹膜圖像(圖7(a)和圖7(b)所示)，具體步驟如下人臉歸一化圖像獲取、在采集到的人臉原始圖像(圖5(a)所示，分辨率640*480， RGB圖像)上定位到雙目中心(圖6(a)所示經(jīng)過預(yù)處理的人臉原始圖像雙目定位結(jié)果圖 像)，根據(jù)歸一化圖像上固定的人眼中心位置，求得原始圖像和歸一化圖像的坐標(biāo)變換矩 陣，通過雙線性插值的方法得到人臉歸一化圖像(圖7(a)所示，分辨率20*20，灰度圖像)；虹膜歸一化圖像獲取、在采集到的虹膜原始圖像(圖5(b)所示，分辨率 2352*1728，灰度圖像)上使用兩個圓分別擬合虹膜的內(nèi)外圓邊界(圖6 (b)所示經(jīng)過預(yù)處 理的虹膜原始圖像虹膜定位結(jié)果圖像)，然后通過笛卡爾坐標(biāo)到極坐標(biāo)的變換，將原始圖像 上的環(huán)形虹膜區(qū)域歸一化到固定大小的虹膜歸一化圖像(圖7(b)所示，分辨率512*80，灰 度圖像)。本發(fā)明方法中采用的特征抽取方法包括主成分分析(PCA)、稀疏編碼(Sparse Coding)和斑塊形狀特征。其具體步驟如下主成分分析(PCA)、給定一組輸入數(shù)據(jù)X Ix1, x2，...，xN}，Xi e Rd, D是原始數(shù)據(jù) 維度，N是樣本個數(shù)。通過變換矩陣將原始數(shù)據(jù)進(jìn)行數(shù)據(jù)變換得到X' :{x' 1； χ' 2，...， X' J, X' i e Rd，d是變換后的數(shù)據(jù)維度。求使得其方差最大的變換矩陣Wx，具體步驟如 下計算X的均值 計算X 協(xié)方差矩陣: 求得Σ 的特征值Λ = λ”···，λΝ);取前d個最大的特征值對應(yīng)的特征向量組成變換矩陣Wx ；則原始數(shù)據(jù)X經(jīng)過主成分分析(PCA)得到特征數(shù)據(jù) 其中上標(biāo)“T”表示矩陣轉(zhuǎn)置。稀疏編碼(Sparse Coding)的基本思想是，一個類別，其所有的樣本都也可以由其 自身有限的幾個樣本線性組合得到。數(shù)學(xué)描述如下給定m個類別，每個類別i包含η個注冊樣本，所有的注冊樣本的特征向量組成集 合Χ:{
Xll ？ Χ 2，· · ·，Xin, · · ·，Xij, · · ·，X111I Xm2，· · ·，Xmn }，給定待識另1J樣本的特征向量1，求 以下優(yōu)化α * = arg min | | α | |工，約束條件是χ α = y。其中α是線性組合系數(shù)。斑塊形狀特征是用于人臉和虹膜融合步驟中的虹膜特征抽取，其基本思想是通過 虹膜圖像小波變換系數(shù)，使用閾值分割法得到二值化斑塊圖像，計算每個斑塊的重心作為 最終的特征。其具體步驟可參考譚鐵牛等的專利(CN 1684095)。注冊步驟R 采用合適的特征抽取方法將待注冊用戶的人臉和虹膜圖像進(jìn)行特征 抽取，保存到注冊數(shù)據(jù)庫中。本發(fā)明方法中按照特征的用途，將人臉特征分為3種，包括人臉識別特征，人臉檢 索特征，人臉融合特征。虹膜特征分為2種，包括虹膜檢索特征，虹膜融合特征。具體的特征抽取過程如下人臉識別特征、用于人臉識別。具體實(shí)施中采用主成分分析(PCA)方法。人臉檢索特征、用于人臉到虹膜的檢索。具體實(shí)施中采用主成分分析(PCA)方法。人臉融合特征、用于人臉和虹膜融合識別。具體實(shí)施中采用稀疏編碼(Sparse Coding)方法。虹膜檢索特征、用于人臉到虹膜的檢索。具體實(shí)施中采用主成分分析(PCA)方法。虹膜融合特征、用于人臉和虹膜融合識別。具體實(shí)施中采用譚鐵牛等(CN 1684095)提出的斑塊形狀特征。識別步驟S 在注冊數(shù)據(jù)庫的基礎(chǔ)上，對給定的人臉圖像和虹膜圖像進(jìn)行身份識 別。圖2示出步驟S中的人臉識別子流程圖，具體步驟包括人臉識別步驟，包括特征抽取步驟Sll和分類步驟S12 步驟Sll 采用主成分分析(PCA)方法進(jìn)行人臉識別特征抽取，獲得人臉識別特 征；步驟S12 然后使用歐式距離和最近鄰分類器，對人臉識別特征進(jìn)行分類；人臉到虹膜的檢索步驟。在步驟Sll和步驟S12中，如果不能準(zhǔn)確地通過人臉進(jìn) 行身份識別，則采用典型相關(guān)分析(CCA)模型進(jìn)行人臉到虹膜的檢索。一般的人臉檢索方法，是將注冊數(shù)據(jù)庫中的不同類別的人臉信息與待識別的人臉 信息進(jìn)行相似度度量，然后按照相似度大小進(jìn)行排序，從而達(dá)到檢索的目的。這種人臉到人 臉的檢索方法容易受環(huán)境光和人臉自身姿態(tài)的影響，同一個人的人臉圖像在不同時刻的差 異較大，這種檢索的效果達(dá)不到實(shí)際的要求。所以，提高人臉檢索的關(guān)鍵在于如何減小人臉 類內(nèi)的差異性。解決上述問題的現(xiàn)有思路是增加主動近紅外光源，這樣不但增加系統(tǒng)的成本，也 縮小了人臉檢索的應(yīng)用范圍，因?yàn)樵谀承﹫鼍爸?，例如安全監(jiān)控中，設(shè)置近紅外主動光源是 不現(xiàn)實(shí)的。而從人臉識別算法本身去解決這個問題，仍處于研究階段。本發(fā)明提出了一種人臉到虹膜的檢索的方法，能夠很好的解決這個問題。它的工 作原理如下所述。一般的虹膜識別系統(tǒng)都采用近紅外成像，使得虹膜成像不受外景光照的 影響；另外，虹膜本身具有很高的類間區(qū)分度和類內(nèi)一致性，是公認(rèn)的精度最高的生物特 征。如果能夠在同一個人的人臉和虹膜之間建立起對應(yīng)關(guān)系，使得同一個人的人臉信息和 其對應(yīng)的虹膜信息具有最大相關(guān)，就可以從一定程度上減小同一個人臉的不同圖像之間的 差異。從而提高檢索的精度。這種人臉到虹膜的映射關(guān)系的建立可以通過典型相關(guān)分析 (CCA)實(shí)現(xiàn)。典型相關(guān)分析(CCA)是統(tǒng)計學(xué)習(xí)領(lǐng)域經(jīng)典的多元統(tǒng)計分析方法，用于分析兩組數(shù) 據(jù)之間的相關(guān)關(guān)系。典型相關(guān)分析模型假設(shè)兩組數(shù)據(jù)X :{Xl，X2,…，％}，Y:{yi，y2，…， yN}，其中N為樣本個數(shù)，存在一個潛在的相關(guān)關(guān)系，這個潛在的相關(guān)關(guān)系需要一對變換矩陣 Wx，Wy將原始的數(shù)據(jù)變換為X' , Y'，通過最大化兩組數(shù)據(jù)之間的相關(guān)系數(shù)，得到最優(yōu)的變 換矩陣『，『>其數(shù)學(xué)描述如下 Largmax^.n嚴(yán) η,⑴其中，
，其中Ε[χ]表示隨機(jī)變量χ的數(shù)學(xué)期望。
可以通過求解AW = BWX的廣義特征向量得到
，其中 通過以上分析，本發(fā)明中，X :{Xl，X2,…，xN}對應(yīng)注冊的人臉檢索特征向量集合， Y Iy1, Y2,…，yN}對應(yīng)注冊的虹膜檢索特征向量集合，N為對應(yīng)的注冊的樣本數(shù)。圖3示 出基于典型相關(guān)分析(CCA)模型的人臉到虹膜的檢索步驟具體如下步驟S21 訓(xùn)練步驟。根據(jù)注冊的人臉檢索特征向量集合和虹膜檢索特征向量集 合訓(xùn)練得到變換矩陣Wr ；步驟S22 特征抽取步驟。對待識別的人臉圖像進(jìn)行特征抽取，采用主成分分析方 法(PCA)；步驟S23 預(yù)測步驟。首先對得到的待識別人的人臉檢索特征X，經(jīng)過變換矩陣^ 得到X'；其次，注冊的虹膜檢索特征向量(雙目或單目)集合Y:{yi，y2，…，yN}經(jīng)過變換 矩陣^得到 Y' :{y' y' 2，…，y' J ；然后求得 χ'和 Y' =Iy' y' 2，…，y' J 中所有元素的相關(guān)系數(shù)集合ρ =IP1, P2,…，Ρ N}，相關(guān)系數(shù)的數(shù)學(xué)表達(dá)如下
(2)其中E[x]表示隨機(jī)變量χ的數(shù)學(xué)期望。步驟S24 將分?jǐn)?shù)集合進(jìn)行排序，最大的N個相關(guān)系數(shù)所對應(yīng)的類別集合作為最終 的檢索結(jié)果；人臉和虹膜融合步驟，如圖4示出人臉和虹膜融合識別流程圖。在S21-24的基礎(chǔ) 上，通過人臉和虹膜的信息，采用已有的信息融合，數(shù)據(jù)融合方法，進(jìn)行最終的身份認(rèn)證。包括以下步驟步驟S311 人臉特征抽取步驟。采用稀疏編碼(Sparse Coding)進(jìn)行特征抽取。步驟S312 虹膜特征抽取步驟。采用虹膜斑塊特征法進(jìn)行特征抽取。步驟S32 人臉和虹膜融合識別。采用分?jǐn)?shù)級融合策略。人臉的分?jǐn)?shù)可以通過以下步驟獲得對于特征抽取步驟S311得到的稀疏編碼特 征
分別計算輸入的人臉圖像y與每類注冊樣本
{xn，xi2，...，XiJ線性重建得到的人臉圖像
的差異Α =||y-y' il |2，作為輸
入圖像與第i類所有樣本之間的分?jǐn)?shù)。虹膜的分?jǐn)?shù)Si可以通過求輸入樣本的斑塊特征和注冊樣本的斑塊特征的度量得 到。具體分?jǐn)?shù)的計算方法參見譚鐵牛等的專利(CN 1684095)。分?jǐn)?shù)級融合采用加權(quán)求和方法，最終的分?jǐn)?shù)SCi = wlSi+w2ri，其中W1和W2是權(quán)值；采用最近鄰分類器(NN)進(jìn)行最終的分類識別。實(shí)施案例1 基于層次結(jié)構(gòu)的人臉和虹膜圖像融合識別方法在出入境人員身份鑒 別中的應(yīng)用。本發(fā)明可廣泛應(yīng)用到出入境人員身份鑒別場景。在人員出入境通關(guān)的過程中，要 求能夠方便，快速，準(zhǔn)確地進(jìn)行身份認(rèn)證，一方面使合法用戶能夠順利的通關(guān)，另一方面也要將非法用戶拒之門外。虹膜識別具有很高的識別率，但是不方便使用，人臉識別方便使 用，但是識別率不高。所以本發(fā)明可以在這種場景中發(fā)揮重要作用。假設(shè)合法用戶的人臉 和虹膜的信息在申請通關(guān)的時候已經(jīng)錄入到數(shù)據(jù)庫中，在通關(guān)的過程中，由于人流量大，所 以人臉識別功能可以在遠(yuǎn)距離就開始進(jìn)行識別和檢索，如果識別通過，則驗(yàn)證成功。否則， 當(dāng)用戶走到虹膜識別有效的范圍時，同時進(jìn)行人臉和虹膜的融合識別，得到最終的身份鑒 別結(jié)果。使得通關(guān)人員能夠快速、安全的進(jìn)行通關(guān)。實(shí)施案例2 基于層次結(jié)構(gòu)的人臉和虹膜圖像融合識別方法在安全監(jiān)控場景中的 應(yīng)用。本發(fā)明可廣泛應(yīng)用到安全監(jiān)控場景。在安全監(jiān)控場景中，要求能夠?qū)鼍爸谐霈F(xiàn) 的人員進(jìn)行控制，如果出現(xiàn)非法人員，要及時報警。例如一犯罪分子曾經(jīng)被抓捕過，為防止 其以后繼續(xù)作案，將其人臉和虹膜信息注冊到犯罪分子系統(tǒng)數(shù)據(jù)庫中。但該犯罪分子屢教 不改，又再次作案。當(dāng)其出現(xiàn)在人臉和虹膜攝像頭的采集范圍內(nèi)，人臉攝像頭和虹膜攝像頭 實(shí)時捕捉，分別捕獲其人臉信息和虹膜信息，人臉和虹膜識別系統(tǒng)開始工作，一旦確定犯罪 分子身份，則及時報警，將其繩之以法。以上所述，僅為本發(fā)明中的具體實(shí)施方式
，但本發(fā)明的保護(hù)范圍并不局限于此，任 何熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi)，可理解想到的變換或替換，都應(yīng)涵蓋在 本發(fā)明的包含范圍之內(nèi)，因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求書的保護(hù)范圍為準(zhǔn)。
權(quán)利要求
一種基于層次結(jié)構(gòu)的人臉和虹膜圖像融合識別方法，其特征在于該融合識別方法的步驟包括注冊步驟R采用特征抽取方法，對待注冊用戶的人臉圖像和虹膜圖像抽取人臉特征和虹膜特征，得到人臉識別特征和虹膜特征的注冊信息并保存到人臉特征注冊數(shù)據(jù)庫和虹膜特征注冊數(shù)據(jù)庫；識別步驟S通過三級層次結(jié)構(gòu)進(jìn)行人臉和虹膜圖像融合識別第一級，對待識別用戶的人臉圖像抽取人臉特征，調(diào)用人臉特征注冊數(shù)據(jù)庫中的注冊人臉特征對待識別用戶的人臉特征進(jìn)行識別；第二級，調(diào)用人臉特征注冊數(shù)據(jù)庫的人臉特征數(shù)據(jù)和虹膜特征注冊數(shù)據(jù)庫的虹膜特征數(shù)據(jù)并基于典型相關(guān)分析模型進(jìn)行人臉到虹膜的檢索，得到候選身份集合；第三級，基于人臉特征注冊數(shù)據(jù)庫的人臉特征數(shù)據(jù)和虹膜特征注冊數(shù)據(jù)庫的虹膜特征數(shù)據(jù)對候選身份集合對人臉和虹膜進(jìn)行特征抽取和融合識別，對人臉圖像和虹膜圖像進(jìn)行身份檢索和認(rèn)證。
2.根據(jù)權(quán)利要求書1所述的基于層次結(jié)構(gòu)的人臉和虹膜圖像融合識別方法，其特征在 于，對待注冊用戶的人臉圖像抽取3種人臉特征，包括用于人臉識別的人臉識別特征、用 于人臉到虹膜的檢索的人臉檢索特征和用于人臉和虹膜融合的人臉融合特征，根據(jù)人臉識 別特征、人臉檢索特征及人臉融合特征分別建立含有人臉識別數(shù)據(jù)庫、人臉檢索數(shù)據(jù)庫和 人臉虹膜數(shù)據(jù)庫的系統(tǒng)注冊數(shù)據(jù)庫。
3.根據(jù)權(quán)利要求書1所述的基于層次結(jié)構(gòu)的人臉和虹膜圖像融合識別方法，其特征在 于，對待注冊用戶的虹膜圖像抽取2種虹膜特征，包括用于人臉到虹膜的檢索的虹膜檢索 特征，用于人臉和虹膜融合的虹膜融合特征，根據(jù)虹膜檢索特征和虹膜融合特征分別建立 含有虹膜檢索數(shù)據(jù)庫和虹膜融合數(shù)據(jù)庫的系統(tǒng)注冊數(shù)據(jù)庫。
4.根據(jù)權(quán)利要求書1所述的基于層次結(jié)構(gòu)的人臉和虹膜圖像融合識別方法，其特征在 于，對待識別用戶的人臉圖像抽取人臉特征是采用人臉識別特征抽取方法，抽取人臉特征， 通過人臉識別分類器進(jìn)行人臉識別。
5.根據(jù)權(quán)利要求書1所述的基于層次結(jié)構(gòu)的人臉和虹膜圖像融合識別方法，其特征在 于，所述基于典型相關(guān)分析的模型進(jìn)行人臉到虹膜的檢索的具體步驟包括步驟S21 通過給定的注冊的人臉檢索特征和虹膜檢索特征的基礎(chǔ)上，采用典型相關(guān) 分析模型進(jìn)行離線訓(xùn)練，得到模型參數(shù)；步驟S22 在識別階段，采用人臉檢索特征抽取方法，對輸入的人臉圖像抽取人臉特 征，獲得人臉檢索特征；步驟S23 對步驟S22得到的人臉檢索特征，通過步驟S21中訓(xùn)練得到的模型參數(shù)和虹 膜檢索數(shù)據(jù)庫中的所有虹膜特征進(jìn)行預(yù)測，得到所有虹膜特征對應(yīng)的預(yù)測分?jǐn)?shù)集合；步驟S24 對得到的預(yù)測分?jǐn)?shù)集合進(jìn)行由高到低的排序，抽取分?jǐn)?shù)最高的一組虹膜特 征所對應(yīng)的身份作為檢索結(jié)果。
6.根據(jù)權(quán)利要求書1所述的基于層次結(jié)構(gòu)的人臉和虹膜圖像融合識別方法，其特征在 于，所述特征抽取和融合識別的步驟包括步驟S31 采用用于人臉和虹膜融合的特征抽取方法，對給定的待識別的人臉圖像抽 取待識別的人臉特征，得到人臉融合特征；步驟S31 采用用于人臉和虹膜融合的特征對給定的待識別的虹膜圖像抽取待識別的虹膜特征，得到虹膜融合特征。
7.根據(jù)權(quán)利要求書1所述的基于層次結(jié)構(gòu)的人臉和虹膜圖像融合識別方法，其特征在 于，所述的融合識別采用特征級或分?jǐn)?shù)級融合策略進(jìn)行識別。
全文摘要
一種基于層次結(jié)構(gòu)的人臉和虹膜圖像融合識別方法，包括注冊步驟R和識別步驟S兩個環(huán)節(jié)。注冊步驟R是將注冊用戶的人臉和虹膜圖像進(jìn)行特征抽取環(huán)節(jié)R1后保存在注冊數(shù)據(jù)庫中。識別步驟S是在給定注冊數(shù)據(jù)庫的基礎(chǔ)上用人臉和虹膜圖像進(jìn)行識別和檢索。本發(fā)明方法提高了生物特征識別系統(tǒng)的精度、易用性和檢索效率，具有很好的擴(kuò)展性和兼容性。本方法中基于人臉和虹膜融合的生物特征識別系統(tǒng)能夠有效識別遠(yuǎn)距離的行人，在機(jī)場、車站、銀行等安全場合具有廣闊的應(yīng)用前景。
文檔編號G06K9/46GK101901351SQ20101024002
公開日2010年12月1日 申請日期2010年7月28日 優(yōu)先權(quán)日2010年7月28日
發(fā)明者孫哲南, 張小博, 譚鐵牛 申請人:中國科學(xué)院自動化研究所