本發(fā)明涉及圖像處理與分析技術(shù)領(lǐng)域，更具體地說，涉及一種基于視頻的掌紋掌脈聯(lián)合注冊和識別方法。

背景技術(shù)：

在網(wǎng)絡(luò)信息技術(shù)高速發(fā)展的今天，基于生物特征的身份識別技術(shù)開始得到廣泛關(guān)注和應(yīng)用，其中基于手部的生物特征因其所包含信息的豐富性以及采集的便捷性更是受到研究人員的關(guān)注，包括指紋識別、指靜脈識別、指橫紋識別、指形識別、掌紋識別、掌靜脈識別和手背靜脈識別等。而研究發(fā)現(xiàn)采用多模態(tài)或多種生物特征融合技術(shù)可以獲得比單一的生物特征識別技術(shù)更好的識別性能和可靠性，并可以增加偽造的難度和復(fù)雜性，從而提高系統(tǒng)的安全性。因此，基于多模態(tài)或多特征融合的手部生物識別技術(shù)目前已成為生物識別領(lǐng)域的熱點研究內(nèi)容，如掌紋掌脈的融合、手形與掌紋的融合等。

目前手部生物識別主要都是針對單張圖像進行分析和處理，這在很大程度上限制了所能獲取的生物特征數(shù)量。相對單張圖像而言，視頻數(shù)據(jù)或連續(xù)多幀序列圖像數(shù)據(jù)中包含了更為豐富的信息源，從而有利于特征的提取?；谝曨l的識別方法能夠充分利用采集和認證期間的各種信息。

基于多模態(tài)或多特征融合的手部生物識別技術(shù)以及基于視頻的識別方法，能夠有效增加信息的豐富性，并且能夠更有效的提升系統(tǒng)的綜合性能。但目前將基于視頻識別和掌紋掌脈識別結(jié)合的方法仍處于空白，因此需要設(shè)計出一種基于視頻的掌紋掌脈聯(lián)合注冊和識別方法，使得生物識別系統(tǒng)能夠更加穩(wěn)定有效。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的缺點與不足，提供一種基于視頻的掌紋掌脈聯(lián)合注冊和識別方法。該方法可實現(xiàn)運動視頻的手掌識別，有效地增強了識別的親和性；提出了將手掌旋轉(zhuǎn)視頻和手掌橫掃視頻進行融合注冊的新策略，從而提升了注冊特征的豐富性和完整性，增強了對不同識別姿態(tài)的魯棒性；提出了一種級聯(lián)融合策略，可大幅提升已注冊用戶的識別速度。

為了達到上述目的，本發(fā)明通過下述技術(shù)方案予以實現(xiàn)：一種基于視頻的掌紋掌脈聯(lián)合注冊和識別方法，其特征在于：包括注冊方法和識別方法；

所述注冊方法包括以下步驟：

a1步，采用掌紋掌脈拍攝裝置錄制待注冊用戶手掌旋轉(zhuǎn)和手掌橫掃動作，以獲得注冊掌紋視頻和注冊掌脈視頻；在注冊掌脈視頻中提取k幀圖像作為注冊掌脈圖像，并在注冊掌紋視頻中提取各幀注冊掌脈圖像相應(yīng)時刻的圖像作為k幀注冊掌紋圖像；

a2步，截取各幀注冊掌脈圖像的注冊掌脈roi區(qū)域；選取任一幀注冊掌脈圖像的注冊掌脈roi區(qū)域進行角度和尺度歸一化處理，之后采用最大主曲率算法進行紋理增強，并采用k-means算法進行二值化處理，生成注冊掌脈模板特征t1；

a3步，在任一幀注冊掌脈圖像的注冊掌脈roi區(qū)域上，采用lbp方法生成lbpcode圖，將生成lbpcode圖作為注冊掌脈lbp特征t2；

a4步，將各幀注冊掌脈roi區(qū)域分別對應(yīng)到相應(yīng)時刻的注冊掌紋圖像上以截取各幀注冊掌紋圖像的注冊掌紋roi區(qū)域；將各個注冊掌紋roi區(qū)域進行角度和尺度歸一化處理，并進行網(wǎng)格約束生成帶有n個子區(qū)域的注冊掌紋網(wǎng)格roi圖像；采用局部不變特征frdoh描述子分別對各幀注冊掌紋網(wǎng)格roi圖像進行描述得到特征向量集其中，n為第i幀注冊掌紋網(wǎng)格roi圖像中的特征點數(shù)量，i∈{1,2，…，k}；

a5步，將各幀注冊掌紋網(wǎng)格roi圖像的特征向量集進行特征融合，得到特征向量集合xfinal＝{xp,p＝1,...,m}作為注冊掌紋局部不變特征t3，m≥n；

a6步，將注冊掌脈模板特征t1、注冊掌脈lbp特征t2和注冊掌紋局部不變特征t3分別存儲到注冊數(shù)據(jù)庫中；

所述識別方法包括以下步驟：

b1步，采用所述掌紋掌脈拍攝裝置錄制待識別用戶手掌橫掃動作，以獲得識別掌紋視頻和識別掌脈視頻；在識別掌脈視頻中提取任一幀帶有完整手掌的圖像作為識別掌脈圖像，并在識別掌紋視頻中提取相應(yīng)時刻的圖像作為識別掌紋圖像；

b2步，截取識別掌脈圖像的識別掌脈roi區(qū)域，進行角度和尺度歸一化處理，之后采用最大主曲率算法進行紋理增強，并采用k-means算法進行二值化處理，生成識別掌脈模板特征t1’；判斷識別掌脈模板特征t1’是否與注冊數(shù)據(jù)庫中任一個注冊掌脈模板特征t1匹配：若匹配，則判定待識別用戶為已注冊用戶，結(jié)束識別；否則跳至b3步；

b3步，在識別掌脈roi區(qū)域上，采用lbp方法生成lbpcode圖，將生成lbpcode圖作為識別掌脈lbp特征t2’；判斷識別掌脈lbp特征t2’是否與注冊數(shù)據(jù)庫中任一個注冊掌脈lbp特征t2匹配：若匹配，則判定待識別用戶為已注冊用戶，結(jié)束識別；否則跳至b4步；

b4步，將識別掌脈roi區(qū)域?qū)?yīng)到識別掌紋圖像上截取識別掌紋圖像的識別掌紋roi區(qū)域；進行角度和尺度歸一化處理，并進行網(wǎng)格約束生成帶有m個子區(qū)域的識別掌紋網(wǎng)格roi圖像；采用局部不變特征frdoh描述子對識別掌紋網(wǎng)格roi圖像進行描述得到特征向量集q＝{qj,j＝1,...,n}，特征向量集q＝{qj,j＝1,...,n}為識別掌紋局部不變特征t3’；判斷識別掌紋局部不變特征t3’是否與注冊數(shù)據(jù)庫中任一個注冊掌紋局部不變特征t3匹配：若匹配，則判定待識別用戶為已注冊用戶；否則判定待識別用戶為陌生人。

優(yōu)選地，所述a1步中，在注冊掌脈視頻中提取k幀圖像作為注冊掌脈圖像，并在注冊掌紋視頻中提取各幀注冊掌脈圖像相應(yīng)時刻的圖像作為k幀注冊掌紋圖像是指：

在待注冊用戶手掌旋轉(zhuǎn)的注冊掌脈視頻中提取第一幀圖像作為第一幀注冊掌脈圖像；將第一幀圖像外的待注冊用戶手掌旋轉(zhuǎn)的注冊掌脈視頻平均分為k-2部分，在每個部分隨機抽取一幀圖像作為第二幀到第k-1幀注冊掌脈圖像；在待注冊用戶手掌橫掃的注冊掌脈視頻中提取中間一幀圖像作為第k幀注冊掌脈圖像；在注冊掌紋視頻中提取各幀注冊掌脈圖像相應(yīng)時刻的圖像作為k幀注冊掌紋圖像。

優(yōu)選地，所述a5步，將各幀注冊掌紋網(wǎng)格roi圖像的特征向量集進行特征融合，得到特征向量集合xfinal＝{xp,p＝1,...,m}作為注冊掌紋局部不變特征t3是指,包括如下步驟：

a5.1，采用第一幀注冊掌紋網(wǎng)格roi圖像的特征向量集x1來構(gòu)建和初始化融合特征向量集xfusion：xfusion＝x1；設(shè)定z＝2；

a5.2，將第z幀注冊掌紋網(wǎng)格roi圖像的特征向量集xz中的每個特征向量分別與融合特征向量集xfusion中的各個特征向量逐一進行相似度判斷：若相似度＞預(yù)設(shè)相似度閾值，則表示該特征向量與融合特征向量集xfusion中的各個特征向量均不相似，并予以標(biāo)注，否則不予標(biāo)注；將予以標(biāo)注的特征向量添加到融合特征向量集xfusion中形成新的融合特征向量集xfusion；

a5.3，判斷z的大小：若z＜k，則z自加1，并跳至步驟a5.2；否則，將融合特征向量集xfusion生成特征向量集合xfinal＝{xp,p＝1,...,m}作為注冊掌紋局部不變特征t3，m≥n。

優(yōu)選地，所述b1步中，在識別掌脈視頻中提取任一幀帶有完整手掌的圖像作為識別掌脈圖像是指：在識別掌脈視頻中提取任一幀圖像并判斷提取的圖像是否帶有完整手掌：若帶有完整手掌，則設(shè)定該幀圖像為識別掌脈圖像；否則提取下一幀圖像并判斷提取的圖像是否帶有完整手掌，直至提取的圖像帶有完整手掌；

所述判斷提取的圖像是否帶有完整手掌是指：對提取的圖像進行前景和背景分割來獲取最大前景連通區(qū)域，計算最大前景連通區(qū)域的面積并判斷大小：若最大前景連通區(qū)域的面積＞預(yù)設(shè)面積閾值，則判定提取的圖像帶有完整手掌，否則判定提取的圖像不帶有完整手掌。

優(yōu)選地，所述b2步中，判斷識別掌脈模板特征t1’是否與注冊數(shù)據(jù)庫中任一個注冊掌脈模板特征t1匹配是指：判斷識別掌脈模板特征t1’是否與注冊數(shù)據(jù)庫中任一個注冊掌脈模板特征t1相等；

所述b3步中，判斷識別掌脈lbp特征t2’是否與注冊數(shù)據(jù)庫中任一個注冊掌脈lbp特征t2匹配是指：在注冊數(shù)據(jù)庫中逐一提取注冊掌脈lbp特征t2并進行匹配判斷：匹配注冊掌脈lbp特征t2和識別掌脈lbp特征t2’的lbpcode圖，得到兩幅lbpcode圖的最大相似區(qū)域；分別對兩幅lbpcode圖的最大相似區(qū)域進行l(wèi)bp直方圖統(tǒng)計，并通過lbp直方圖相交獲取匹配分數(shù)；通過判斷匹配分數(shù)是否大于預(yù)設(shè)分數(shù)閾值來判斷識別掌脈lbp特征t2’是否與提取的注冊掌脈lbp特征相匹配；

所述b4步中，判斷識別掌紋局部不變特征t3’是否與注冊數(shù)據(jù)庫中任一個注冊掌紋局部不變特征t3匹配是指：在注冊數(shù)據(jù)庫中逐一提取注冊掌紋局部不變特征t3并進行匹配判斷：將該注冊掌紋局部不變特征t3的特征向量集合xfinal中各個特征向量xp分別與特征向量集q＝{qj,j＝1,...,n}中的各個特征向量qj逐一進行歐式距離計算，獲得各個特征向量xp的最小歐式距離值；比較各個最小歐式距離值與預(yù)設(shè)距離閾值的大小，并進行數(shù)量統(tǒng)計和判斷：若小于預(yù)設(shè)距離閾值的最小歐式距離值的數(shù)量＞預(yù)設(shè)數(shù)量閾值，則判定該特征向量集合xfinal與特征向量集q＝{qj,j＝1,...,n}匹配；否則判定該特征向量集合xfinal與特征向量集q＝{qj,j＝1,...,n}不匹配；若任一特征向量集合xfinal與特征向量集q＝{qj,j＝1,...,n}匹配，則判定為識別掌紋局部不變特征t3’與注冊數(shù)據(jù)庫中任一個注冊掌紋局部不變特征t3匹配；否則判定為識別掌紋局部不變特征t3’與注冊數(shù)據(jù)庫中所有注冊掌紋局部不變特征t3均不匹配。

優(yōu)選地，所述掌紋掌脈拍攝裝置包括led光源陣列、雙通道攝像頭和均光板。

與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點與有益效果：

1、本發(fā)明方法通過采集手掌的運動視頻來代替?zhèn)鹘y(tǒng)的停留式單幀圖像，接著從中篩選理想的視頻幀進行特征提??；在注冊階段，這種方式能夠有效解決單幀圖像采集模式帶來的注冊特征偏少的問題，并在很大程度上減少了現(xiàn)有系統(tǒng)對手掌擺放位置的約束；在識別階段，這種方式使得用戶無需在意系統(tǒng)何時進行識別操作，只需將手掌從采集平臺上端橫掃而過之后等待系統(tǒng)返回識別結(jié)果即可，提高了識別系統(tǒng)的親和性；

2、本發(fā)明方法采用將手掌旋轉(zhuǎn)視頻和手掌橫掃視頻融合注冊的策略；在注冊階段將分別以旋轉(zhuǎn)方式和橫掃方式采集運動視頻，然后從兩段視頻中提取特征進行融合注冊，從而使得注冊特征集能夠有效克服運動模糊以及姿態(tài)變化帶來的不利影響；

3、本發(fā)明方法針對實際應(yīng)用系統(tǒng)，引入了一種決策層級聯(lián)融合策略；在完成對掌脈模板特征、掌脈lbp特征、掌紋局部不變特征的特征提取和匹配之后，利用這三種特征的相關(guān)性對它們進行了決策層的級聯(lián)融合；與傳統(tǒng)的加權(quán)融合相比，這種融合方式能夠在基本不影響識別等誤率的基礎(chǔ)上大幅提高已注冊用戶的識別速度，有效提升系統(tǒng)的親和性。

附圖說明

圖1是本發(fā)明方法的流程圖；

圖2是本發(fā)明方法中掌紋掌脈拍攝裝置的結(jié)構(gòu)示意圖；

圖3是本發(fā)明方法中待注冊用戶手掌旋轉(zhuǎn)的注冊掌脈視頻篩選得到的一個圖像集合示例；

圖4是本發(fā)明方法中注冊掌脈模板特征t1的生成步驟示意圖；

圖5是本發(fā)明方法中對注冊掌紋roi區(qū)域進行特征點檢測的示例圖；

圖6是本發(fā)明方法中識別方法提取的圖像進行前景和背景分割來獲取最大前景連通區(qū)域的示例圖；

圖7是本發(fā)明方法中注冊掌脈lbp特征t2和識別掌脈lbp特征t2’的生成和匹配步驟示意圖；

圖8(a)是采用加權(quán)求和/svm融合策略的流程圖；

圖8(b)是本發(fā)明方法采用級聯(lián)融合策略的流程圖；

圖9是本發(fā)明方法與其它融合方式的效果對比圖。

具體實施方式

下面結(jié)合附圖與具體實施方式對本發(fā)明作進一步詳細的描述。

實施例

如圖1所示，本實施例基于視頻的掌紋掌脈聯(lián)合注冊和識別方法，包括注冊方法和識別方法。

所述注冊方法包括以下步驟：

a1步，采用掌紋掌脈拍攝裝置錄制待注冊用戶手掌旋轉(zhuǎn)和手掌橫掃動作，以獲得注冊掌紋視頻和注冊掌脈視頻；在注冊掌脈視頻中提取k幀圖像作為注冊掌脈圖像，并在注冊掌紋視頻中提取各幀注冊掌脈圖像相應(yīng)時刻的圖像作為k幀注冊掌紋圖像。

如圖2所示，掌紋掌脈拍攝裝置包括led光源陣列、雙通道攝像頭和均光板。其中l(wèi)ed光源陣列包括20×14的近紅外光led陣列(940nm)和20×14的可見光led陣列(500nm)，兩種led光源交錯排列，在led光源陣列上方覆蓋一層均光板，從而使得led光源陣列排列緊湊而且能夠在被采集手掌表面形成均勻的光照。當(dāng)系統(tǒng)處于正常工作狀態(tài)時，led光源陣列透過均光板在手掌表面產(chǎn)生均勻的漫反射效果，然后雙通道攝像頭的可見光通道和近紅外光通道將分別采集可見光圖像和近紅外光圖像，從而形成對應(yīng)的注冊掌紋視頻和注冊掌脈視頻。掌紋掌脈拍攝裝置也用在本發(fā)明方法的識別階段，可形成識別掌紋視頻和識別掌脈視頻。

在注冊階段，由于雙通道攝像頭的可見光通道和近紅外通道是同步的，而且相對于注冊掌紋圖像而言，注冊掌脈圖像中前景與背景的可區(qū)分性更強，因此先基于注冊掌脈視頻獲取目標(biāo)幀的序列號，然后再獲取注冊掌紋視頻中的對應(yīng)幀。該原理同樣適用于識別階段。

在注冊階段，用戶的手掌水平擺放在掌紋掌脈拍攝裝置的正上方并以掌心為中心，以某一角度順時針進行類似俯仰和翻滾的旋轉(zhuǎn)運動，即手掌以一定角度依次從左往右，從前往后傾斜，然后采集一段時間內(nèi)的手掌旋轉(zhuǎn)視頻。

優(yōu)選地，在注冊掌脈視頻中提取k幀圖像作為注冊掌脈圖像，并在注冊掌紋視頻中提取各幀注冊掌脈圖像相應(yīng)時刻的圖像作為k幀注冊掌紋圖像是指：

在待注冊用戶手掌旋轉(zhuǎn)的注冊掌脈視頻中提取第一幀圖像作為第一幀注冊掌脈圖像；將第一幀圖像外的待注冊用戶手掌旋轉(zhuǎn)的注冊掌脈視頻平均分為k-2部分，在每個部分隨機抽取一幀圖像作為第二幀到第k-1幀注冊掌脈圖像；在待注冊用戶手掌橫掃的注冊掌脈視頻中提取中間一幀圖像作為第k幀注冊掌脈圖像；在注冊掌紋視頻中提取各幀注冊掌脈圖像相應(yīng)時刻的圖像作為k幀注冊掌紋圖像。

由于在待注冊用戶手掌旋轉(zhuǎn)的注冊掌脈視頻中第一幀圖像為現(xiàn)有掌紋識別系統(tǒng)所要求的標(biāo)準(zhǔn)手掌擺放姿態(tài)，因此將其作為基準(zhǔn)圖像。在此基礎(chǔ)上，選取另外k-2幀圖像作為輔助圖像以增加注冊掌紋局部不變特征t3的完備性和穩(wěn)定性。一般來說，對于k-2幀輔助圖像的選擇應(yīng)該盡量保證它們之間的姿態(tài)存在較大差距，但在實際應(yīng)用中考慮到時間消耗的因素，結(jié)合手掌運動一般是勻速的運動這一先驗條件，因此將第一幀圖像外的待注冊用戶手掌旋轉(zhuǎn)的注冊掌脈視頻平均分為k-2部分，在每個部分隨機抽取一幀圖像作為第二幀到第k-1幀注冊掌脈圖像。這種篩選原則雖然比較簡單且具有一定的隨機性，但是耗時基本可以忽略，而且實驗顯示該方法基本能夠獲取較為理想的圖像集合。圖3給出了待注冊用戶手掌旋轉(zhuǎn)的注冊掌脈視頻篩選得到的一個圖像集合示例。

a2步，截取各幀注冊掌脈圖像的注冊掌脈roi區(qū)域，注冊掌脈roi區(qū)域截取可采用現(xiàn)有技術(shù)；選取任一幀注冊掌脈圖像的注冊掌脈roi區(qū)域進行角度和尺度歸一化處理，之后采用具備較強魯棒性的最大主曲率算法進行紋理增強，并采用k-means算法進行二值化處理，生成注冊掌脈模板特征t1。

由于雙通道攝像頭是同步采集注冊掌紋視頻和注冊掌脈視頻，因此兩種光譜圖像中手掌區(qū)域的位置是重合的，考慮到注冊掌脈圖像背景更加單一，同時前景和背景的對比度更高，因此首先在注冊掌脈圖像上提取注冊掌脈roi區(qū)域，然后截取注冊掌紋圖像中對應(yīng)的注冊掌紋roi區(qū)域。圖4展示了注冊掌脈模板特征t1的生成步驟。

a3步，在任一幀注冊掌脈圖像的注冊掌脈roi區(qū)域上，采用lbp方法生成lbpcode圖，將生成lbpcode圖作為注冊掌脈lbp特征t2。采用lbp方法時，采樣點p可設(shè)定為8，半徑r可設(shè)定為7。

a4步，將各幀注冊掌脈roi區(qū)域分別對應(yīng)到相應(yīng)時刻的注冊掌紋圖像上以截取各幀注冊掌紋圖像的注冊掌紋roi區(qū)域；將各個注冊掌紋roi區(qū)域進行角度和尺度歸一化處理，并進行網(wǎng)格約束生成帶有n個子區(qū)域的注冊掌紋網(wǎng)格roi圖像；采用局部不變特征frdoh描述子分別對各幀注冊掌紋網(wǎng)格roi圖像進行描述得到特征向量集其中，n為第i幀注冊掌紋網(wǎng)格roi圖像中的特征點數(shù)量，i∈{1,2，…，k}。

采用網(wǎng)格約束處理基于以下兩點考慮：第一，通過前述處理方法可以截取到較為穩(wěn)定的注冊掌紋roi區(qū)域，因而對于同一手掌的不同樣本而言，檢測到的特征點可重復(fù)性較強；第二，即使注冊掌紋roi區(qū)域紋理部分存在輕微的偏移，網(wǎng)格分布下相鄰的特征點也能夠匹配成功，即魯棒性強。圖5展示了本發(fā)明方法對注冊掌紋roi區(qū)域進行特征點檢測的示例圖。為了提高易用性和友好性，本發(fā)明方法不對用戶的注冊姿態(tài)做過多約束，因此注冊和識別時用戶手掌擺放姿態(tài)及運動速度都相對比較隨意，從而使得采集到的圖像都存在不同程度的旋轉(zhuǎn)變換和模糊，因此本發(fā)明采用局部不變特征frdoh描述子對檢測到的特征點進行描述。局部不變特征frdoh描述子在中國發(fā)明專利《基于雙方向圖的快速局部不變特征描述子的構(gòu)造方法》(公開號：104156696a)中公開。

a5步，將各幀注冊掌紋網(wǎng)格roi圖像的特征向量集進行特征融合，得到特征向量集合xfinal＝{xp,p＝1,...,m}作為注冊掌紋局部不變特征t3，m≥n。

優(yōu)選地，a5步，將各幀注冊掌紋網(wǎng)格roi圖像的特征向量集進行特征融合，得到特征向量集合xfinal＝{xp,p＝1,...,m}作為注冊掌紋局部不變特征t3是指,包括如下步驟：

a5.1，采用第一幀注冊掌紋網(wǎng)格roi圖像的特征向量集x1來構(gòu)建和初始化融合特征向量集xfusion：xfusion＝x1；設(shè)定z＝2；

a5.2，將第z幀注冊掌紋網(wǎng)格roi圖像的特征向量集xz中的每個特征向量分別與融合特征向量集xfusion中的各個特征向量逐一進行相似度判斷：若相似度＞預(yù)設(shè)相似度閾值，則表示該特征向量與融合特征向量集xfusion中的各個特征向量均不相似，并予以標(biāo)注，否則不予標(biāo)注；將予以標(biāo)注的特征向量添加到融合特征向量集xfusion中形成新的融合特征向量集xfusion；

a5.3，判斷z的大小：若z＜k，則z自加1，并跳至步驟a5.2；否則，將融合特征向量集xfusion生成特征向量集合xfinal＝{xp,p＝1,...,m}作為注冊掌紋局部不變特征t3，m≥n。特征融合處理充分利用了注冊掌紋視頻中的多幀圖像信息。

a6步，將注冊掌脈模板特征t1、注冊掌脈lbp特征t2和注冊掌紋局部不變特征t3分別存儲到注冊數(shù)據(jù)庫中。

識別方法包括以下步驟：

b1步，采用掌紋掌脈拍攝裝置錄制待識別用戶手掌橫掃動作，以獲得識別掌紋視頻和識別掌脈視頻；在識別掌脈視頻中提取任一幀帶有完整手掌的圖像作為識別掌脈圖像，并在識別掌紋視頻中提取相應(yīng)時刻的圖像作為識別掌紋圖像。

優(yōu)選地，在識別掌脈視頻中提取任一幀帶有完整手掌的圖像作為識別掌脈圖像是指：在識別掌脈視頻中提取任一幀圖像并判斷提取的圖像是否帶有完整手掌：若帶有完整手掌，則設(shè)定該幀圖像為識別掌脈圖像；否則提取下一幀圖像并判斷提取的圖像是否帶有完整手掌，直至提取的圖像帶有完整手掌；

判斷提取的圖像是否帶有完整手掌是指：對提取的圖像進行前景和背景分割來獲取最大前景連通區(qū)域，如圖6所示，計算最大前景連通區(qū)域的面積并判斷大?。喝糇畲笄熬斑B通區(qū)域的面積＞預(yù)設(shè)面積閾值，則判定提取的圖像帶有完整手掌，否則判定提取的圖像不帶有完整手掌。

b2步，截取識別掌脈圖像的識別掌脈roi區(qū)域，進行角度和尺度歸一化處理，之后采用最大主曲率算法進行紋理增強，并采用k-means算法進行二值化處理，生成識別掌脈模板特征t1’；判斷識別掌脈模板特征t1’是否與注冊數(shù)據(jù)庫中任一個注冊掌脈模板特征t1匹配：若匹配，則判定待識別用戶為已注冊用戶，結(jié)束識別；否則跳至b3步。

b3步，在識別掌脈roi區(qū)域上，采用lbp方法生成lbpcode圖，將生成lbpcode圖作為識別掌脈lbp特征t2’；采用lbp方法時，采樣點p可設(shè)定為8，半徑r可設(shè)定為7。判斷識別掌脈lbp特征t2’是否與注冊數(shù)據(jù)庫中任一個注冊掌脈lbp特征t2匹配：若匹配，則判定待識別用戶為已注冊用戶，結(jié)束識別；否則跳至b4步；。

b4步，將識別掌脈roi區(qū)域?qū)?yīng)到識別掌紋圖像上截取識別掌紋圖像的識別掌紋roi區(qū)域；進行角度和尺度歸一化處理，并進行網(wǎng)格約束生成帶有m個子區(qū)域的識別掌紋網(wǎng)格roi圖像；采用局部不變特征frdoh描述子對識別掌紋網(wǎng)格roi圖像進行描述得到特征向量集q＝{qj,j＝1,...,n}，特征向量集q＝{qj,j＝1,...,n}為識別掌紋局部不變特征t3’；判斷識別掌紋局部不變特征t3’是否與注冊數(shù)據(jù)庫中任一個注冊掌紋局部不變特征t3匹配：若匹配，則判定待識別用戶為已注冊用戶；否則判定待識別用戶為陌生人。

優(yōu)選地，b2步中，判斷識別掌脈模板特征t1’是否與注冊數(shù)據(jù)庫中任一個注冊掌脈模板特征t1匹配是指：判斷識別掌脈模板特征t1’是否與注冊數(shù)據(jù)庫中任一個注冊掌脈模板特征t1相等；

b3步中，判斷識別掌脈lbp特征t2’是否與注冊數(shù)據(jù)庫中任一個注冊掌脈lbp特征t2匹配是指：在注冊數(shù)據(jù)庫中逐一提取注冊掌脈lbp特征t2并進行匹配判斷：匹配注冊掌脈lbp特征t2和識別掌脈lbp特征t2’的lbpcode圖，得到兩幅lbpcode圖的最大相似區(qū)域；分別對兩幅lbpcode圖的最大相似區(qū)域進行l(wèi)bp直方圖統(tǒng)計，并通過lbp直方圖相交獲取匹配分數(shù)；通過判斷匹配分數(shù)是否大于預(yù)設(shè)分數(shù)閾值來判斷識別掌脈lbp特征t2’是否與提取的注冊掌脈lbp特征相匹配；如圖7所示；

b4步中，判斷識別掌紋局部不變特征t3’是否與注冊數(shù)據(jù)庫中任一個注冊掌紋局部不變特征t3匹配是指：在注冊數(shù)據(jù)庫中逐一提取注冊掌紋局部不變特征t3并進行匹配判斷：將該注冊掌紋局部不變特征t3的特征向量集合xfinal中各個特征向量xp分別與特征向量集q＝{qj,j＝1,...,n}中的各個特征向量qj逐一進行歐式距離計算，獲得各個特征向量xp的最小歐式距離值；比較各個最小歐式距離值與預(yù)設(shè)距離閾值的大小，并進行數(shù)量統(tǒng)計和判斷：若小于預(yù)設(shè)距離閾值的最小歐式距離值的數(shù)量＞預(yù)設(shè)數(shù)量閾值，則判定該特征向量集合xfinal與特征向量集q＝{qj,j＝1,...,n}匹配；否則判定該特征向量集合xfinal與特征向量集q＝{qj,j＝1,...,n}不匹配；若任一特征向量集合xfinal與特征向量集q＝{qj,j＝1,...,n}匹配，則判定為識別掌紋局部不變特征t3’與注冊數(shù)據(jù)庫中任一個注冊掌紋局部不變特征t3匹配；否則判定為識別掌紋局部不變特征t3’與注冊數(shù)據(jù)庫中所有注冊掌紋局部不變特征t3均不匹配。

識別掌脈模板特征t1’、識別掌脈lbp特征t2’以及識別掌紋局部不變特征t3’,這三種特征具有一定的互補性，一般系統(tǒng)常采用基于加權(quán)求和或是基于svm的分數(shù)層融合策略，其流程如圖8(a)所示。這兩種策略在仿真實驗和理論分析都能夠取得不錯的性能，但在實際應(yīng)用中則存在一個問題，即無論待識別的對象是已注冊的用戶還是陌生人，這兩種策略都無差別地對三種特征實施提取及匹配操作，使得系統(tǒng)的整體耗時相對較長。因此，本發(fā)明從綜合性能和實用性的角度出發(fā)，提出了一種新的級聯(lián)融合策略，其流程如圖8(b)所示。采用該策略后，對于大部分已注冊的用戶而言，可以在識別掌脈模板特征t1’匹配或識別掌脈lbp特征t2’匹配中匹配成功從而直接完成識別，無需后續(xù)識別掌紋局部不變特征t3’的特征提取及匹配步驟，這能大大提高已注冊用戶的識別速度，而對于陌生人來說則仍然需要經(jīng)過全部三種特征的提取和匹配操作，從而使得整個系統(tǒng)更加方便于已注冊用戶的使用，這恰與實際系統(tǒng)在應(yīng)用中提高已注冊用戶的使用體驗?zāi)康南辔呛稀?/p>

與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點與有益效果：

1、本發(fā)明方法通過采集手掌的運動視頻來代替?zhèn)鹘y(tǒng)的停留式單幀圖像，接著從中篩選理想的視頻幀進行特征提?。辉谧噪A段，這種方式能夠有效解決單幀圖像采集模式帶來的注冊特征偏少的問題，并在很大程度上減少了現(xiàn)有系統(tǒng)對手掌擺放位置的約束；在識別階段，這種方式使得用戶無需在意系統(tǒng)何時進行識別操作，只需將手掌從采集平臺上端橫掃而過之后等待系統(tǒng)返回識別結(jié)果即可，提高了識別系統(tǒng)的親和性；

2、本發(fā)明方法采用將手掌旋轉(zhuǎn)視頻和手掌橫掃視頻融合注冊的策略；在注冊階段將分別以旋轉(zhuǎn)方式和橫掃方式采集運動視頻，然后從兩段視頻中提取特征進行融合注冊，從而使得注冊特征集能夠有效克服運動模糊以及姿態(tài)變化帶來的不利影響；

3、本發(fā)明方法針對實際應(yīng)用系統(tǒng)，引入了一種決策層級聯(lián)融合策略；在完成對掌脈模板特征、掌脈lbp特征、掌紋局部不變特征的特征提取和匹配之后，利用這三種特征的相關(guān)性對它們進行了決策層的級聯(lián)融合；與傳統(tǒng)的加權(quán)融合相比，這種融合方式能夠在基本不影響識別等誤率的基礎(chǔ)上大幅提高已注冊用戶的識別速度，有效提升系統(tǒng)的親和性。

為驗證本發(fā)明方法的有效性和發(fā)明，下面進行兩組實驗：

實驗一為旋轉(zhuǎn)視頻與橫掃視頻融合注冊；本發(fā)明在掌紋識別階段中采用了局部不變特征方法，為了進一步提高掌紋識別性能，本發(fā)明提出的“旋轉(zhuǎn)視頻+橫掃視頻”的新型融合注冊方式以增加注冊環(huán)節(jié)中掌紋局部不變特征的豐富性。因本系統(tǒng)構(gòu)建的數(shù)據(jù)庫中每個對象均包含1段旋轉(zhuǎn)視頻和3段橫掃視頻，分別記為rot以及swp1、swp2和swp3，因此新型融合注冊方式形成的注冊特征集總共有“rot+swp1”、“rot+swp2”以及“rot+swp3”三種組合方式。另外，為了更好地驗證本發(fā)明提出的新型融合注冊方式的有效性，我們還將單旋轉(zhuǎn)視頻以及單橫掃視頻也分別作為一種注冊特征集，并進行比較實驗，實驗結(jié)果如表1所示。

表1多幀特征融合下識別等誤率的對比

從上表可以發(fā)現(xiàn)，與單獨使用旋轉(zhuǎn)視頻或橫掃視頻作為注冊特征集相比，本發(fā)明方法提出的新型融合注冊方式使得最終的識別等誤率極大地降低。

實驗二為決策層級聯(lián)融合對比實驗；

表2不同融合方法的耗時對比

圖9為本發(fā)明方法與其它融合方式的效果對比圖；在級聯(lián)融合方式中，對于已注冊用戶而言，其識別過程的期望耗時相比加權(quán)融合以及svm融合減少了59.3％，從而使得識別系統(tǒng)整體側(cè)重于提高已注冊用戶的識別速度。綜上所述，svm融合方式具有最佳的識別效果，然而其認證速度遠低于級聯(lián)融合方式，并且其需要預(yù)先訓(xùn)練模型，增加了系統(tǒng)的復(fù)雜度。而對于加權(quán)融合方式，盡管其識別性能要稍稍優(yōu)于級聯(lián)融合策略，考慮到實際系統(tǒng)中，對已注冊用戶的認證速度是影響系統(tǒng)友好性一個重要因素，因此本發(fā)明方法所提出的級聯(lián)融合策略能夠在識別性能差別不大的情況下大幅提高系統(tǒng)的響應(yīng)速度，因此具有最好的親和性。

上述實施例為本發(fā)明較佳的實施方式，但本發(fā)明的實施方式并不受上述實施例的限制，其他的任何未背離本發(fā)明的精神實質(zhì)與原理下所作的改變、修飾、替代、組合、簡化，均應(yīng)為等效的置換方式，都包含在本發(fā)明的保護范圍之內(nèi)。