專利名稱：基于步態(tài)的遠距離身份識別方法
技術領域：
本發(fā)明屬于模式識別領域，特別涉及基于步態(tài)的遠距離身份識別方法。
人運動的視覺分析是計算機視覺領域中一個活躍的研究主題，而生物特征識別技術與人運動分析的有效結合更是一個重要的發(fā)展趨勢，它潛在的應用之一就是對安全敏感場合的視覺監(jiān)控。遠距離人的身份識別——基于運動視覺的第二代生物特征識別技術，近年來更受研究者們的青睞。例如，美國高級研究項目署DARPA在2000年資助的重大項目——HID計劃(Human Identification at a Distance)，它的任務就是開發(fā)多模式的監(jiān)控技術以實現(xiàn)遠距離情況下人的檢測、分類和識別，從而增強國防、民用等場合免受恐怖襲擊的自動保護能力。目前焦點在于臉像、步態(tài)或特定行為的識別。一般說來，視覺監(jiān)控中的身份識別主要有兩個方面的應用(1)特殊場合的訪問控制。在一些對安全要求特別敏感的場合(如軍事基地、國家重要的機密單位等)，只容許那些具有特殊身份權限的人員進入。在這些場合使用生物特征識別技術，先建立合法訪問者的生物特征(如臉像、步態(tài)等)數據庫，當有人入侵時，實時快速非接觸地采集這些特征，并根據它們來準確地確定訪問者是否有進入該領域的權利。(2)輔助破案的法律工具。一方面，它可以實時確定監(jiān)控場景中是否有特定的人的存在(如犯罪嫌疑人等)。公安部門可以建立一些犯罪嫌疑人及在逃犯的生物特征，在他們出入比較頻繁的地區(qū)(如賭場、社區(qū))裝上視覺監(jiān)控系統(tǒng)來識別每一個進入監(jiān)控領域的人，判斷其是否為犯罪嫌疑人，如果是，則馬上自動報警；另一方面也可以作為事后的法律工具用于破案，比如銀行搶劫事件，攝像機記錄的圖像中犯罪者的臉像可能被隱藏，但其步態(tài)可見，因此可以對犯罪嫌疑人進行步態(tài)的鑒別來判斷其是否為真正的罪犯。
臉像與步態(tài)是目前被認為可以用于視覺監(jiān)控系統(tǒng)中遠距離身份識別的兩個主要的生物特征。臉像識別已經得到了廣泛的研究，不過臉像有時可能被隱藏，或者在一定距離時呈現(xiàn)較小的分辨率而難以辨認與識別；而步態(tài)在此方面卻突出了它的優(yōu)越性，尤其是在遠距離的情況下，人的步態(tài)的可感知性、非侵犯性、非接觸性的優(yōu)點已經使其成為一個獨具特色的生物行為特征用于遠距離的身份識別。第一代生物特征識別技術，如指紋、虹膜等識別技術已經在一些商業(yè)和法律機構中得到了實際的應用，而基于視覺的第二代生物特征識別技術的研究目前還處于起步階段。作為一種新的行為特征，步態(tài)還具有難于隱藏和偽裝、易于捕捉等優(yōu)點，而且它也是一定距離時唯一可感知的行為特征。步態(tài)識別旨在不考慮衣服、視角、背景等情況下根據人們走路的姿勢進行人的身份識別。由于步態(tài)是一種時空變化的運動模式，因此它的處理數據量相對較大。當然，像其它生物特征一樣，步態(tài)也受一些諸如醉酒、懷孕、關節(jié)受傷等物理因素的影響(見對比文獻[1]H Murase and R.Sakai，Moving objectrecognition in eigenspace representationgait analysis and lip reading，PatternRecognition Letter，1996，17155-162.[2]P.Huang，C.Harris and M.Nixon，Human gait recognition in canonical space using temporal templates，in IEE Proc.Of Vision Image and Signal Processing，April 1999，146(2)93-100)。

發(fā)明內容
本發(fā)明的目的是提供一種基于主元分析的自動步態(tài)識別方法，其解決了利用步態(tài)行為實現(xiàn)遠距離的身份識別問題。
為實現(xiàn)上述目的，基于步態(tài)的遠距離身份識別方法包括訓練和識別兩個過程，所述的訓練過程包括步驟獲取訓練步態(tài)序列；空間輪廓分割；形狀距離信號提??；主成分分析；個性化體格特征提取，提取可視的個性化特征作為附加特征，用于步態(tài)分類的最終校驗；獲得已訓練的步態(tài)數據庫。所述的識別過程包括步驟測試步態(tài)序列；空間輪廓分割；形狀距離信號提??；利用已訓練的步態(tài)數據庫進行特征空間投影；利用已訓練的步態(tài)數據庫進行時空相關匹配或者最近鄰規(guī)則與個性化特征的步態(tài)分類校驗步驟相結合的步態(tài)識別。
基于運動視覺的非接觸式遠距離身份識別研究對于安全敏感場合的視覺監(jiān)控應用尤為重要。利用統(tǒng)計主元分析方法，本發(fā)明實現(xiàn)了一個基于步態(tài)的遠距離身份識別系統(tǒng)。改進的背景減除方法首先被提出用于從背景中提取步態(tài)運動；具有時空變化的運動輪廓形狀經過特征空間變換以實現(xiàn)步態(tài)特征的提??；識別過程采用時空相關匹配或者最近鄰規(guī)則，一些與個人形體和體格有關的個性化特征亦被選擇用于最終分類的校驗。
圖2是步態(tài)運動輪廓的分割流程圖；圖3是人體步態(tài)運動的輪廓分割示例，包括(a)背景圖像；(b)當前輸入圖像；(c)差分并二值化后的圖像；(d)最終輪廓分割后的圖像；圖4是步態(tài)原始形狀特征提取流程圖；圖5是步態(tài)原始形狀特征提取示意圖，包括(a)輪廓邊界提取與解卷繞以及(b)歸一化的距離信號；圖6是一個步態(tài)的時空運動模式(第一排輸入步態(tài)序列；第二排分割后的運動輪廓序列；第三排輪廓邊界提取及質心計算；第四排幅度及長度上進行歸一化后的距離信號序列)；圖7是個性化特征的兩種不同組合分布圖，相同標志的點代表同一個人的不同步態(tài)序列的結果，而與其有相同顏色的方形標志代表其對應的均值結果；圖8是特征空間中特征值的幅度及累積方差曲線圖；圖9是訓練樣本的均值形狀(a)及前8個特征距離信號(b-i)；

圖10是訓練步態(tài)在特征空間中的投影軌跡示例，為了可視化，僅顯示了三維特征空間的情況。
發(fā)明的
具體實施例方式
下面結合附圖詳細說明本發(fā)明技術方案中所涉及的各個細節(jié)問題。
基于背景減除的人體步態(tài)運動分割從背景中提取人的步態(tài)運動對于步態(tài)分析而言是個關鍵性的一步。目前變化檢測方法主要有背景減除、時間差分、光流三種，由于背景減除方法不僅實現(xiàn)簡單，而且對于檢測亮度的變化特別有效，故本方案中采用了基于背景減除的變化檢測算法。一般而言，它包括背景圖像的構建、數學差分操作、合適的閾值選擇三個步驟。
本發(fā)明使用LMedS(Least Median of Squares)方法從部分圖像序列中來可靠地構建背景圖像。傳統(tǒng)的背景圖像構造使用時間平均圖像，但該方法對于噪聲、光照等比較敏感，而LMedS方法相對而言更加魯棒。令I代表一個包含N幀圖像的序列，則背景圖像Bxy能被表達為Bxy=minqmedt(Ixyt-q)2---(1)]]>其中，q是像素(x，y)處待確定的灰度值。
亮度變化常常是通過當前圖像和背景圖像的差分來完成。然而，二值化閾值的選擇卻是非常困難的，尤其對于低對比度的圖像，由于亮度變化太低而難以從噪聲中將運動目標完全地提取出來。為了解決這個問題，我們定義了一個提取函數來間接地執(zhí)行差分操作 其中，a(x，y)與b(x，y)分別是當前圖像和背景圖像在像素(x，y)處的亮度值。該函數可以根據背景圖像的亮度值來檢測其敏感性變化。對于每幅圖像而言，該提取函數的分布很容易計算。利用傳統(tǒng)的直方圖方法，我們可以從該提取函數的直方圖中確定一個合適的閾值。然后，通過比較該提取函數和閾值之間的差分來獲取相應的變化像素。
在后期處理中，本發(fā)明使用形態(tài)學操作來進一步過濾噪聲點，并使用一個二值化連通分量分析來準確地提取出單連通的運動目標。步態(tài)運動的輪廓分割流程圖及一個結果示例分別如附圖2與附圖3所示。該方法完全可以應用于任意復雜背景下運動目標的分割。
步態(tài)時空模式的原始形狀特征提取確定一個行人內在運動的一個重要線索就是人體輪廓形狀隨著時間的變化。為了去除信息冗余度和減少計算復雜度，我們將這些二維步態(tài)輪廓的形狀變化轉換為一維的距離信號序列來近似地表達步態(tài)運動的時空變化模式。
原始形狀距離特征的提取流程圖及示意圖分別如附圖4與附圖5所示。在分割出人的運動輪廓以后，使用基于連通性的邊界跟蹤算法可以獲得它的邊界，然后計算其輪廓邊界的質心 其中，(xc，yc)是質心坐標，Nb是邊界像素數，(xi，yi)是邊界上的像素。
選擇頭頂對應點作為參考點，沿著逆時針方向我們可以展開邊界為一個由邊界像素點到其對應質心的距離所組成的信號di=(xi-xc)2+(yi-yc)2---(4)]]>為了消除尺度、長度對于訓練和識別的影響，使用L范數與等間隔重抽樣方法對距離信號特征進行了幅度和長度上的歸一化。一個步態(tài)的運動時空模式的原始形狀特征提取過程示例如附圖6所示。更加簡單的步態(tài)原始特征的提取和表達將極大地降低整個方法的計算代價。
基于主元分析的特征空間變換給定s個訓練類別，每個類別代表一個人的步態(tài)模式所形成的一個原始距離信號序列。每個人的多個步態(tài)序列可以隨意地增加而不需要更改下述基于主元分析的訓練過程。
令Di，j是類i的第j個距離信號特征，并且Ni是類i的距離信號數，則總的訓練樣本數為Nt＝N1+N2+...+Ns，整個訓練集為[D1，1，D1，2，...，D1，N1，D2，1，...，Ds，Ns]，該訓練集的均值md和全局方差矩陣為md=1NtΣi=15Σj=1NiDi,j---(5)]]>Σ=1NtΣi=15Σj=1Ni(Di,j-md)(Di,j-md)T---(6)]]>如果矩陣的秩是N，則利用奇異值分解理論能夠得出N個非零特征值λ1，λ2，...，λN及其對應的特征向量e1，e2，...，eN。
一般而言，前面幾個較大的特征值對應的特征向量相應于訓練模式的較大變化，而更高階的特征向量代表著小的變化。出于對存儲和計算的有效性考慮，我們使用一個閾值Ts來忽略那些小的特征值及其對應的特征向量Wk=Σi=1kλiΣi=1Nλi<Ts---(7)]]>其中，Wk是前k個特征值的累積方差。選擇k＜N個最大的特征值所對應的特征向量，我們可以構建特征變換矩陣E為[e1，e2，...，ek]，則每個距離信號Di，j在特征空間中將被投影為一點Pi，jPi，j＝[e1e2... ek]TDi，j(8)相應地，每個步態(tài)序列將在特征空間中呈現(xiàn)為一個軌跡?？梢姡卣骺臻g分析極大地減少了樣本的維數，它僅需保留k個最有效的主特征分量來表達原始的樣本。對于每個參與訓練的步態(tài)序列而言，其原始特征的距離信號序列在特征空間中的平均投影為Ci=1NiΣi=1Nipi,j---(9)]]>個性化特征的提取實際上，當人眼識別一個人的步態(tài)時，常常融合了其它一些可視化的特征，比如人的步速、步長、身高和體形等。為了提高識別的準確度，該發(fā)明提取了相應于這些因素的個性化特征作為附加特征用于步態(tài)分類的最終校驗。
每個人的步態(tài)通常有一個基本的驅動頻率，這是因為人體的各個部分必須以一種協(xié)調的方式運動。考慮到水平運動比垂直運動有著更大的變化，從而有著更強的可分辨力，我們選擇了歸一化的水平速度和其方差來反映步速的不同變化。個體之間的步長和體形也是因人而異，我們選擇步態(tài)運動輪廓的最大、最小寬高比來反映這個變化。另外，個體的身高和體形影響著其質心的位置，這可以通過質心與人體的高度比來刻畫。
總之，我們間接地選擇了如下幾個個性化特征歸一化的水平速度H和其方差V(通過歸一化圖象幀間輪廓質心的平均移位來近似)，尺度化的運動輪廓的最大、最小寬高比Max、Min以及人體與質心的高度比C。附圖7展現(xiàn)了兩種個性化特征不同組合的分布圖示例，其中相同標志的點代表同一個人不同步態(tài)序列的結果，而方形標志代表其對應的均值結果?？梢姡瑐€性化特征的有效組合能為步態(tài)分類帶來一定的可判決能力。
基于時空相關或最近鄰分類與個性化特征校驗相結合的步態(tài)識別步態(tài)識別是一個傳統(tǒng)的分類問題，這可以通過在參考步態(tài)模式和測試序列之間度量其相似性來完成。本發(fā)明在特征空間中嘗試了下面兩種識別方法，并且結合個性化附加特征的校驗步驟來準確地獲取識別結果。
時空相關STC(Spatio-temporal correlation)是二維圖像相關在三維時空域中的擴展形式。給定一個長度為T的輸入測試序列，它在預處理階段被轉換為一維距離信號序列I(t)，其中t＝1，2，...，T，其在特征空間中的投影為P(t)＝[e1e2... ek]TI(t) (10)則輸入序列P(t)與數據庫中的參考序列R(t)之間的相似性可計算為dij2=minabΣt=1T||P(t)-Rij(at+b)||2---(11)]]>其中，Rij(t)代表在k維特征空間中第i個人的第j個參考步態(tài)模式?？紤]到時間的移位和伸縮，我們預先通過線性移位和插值的方法在數據庫中保存了多個參考步態(tài)模式Rij(at+b)，其中參數a與b的選擇分別依賴于速度的變化和相位的不同。通常，最小化該距離度量函數的i被選擇作為識別的結果。
如果考慮到時間的移位和伸縮，則時空相關的計算代價將極大地增加。為了消除這個問題，我們也可轉而求助于最近鄰規(guī)則NN(NearestNeighbor)來實現(xiàn)步態(tài)的識別。若采用歸一化的歐式距離度量，則測試序列P(t)與類i的平均投影C(i)的距離累積和為d2(i)=Σt=1T||P(t)||P(t)||-C(i)||C(i)||||2,i=1,2,...s---(12)]]>通常情況下，選擇d(i)的最小值作為分類的結果。
僅僅使用STC或者NN的方法進行識別時，未必能夠獲得準確的結果。從實際的觀察來看，當上述相似性度量函數的兩個最小值之間的距離比較接近時，識別往往會發(fā)生錯誤，然而正確的結果通常卻是次最小值。因此我們利用在訓練期間所獲得的個性化的物理特征進行步態(tài)分類的最終校驗。即當兩個最小值之間的絕對距離小于一個合適的閾值時，我們將增加校驗這一步驟來獲得最終的判決結果。
為了驗證本方法的識別性能，我們選擇SOTON步態(tài)數據庫進行了步態(tài)識別試驗。該樣本數據庫來自英國的南安普敦大學，總計有28個步態(tài)序列。所有圖像以每秒25幀的速度拍攝，且原始尺寸為384*288。每個人的一個序列被選擇用于訓練過程，在預處理之后，所有序列在訓練和識別前都被轉換為對應的一維距離信號序列。
基于PCA的訓練過程被執(zhí)行，附圖8展示了訓練后所獲得的特征空間中特征值的幅度和對應的累積方差曲線。我們選擇了前13個特征值(累積方差已經高于95％)和對應的特征向量來構造特征空間變換矩陣。因此每個距離信號都能通過這13個主特征向量的線性組合所表達。附圖9展示了所有訓練樣本的均值距離信號和前八個特征形狀距離信號，附圖10給出了四個訓練步態(tài)序列的特征軌跡。為了可視化，我們僅顯示了三維特征空間的情況。從圖中可知，步態(tài)運動具有對稱性和周期性的特點。
使用時空相關匹配和最近鄰規(guī)則，我們評估了該方法的識別性能，它們的識別結果分別為90.5％與89.3％。如果相應于個體步態(tài)的個性化特征被使用來進行分類校驗的話，則識別率均上升到100％。
本發(fā)明與參考文獻[1][2]作了一個詳細的比較1)步態(tài)數據庫[1]中使用的NIT數據庫有一個明顯的局限，即所有人穿著同樣的衣服和鞋子，這對于實際的身份識別應用而言是不可行的。而[2]中使用的UCSD數據庫和我們使用的SOTON數據庫卻沒有那樣的限制。另外，SOTON數據庫的圖像背景相對更加復雜。2)特征選擇[1]中使用的特征是二維運動輪廓圖像。本發(fā)明選擇輪廓形狀的時間變化作為基本特征，并且將它們從二維圖像轉換為一維距離信號，這樣可以去除信息的冗余度、減少計算代價。同時，一些相應于個人的個性化的身體特征被考慮以用于步態(tài)分類的校驗。[2]中使用的特征是從步態(tài)序列中獲取的光流圖像。眾所周知，光流的計算相當復雜，而且對于噪聲和幀率的變化亦很敏感。3)訓練過程[1]的訓練樣本包括每人的5個序列，而本方法與[2]的方法分別使用每人的1個序列。本發(fā)明提取個性化的物理特征用于步態(tài)校驗，[2]增加正則分析來進一步降低維數和優(yōu)化類的可分離度。4)識別率如果僅考慮時空相關識別的話，[1]的識別率相對高些。也許，這一方面得益于圖像捕捉時的限制要求在一定程度上可以消除衣服對于步態(tài)識別的影響；另一方面它保存了相對較多的參考步態(tài)模板，這些參考模板也許囊括了某個人更多的可能變化的步態(tài)模式。有理由相信，如果增加參考模板的話，本發(fā)明的識別率將會迅速提高。對于擁有相同數目的基本參考模板的方法[2]而言，其識別率與本方法比較接近。盡管光流圖像隱含了時間變化信息，但時空相關匹配同樣能夠很好地彌補這些靜態(tài)形狀參數的不足。當[2]增加正則分析時，它獲得了100％的識別率。同樣地，本發(fā)明增加了個性化附加特征的校驗過程后也獲得了100％的識別準確度。5)計算代價最低的計算代價是本方法最大的優(yōu)點，這主要得益于更加簡單的特征選擇。本發(fā)明使用的原始特征是輪廓邊緣解卷繞的距離信號，尺寸歸一化為1*480。[1]的原始特征是尺寸為64*64的輪廓圖像。[2]使用的特征是64*64的光流圖像，而光流計算本身就是很復雜的。6)適應性[1]中圖像捕捉時的特殊要求對于實際應用而言明顯是個局限。本發(fā)明算法盡管簡單，但對于噪聲和丟幀卻有一定的適應性。[2]的光流計算對于噪聲和幀率的速度變化卻很敏感，而且計算亦相當昂貴?？傊景l(fā)明的技術算法在特征選擇、計算代價、識別準確度和適應性方面都有著一定的優(yōu)越性。
就訓練過程而言，我們的目的是要首先創(chuàng)建相應于這些有特權的人的步態(tài)特征數據庫。首先利用監(jiān)控攝像機捕捉這些人的一系列步態(tài)序列，根據這些序列我們很容易構建攝像機所監(jiān)控領域的背景圖像，并能進行周期性地更新。對于這些步態(tài)序列而言，利用上述的人體步態(tài)運動的分割技術、人體步態(tài)時空模式的原始形狀特征的提取技術來進行預處理。然后所獲得的一系列距離信號通過上述的基于主元分析的特征空間變換的訓練技術來獲得主特征分量。不同人的一些步態(tài)序列被選擇作為參考步態(tài)將其在特征空間中投影；同時，利用每個人的不同序列使用個性化特征的提取技術來獲得相應于個人的這些附加特征?？傊?，訓練后的步態(tài)數據庫應當包括主特征分量形成的特征空間變換矩陣、每個人的多個參考步態(tài)投影特征以及相應于個人的附加個性化特征。
就識別過程而言，首先利用監(jiān)控攝像機迅速捕捉來人的步態(tài)序列，經過相同的背景構建、步態(tài)提取、距離特征提取等一系列預處理技術后可以獲得該測試序列的原始形狀特征。然后該原始特征利用數據庫中的特征空間變換矩陣進行投影，并將其投影與數據庫中每個人的多個參考步態(tài)投影特征通過時空相關或者最近鄰規(guī)則進行識別，同時利用該測試序列獲得的個性化特征與數據庫中的每個人的個性化特征進行校驗工作。若該來訪者的步態(tài)能被正確識別的話，則自動控制房們的開啟；否則，拒絕進入或增加報警。
總之，基于主元分析方法，本發(fā)明提出了一種簡單有效的自動步態(tài)識別算法。首先，改進的背景減除方法被用來準確地提取行人輪廓；然后，隨時間變化的輪廓形狀通過特征空間變換技術以實現(xiàn)特征的提??；最后，識別過程采用了時空相關匹配或者最近鄰規(guī)則，一些附加的個性化特征被選擇用于最終判決的校驗。SOTON數據庫上的試驗結果驗證了我們算法的有效性。本發(fā)明易于實現(xiàn)、性能魯棒。對于受限環(huán)境下基于步態(tài)的遠距離身份認證應用而言，本發(fā)明在一定程度上推進了視覺監(jiān)控中第二代基于運動的生物特征識別技術的應用。本發(fā)明可以應用于一些受限場合的視覺監(jiān)控系統(tǒng)，也可以作為法律工具輔助破案等。
權利要求
1.一種基于步態(tài)的非接觸式遠距離身份識別方法，包括訓練和識別兩個過程，所述訓練過程包括步驟獲取訓練步態(tài)序列；空間輪廓分割；形狀距離信號提取；主成分分析；個性化體格特征提取，提取可視的個性化特征作為附加特征，用于步態(tài)分類的最終校驗；獲得已訓練的步態(tài)數據庫。
2.按權利要求1所述的方法，其特征在于所述的空間輪廓分割包括步驟利用部分步態(tài)序列進行背景圖像的構建；對構建的背景圖像與當前輸入的圖像進行差分操作；對差分操作并二值化后的圖像進行濾波；對濾波的圖像進行連通分量分析。
3.按權利要求1所述的方法，其特征還在于包括使用下述公式進行差分操作后并進行二值化處理的步驟
4.按權利要求1所述的方法，其特征在于所述的形狀距離信號提取，包括步驟提取步態(tài)輪廓的邊界；將提取的邊界轉換為由所有輪廓邊界點到其質心距離所組成的一維距離信號；對距離信號進行幅度和尺寸上的歸一化。
5.按權利要求1所述的方法，其特征在于所述的個性化體格特征的提取，這些特征間接反映了個體之間步速、步長和體形的不同。
6.按權利要求1所述的方法，其特征在于所述的識別過程，包括步驟測試步態(tài)序列；空間輪廓分割；形狀距離信號提?。焕靡延柧毜牟綉B(tài)數據庫進行特征空間投影；利用已訓練的步態(tài)數據庫進行時空相關匹配或者最近鄰規(guī)則與個性化特征的步態(tài)分類校驗步驟相結合的步態(tài)識別。
全文摘要
一種基于步態(tài)的遠距離身份識別方法，包括訓練和識別兩個過程，所述的訓練過程包括步驟獲取訓練步態(tài)序列；空間輪廓分割；形狀距離信號提取；主成分分析；個性化體格特征提取，提取可視的個性化特征作為附加特征，用于步態(tài)分類的最終校驗；獲得已訓練的步態(tài)數據庫。利用統(tǒng)計主元分析方法，本發(fā)明實現(xiàn)了一個基于步態(tài)行為的遠距離身份識別系統(tǒng)。改進的背景減除方法被提出用于從背景中提取步態(tài)運動；具有時空變化的運動輪廓經過特征空間變換來實現(xiàn)步態(tài)特征的提取；識別過程采用時空相關匹配或者最近鄰規(guī)則，一些與個人形體和體格有關的個性化特征亦被選擇用于最終判決的校驗。
文檔編號G06F17/30GK1426020SQ0114415
公開日2003年6月25日 申請日期2001年12月13日 優(yōu)先權日2001年12月13日
發(fā)明者譚鐵牛, 胡衛(wèi)明, 王亮 申請人:中國科學院自動化研究所