專利名稱：基于人體運(yùn)動(dòng)結(jié)構(gòu)正投影三維重建的步態(tài)識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明屬于涉及人的特征識(shí)別、人體步態(tài)識(shí)別方法、身份認(rèn)定，尤其涉及基于人體運(yùn)動(dòng) 結(jié)構(gòu)正投影三維重建的步態(tài)識(shí)別方法。
背景技術(shù)：
生物特征識(shí)別是通過各種高科技信息檢測(cè)手段、利用人體所固有的生理或行為特征來進(jìn) 行個(gè)人身份鑒定。生物特征主要包括生理特征和行為特征兩種，生理特征是指與生俱來的， 先天性的人體物理特征，如指紋、虹膜、人臉等；行為特征是指從人所執(zhí)行的運(yùn)動(dòng)中提取出 來的特征，多為后天性的，如步態(tài)、筆跡等。人類利用生物特征識(shí)別的歷史可追溯到古代埃 及人通過測(cè)量人體各部位的尺寸來進(jìn)行身份鑒別。而現(xiàn)代生物特征識(shí)別技術(shù)始于二十世紀(jì)70 年代中期，生物特征識(shí)別技術(shù)經(jīng)過數(shù)十年緩慢發(fā)展，近幾年出現(xiàn)了跳躍式發(fā)展，成為產(chǎn)、學(xué)、 研、管各方面廣泛關(guān)注的熱點(diǎn)。在2001年的MIT Technology Review雜志中，生物特征識(shí)別 技術(shù)被列為10項(xiàng)最有可能改變世界的技術(shù)之一。根據(jù)International Biometric Group (IBG) 2007年最新的市場(chǎng)預(yù)測(cè)分析報(bào)告，到2012年生物特征識(shí)別技術(shù)帶來的收益將是現(xiàn)在的2倍 多。
步態(tài)識(shí)別是生物特征識(shí)別技術(shù)中的一個(gè)新興領(lǐng)域。所謂步態(tài)，是指人在行走和跑步過程 中表現(xiàn)出來的一種行為方式。研究顯示，人人都有截然不同的走路姿勢(shì),因?yàn)槿藗冊(cè)诩∪獾牧?量、肌腱和骨骼長(zhǎng)度、骨骼密度、視覺的靈敏程度、協(xié)調(diào)能力、經(jīng)歷、體重、重心、肌肉或 骨骼受損的程度、生理?xiàng)l件以及個(gè)人走路的"風(fēng)格"上都存在細(xì)微差異。這使得利用步態(tài)進(jìn) 行身份識(shí)別成為可能。步態(tài)識(shí)別旨在根據(jù)人們的走路姿勢(shì)實(shí)現(xiàn)對(duì)個(gè)人身份的識(shí)別或生理、病 理及心理特征的檢測(cè)。與其它生物特征相比，步態(tài)具有非侵犯性、遠(yuǎn)距離識(shí)別、簡(jiǎn)化細(xì)節(jié)、 難以偽裝等顯著優(yōu)點(diǎn)。由于步態(tài)特征不像各種證件類持有物那樣容易被竊取，也不像密碼、 口令那么容易被遺忘或破解，在身份識(shí)別領(lǐng)域具有獨(dú)特的優(yōu)勢(shì)。步態(tài)識(shí)別融合了計(jì)算機(jī)視覺、 模式^別與視頻/圖像序列處理等多項(xiàng)技術(shù)，具有廣闊的應(yīng)用前景，因此引起了國(guó)內(nèi)外許多研 究者的濃厚興趣，成為近年來生物醫(yī)學(xué)信息檢測(cè)領(lǐng)域備受關(guān)注的前沿方向。'
步態(tài)識(shí)別通常包括人體檢測(cè)、步態(tài)特征提取以及身份識(shí)別。而復(fù)雜背景下的人體檢測(cè) 與輪廓提取，是進(jìn)行步態(tài)識(shí)別的前期預(yù)處理。檢出人體目標(biāo)后，進(jìn)行疊加處理，可以獲取步 態(tài)特征圖，但是如何提取步態(tài)特征圖的有效特征參數(shù)就成為問題的關(guān)鍵。
目前的步態(tài)特征提取可以劃分為基于模型和非模型兩種方法。非模型方法是指直接對(duì) 人體在行走過程中的形狀或動(dòng)作進(jìn)行分析而提取出來的特征?；谀Ｐ偷姆椒ㄊ侵竿ㄟ^對(duì) 人體結(jié)構(gòu)建立模型或者對(duì)人體在步態(tài)序列圖像中所表現(xiàn)出的明顯的行走特征建立模型，利用 模型衍生出來的參數(shù)提取步態(tài)特征。非模型方法，其特點(diǎn)是計(jì)算量相對(duì)較小，有助于在實(shí)用 環(huán)節(jié)中達(dá)到實(shí)時(shí)運(yùn)算的目的，但對(duì)背景和光照信號(hào)的變化敏感， 一旦場(chǎng)景中出現(xiàn)遮擋現(xiàn)象， 識(shí)別能力將受到較大影響?；谀Ｐ偷牟綉B(tài)識(shí)別算法可以更精確描述步態(tài)特征，大幅度減低 對(duì)外部條件變化的敏感性，但是巨大的運(yùn)算量是重視實(shí)時(shí)性的實(shí)用化所面臨的難題。此外這兩種方法的分析都要求人體行走的平面必須平行于照相機(jī)所在的平面，當(dāng)人體行走平面不平
行于照相機(jī)所在的平面時(shí)，步態(tài)識(shí)別率就會(huì)降低。

發(fā)明內(nèi)容
為克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提出一種新的步態(tài)識(shí)別方法，在人正常行 走的情況下，能夠準(zhǔn)確實(shí)時(shí)地提取出人體的步態(tài)特征，減少外界環(huán)境的影響，并識(shí)別出人的 身份，提高識(shí)別率。本發(fā)明采用的技術(shù)方案是基于人體運(yùn)動(dòng)結(jié)構(gòu)正投影三維重建的步態(tài)識(shí) 別方法，借助于下列裝置實(shí)現(xiàn)，在人行走直線為半徑的一側(cè)半圓上，每隔18度設(shè)置一個(gè)攝像 裝置，共設(shè)置11個(gè)用于攝取人行走視頻序列的攝像裝置，并包括下列步驟以攝像裝置對(duì)人 體進(jìn)行步態(tài)跟蹤，根據(jù)跟蹤結(jié)果進(jìn)行三維步態(tài)重建，然后提取出步態(tài)特征進(jìn)行步態(tài)識(shí)別，
所述步態(tài)跟蹤分為預(yù)測(cè)步態(tài)特征和優(yōu)化步態(tài)特征兩個(gè)階段，預(yù)測(cè)步態(tài)特征是運(yùn)用人 體動(dòng)態(tài)模型根據(jù)前一幀圖像中的步態(tài)特征來預(yù)測(cè)現(xiàn)在人體的步態(tài)特征；本發(fā)明采用運(yùn)動(dòng) 學(xué)Kinematics模型進(jìn)行優(yōu)化步態(tài)特征；
所述三維步態(tài)重建是指運(yùn)用正投影技術(shù)將二維圖像中所得到的人體模型投影到三維 空間中，再在三維空間中提取步態(tài)特征；
提取出步態(tài)特征是指提取出三維空間中人體的關(guān)節(jié)角度； 所述步態(tài)識(shí)別是采用基于支持向量機(jī)的步態(tài)識(shí)別方法。
以攝像裝置對(duì)人體進(jìn)行步態(tài)跟蹤還包括步態(tài)運(yùn)動(dòng)分割和預(yù)處理步驟，步態(tài)運(yùn)動(dòng)分割 和預(yù)處理步驟是指提取出捕捉區(qū)域在圖像的一定區(qū)域內(nèi)用公式
A(z',力=S / (/ + - ")， -辦 )計(jì)算出不同的速度，找出最大速度的區(qū)域就是捕捉
區(qū)域，式中A為坐標(biāo)為(i， j)的點(diǎn)的加速度，v是速度，In是第n幀的邊界圖像強(qiáng)度 函數(shù)，i和就j是圖像坐標(biāo)系，dyn是y軸方向的位移，N是步態(tài)序列總的幀數(shù)。
所述三維步態(tài)重建中將二維圖像中所得到的人體模型投影到三維空間中，這個(gè)投影 過程中要用到空間兩點(diǎn)距離的計(jì)算方法，用圖像信息和步態(tài)知識(shí)進(jìn)行估計(jì)公式
中的化，用公式C Z2 =/2 — ((A —M2)2十(V， 一V2)2)/^2三維空間中兩點(diǎn)
之間的相對(duì)距離，前式中空間坐標(biāo)分別為(Xl，yi,Zl)和(x2, y2,z2)的兩個(gè)點(diǎn)投影之后 為攝像裝置中的坐標(biāo)(Ul,Vl)和(u2,v2), /為空間兩點(diǎn)的距離。
所述提取出三維空間中人體的關(guān)節(jié)角度是指，對(duì)于三維空間中的向量(x,y,z)，其起 始點(diǎn)為(x!， yi， z!)和終止點(diǎn)為(X2， y2, z2),則xn-X2， y=yi-y2， z-z纊Z2，對(duì)三維模型中的每一
段都可以看成一個(gè)向量，則對(duì)于每?jī)蓚€(gè)向量之間的夾角用如下公式計(jì)算
6 = COS
5xb
3
6
用前述公式就可以提取出三維空間中人體的關(guān)節(jié)角度，a為三維空間
中的一個(gè)起始向量，b為與a對(duì)應(yīng)的終止向量。
所述步態(tài)識(shí)別是采用基于支持向量機(jī)的步態(tài)識(shí)別方法，取"一對(duì)一"策略，該方法 對(duì)N類訓(xùn)練數(shù)據(jù)兩兩組合，構(gòu)建C^ =7^^-1)/2個(gè)支持向量機(jī)，最后分類時(shí)采取"投
5票"的方式?jīng)Q定分類結(jié)果。
所述運(yùn)用人體動(dòng)態(tài)模型根據(jù)以前圖像中的步態(tài)特征來預(yù)測(cè)現(xiàn)在人體的步態(tài)特征是
指前一幀提取的步態(tài)結(jié)果來估計(jì)現(xiàn)在的動(dòng)作，然后將預(yù)測(cè)的模型投影到平面上得到投
影模型，將投影模型和現(xiàn)在的動(dòng)作進(jìn)行匹配，最后得到一個(gè)匹配誤差，匹配誤差包括邊
界匹配誤差和區(qū)域匹配誤差，邊界誤差的計(jì)算公式 1 i
五* = 7 J"min(H Zl") — r")，" I,;
區(qū)域匹配誤差計(jì)算公式為
使用兩個(gè)物理力，分別是彈簧力Fb和另一彈簧力Fr,用如下公式減小匹配誤差
其中:r(s)是模型曲線，0《S<1， z(s)是在圖像的人體曲線，，ds是積分變量，s 是表示模型曲線中的橫坐標(biāo)，u是常量，其大小為r(s)和z(s)空間尺度上的最大值，C是 常量，其大小取決于r(s)的長(zhǎng)度，z,(s)相對(duì)于r(s)上的每一點(diǎn)離z(s)最近的點(diǎn)，p為
動(dòng)作向量，a為平衡參數(shù)，將模型區(qū)域分為兩個(gè)部分，重疊部分pi和非重疊部分p2, |pi| 為Pi區(qū)域的像素?cái)?shù)，P2同理。
本發(fā)明可以帶來以下效果
本發(fā)明提出的一種基于人體運(yùn)動(dòng)結(jié)構(gòu)正投影三維重建的步態(tài)識(shí)別方法，通過對(duì)同一實(shí)驗(yàn) 對(duì)象的步態(tài)序列中不同角度的不同動(dòng)作進(jìn)行三維步態(tài)重建，再對(duì)人體身份進(jìn)行識(shí)別，因而能 夠減少外界環(huán)境的影響，并識(shí)別出人的身份，提高識(shí)別率。本發(fā)明為步態(tài)提取和識(shí)別提供了 一種新的方案，并獲得可觀的社會(huì)效益和經(jīng)濟(jì)效益。


圖1步態(tài)數(shù)據(jù)庫采集示意圖。
圖2步態(tài)識(shí)別系統(tǒng)框圖。
圖3投影在圖像平面上的人體模型。
圖4捕捉區(qū)域算法過程(a)原始步態(tài)序列(b)用Sobel算子提取出的邊界(c)捕捉 區(qū)域算法后的圖像。
圖5同一實(shí)驗(yàn)對(duì)象不同動(dòng)作不同角度的三維步態(tài)重建結(jié)果。
具體實(shí)施例方式
本發(fā)明提出一種基于人體運(yùn)動(dòng)結(jié)構(gòu)正投影三維重建的步態(tài)識(shí)別的新方法。其過程是首先 采用基于模型的方法進(jìn)行人體建模，再用捕捉區(qū)域的方法計(jì)算人體行走中的運(yùn)動(dòng)參數(shù)，最后 根據(jù)正投影原理進(jìn)行三維步態(tài)重建，用重建的結(jié)果對(duì)人體身份進(jìn)行識(shí)別。另外本發(fā)明提出的 算法不受人體行走方向的限制，即人體可以沿任意方向走動(dòng)，但試驗(yàn)者的行走方向必須是直的。
本發(fā)明是通過動(dòng)作估計(jì)方程來優(yōu)化本文中所使用的人體模型，然后將人體模型投影到三 維空間中，再在三維空間中提取步態(tài)特征，從而再進(jìn)行步態(tài)識(shí)別。
本發(fā)明運(yùn)用重建三維步態(tài)來提取步態(tài)特征，也就是運(yùn)用三維步態(tài)重建算法來提取步態(tài)特征。
下面結(jié)合附圖和實(shí)施例進(jìn)一步詳細(xì)說明本發(fā)明。
本發(fā)明通過位于不同視角位置的11臺(tái)攝像檢測(cè)裝置得到步態(tài)視頻，每個(gè)對(duì)象攝取十一個(gè) 方向行走(0°、 18°、 36?！?80。)的視頻序列，如圖1所示。圖2為本發(fā)明提出的算法結(jié)構(gòu) 框圖。本發(fā)明的算法主要是通過對(duì)人體進(jìn)行跟蹤，根據(jù)跟蹤結(jié)果運(yùn)用步態(tài)知識(shí)和正投影技術(shù) 進(jìn)行豐維步態(tài)重建，然后提取出步態(tài)特征進(jìn)行步態(tài)識(shí)別。其中三維步態(tài)重建和步態(tài)特征提取 是步態(tài)識(shí)別系統(tǒng)中一個(gè)非常重要的環(huán)節(jié)。 l實(shí)施例 1. 1步態(tài)跟蹤
本發(fā)明的步態(tài)跟蹤主要分為預(yù)測(cè)步態(tài)特征和優(yōu)化步態(tài)特征兩個(gè)階段。預(yù)測(cè)步態(tài)特征是是 運(yùn)用人體動(dòng)態(tài)模型根據(jù)前一幀圖像中的步態(tài)特征來預(yù)測(cè)現(xiàn)在人體的步態(tài)特征。在優(yōu)化步態(tài)特 征階段， 一定要選擇適合人體的最好模型，根據(jù)研究表明，優(yōu)化人體結(jié)構(gòu)模型是很復(fù)雜的過 程，并且很耗時(shí)，但是優(yōu)化過程很重要。目前對(duì)于優(yōu)化過程中的人體模型主要有三種，分別 是Kinematics模型、Taylor模型和Stochastic模型，Kinematics模型在優(yōu)化階段考慮了人 體各部分受力情況，Taylor模型運(yùn)用人體運(yùn)動(dòng)的各種參數(shù)找出人體最佳位置來提高優(yōu)化水平， Stochastic模型是在隨機(jī)的人體框架中進(jìn)行步態(tài)特征的提取。本發(fā)明使用了 Kinematics模 型，這種模型和Taylor模型相比，不需要估計(jì)動(dòng)作微分方程，和Stochastic模型相比，計(jì) 算復(fù)雜度比較低。 1.1.1人體模型
本發(fā)明所用的骨架模型主要包括14個(gè)部分，分別是上軀干、下軀干、頸、雙臂、兩前 臂、兩個(gè)大腿、兩個(gè)小腿、兩個(gè)腳和頭。人體建立的模型如圖3所示人身體的各個(gè)部分都 用錐形表示，而頭用圓表示，人體的頭、上身和下身這三個(gè)部分在行走時(shí)形成的角度用歐式 角度計(jì)算。如果不考慮人體靜止時(shí)的參數(shù)，如人體的大小。那么這個(gè)模型的動(dòng)態(tài)參數(shù)有34個(gè) 自由度，分別是人體的每個(gè)部分有兩個(gè)自由度(14X2), 3個(gè)位置自由度和3個(gè)轉(zhuǎn)動(dòng)自由 度。而計(jì)算這些自由度是很復(fù)雜的事情，如果我們假設(shè)關(guān)節(jié)角度一定時(shí)，那么這34個(gè)自由度 就減少為12個(gè)，分別是10個(gè)關(guān)節(jié)角度(兩個(gè)肩膀，兩個(gè)肘關(guān)節(jié)，兩個(gè)髖關(guān)節(jié)，兩個(gè)膝關(guān)節(jié)， 兩個(gè)腕關(guān)節(jié))和2個(gè)位置角度，所以就用一個(gè)12維向量P來表示，/^^y,A，^，…0Kj， (x， y)
是人體的位置，^是第i個(gè)關(guān)節(jié)的角度。另外三維人體模型重建還要計(jì)算出各個(gè)點(diǎn)的高度和 各個(gè)關(guān)節(jié)點(diǎn)之間的距離，本發(fā)明根據(jù)臨床研究得出這些點(diǎn)的高度和各個(gè)關(guān)節(jié)點(diǎn)之間的距離。
本發(fā)明的步態(tài)提取算法最重要的部分就是和向量i^k:vA,&,…^^有關(guān)的動(dòng)作估計(jì)方 程，動(dòng)作估計(jì)方程就是用前一幀提取的步態(tài)結(jié)果來估計(jì)現(xiàn)在的動(dòng)作，然后將預(yù)測(cè)的模型投影 到平面上，這個(gè)投影模型和現(xiàn)在的動(dòng)作進(jìn)行匹配，最后得到一個(gè)匹配誤差。這個(gè)誤差包括邊 界匹配誤差和區(qū)域匹配誤差，本發(fā)明通過人體的受力情況、關(guān)節(jié)角度和修正模型來減少匹配本發(fā)明的步態(tài)提取算法最重要的部分就是和向量i^k^^^，…^J有關(guān)的動(dòng)作估計(jì)方 程，動(dòng)作估計(jì)方程就是用前一幀提取的步態(tài)結(jié)果來估計(jì)現(xiàn)在的動(dòng)作，然后將預(yù)測(cè)的模型投影 到平面上，這個(gè)投影模型和現(xiàn)在的動(dòng)作進(jìn)行匹配，最后得到一個(gè)匹配誤差。這個(gè)誤差包括邊 界匹配誤差和區(qū)域匹配誤差。邊界誤差的計(jì)算公式如下
五6 = 7 _fmin(|| z！— r(>)," 11)^ (1)
其中r(s)是模型曲線(0《Wl), z(s)是在圖像的人體曲線，u是常量，其大小為r(s) 和z(s)空間尺度上的最大值，C是常量，其大小取決于r(s)的長(zhǎng)度，z,(s)相對(duì)于r(s)上的 每一點(diǎn)離z(s)最近的點(diǎn)，所以得到如下公式
,、 …m s'二argninl | r(力一z(y) 11
z"力^zCy')，其中 .&,,、引、7 \ /II (2)
—(力
本發(fā)明根據(jù)人體受力情況用匹配誤差來優(yōu)化關(guān)節(jié)角度。對(duì)于人體每一個(gè)力Fi都考慮為 與人體本身受力||巧||相對(duì)應(yīng)的一個(gè)物理力，對(duì)于人體的一個(gè)點(diǎn)總共所受的物理力Ft用如下
公式計(jì)算
其中FW"(咖^)， P為空間尺度常量，f(F(s))用如下公式計(jì)算
肌"k | (4) 另外當(dāng)模型位于兩個(gè)人體之間時(shí)，這時(shí)就要考慮區(qū)域誤差，此時(shí)將模型區(qū)域分為兩個(gè)部
分，重疊部分^和非重疊部分P2，區(qū)域匹配誤差計(jì)算公式為
五,=^4^ (5)
其中IPil為Pi區(qū)域的像素?cái)?shù)。另外本發(fā)明定義d和C2為區(qū)域Pi和P2的中心位置，向量 &=^為人體所受的物理力，這個(gè)力會(huì)使模型偏向區(qū)域的一邊。
為了使兩個(gè)匹配誤差更小，本發(fā)明使用了兩個(gè)物理力，分別是Fb和Fn然后用公式(7)
和(6)來減小兩個(gè)匹配誤差。Fb和Fr指的是物理中的彈簧力。
- ￡(/ ) = (1- 0&+《 (6)
F二(l-a)f;+《 (7) 其中P為動(dòng)作向量，a為平衡參數(shù)。當(dāng)減小身體上半部分匹配誤差時(shí)，a的值應(yīng)該很小， 因?yàn)楫?dāng)人體上半部分穿著衣服時(shí)，區(qū)域匹配誤差不重要。
1.1.2模型初始化本發(fā)明提出的步態(tài)跟蹤過程是根據(jù)前一幀模型的結(jié)果來預(yù)測(cè)現(xiàn)在的模型，然后再對(duì)現(xiàn)在 的模型進(jìn)行優(yōu)化。所以在跟蹤過程中需要得到前一幀模型的結(jié)果，但是在跟蹤開始時(shí)，前一 幀的模型是不存在的，這就需要對(duì)模型進(jìn)行初始化，本發(fā)明利用捕捉區(qū)域的辦法對(duì)模型進(jìn)行 初始化，另外捕捉區(qū)域的方法還可以估計(jì)人體的形狀和大小。
捕捉區(qū)域的原理是在背景剪切之后，用邊界檢測(cè)算法提取邊緣，然后在步態(tài)序列中計(jì)算 人體運(yùn)動(dòng)速度、加速度和起始點(diǎn)的公式如下
A(/， J) = ￡ / (/ + "K^ — "), —辦 ) ( 8 )
其中A是加速度，v是速度，L是第n幀的邊界圖像強(qiáng)度函數(shù)，i和就j是圖像坐標(biāo)系， dyn是y軸方向的位移，N是步態(tài)序列總的幀數(shù)，其中捕捉區(qū)域的邊界的干擾主要取決于邊界 的強(qiáng)度、幀數(shù)和速度。如果人體運(yùn)動(dòng)加速度合適，即速度合適，就可以提取到邊界。圖4顯 示了捕捉區(qū)域的提取過程，為了提取出捕捉區(qū)域，本發(fā)明在圖像的一定區(qū)域內(nèi)用公式(8)計(jì) 算出不同的速度，找出最大速度的區(qū)域就是捕捉區(qū)域，
此跟蹤算法只適用于人體行走的平面平行于照相機(jī)所在的平面。當(dāng)人體行走的平面不平 行于照相機(jī)的平面時(shí)，人體行走過程中的大小是會(huì)發(fā)生變化的，所以要把人體大小放縮到同 一大小，放縮系數(shù)用/^// ^來計(jì)算，其中/ ^為所有幀中人體的最大高度，/^為每一幀
中人體的高度。
1.2三維步態(tài)重建
1.2.1三維步態(tài)重建算法
三維步態(tài)重建算法主要是用模型中的一些參數(shù)來計(jì)算圖像中人體的一些參數(shù)，然后再提 取出參數(shù)。但這個(gè)過程比較耗時(shí)，本發(fā)明提出了一種新的三維步態(tài)重建算法。
在三維步態(tài)重建過程中，首先要進(jìn)行坐標(biāo)轉(zhuǎn)換，即把(x, y, z)坐標(biāo)系轉(zhuǎn)換成照相機(jī)中
的坐標(biāo)系(u, v)，本發(fā)明用正投影視圖的關(guān)系就可以得到這兩個(gè)坐標(biāo)系之間的關(guān)系，這就 可以得到公式(9)
(9)
Vl 「100、
、"
如果假設(shè)z是常量，由公式(9)得到公式(10) ' m =化x x
(10)
v = x _y
公式(10)中的se用圖像信息和步態(tài)知識(shí)進(jìn)行估計(jì)。
另外在正投影視圖中，若兩點(diǎn)(Xl, yi， Zl)和(x2， y2, z2)投影之后為(Ul,Vl)和(u2， v2)，在三維空間中這兩點(diǎn)之間的距離用公式(11)來計(jì)算
",-A)2+0廣h)2+(Z!-Z2)2 (11)
由公式(10)和(11)可以得到
J =/2 _M2)2 +(Vi — V2)2)/w2 (12)用公式(12)就可以計(jì)算出兩點(diǎn)之間的相對(duì)距離&。
將所二維圖像中所得到的人體模型投影到三維空間中，這個(gè)投影過程中要用到上述空間 兩點(diǎn)的距離。 1.2.2關(guān)節(jié)角度的計(jì)算
步態(tài)識(shí)別中還需要得到人體行走過程中的運(yùn)動(dòng)參數(shù)，本發(fā)明通過幾何關(guān)系來提取人體行 走過程中的運(yùn)動(dòng)參數(shù)。對(duì)于三維空間中的向量(x, y， z),其起始點(diǎn)為(Xi， yi， zj和終止點(diǎn) 為"2， y2， z2)，則x^「X2， y=y「y2， z=Zl-z2，對(duì)三維模型中的每一段都可以看成一個(gè)向量， 則對(duì)于每?jī)蓚€(gè)向量之間的夾角用如下公式計(jì)算
<formula>formula see original document page 10</formula> (13)
用公式(13)就可以提取出三維空間中人體的關(guān)節(jié)角度。
本發(fā)明用4. 2. 1提出的算法對(duì)4. 1跟蹤的關(guān)節(jié)位置進(jìn)行三維步態(tài)重建，再用4. 2. 2提出 的算法計(jì)算出關(guān)節(jié)角度。據(jù)研究表明人體在行走過程中的上肢動(dòng)作大部分是相同的，所以本 發(fā)明在三維步態(tài)重建后只提取了下半身的關(guān)節(jié)角度，即兩個(gè)髖關(guān)節(jié)的角度和兩個(gè)膝關(guān)節(jié)的角度。
1. 3基于支持向量機(jī)的步態(tài)識(shí)別方法
在步態(tài)識(shí)別中，樣本數(shù)目是有限的，而傳統(tǒng)的統(tǒng)計(jì)模式識(shí)別是在樣本數(shù)目足夠多的前提 下進(jìn)行的，只有在樣本數(shù)趨向于無窮大時(shí)其性能才有理論上的保證，這時(shí)很多方法都難以取 得理想的效果。支持向量機(jī)(Support Vector Machine, SVM)是新近發(fā)展的及其學(xué)習(xí)方法， 它通過結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則建模，將期望風(fēng)險(xiǎn)降至最低，使其模型識(shí)別力顯著提高，該識(shí)別 方法能夠較好地解決小樣本學(xué)習(xí)問題。支持向量機(jī)的主要思想是尋找一個(gè)滿足分類要求的 最優(yōu)分類超平面，使得該超平面在保證分類精度的同時(shí)，能夠使超平面的間隔最大化。從理 論上說，支持向量機(jī)能夠?qū)崿F(xiàn)對(duì)線性可分?jǐn)?shù)據(jù)的最優(yōu)分類。
,支持向量機(jī)方法是針對(duì)二類別的分類提出來的，但步態(tài)識(shí)別是一個(gè)多類別的分類問題， 如何將二類別分類方法擴(kuò)展到多類別分類是將支持向量機(jī)應(yīng)用于步態(tài)識(shí)別的技術(shù)難點(diǎn)之一。 支持向量機(jī)不能直接應(yīng)用于多類別分類問題，對(duì)于多類模式識(shí)別問題，支持向量機(jī)方法可通 過兩類問題的組合來實(shí)現(xiàn)，通常有兩種方法"一對(duì)一"和"一對(duì)其余"策略。"一對(duì)一"策 略，即一個(gè)分類器每次完成二選一，該方法對(duì)N類訓(xùn)練數(shù)據(jù)兩兩組合，構(gòu)建C^ = W(7V-l)/2
個(gè)支持向量機(jī)。最后分類時(shí)采取"投票"的方式?jīng)Q定分類結(jié)果。"一對(duì)其余"策略，即一個(gè) 分類器將每一類與剩下所有類別區(qū)分開來。"一對(duì)其余"的方法是對(duì)N分類問題構(gòu)建N個(gè)支 持向量機(jī)，每個(gè)支持向量機(jī)負(fù)責(zé)區(qū)分本類數(shù)據(jù)和非本類數(shù)據(jù)。最后結(jié)果由輸出離分界面距離 6^X + 6最大的那個(gè)支持向量機(jī)決定。由于步態(tài)識(shí)別屬于多類模式識(shí)別問題，因此采取"一 對(duì)一"策略。
假設(shè)待識(shí)別的步態(tài)有m類，記為SpS2,"、5^，每一類中隨機(jī)選取其中一個(gè)樣本5^. (其中i為類別，j為該類中的樣本序號(hào))進(jìn)行訓(xùn)練，其它祥本aS^(/ # 0用于測(cè)試。測(cè)試時(shí)，將測(cè)試樣本&輸入到經(jīng)過訓(xùn)練得到的分類器中，如果輸出為i，則將該樣本判為第i類，
如果輸出為j，則判定為識(shí)別錯(cuò)誤。
另外本發(fā)明對(duì)每個(gè)測(cè)試對(duì)象在行走過程中記錄12個(gè)步態(tài)序列，隨即選取其中4個(gè)序列作 為訓(xùn)練樣本，另外8個(gè)樣本用于測(cè)試。
最后在步態(tài)數(shù)據(jù)庫上用1. 1提出的算法進(jìn)行步態(tài)跟蹤，再用1. 2提出的算法對(duì)提跟蹤的 結(jié)果進(jìn)行三維步態(tài)重建，其中一個(gè)實(shí)驗(yàn)對(duì)象不同動(dòng)作的三維步態(tài)重建結(jié)果如圖5所示，再提 取出三維步態(tài)重建之后的髖關(guān)節(jié)和膝關(guān)節(jié)的角度。將提取出的4個(gè)關(guān)節(jié)角度(兩個(gè)關(guān)節(jié)和兩 個(gè)膝關(guān)節(jié))輸入支持向量機(jī)進(jìn)行步態(tài)識(shí)別。 2有益效果
通過對(duì)同一實(shí)驗(yàn)對(duì)象的步態(tài)序列中不同角度的不同動(dòng)作進(jìn)行三維步態(tài)重建，再對(duì)人體身 份進(jìn)行識(shí)別，取得了超過89%的識(shí)別率。這說明本發(fā)明所用的三維步態(tài)重建算法對(duì)人體步態(tài) 進(jìn)行識(shí)別是可行的，其算法合理、有效。從圖4和圖5的各階段結(jié)果來看，本發(fā)明所采用三 維步態(tài)重建算法中步態(tài)跟蹤、三維步態(tài)重建和步態(tài)識(shí)別是不可缺少的；其處理流程基本合理， 最終三維步態(tài)重建結(jié)果比較清楚，可以對(duì)人體進(jìn)行識(shí)別。
本發(fā)明提出一種三維步態(tài)重建的步態(tài)識(shí)別方法，能夠?qū)ふ业揭粋€(gè)最恰當(dāng)?shù)姆椒ǎ丛诖?價(jià)最小的情況下提高預(yù)期的步態(tài)識(shí)別的準(zhǔn)確率。該項(xiàng)發(fā)明可為監(jiān)控系統(tǒng)的有效使用及監(jiān)控效 果的可靠評(píng)價(jià)提供幫助，并獲得可觀的社會(huì)效益和公共安全服務(wù)的提升。最佳實(shí)施方案擬采 用專利轉(zhuǎn)讓、技術(shù)合作或產(chǎn)品開發(fā)。
權(quán)利要求
1、一種基于人體運(yùn)動(dòng)結(jié)構(gòu)正投影三維重建的步態(tài)識(shí)別方法，其特征是，借助于下列裝置實(shí)現(xiàn)，在人行走直線為半徑的一側(cè)半圓上，每隔18度設(shè)置一個(gè)攝像裝置，共設(shè)置11個(gè)用于攝取人行走視頻序列的攝像裝置，并包括下列步驟以攝像裝置對(duì)人體進(jìn)行步態(tài)跟蹤，根據(jù)跟蹤結(jié)果進(jìn)行三維步態(tài)重建，然后提取出步態(tài)特征進(jìn)行步態(tài)識(shí)別，所述步態(tài)跟蹤分為預(yù)測(cè)步態(tài)特征和優(yōu)化步態(tài)特征兩個(gè)階段，預(yù)測(cè)步態(tài)特征是運(yùn)用人體動(dòng)態(tài)模型根據(jù)前一幀圖像中的步態(tài)特征來預(yù)測(cè)現(xiàn)在人體的步態(tài)特征；本發(fā)明采用運(yùn)動(dòng)學(xué)Kinematics模型進(jìn)行優(yōu)化步態(tài)特征；所述三維步態(tài)重建是指運(yùn)用正投影技術(shù)將二維圖像中所得到的人體模型投影到三維空間中，再在三維空間中提取步態(tài)特征；提取出步態(tài)特征是指提取出三維空間中人體的關(guān)節(jié)角度；所述步態(tài)識(shí)別是采用基于支持向量機(jī)的步態(tài)識(shí)別方法。
2、 根據(jù)權(quán)利要求1所述的一種基于人體運(yùn)動(dòng)結(jié)構(gòu)正投影三維重建的步態(tài)識(shí)別方法，其特征 是，以攝像裝置對(duì)人體進(jìn)行步態(tài)跟蹤還包括步態(tài)運(yùn)動(dòng)分割和預(yù)處理步驟，步態(tài)運(yùn)動(dòng)分割和 預(yù)處理步驟是指提取出捕捉區(qū)域在圖像的一定區(qū)域內(nèi)用公式A(/,力=Z / (/ + - "), -辦 )計(jì)算出不同的速度，找出最大速度的區(qū)域就是捕捉區(qū)域，式中A為坐標(biāo)為(i， j)的點(diǎn)的加速度，V是速度，In是第n幀的邊界圖像強(qiáng)度函 數(shù)，i和就j是圖像坐標(biāo)系，dyn是y軸方向的位移，N是步態(tài)序列總的幀數(shù)。
3、 根據(jù)權(quán)利要求1所述的一種基于人體運(yùn)動(dòng)結(jié)構(gòu)正投影三維重建的步態(tài)識(shí)別方法，其特征是，所述三維步態(tài)重建中將二維圖像中所得到的人體模型投影到三維空間中，這個(gè)投影過W = se X x程中要用到空間兩點(diǎn)距離的計(jì)算方法，用圖像信息和步態(tài)知識(shí)進(jìn)行估計(jì)公式 中v =化x _y的M，用公式^2:^2-((^-M》2+(^—i;》2;)"e2三維空間中兩點(diǎn)之間的相對(duì)距 離，前式中空間坐標(biāo)分別為(Xl,yi，Zl)和(x2,y2,z2)的兩個(gè)點(diǎn)投影之后為攝像裝置中的坐標(biāo)(Ul，Vl)和(U2，V2)， /為空間兩點(diǎn)的距離。
4、 根據(jù)權(quán)利要求1所述的一種基于人體運(yùn)動(dòng)結(jié)構(gòu)正投影三維重建的步態(tài)識(shí)別方法，其特征是，所述提取出三維空間中人體的關(guān)節(jié)角度是指，對(duì)于三維空間中的向量(x,y,z)，其起始 點(diǎn)為(x!， yi， Zi)和終止點(diǎn)為(X2， y2， z2)，則xn-X2， y=yi-y2, z=Zl-z2，對(duì)三維模型中的每一段都可以看成一個(gè)向量，則對(duì)于每?jī)蓚€(gè)向量之間的夾角用如下公式計(jì)算(9 = COSa6用前述公式就可以提取出三維空間中人體的關(guān)節(jié)角度，a為三維空間中的一個(gè)起始向量， b為與a對(duì)應(yīng)的終止向量。
5、根據(jù)權(quán)利要求1所述的一種基于人體運(yùn)動(dòng)結(jié)構(gòu)正投影三維重建的步態(tài)識(shí)別方法，其特征 是，所述步態(tài)識(shí)別是采用基于支持向量機(jī)的步態(tài)識(shí)別方法，取"一對(duì)一"策略，該方法對(duì)N類訓(xùn)練數(shù)據(jù)兩兩組合，構(gòu)建<formula>formula see original document page 3</formula>個(gè)支持向量機(jī)，最后分類時(shí)米取"投崇" 的方式?jīng)Q定分類結(jié)果。
6、根據(jù)權(quán)利要求1所述的一種基于人體運(yùn)動(dòng)結(jié)構(gòu)正投影三維重建的步態(tài)識(shí)別方法，其特征是，所述運(yùn)用人體動(dòng)態(tài)模型根據(jù)以前圖像中的步態(tài)特征來預(yù)測(cè)現(xiàn)在人體的步態(tài)特征是指前一幀提取的步態(tài)結(jié)果來估計(jì)現(xiàn)在的動(dòng)作，然后將預(yù)測(cè)的模型投影到平面上得到投影模 型，將投影模型和現(xiàn)在的動(dòng)作進(jìn)行匹配，最后得到一個(gè)匹配誤差，匹配誤差包括邊界匹配誤差和區(qū)域匹配誤差，邊界誤差的計(jì)算公式 <formula>formula see original document page 3</formula> 區(qū)域匹配誤差計(jì)算公式為<formula>formula see original document page 3</formula>使用兩個(gè)物理力，分別是彈簧力Fb和另一彈簧力Fr，用如下公式減小匹配誤差 <formula>formula see original document page 3</formula>其中r(s)是模型曲線，0《s<l， z(s)是在圖像的人體曲線，，ds是積分變量，s 是表示模型曲線中的橫坐標(biāo),u是常量，其大小為r(s)和z(s)空間尺度上的最大值，C是 常量，其大小取決于r(s)的長(zhǎng)度，zjs)相對(duì)于r(s)上的每一點(diǎn)離z(s)最近的點(diǎn)，p為動(dòng)作向量，a為平衡參數(shù)，將模型區(qū)域分為兩個(gè)部分，重疊部分pi和非重疊部分P2， |pi| 為Pi區(qū)域的像素?cái)?shù)，P2同理。
全文摘要
本發(fā)明屬于涉及人的特征識(shí)別、人體步態(tài)識(shí)別方法、身份認(rèn)定，尤其涉及基于人體運(yùn)動(dòng)結(jié)構(gòu)正投影三維重建的步態(tài)識(shí)別方法。為提供一種新的步態(tài)識(shí)別方法，在人正常行走的情況下，能夠準(zhǔn)確實(shí)時(shí)地提取出人體的步態(tài)特征，減少外界環(huán)境的影響，并識(shí)別出人的身份，提高識(shí)別率。本發(fā)明采用的技術(shù)方案是基于人體運(yùn)動(dòng)結(jié)構(gòu)正投影三維重建的步態(tài)識(shí)別方法，借助于下列裝置實(shí)現(xiàn)，在人行走直線為半徑的一側(cè)半圓上，每隔18度設(shè)置一個(gè)攝像裝置，共設(shè)置11個(gè)用于攝取人行走視頻序列的攝像裝置，并包括下列步驟以攝像裝置對(duì)人體進(jìn)行步態(tài)跟蹤，根據(jù)跟蹤結(jié)果進(jìn)行三維步態(tài)重建，然后提取出步態(tài)特征進(jìn)行步態(tài)識(shí)別。本發(fā)明主要用于通過人步態(tài)進(jìn)行身份識(shí)別。
文檔編號(hào)A61B5/117GK101558996SQ20091006888
公開日2009年10月21日 申請(qǐng)日期2009年5月15日 優(yōu)先權(quán)日2009年5月15日
發(fā)明者萬柏坤, 聰 張, 東 明 申請(qǐng)人:天津大學(xué)