一種基于Kinect的多視角步態(tài)識別方法
【專利摘要】本發(fā)明公開了一種基于Kinect的多視角步態(tài)識別方法,采集骨架關(guān)節(jié)點(diǎn)三維空間位置信息并視角歸一化到側(cè)面視角下；提取視角歸一化后的步態(tài)特征，對訓(xùn)練集里不同視角下的步態(tài)系統(tǒng)動態(tài)進(jìn)行神經(jīng)網(wǎng)絡(luò)建模、辨識；建立常值神經(jīng)網(wǎng)絡(luò)；構(gòu)建動態(tài)估計(jì)器，利用不同視角下的步態(tài)模式之間在步態(tài)系統(tǒng)動力學(xué)上的差異，根據(jù)最小誤差原則實(shí)現(xiàn)對測試模式的識別。本發(fā)明利用Kinect獲取骨架關(guān)節(jié)點(diǎn)的三維空間位置信息,無需借助其它傳感設(shè)備,不用進(jìn)行圖像處理,降低了系統(tǒng)復(fù)雜度，提高了特征數(shù)據(jù)的提取精度。
【專利說明】一種基于Kinect的多視角步態(tài)識別方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于模式識別【技術(shù)領(lǐng)域】，具體涉及一種基于Kinect的多視角步態(tài)識別方 法。

【背景技術(shù)】
[0002] 目前，傳統(tǒng)的步態(tài)識別方法主要是通過圖像處理的方法來獲取步態(tài)特征數(shù)據(jù)，該 類方法對周圍的光照環(huán)境較為敏感，光照條件不佳可能會影響步態(tài)特征提取的準(zhǔn)確性；人 體穿戴的衣服、飾物等遮擋物也會對步態(tài)特征的提取產(chǎn)生干擾和影響；整個圖像處理系統(tǒng) 的設(shè)計(jì)較為復(fù)雜。而微軟公司的Kinect采用主動紅外線技術(shù)進(jìn)行深度探測，避免了周圍光 照條件和遮擋物的影響，能夠?qū)崟r準(zhǔn)確地獲取人體骨架關(guān)節(jié)點(diǎn)的三維空間位置信息，無須 借助其他傳感設(shè)備，降低了系統(tǒng)的復(fù)雜度，這對人體步態(tài)識別系統(tǒng)的設(shè)計(jì)很有幫助。因此有 必要設(shè)-H種基于Kinect的步態(tài)識別方法，以充分利用Kinect的優(yōu)勢來進(jìn)行步態(tài)識別。
[0003] 步態(tài)識別本質(zhì)上可以看作是一個動態(tài)模式的辨識與識別問題，而動態(tài)模式識別本 身就是模式識別領(lǐng)域的難題之一。在對徑向基函數(shù)（RBF)神經(jīng)網(wǎng)絡(luò)的持續(xù)激勵特性研宄的 基礎(chǔ)上，C. Wang等提出了確定學(xué)習(xí)理論，其中包括對非線性動力學(xué)系統(tǒng)產(chǎn)生的動態(tài)模式的 辨識、表達(dá)和快速識別方法，即通過確定學(xué)習(xí)獲得動態(tài)模式內(nèi)在系統(tǒng)動態(tài)的局部準(zhǔn)確神經(jīng) 網(wǎng)絡(luò)建模，把隨時間變化的動態(tài)模式以時不變且空間分布的方式有效地表達(dá)，進(jìn)一步利用 動態(tài)模式內(nèi)在的動力學(xué)拓?fù)湎嗨平o出動態(tài)模式之間的相似性定義，并提出了對動態(tài)模式進(jìn) 行快速識別的一套新方法。
[0004] 在監(jiān)控場景中進(jìn)行步態(tài)識別時，最大的難點(diǎn)之一在于視角變化所帶來的影響。由 于監(jiān)控?cái)z像頭通常安裝在固定的位置，而監(jiān)控場景中被識別對象的行走方向是隨機(jī)的，不 可能按照步態(tài)識別系統(tǒng)設(shè)計(jì)者規(guī)定的方向行走，視角變化問題是步態(tài)識別無法回避的問 題?，F(xiàn)有的很多方法對視角變化的魯棒性不足，處理多視角步態(tài)識別時性能會大大降低甚 至失效。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是克服現(xiàn)有技術(shù)存在的問題，提供一種更為簡潔準(zhǔn)確的基于Kinect 的多視角步態(tài)識別方法。
[0006] 本發(fā)明一種基于Kinect的多視角步態(tài)識別方法，包含如下步驟：
[0007] 步驟1、利用Kinect獲取若干試驗(yàn)者不同視角下人體行走時骨架關(guān)節(jié)點(diǎn)三維空間 位置信息；
[0008] 步驟2、將不同視角下的骨架關(guān)節(jié)點(diǎn)三維空間位置視角歸一化到側(cè)面視角下；
[0009] 步驟3、提取視角歸一化后的髖、膝和踝關(guān)節(jié)點(diǎn)的空間位置坐標(biāo)計(jì)算得到雙下肢膝 關(guān)節(jié)角度和髖關(guān)節(jié)角度作為步態(tài)特征，構(gòu)成一組步態(tài)特征變量，將所有試驗(yàn)者的步態(tài)特征 變量存入形成訓(xùn)練集；
[0010] 步驟4、基于確定學(xué)習(xí)理論，根據(jù)步驟3視角歸一化后提取出來的雙下肢膝關(guān)節(jié)和 髖關(guān)節(jié)角度特征對訓(xùn)練集里每一個人在不同視角下的步態(tài)模式所對應(yīng)的未知非線性步態(tài) 系統(tǒng)動態(tài)建模，設(shè)計(jì)RBF神經(jīng)網(wǎng)絡(luò)辨識器實(shí)現(xiàn)對步態(tài)系統(tǒng)未知動態(tài)的局部準(zhǔn)確逼近：
[0011] 步驟5、根據(jù)確定學(xué)習(xí)理論，沿步態(tài)系統(tǒng)特征軌跡的RBF神經(jīng)網(wǎng)絡(luò)的神經(jīng)元滿足持 續(xù)激勵條件，其權(quán)值收斂到最優(yōu)值，取權(quán)值收斂后一段時間內(nèi)各個權(quán)值的均值作為學(xué)習(xí)訓(xùn) 練結(jié)果，并利用所述學(xué)習(xí)訓(xùn)練結(jié)果建立常值神經(jīng)網(wǎng)絡(luò)，所學(xué)到的步態(tài)動力學(xué)知識以常值神 經(jīng)網(wǎng)絡(luò)權(quán)值的形式存儲，將不同人在不同視角下的步態(tài)模式歸一化到側(cè)面視角下，組成訓(xùn) 練步態(tài)模式庫；
[0012] 步驟6 :利用Kinect獲取某一視角下人體行走時的骨架關(guān)節(jié)點(diǎn)三維空間位置信 息，將其視角歸一化到側(cè)面視角下，計(jì)算得到雙下肢膝關(guān)節(jié)和髖關(guān)節(jié)特征數(shù)據(jù)，將其作為測 試模式的步態(tài)特征數(shù)據(jù)存入測試集；
[0013] 步驟7 :利用常值神經(jīng)網(wǎng)絡(luò)構(gòu)建一組動態(tài)估計(jì)器，把步驟4和步驟5學(xué)習(xí)到的訓(xùn)練 步態(tài)模式庫里每一個人在不同視角下的步態(tài)模式所對應(yīng)的一般非線性步態(tài)系統(tǒng)動力學(xué)知 識嵌入到動態(tài)估計(jì)器中，將測試集里待識別的步態(tài)特征數(shù)據(jù)與這組動態(tài)估計(jì)器做差，形成 一組識別誤差，根據(jù)最小誤差原則把測試模式準(zhǔn)確分類識別出來，實(shí)現(xiàn)多視角下的步態(tài)識 別。
[0014] 進(jìn)一步，在步驟1和6中，利用Kinect獲取的三維空間位置信息，其中三維空間的 坐標(biāo)系是指Z軸與Kinect攝像機(jī)的攝像頭中軸線平行，依右手螺旋定則定義與水平方向 平行的方向?yàn)閄軸，豎直平面為Y軸。
[0015] 進(jìn)一步，在步驟4中，所述非線性步態(tài)系統(tǒng)動態(tài)建模方法如下：
[0016] X = F(x] p) + v(x； p),
[0017] 其中，x = [X1，…，xn]Te 1^是視角歸一化后獲取到的雙下肢膝關(guān)節(jié)和髖關(guān)節(jié)角 度特征，即步態(tài)特征變量，η為步態(tài)特征變量的維數(shù)，p是系統(tǒng)常參數(shù)值，F(xiàn) (x;p) = B1Oc; ρ)，···，?·η(Χ;ρ)]τ是光滑且未知的非線性動態(tài)變量，代表了不同人在不同視角下的步態(tài)系 統(tǒng)動態(tài)，
[0018] v(x ;p) = [V1U ;ρ)，…，vn(x ;ρ)]τ；^建模不確定項(xiàng)，將二者合并為一項(xiàng)：
[0019] ?/Κ.ν: Ρ):=Ρ) + Κ.ν: /))，并定義為一般非線性步態(tài)系統(tǒng)動態(tài)；
[0020] 設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)辨識器辨識河.\_;/))=[奶卜;/7),"_,奶,(.\-;/川 /，具體為：
[0021] 采用動態(tài)RBF神經(jīng)網(wǎng)絡(luò)構(gòu)造神經(jīng)網(wǎng)絡(luò)辨識器，動態(tài)RBF神經(jīng)網(wǎng)絡(luò)辨識器形式如 下：
[0022] ? = -- .V) + H〉' 'S(.v)，
[0023] 其中，1 =[私…，.U是神經(jīng)網(wǎng)絡(luò)辨識器的狀態(tài)，即選取的步態(tài)特征變 量；A = (Iiaglia1,…，an]是對角矩陣，Si是設(shè)計(jì)的常數(shù)，滿足0 < |a J < 1 ; P只X) = S1 (斗…&⑴?是動態(tài)RBF神經(jīng)網(wǎng)氣 統(tǒng)動態(tài)機(jī)r;/;);S(X) = [SJI Ιχ-ξ」|，···4Ν(| |Χ-ξη|⑴是高斯型徑向基函數(shù)；Ν> 1是 神經(jīng)網(wǎng)絡(luò)結(jié)點(diǎn)數(shù)目；ξ i是神經(jīng)元中心點(diǎn)；RBF神經(jīng)網(wǎng)絡(luò)權(quán)值的調(diào)節(jié)律如下：
[0024] H>=-FiS(X)Xi-^f Wi , ? = 1,···,η ,
[0025] 其中：i表示η維足底壓力特征變量中第i維變量，足.=足.-.\.是狀態(tài)誤差，ri = Γ /> 0, σ i> 0是調(diào)節(jié)律的調(diào)節(jié)參數(shù)，動態(tài)RBF神經(jīng)網(wǎng)絡(luò)的權(quán)值疙的初始值疙(0) = 0 ;
[0026] 對應(yīng)的步驟5中所述常值神經(jīng)網(wǎng)絡(luò)權(quán)值是指在一段時間內(nèi)權(quán)值收斂至最優(yōu)的常 值，選取收斂的部分權(quán)值取數(shù)值平均，獲取相應(yīng)的神經(jīng)網(wǎng)絡(luò)常值的權(quán)值, = [f, ···,%]、所 述神經(jīng)網(wǎng)絡(luò)常值由如下式表示：

【權(quán)利要求】
1. 一種基于Kinect的多視角步態(tài)識別方法，其特征在于，包含如下步驟： 步驟1、利用Kinect獲取若干試驗(yàn)者不同視角下人體行走時骨架關(guān)節(jié)點(diǎn)三維空間位置 信息； 步驟2、將不同視角下的骨架關(guān)節(jié)點(diǎn)三維空間位置視角歸一化到側(cè)面視角下； 步驟3、提取視角歸一化后的髖、膝和踝關(guān)節(jié)點(diǎn)的空間位置坐標(biāo)計(jì)算得到雙下肢膝關(guān)節(jié) 角度和髖關(guān)節(jié)角度作為步態(tài)特征，構(gòu)成一組步態(tài)特征變量，將所有試驗(yàn)者的步態(tài)特征變量 存入形成訓(xùn)練集； 步驟4、基于確定學(xué)習(xí)理論，根據(jù)步驟3視角歸一化后提取出來的雙下肢膝關(guān)節(jié)和髖關(guān) 節(jié)角度特征對訓(xùn)練集里每一個人在不同視角下的步態(tài)模式所對應(yīng)的未知非線性步態(tài)系統(tǒng) 動態(tài)建模，設(shè)計(jì)RBF神經(jīng)網(wǎng)絡(luò)辨識器實(shí)現(xiàn)對步態(tài)系統(tǒng)未知動態(tài)的局部準(zhǔn)確逼近： 步驟5、根據(jù)確定學(xué)習(xí)理論，沿步態(tài)系統(tǒng)特征軌跡的RBF神經(jīng)網(wǎng)絡(luò)的神經(jīng)元滿足持續(xù)激 勵條件，其權(quán)值收斂到最優(yōu)值，取權(quán)值收斂后一段時間內(nèi)各個權(quán)值的均值作為學(xué)習(xí)訓(xùn)練結(jié) 果，并利用所述學(xué)習(xí)訓(xùn)練結(jié)果建立常值神經(jīng)網(wǎng)絡(luò)，所學(xué)到的步態(tài)動力學(xué)知識以常值神經(jīng)網(wǎng) 絡(luò)權(quán)值的形式存儲，將不同人在不同視角下的步態(tài)模式歸一化到側(cè)面視角下，組成訓(xùn)練步 態(tài)模式庫； 步驟6 :利用Kinect獲取某一視角下人體行走時的骨架關(guān)節(jié)點(diǎn)三維空間位置信息，將 其視角歸一化到側(cè)面視角下，計(jì)算得到雙下肢膝關(guān)節(jié)和髖關(guān)節(jié)特征數(shù)據(jù)，將其作為測試模 式的步態(tài)特征數(shù)據(jù)存入測試集； 步驟7 :利用常值神經(jīng)網(wǎng)絡(luò)構(gòu)建一組動態(tài)估計(jì)器，把步驟4和步驟5學(xué)習(xí)到的訓(xùn)練步態(tài) 模式庫里每一個人在不同視角下的步態(tài)模式所對應(yīng)的一般非線性步態(tài)系統(tǒng)動力學(xué)知識嵌 入到動態(tài)估計(jì)器中，將測試集里待識別的步態(tài)特征數(shù)據(jù)與這組動態(tài)估計(jì)器做差，形成一組 識別誤差，根據(jù)最小誤差原則把測試模式準(zhǔn)確分類識別出來，實(shí)現(xiàn)多視角下的步態(tài)識別。
2.根據(jù)權(quán)利要求1所述的基于Kinect的多視角步態(tài)識別方法，其特征在于：在步驟1 和6中，利用Kinect獲取的三維空間位置信息，其中三維空間的坐標(biāo)系是指Z軸與Kinect 攝像機(jī)的攝像頭中軸線平行，依右手螺旋定則定義與水平方向平行的方向?yàn)閄軸，豎直平 面為Y軸。
3.根據(jù)權(quán)利要求1所述的基于Kinect的多視角步態(tài)識別方法，其特征在于：在步驟4 中，所述非線性步態(tài)系統(tǒng)動態(tài)建模方法如下： X= /"(.V；p)+ V'(.V；p) J 其中，X= [X1，…，xn]TeRn是視角歸一化后獲取到的雙下肢膝關(guān)節(jié)和髖關(guān)節(jié)角度 特征，即步態(tài)特征變量，η為步態(tài)特征變量的維數(shù)，p是系統(tǒng)常參數(shù)值，F(xiàn)(x;p) = [f\(x; ρ)，···，?·η(Χ;ρ)]τ是光滑且未知的非線性動態(tài)變量，代表了不同人在不同視角下的步態(tài)系 統(tǒng)動態(tài)，V(x;p) = [V1(Xf),…，Vn(XiP)]1^建模不確定項(xiàng)，將二者合并為一項(xiàng)： i/Kx:/7):=/;'(..V:/;) +K.V:p)，并定義為一般非線性步態(tài)系統(tǒng)動態(tài)； 設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)辨識器辨識=[奶(.Υ;Ρ),·?(.^/))?，具體為： 采用動態(tài)RBF神經(jīng)網(wǎng)絡(luò)構(gòu)造神經(jīng)網(wǎng)絡(luò)辨識器，動態(tài)RBF神經(jīng)網(wǎng)絡(luò)辨識器形式如下： 其中，i=[ip···，九]是神經(jīng)網(wǎng)絡(luò)辨識器的狀態(tài)，即選取的步態(tài)特征變 量；A= (Iiaglia1,…，an]是對角矩陣，Si是設(shè)計(jì)的常數(shù)，滿足O<|aJ< 1 ; ifzS(..v)=[化zS1 (X)，…Ji:,7 ⑴]7是動態(tài)RBF神經(jīng)網(wǎng)絡(luò)，用來逼近未知的一般非線性步態(tài)系 統(tǒng)動態(tài)糾>;/));S(X) = [Si(| |χ-ξ」|，···4Ν(| |χ-ξη|⑴是高斯型徑向基函數(shù)；n> 1是 神經(jīng)網(wǎng)絡(luò)結(jié)點(diǎn)數(shù)目；ξi是神經(jīng)元中心點(diǎn)；RBF神經(jīng)網(wǎng)絡(luò)權(quán)值的調(diào)節(jié)律如下： 疙=-Γ,.5(Λ-).?,. - 七，，.=1,…，η， 其中：i表示η維足底壓力特征變量中第i維變量，i: 是狀態(tài)誤差，Γi=Γ， > 〇,σi> 〇是調(diào)節(jié)律的調(diào)節(jié)參數(shù)，動態(tài)RBF神經(jīng)網(wǎng)絡(luò)的權(quán)值疙的初始值疙(O) =O; 對應(yīng)的步驟5中所述常值神經(jīng)網(wǎng)絡(luò)權(quán)值是指在一段時間內(nèi)權(quán)值收斂至最優(yōu)的常值，選 取收斂的部分權(quán)值取數(shù)值平均，獲取相應(yīng)的神經(jīng)網(wǎng)絡(luò)常值的權(quán)值P ，所述神 經(jīng)網(wǎng)絡(luò)常值由如下式表示：
其中，[ta，tb]代表神經(jīng)網(wǎng)絡(luò)權(quán)值在完成向其最優(yōu)值收斂的過渡過程之后的一個時間 段，使^(x;/?)由常值神經(jīng)網(wǎng)絡(luò)/If1S(X)進(jìn)行局部準(zhǔn)確逼近：
其中，ei2是逼近誤差； 所述的步驟7具體如下： 根據(jù)步驟5所獲取的訓(xùn)練步態(tài)模式庫中每個人在不同視角下的一般非線性步態(tài)系統(tǒng) 動態(tài)的RBF神經(jīng)網(wǎng)絡(luò)辨識結(jié)果，即常值神經(jīng)網(wǎng)絡(luò)權(quán)值iff，構(gòu)造一組動態(tài)估計(jì)器，表述如下：
其中，X 動態(tài)估計(jì)器的狀態(tài)，i表示η維足底壓力特征變量中第i維變量，k表示M 個訓(xùn)練模式中的第k個訓(xùn)練模式，M為訓(xùn)練步態(tài)模式庫中的模式總量，匕為動態(tài)估計(jì)器參 數(shù)，Xti為測試集中測試模式的步態(tài)特征數(shù)據(jù)； 將測試集里待識別的測試模式的步態(tài)特征數(shù)據(jù)^與這組動態(tài)估計(jì)器做差，得到如下 的識別誤差系統(tǒng)：
其中，歹/ =忑"-?是狀態(tài)估計(jì)誤差，計(jì)算名"的平均1^范數(shù)如下：
其中，T。表示步態(tài)周期； 如果存在一個有限時間ts，se{1，…，k}和某一ie{1，…，n}，使IjAoIi < (?| 對所有t>ts成立，則出現(xiàn)的步態(tài)測試模式可被分類識別出來。
4. 根據(jù)權(quán)利要求3所述的基于Kinect的多視角步態(tài)識別方法，其特征在于：所述RBF 神經(jīng)網(wǎng)絡(luò)權(quán)值的調(diào)節(jié)律根據(jù)李雅普洛夫穩(wěn)定性定理和確定學(xué)習(xí)理論進(jìn)行設(shè)計(jì)，使?fàn)顟B(tài)誤差 與權(quán)值估計(jì)都有界并指數(shù)收斂，其中，所述RBF神經(jīng)網(wǎng)絡(luò)的權(quán)值收斂有兩種情況： 第一種情況：沿步態(tài)特征回歸軌跡的RBF神經(jīng)網(wǎng)絡(luò)的神經(jīng)元滿足持續(xù)激勵條件，其權(quán) 值收斂到最優(yōu)值的小鄰域內(nèi)； 第二種情況：遠(yuǎn)離步態(tài)特征回歸軌跡的RBF神經(jīng)網(wǎng)絡(luò)的神經(jīng)元不受激勵而不被調(diào)節(jié)， 其權(quán)值近似為零。
5. 根據(jù)權(quán)利要求3所述的基于Kinect的多視角步態(tài)識別方法，其特征在于：對一般非 線性步態(tài)系統(tǒng)動態(tài)的局部準(zhǔn)確建模由如下公式表示：
其中，εη是逼近誤差，這里的局部準(zhǔn)確建模是通過RBF神經(jīng)網(wǎng)絡(luò)對沿步態(tài)特征數(shù)據(jù)的 內(nèi)在系統(tǒng)動態(tài)軌跡的逼近，而遠(yuǎn)離軌跡的內(nèi)部動態(tài)則不被逼近。
【文檔編號】G06K9/00GK104463118SQ201410733760
【公開日】2015年3月25日 申請日期:2014年12月4日 優(yōu)先權(quán)日:2014年12月4日
【發(fā)明者】曾瑋, 鄧木清, 王清輝 申請人:龍巖學(xué)院