基于核稀疏編碼的人體行為識(shí)別方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于核稀疏編碼的人體行為識(shí)別方法，屬于數(shù)字圖像處理技術(shù)領(lǐng)域。本發(fā)明首先將輸入視頻分成固定長(zhǎng)度且相互重疊的視頻段，再對(duì)每個(gè)視頻段提取梯度與光流特征協(xié)方差或者形狀特征協(xié)方差，并采用對(duì)稱(chēng)正定矩陣降維方法對(duì)協(xié)方差矩陣進(jìn)行降維。在Stein核的基礎(chǔ)上，提出一種稀疏最大化的對(duì)陣正定矩陣空間字典學(xué)習(xí)，并將黎曼流形嵌入再生核希爾伯特空間提出一種黎曼稀疏求解器。本發(fā)明用于視頻的人體行為識(shí)別，處理簡(jiǎn)單，計(jì)算復(fù)雜度低，對(duì)行為差異、視角變化、低分辨率具有很好的魯棒性。
【專(zhuān)利說(shuō)明】
基于核稀疏編碼的人體行為識(shí)別方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于數(shù)字圖像處理技術(shù)領(lǐng)域，涉及計(jì)算機(jī)視覺(jué)、模式識(shí)別等相關(guān)理論知識(shí)， 尤其是基于協(xié)方差矩陣的人體行為識(shí)別。
【背景技術(shù)】
[0002] 人體行為識(shí)別是計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)和難點(diǎn)，其核心是利用計(jì)算機(jī)視覺(jué)技 術(shù)自動(dòng)從視頻序列中檢測(cè)、跟蹤、識(shí)別人并對(duì)其行為進(jìn)行理解和描述。人體運(yùn)動(dòng)分析和行為 識(shí)別方法是人體行為理解的核心內(nèi)容，主要包括對(duì)視頻人體檢測(cè)，跟蹤運(yùn)動(dòng)人體，獲取人體 行為的相關(guān)參數(shù)，最終達(dá)到理解人體行為的目的。
[0003] 人體行為識(shí)別方法主要運(yùn)用于智能監(jiān)控系統(tǒng)，主動(dòng)、實(shí)時(shí)地分析視頻中人體行為， 及時(shí)報(bào)告可疑行為;基于內(nèi)容的視頻檢索，對(duì)視頻內(nèi)容進(jìn)行分析和理解，簡(jiǎn)歷結(jié)構(gòu)和索引； 還廣泛應(yīng)用于人體交互、機(jī)器人、智能房間和看護(hù)中心。
[0004] 人體行為識(shí)別主要由人體行為表示和人體行為識(shí)別分類(lèi)兩個(gè)基本步驟構(gòu)成，它們 對(duì)人體行為識(shí)別率有顯著的影響。當(dāng)前人體行為識(shí)別方法主要有：
[0005] -基于時(shí)空興趣點(diǎn)云的行為識(shí)別。從不同的時(shí)間尺度提取興趣點(diǎn)積累成點(diǎn)云， 并避免對(duì)背景和靜態(tài)前景檢測(cè)。采用近鄰分類(lèi)或者支撐向量機(jī)SVM進(jìn)行識(shí)別分類(lèi)。該方式可 以捕獲平滑運(yùn)動(dòng)，對(duì)視角改變具有魯棒性，遮擋處理代價(jià)小，詳見(jiàn)文獻(xiàn)"Matteo Bregonzio， Shaogang Gong and Tao Xiang.Recognising Action as Clouds of Space-Time Interest Points.IEEE Conference on Computer Vision and Pattern Recognition (CVPR)June 2009."；
[0006] 二）：基于深度軌跡的行為識(shí)別。對(duì)每幀像素進(jìn)行深度采樣，并利用深度光流場(chǎng)中 位移信息跟蹤特征點(diǎn)?；谝粰C(jī)遇運(yùn)動(dòng)邊界直方圖的描述子，對(duì)相機(jī)運(yùn)動(dòng)具有魯棒性。深度 軌跡對(duì)不規(guī)則運(yùn)動(dòng)以及鏡頭邊界具有魯棒性，能很好的提取視頻中的運(yùn)動(dòng)信息。實(shí)驗(yàn)結(jié)果 表明比大部分特征描述方法具有更好的識(shí)別準(zhǔn)確率，詳見(jiàn)文獻(xiàn)"Heng Wang，Klaser，A.， Schmid，C?，Cheng-Lin Liu.Action Recognition by Dense Trajectories.IEEE Conference on Computer Vision and Pattern Recognition(CVPR),June 2011.''；
[0007] 三）：基于協(xié)方差的行為識(shí)別方法。提取連續(xù)視頻序列中的協(xié)方差特征，轉(zhuǎn)換到對(duì) 數(shù)歐式空間，使用對(duì)數(shù)歐式空間距離度量方式。采用最近鄰分類(lèi)方法或者稀疏線性估計(jì)方 法進(jìn)行識(shí)別分類(lèi)。該方式框架簡(jiǎn)單，計(jì)算復(fù)雜度低，能很好的應(yīng)對(duì)人體行為差異、視角變換 以及低分辨率等問(wèn)題，并且識(shí)別準(zhǔn)確率極高，詳見(jiàn)文獻(xiàn)"Kai Guo，Prakash Ishwar，Janusz Konrad.Action Recognition from Video Using Feature Covariance Matrices.IEEE Transactions on Image Processing,Mar 2013."。
[0008] 人體行為識(shí)別在實(shí)現(xiàn)時(shí)由于受到人體行為的類(lèi)間變化和類(lèi)內(nèi)變化、行為執(zhí)行環(huán)境 和攝像機(jī)位置和人體行為在時(shí)空中的變化等因素的影響，大大限制了識(shí)別準(zhǔn)確率的提升。 行為表征中往往不能有效融合不同特征，降低特征表征力度，減少外界干擾。

【發(fā)明內(nèi)容】

[0009] 本發(fā)明的發(fā)明目的在于:針對(duì)上述存在的問(wèn)題，提供一種基于核稀疏編碼的人體 行為識(shí)別方法。
[0010] 本發(fā)明的基于核稀疏編碼的人體行為識(shí)別方法，包括下列步驟：
[0011]步驟1:提取輸入視頻的行為特征：
[0012] 將輸入視頻分成長(zhǎng)度固定且相互重疊的視頻段;分別對(duì)各視頻段的像素點(diǎn)進(jìn)行特 征提取，得到像素點(diǎn)(x，y，t)的像素點(diǎn)特征f(x， y，t)，其中（X，y)表示像素點(diǎn)的平面坐標(biāo)，t 表示像素點(diǎn)的視頻幀信息；
[0013] 特征提取的方式為梯度光流特征或者形狀協(xié)方差特征：
[0014] 當(dāng)采用梯度光流特征時(shí)，分別計(jì)算像素點(diǎn)（x，y，t)的像素值沿x、y方向的一階、二 階梯度絕對(duì)值：I Ix|，I Iy|，I IXX|，I Iyy|，沿X，y，t方向的光流U，V，W，以及U，V，W對(duì)時(shí)刻t求偏 導(dǎo)數(shù)，貝時(shí)(叉，7,1:) = |^，〇]，其中）
[0015] 當(dāng)采用形狀特征時(shí)，提取當(dāng)前視頻塊的前景圖像，再在前景圖像中，分別計(jì)算坐標(biāo) 位置(x，y)到前景圖像的輪廓邊界的水平與垂直四個(gè)方向的距離咖，心，(1 5，如，坐標(biāo)位置(^ y)至I」前景圖像的輪廓的最小外接矩形的頂點(diǎn)的距離d NE，d S w，d S e，d NW;計(jì)算像素點(diǎn)（X，y，t)所 在視頻幀與當(dāng)前視頻段的起始幀、結(jié)束幀的間隔幀數(shù)d t-、d t +，貝f (x，y，t) = [ x，y，t，d e，d w， ds, dN, dNE, dsw, dsE, dNW, cIt+ , cIt-]；
[0016]基于每個(gè)視頻段的行為特征向量f (x, y, t)構(gòu)建n*n維(取決于f (x, y, t)的維度)協(xié) 方差矩陣
'其中
； 表示視頻段的不同視頻幀的圖像區(qū)域，|S|表示圖像區(qū)域S的像素點(diǎn)數(shù)目；
[0017] 步驟2:將協(xié)方差矩陣F轉(zhuǎn)換到再生核希爾伯特空間，對(duì)行為特征向量進(jìn)行核稀疏 編碼；
[0018] 步驟3:基于核稀疏編碼，完成對(duì)各視頻段的人體行為分類(lèi)學(xué)習(xí)及識(shí)別。
[0019] 優(yōu)選的，在將協(xié)方差矩陣F轉(zhuǎn)換到再生核希爾伯特空間之前，先采用對(duì)稱(chēng)正定矩陣 降維方法對(duì)協(xié)方差矩陣F進(jìn)行降維處理。即將矩陣F轉(zhuǎn)換為F = WTXW，其中X為n*n維協(xié)方差矩 陣，WSn*m維滿(mǎn)秩矩陣，降維后，將協(xié)方差矩陣F的變?yōu)閙*m維對(duì)稱(chēng)矩陣，即m*m維協(xié)方差矩 陣。
[0020] 步驟2中，將協(xié)方差矩陣F轉(zhuǎn)換到再生核希爾伯特空間，對(duì)行為特征向量進(jìn)行核稀 疏編碼可基于黎曼流行實(shí)現(xiàn)。即利用Stein核，在對(duì)稱(chēng)正定矩陣空間（步驟1得到的協(xié)方差矩 陣F，或者經(jīng)對(duì)稱(chēng)正定矩陣降維處理后的將協(xié)方差矩陣F)，利用稀疏最大化方法進(jìn)行字典D (黎曼字典)學(xué)習(xí)。利用Stein核，將黎曼流形（即步驟1得到的協(xié)方差矩陣F，或者經(jīng)對(duì)稱(chēng)正定 矩陣降維處理后的將協(xié)方差矩陣F)嵌入再生核希爾伯特空間(RKHS)進(jìn)行核稀疏編碼，其具 體步驟為：
[0021 ]步驟2-1:基于預(yù)設(shè)值初始化字典D，其中字典D包括n個(gè)字典原子Di，i = 1，2，…，N， 且字典原子Di屬于維黎曼空間點(diǎn)集，其中字典D的初始值可以是隨機(jī)選擇的T個(gè)樣本，也可 以是Karchar均值聚類(lèi)中心；
[0022] 步驟2-2:基于字典D的當(dāng)前取值，當(dāng)前視頻段對(duì)應(yīng)的m*m維的協(xié)方差矩陣F，查找使 得||0(/) - Sf=iK0〇^)||2 + MNIIi取得最小的稀疏向量Vi，其中Vi為N維行向量;將m個(gè)核 稀疏向量Vi構(gòu)成核稀疏編碼V，其中RN表示1*N維實(shí)矩陣，函數(shù)0(〇表示將括號(hào)中的對(duì)象轉(zhuǎn)換 到再生核希爾伯特空間，A表示預(yù)設(shè)系數(shù)；
[0023] 步驟2-3:對(duì)核稀疏編碼V、字典D進(jìn)行迭代更新：
[0024] 固定核稀疏編碼V，更新字典D:基于當(dāng)核前稀疏編碼V、當(dāng)前視頻段對(duì)應(yīng)的協(xié)方差 矩陣F，查找使得||0CF：) - + ilhlk取得最小的字典原子Di，其中Di屬于維 黎曼空間點(diǎn)集；
[0025] 固定字典D，更新核稀疏編碼V:基于當(dāng)前字典D、當(dāng)前視頻段對(duì)應(yīng)的協(xié)方差矩陣F， 查找使得||0(F) - + Whlli取得最小的核稀疏向量Vi，其中Vi為N維行向 量；
[0026] 基于當(dāng)前和上一次V、D更新結(jié)果，分別計(jì)算:供)f + 若兩次計(jì)算結(jié)果的差小于或等于預(yù)設(shè)閾值，則停止迭代更新，輸出當(dāng)前核稀疏編碼V。
[0027] 其中，||0(X) - =? - 2i/rK^,Z),.) + v7'K(D,L〇r，X對(duì)應(yīng)步 驟 2-1 ~2-3 中描述的 F 或 Fj，其中 k(Di，Di)。其中函數(shù)k(X，Y)表示Stein核：用…，XN}表示黎曼流形的非空集合，函 數(shù)(p: Q X Q =尺+是黎曼核，若識(shí)(足K) = <p(K, ；〇,且匕產(chǎn)內(nèi)免(七\(yùn))2()(;1叫表示任意實(shí) 向量，Xi，Xj表示黎曼空間的點(diǎn)），則函數(shù)
其中，函數(shù) k(X，Y)的輸入?yún)?shù)X，YG Q，S(X，Y)表示stein距離，〇表示預(yù)設(shè)系數(shù)，det( ?)表示矩陣行列 式。即上述1^，01)、（01，01)基于函數(shù)1^，￥)進(jìn)行求解。
[0028] 綜上所述，由于采用了上述技術(shù)方案，本發(fā)明的有益效果是：
[0029] a)提出兩種全局協(xié)方差特征描述方法，梯度光流協(xié)方差可以表征運(yùn)動(dòng)信息，形狀 協(xié)方差可以表征運(yùn)動(dòng)形狀變化信息。
[0030] b)在對(duì)稱(chēng)正定矩陣空間對(duì)協(xié)方差進(jìn)行降維，不僅可以降低特征維數(shù)并且可以提高 特征類(lèi)內(nèi)聚合度以及類(lèi)間離散度，從而提高計(jì)算速度和識(shí)別準(zhǔn)確率。
[0031 ] c)在Stein核的基礎(chǔ)上，采用稀疏最大化進(jìn)行黎曼字典學(xué)習(xí)，從黎曼空間嵌入再生 核希爾伯特空間進(jìn)行稀疏編碼。
【附圖說(shuō)明】
[0032]圖1是【具體實(shí)施方式】的處理流程圖。
【具體實(shí)施方式】
[0033]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面結(jié)合實(shí)施方式和附圖，對(duì)本發(fā) 明作進(jìn)一步地詳細(xì)描述。
[0034]參見(jiàn)圖1，本發(fā)明的實(shí)現(xiàn)包括下列步驟：
[0035] 步驟S01:輸入視頻。
[0036]步驟S02:提取輸入視頻的協(xié)方差特征，即提取行為特征向量f(s)。
[0037]首先，將輸入視頻分成長(zhǎng)度為L(zhǎng)幀（一個(gè)完整的人體行為大約為0.4s~0.6s，L的長(zhǎng) 度至少設(shè)置為涵蓋完整人體行為，通常L可取20)且相互重疊的視頻段。提取視頻段的移動(dòng) 步長(zhǎng)可根據(jù)實(shí)際情況調(diào)整(如設(shè)置為8幀）。
[0038]對(duì)視頻段的像素點(diǎn)進(jìn)行特征提取，得到像素點(diǎn)(x，y，t)的行為特征向量f(x，y，t)， 令f ( s ) = f ( x，y，t )，對(duì)行為特征向量f ( s )進(jìn)行組合計(jì)算協(xié)方差矩陣F，即
:.，其中
，其中cov(F)表 示協(xié)方差矩陣F，S表示視頻段的不同時(shí)空立方塊對(duì)應(yīng)的區(qū)域，|S|表示時(shí)空立方塊S中像素 點(diǎn)總數(shù)目，s表示區(qū)域S中的像素點(diǎn)。若對(duì)像素點(diǎn)(x，y，t)采用梯度光流特征進(jìn)行行為特征向 量提取時(shí)，則可得到12*12維的協(xié)方差矩陣F;若對(duì)像素點(diǎn)(x，y，t)采用形狀特征進(jìn)行行為特 征向量提取時(shí)，則可得到13* 13維的協(xié)方差矩陣F。
[0039]采用對(duì)稱(chēng)正定矩陣降維方法對(duì)cov(F)進(jìn)行降維，得到降維后的協(xié)方差矩陣F'，其 中F為n*n維協(xié)方差矩陣。
[0040] 步驟S03:基于協(xié)方差矩陣K，將協(xié)方差矩陣F轉(zhuǎn)換到再生核希爾伯特空間，對(duì)行為 特征向量進(jìn)行核稀疏編碼，即基于字典D和核稀疏編碼的迭代更新，得到對(duì)應(yīng)的核稀疏編碼
[0041] 步驟S04:基于核稀疏編碼，完成對(duì)各視頻段的人體行為分類(lèi)及識(shí)別。在對(duì)訓(xùn)練樣 本進(jìn)行人體行為分類(lèi)處理時(shí)，可以采用直接分類(lèi)方法，利用殘差對(duì)行為特征向量進(jìn)行分類(lèi)； 也可以采取歐式空間分類(lèi)學(xué)習(xí)方法對(duì)編碼后的行為特征向量進(jìn)行分類(lèi)學(xué)習(xí)，例如SVM、kNN (K近鄰分類(lèi))等。
[0042]將本反用于標(biāo)準(zhǔn)人體行為數(shù)據(jù)庫(kù)Weizmann、KTH、ADL進(jìn)行人體行為識(shí)別實(shí)驗(yàn)，表明 本發(fā)明提出的技術(shù)方案相較于傳統(tǒng)方案具有更好的識(shí)別準(zhǔn)確率，并對(duì)視角變化、人體行為 差異以及低分辨率具有良好的魯棒性。
[0043]以上所述，僅為本發(fā)明的【具體實(shí)施方式】，本說(shuō)明書(shū)中所公開(kāi)的任一特征，除非特別 敘述，均可被其他等效或具有類(lèi)似目的的替代特征加以替換;所公開(kāi)的所有特征、或所有方 法或過(guò)程中的步驟，除了互相排斥的特征和/或步驟以外，均可以任何方式組合。
【主權(quán)項(xiàng)】
1. 一種基于核稀疏編碼的人體行為識(shí)別方法，其特征在于，包括下列步驟： 步驟1:提取輸入視頻的行為特征： 將輸入視頻分成長(zhǎng)度固定且相互重疊的視頻段;分別對(duì)各視頻段的像素點(diǎn)進(jìn)行特征提 取，得到像素點(diǎn)（X，y，t)的像素點(diǎn)特征f(x，y，t)，其中（x，y)表示像素點(diǎn)的平面坐標(biāo)，t表示 像素點(diǎn)的視頻幀信息； 特征提取的方式為梯度光流特征或者形狀協(xié)方差特征： 當(dāng)采用梯度光流特征時(shí)，分別計(jì)算像素點(diǎn)（X，y，t)的像素值沿X、y方向的一階、二階梯 度絕對(duì)值：| IX|，| Iy |，| Ixx|，| Iyy |，沿X，y，t方向的光流U，V，W，以及U，V，W對(duì)時(shí)刻t求偏導(dǎo)數(shù)，當(dāng)采用形狀特征時(shí)，提取當(dāng)前視頻塊的前景圖像，再在前景圖像中，分別計(jì)算坐標(biāo)位 置（X，y)到前景圖像的輪廓邊界的水平與垂直四個(gè)方向的距離辦，心，(15，如，坐標(biāo)位置 (X，y )到前景圖像的輪廓的最小外接矩形的頂點(diǎn)的距離dNE，dsw，dsE，dNW;計(jì)算像素點(diǎn) (X，y，t )所在視頻幀與當(dāng)前視頻段的起始幀、結(jié)束幀的間隔幀數(shù)4，則 [(χ.\\?)-\χ.\\?.?Ι Λ?^Μκ,?Ιχ.?Ι^} ,dsn .dt <」； 基于每個(gè)視頻段的行為特征向量f ( X，y，t )構(gòu)建協(xié)方差矩陣F :4表示視頻 段的不同視頻幀的圖像區(qū)域，|s|表示圖像區(qū)域S的像素點(diǎn)數(shù)目； 步驟2:將協(xié)方差矩陣F轉(zhuǎn)換到再生核希爾伯特空間，對(duì)行為特征向量進(jìn)行核稀疏編碼； 步驟3:基于核稀疏編碼，完成對(duì)各視頻段的人體行為分類(lèi)及識(shí)別。2. 如權(quán)利要求1所述的方法，其特征在于，還包括采用對(duì)稱(chēng)正定矩陣降維方法對(duì)協(xié)方差 矩陣F進(jìn)行降維處理后再轉(zhuǎn)換到再生核希爾伯特空間。3. 如權(quán)利要求1或2所述的方法，其特征在于，對(duì)行為特征向量進(jìn)行稀疏編碼的過(guò)程為： 步驟2-1:基于預(yù)設(shè)值初始化字典D，其中字典D包括η個(gè)字典原子Di，1 = 1，2，一，1且字 典原子〇,屬于維黎曼空間點(diǎn)集； 步驟2-2:基于字典D的當(dāng)前取值，當(dāng)前視頻段對(duì)應(yīng)的m*m維的協(xié)方差矩陣F，查找使得 ||0(F) - Sf=j_A0C^)|r + Jbilli取得最小的核稀疏向量Vi，其中Vi為N維行向量;將m個(gè)稀 疏向量Vi構(gòu)成核稀疏編碼V，其中RN表示1*N維實(shí)矩陣，函數(shù)0:(·)表示將括號(hào)中的對(duì)象轉(zhuǎn)換到 再生核希爾伯特空間，λ表示預(yù)設(shè)系數(shù)； 步驟2-3:對(duì)核稀疏編碼V、字典D進(jìn)行迭代更新： 固定核稀疏編碼V，更新字典D:基于當(dāng)前核稀疏編碼V、當(dāng)前視頻段對(duì)應(yīng)的協(xié)方差矩陣 F，查找使得||:0Ci〇 - + Akilli取得最小的字典原子Di，其中Di屬于維黎曼 空間點(diǎn)集； 固定字典D，更新核稀疏編碼V:基于當(dāng)前字典D、當(dāng)前視頻段對(duì)應(yīng)的協(xié)方差矩陣F，查找 使得||0(/〇 - + 得最小的核稀疏向量Vi，其中Vi為N維行向量;基 于當(dāng)前和上一次V、D更新結(jié)果，分別計(jì)算，若兩 次計(jì)算結(jié)果的差小于或等于預(yù)設(shè)閾值，則停止迭代更新，輸出當(dāng)前核稀疏編碼V。
【文檔編號(hào)】G06K9/46GK105930790SQ201610241121
【公開(kāi)日】2016年9月7日
【申請(qǐng)日】2016年4月19日
【發(fā)明人】解梅, 黃成揮, 程石磊, 劉伸展
【申請(qǐng)人】電子科技大學(xué)