成一個(gè)列向量賦給Z = [Z1, Z2，…ΖΜ] Τ，即
[0025] Zi= maxilCi」，|Ci2|，…|CiN|}，i = 1，2，Μ
[0026] 其中Clj表示C中第i行第j列的元素。
[0027] 本發(fā)明的有益技術(shù)效果：
[0028] 視頻中人體動(dòng)作識(shí)別在智能監(jiān)控、視頻檢索等方面具有廣闊的應(yīng)用前景?；跁r(shí) 空興趣點(diǎn)特征的人體動(dòng)作識(shí)別方法，因其特征提取簡(jiǎn)單，抗干擾能力強(qiáng)，魯棒性好等優(yōu)點(diǎn)， 而得以廣泛關(guān)注和重視。然而，在該方法中，通過向量量化對(duì)時(shí)空興趣點(diǎn)特征進(jìn)行編碼以 獲取視頻表示向量的過程中，卻存在著：表示誤差大、編碼區(qū)分能力弱、丟失空間位置信息 的問題。為解決這些問題，本發(fā)明提出一種面向視頻中人體動(dòng)作識(shí)別的時(shí)空興趣點(diǎn)特征編 碼方法。在特征編碼過程中，引入了局部約束用于降低表示誤差，引入空間規(guī)則化，用于增 強(qiáng)編碼結(jié)果的區(qū)分性和利用時(shí)空興趣點(diǎn)特征空間位置信息，以最終提高人體動(dòng)作識(shí)別的精 度。
[0029] 本發(fā)明提出的時(shí)空興趣點(diǎn)特征編碼方法，在一定程度上解決了現(xiàn)有時(shí)空興趣點(diǎn)特 征編碼算法（向量量化）存在的表示誤差大、編碼結(jié)果判別性弱、不能對(duì)空間位置關(guān)系建模 的問題，可以有效提高基于BoF模型的人體動(dòng)作識(shí)別的精度。
【附圖說明】
[0030] 圖1為人體動(dòng)作視頻中檢測(cè)出的時(shí)空興趣點(diǎn)特征，其中白色圓圈為時(shí)空興趣點(diǎn)特 征
[0031] 圖2為向量量化對(duì)時(shí)空興趣點(diǎn)特征編碼示意圖
[0032] 圖3為向量量化對(duì)來自手臂和腿部的時(shí)空興趣點(diǎn)特征進(jìn)行編碼產(chǎn)生編碼模糊問 題的示意圖
[0033] 圖4為局部約束原理圖
[0034] 圖5為本發(fā)明提出的時(shí)空興趣點(diǎn)特征編碼的原理圖，其中圖5(a)是人體骨架示意 圖，圖5(b)是來自上臂的時(shí)空興趣點(diǎn)特征（4)和來自腿部的時(shí)空興趣點(diǎn)特征（5)的編碼過 程不意圖。
[0035] 在上述附圖中：
[0036] 1-時(shí)空興趣點(diǎn)特征；2-視覺單詞；3-非線性流形結(jié)構(gòu)；4-來自上臂的時(shí)空興趣點(diǎn) 特征；5-來自腿部的時(shí)空興趣點(diǎn)特征；6-在人體區(qū)域中與來自上臂的時(shí)空興趣點(diǎn)特征4空 間距離較近的視覺單詞；7-在人體區(qū)域中與來自腿部的時(shí)空興趣點(diǎn)特5空間距離較近的視 覺單詞。
【具體實(shí)施方式】
[0037] 為了使本發(fā)明的目的、技術(shù)方案及有益效果更加清楚明白，下面結(jié)合附圖及實(shí)施 例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)注意，此處所描述的具體實(shí)施例僅用以解釋本發(fā) 明，并不用于限定本發(fā)明。
[0038] 局部約束降低表示誤差的基本機(jī)理是：在流形學(xué)習(xí)理論中，對(duì)于非歐式分布的非 線性流形結(jié)構(gòu)，通過局部約束可以提高數(shù)據(jù)表示精度。具體如圖4所示，對(duì)于圖上的時(shí)空興 趣點(diǎn)特征1，選用與之相鄰的5個(gè)視覺單詞構(gòu)建局部坐標(biāo)系統(tǒng)，然后對(duì)其進(jìn)行線性編碼，這 樣的過程就是局部線性嵌入。局部線性嵌入的編碼結(jié)果所產(chǎn)生的誤差，明顯低于圖2中向 量量化方法只選用1個(gè)視覺單詞進(jìn)行編碼所產(chǎn)生的誤差。此外，這5個(gè)視覺單詞所構(gòu)建的 局部坐標(biāo)系統(tǒng)還體現(xiàn)了輸入特征與視覺單詞間的拓?fù)浣Y(jié)構(gòu)關(guān)系，因此，它能在一定程度上 對(duì)時(shí)空興趣點(diǎn)特征非線性流形結(jié)構(gòu)進(jìn)行建模。可見，局部約束不但可以降低向量量化誤差， 而且能夠提高非線性流形結(jié)構(gòu)建模能力，降低特征編碼中的表示誤差。
[0039] 空間規(guī)則化的機(jī)理是：在編碼過程中，利用時(shí)空興趣點(diǎn)特征在人體區(qū)域內(nèi)的空間 位置信息，引導(dǎo)視覺單詞的選擇，以區(qū)分不同人體部位動(dòng)作，和對(duì)特征空間位置關(guān)系建模。 在圖3中，來自手臂的時(shí)空興趣點(diǎn)特征（4)，腿部的時(shí)空興趣點(diǎn)特征（5)，具有相似的特征描 述子。對(duì)于相似性時(shí)空興趣點(diǎn)特征，向量量化會(huì)選擇相同的視覺單詞生成了完全相同的編 碼結(jié)果，而產(chǎn)生編碼模糊問題。引入空間規(guī)則化，可以解決這個(gè)問題。下面舉例說明：在圖5 中，圖5(a)是人體骨架示意圖，圖5(b)是來自上臂的時(shí)空興趣點(diǎn)特征（4)和來自腿部的時(shí) 空興趣點(diǎn)特征（5)的編碼過程示意圖。其中，在對(duì)時(shí)空興趣點(diǎn)特征（4)進(jìn)行編碼時(shí)，選擇在 人體區(qū)域內(nèi)與之較近的視覺單詞（6)編碼。與此類似，選擇視覺單詞（7)對(duì)時(shí)空興趣點(diǎn)特 征（5)進(jìn)行編碼。相比圖3中向量量化方法將時(shí)空興趣點(diǎn)特征（4)和（5)量化成一個(gè)視覺 單詞而產(chǎn)生編碼模糊問題，在圖5(b)的編碼結(jié)果中，時(shí)空興趣點(diǎn)特征（4)和（5)被賦予了 不同的視覺單詞，產(chǎn)生了不同的編碼結(jié)果，增強(qiáng)了區(qū)分性，降低了模糊性。此外，由于視覺單 詞中包含了空間位置信息，那么，在編碼結(jié)果中也就包含了輸入特征在人體區(qū)域內(nèi)的位置。 有了這些位置信息，再經(jīng)過特征池（參見第四步）處理后，就可以得到某段視頻中的時(shí)空興 趣點(diǎn)特征在人體區(qū)域內(nèi)的空間位置分布信息。
[0040] 在本發(fā)明中，局部約束與空間規(guī)則化，并不是孤立實(shí)施的，而是同時(shí)引入視覺字典 學(xué)習(xí)與時(shí)空興趣點(diǎn)特征編碼過程中。具體實(shí)現(xiàn)方式，詳見第二步與第三步。
[0041] 本發(fā)明一種人體動(dòng)作識(shí)別中時(shí)空興趣點(diǎn)特征編碼方法，包括以下步驟：
[0042] (1)從人體動(dòng)作視頻集中，提取時(shí)空興趣點(diǎn)特征，并計(jì)算它們?cè)谌梭w區(qū)域中的空間 位置坐標(biāo)；
[0043] 利用時(shí)空興趣點(diǎn)特征提取算法，從人體動(dòng)作視頻中提取時(shí)空興趣點(diǎn)特征；采 用H0G/H0F特征描述子對(duì)這些特征進(jìn)行描述，獲取一組162維的時(shí)空興趣點(diǎn)特征描述子
_其中X丨表示第1個(gè)時(shí)空興趣點(diǎn)特征的H0G/H0F描述子，上標(biāo)f指feature， η是時(shí)空興趣點(diǎn)特征的數(shù)量；接著，提取人體動(dòng)作視頻中人體區(qū)域ROI (ROI，Region of Interest)，以此計(jì)算時(shí)空興趣點(diǎn)特征在人體區(qū)域內(nèi)的位置坐標(biāo)；當(dāng)攝像機(jī)靜止時(shí)，可選用 混合高斯背景減法提取R0I，當(dāng)攝像機(jī)運(yùn)動(dòng)時(shí)，可選用運(yùn)動(dòng)視頻運(yùn)動(dòng)目標(biāo)檢測(cè)方法用于提 取ROI ;獲取ROI后，在ROI中計(jì)算這些時(shí)空興趣點(diǎn)特征的在人體區(qū)域內(nèi)的2維空間位置坐
'其中<表示第1個(gè)時(shí)空興趣點(diǎn)特征的空間位置坐標(biāo)，即ROI中的橫、縱坐 標(biāo)，上標(biāo)s指space，η是時(shí)空興趣點(diǎn)特征的數(shù)量。
[0044] 至此完成步驟一，從人體動(dòng)作視頻集中提取時(shí)空興趣點(diǎn)特征，并獲取時(shí)空興趣點(diǎn) 特征在人體區(qū)域內(nèi)的空間坐標(biāo)。
[0045] (2)以步驟⑴中獲取的時(shí)空興趣點(diǎn)特征及空間位置坐標(biāo)，在字典學(xué)習(xí)過程中，同 時(shí)進(jìn)行空間規(guī)則化和局部約束操作，生成包含位置和特征信息的視覺字典D ;
[0046] 給定時(shí)空興趣點(diǎn)特征描述虧
需要學(xué)習(xí)視覺字典D。D中的每一個(gè)視覺單詞山包含兩部分信息：特征描述信息df和空間 位置信息劣。
M是字典中視覺單詞的數(shù)量。
[0047] 字典學(xué)習(xí)的目標(biāo)函數(shù)定義為：
[0049] 其中，第一項(xiàng)是特征描述域上的重構(gòu)誤差，第二項(xiàng)是空間位置域上的重 構(gòu)誤差，第三項(xiàng)是特征描述域上的局部約束，第四項(xiàng)是空間位置域上的局部約束， 表示第i個(gè)時(shí)空興趣點(diǎn)特征描述子x/與字典Df中視覺單詞
的歐式距離，
表示第i個(gè)時(shí)空興趣點(diǎn)空間位置 < 與字典Ds* 視覺單詞的歐式距離，α，β是控制參數(shù)，Cl是第i個(gè)時(shí)空興趣點(diǎn)特征的特征編碼結(jié)果，η是 用于字典學(xué)習(xí)的時(shí)空興趣點(diǎn)數(shù)量。
[0050]
丨則式（1)可約簡(jiǎn)為 式⑵：
[0051]
(2)
[0052] 其中，第一項(xiàng)是在特征描述域和空間位置域上的表示誤差，等價(jià)于
第二項(xiàng)是特征描述域和空間位置域上的局部約束項(xiàng)，等價(jià)于
是內(nèi)積操作，λ是控制參數(shù)。
[0053] 通過表1中的字典學(xué)習(xí)算法就可以獲取視覺字典D。

[0