一種人體動(dòng)作識(shí)別中時(shí)空興趣點(diǎn)特征編碼方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明主要涉及數(shù)字視頻內(nèi)容理解與分析領(lǐng)域，特指一種人體動(dòng)作識(shí)別中時(shí)空興 趣點(diǎn)特征編碼方法。
【背景技術(shù)】
[0002] 視頻中人體動(dòng)作識(shí)別是通過(guò)從視頻序列中提取能夠描述人體行為動(dòng)作特征的視 覺(jué)信息，利用機(jī)器學(xué)習(xí)算法對(duì)這些信息進(jìn)行分類，以達(dá)到識(shí)別人體行為動(dòng)作的目的。在智能 監(jiān)控、視頻檢索、機(jī)器人控制等方面具有廣闊的應(yīng)用前景。
[0003] 視頻中人體動(dòng)作識(shí)別包含視頻特征提取、動(dòng)作表示、動(dòng)作分類等環(huán)節(jié)。用于動(dòng)作識(shí) 別的視頻特征主要有：人體模型、全局特征和局部特征。與人體模型和全局特征相比，局部 特征具有提取簡(jiǎn)單，抗干擾能力強(qiáng)，魯棒性好等優(yōu)點(diǎn)，而得以廣泛關(guān)注和重視。這類基于局 部特征的人體動(dòng)作識(shí)別方法，通常以特征袋（BoF, Bag of Features)模型為基礎(chǔ)，提取視頻 中的時(shí)空興趣點(diǎn)特征作為局部特征（如圖1所示，位于行人腿部區(qū)域的白色圓圈即時(shí)空興 趣點(diǎn)特征），通過(guò)K-means聚類生成局部特征視覺(jué)字典，再通過(guò)向量量化對(duì)局部特征進(jìn)行編 碼，然后統(tǒng)計(jì)每段視頻的視覺(jué)單詞直方圖作為視頻表示向量，最后設(shè)計(jì)分類器進(jìn)行人體動(dòng) 作分類。
[0004] 在視覺(jué)字典構(gòu)建和局部特征編碼方面，通常采用K-means聚類算法進(jìn)行字典學(xué) 習(xí)，向量量化算法進(jìn)行時(shí)空興趣點(diǎn)特征編碼。但是，這種時(shí)空興趣點(diǎn)特征編碼方法，在人體 動(dòng)作識(shí)別中存在以下不足。第一，向量量化簡(jiǎn)單地為時(shí)空興趣點(diǎn)特征選擇與它最近的視覺(jué) 單詞作為其編碼結(jié)果。如圖2所示，在對(duì)時(shí)空興趣點(diǎn)特征（1)編碼時(shí)，向量量化只選擇了一 個(gè)視覺(jué)單詞（2)進(jìn)行編碼，這會(huì)產(chǎn)生較大的量化誤差。（注：在圖2、圖3、圖4和圖5中，箭 頭所指向的視覺(jué)單詞是在特征編碼過(guò)程中被選中的視覺(jué)單詞，反之，未被箭頭指向的視覺(jué) 單詞則在編碼過(guò)程中未被選中）。第二，時(shí)空興趣點(diǎn)特征在其表示空間中的分布表現(xiàn)為非線 性流形（3)，向量量化難以對(duì)非線性流形（3)結(jié)構(gòu)建模。第三，為了區(qū)分不同人體部位的動(dòng) 作，來(lái)自于不同人體部位的時(shí)空興趣點(diǎn)特征應(yīng)該給予不同的編碼，但是，向量量化卻給予來(lái) 自不同人體部位的相似性時(shí)空興趣點(diǎn)相同的編碼。如圖3所示，來(lái)自手臂的時(shí)空興趣點(diǎn)特 征4和來(lái)自腿部的時(shí)空興趣點(diǎn)特征5,在向量量化過(guò)程中，被給予相同的視覺(jué)單詞，得到了 相同的編碼結(jié)果。這樣的編碼，不利于區(qū)分不同人體部位的動(dòng)作。第四，在人體區(qū)域中，不同 動(dòng)作所產(chǎn)生的時(shí)空興趣點(diǎn)特征的空間位置分布不同，利用時(shí)空興趣點(diǎn)特征空間位置分布信 息，可以有效提高人體動(dòng)作識(shí)別的精度。但是，向量量化只利用了它們的特征描述信息，而 忽視了它們?cè)谌梭w區(qū)域內(nèi)的位置信息，因此，不能對(duì)時(shí)空興趣點(diǎn)特征的空間位置分布建模。 其中，前兩個(gè)不足可以概括為表示誤差較大的問(wèn)題，表現(xiàn)為量化誤差大、對(duì)非線性流形表示 的精度差。第三個(gè)不足可以認(rèn)為是編碼模糊問(wèn)題，表現(xiàn)為給來(lái)自不同人體部位的時(shí)空興趣 點(diǎn)特征賦予相同的編碼結(jié)果。第四個(gè)是丟失空間位置關(guān)系問(wèn)題，表現(xiàn)為不能對(duì)時(shí)空興趣點(diǎn) 特征的空間位置關(guān)系建模。

【發(fā)明內(nèi)容】

[0005] 針對(duì)現(xiàn)有技術(shù)中存在的缺陷，本發(fā)明的目的是提供一種人體動(dòng)作識(shí)別中時(shí)空興趣 點(diǎn)特征編碼方法。本發(fā)明解決的技術(shù)問(wèn)題在于：在基于BoF模型的視頻人體動(dòng)作識(shí)別中，通 過(guò)向量量化對(duì)時(shí)空興趣點(diǎn)特征進(jìn)行編碼，以獲取視頻表示向量的過(guò)程中，所存在的表示誤 差大、編碼模糊、丟失空間位置信息的問(wèn)題。
[0006] 本發(fā)明其基本思路是：為了降低量化誤差，并對(duì)時(shí)空興趣點(diǎn)特征的非線性流形結(jié) 構(gòu)建模，在特征編碼過(guò)程中，引入局部約束機(jī)制；為了提高編碼結(jié)果對(duì)來(lái)自不同人體部位的 時(shí)空興趣點(diǎn)特征的區(qū)分能力，以及對(duì)時(shí)空興趣點(diǎn)特征的空間位置分布關(guān)系進(jìn)行建模，在編 碼過(guò)程中，引入空間規(guī)則化機(jī)制。引入局部約束機(jī)制，可以提高特征編碼精度，降低表示誤 差。引入空間規(guī)則化機(jī)制，可以減弱編碼模糊問(wèn)題，和對(duì)時(shí)空興趣點(diǎn)特征空間位置關(guān)系建 模。對(duì)人體動(dòng)作識(shí)別測(cè)試實(shí)驗(yàn)表明，該編碼方法能夠有效提高基于BoF模型的人體動(dòng)作識(shí) 別的精度。
[0007] 具體地，本發(fā)明所采用的技術(shù)方案是：
[0008] 在特征編碼過(guò)程中，引入了局部約束用于降低表示誤差，引入空間規(guī)則化，用于減 弱編碼結(jié)果的模糊性，以及實(shí)現(xiàn)時(shí)空興趣點(diǎn)特征空間位置關(guān)系建模。其中，為實(shí)現(xiàn)空間規(guī)則 化，在時(shí)空興趣點(diǎn)特征提取過(guò)程中，除提取時(shí)空興趣點(diǎn)特征的特征描述信息外，還提取時(shí)空 興趣點(diǎn)特征在人體區(qū)域內(nèi)的空間位置信息；在視覺(jué)字典生成過(guò)程中，引入空間規(guī)則化，使所 獲取的視覺(jué)單詞具有空間位置信息。并且，為了提高視覺(jué)字典對(duì)時(shí)空興趣點(diǎn)特征非線性流 形結(jié)構(gòu)的表示精度，在視覺(jué)字典生成過(guò)程中，也引入局部約束機(jī)制。
[0009] -種人體動(dòng)作識(shí)別中時(shí)空興趣點(diǎn)特征編碼方法，包括以下步驟：
[0010] 第一步，從人體動(dòng)作視頻集中，提取時(shí)空興趣點(diǎn)特征，并計(jì)算它們?cè)谌梭w區(qū)域中的 空間位置坐標(biāo)：
[0011] 利用時(shí)空興趣點(diǎn)特征提取算法，從人體動(dòng)作視頻中提取時(shí)空興趣點(diǎn)特征；采 用H0G/H0F特征描述子對(duì)這些特征進(jìn)行描述，獲取一組162維的時(shí)空興趣點(diǎn)特征描述子
其中.xf是第i個(gè)時(shí)空興趣點(diǎn)特征的H0G/H0F描述子，上標(biāo)f 即feature的 意思，η表示時(shí)空興趣點(diǎn)特征的數(shù)量；接著，在視頻中提取人體區(qū)域，以此計(jì)算時(shí)空興趣點(diǎn) 特征在人體區(qū)域內(nèi)的位置坐標(biāo)
_，其中X:是第i個(gè)時(shí)空興趣點(diǎn)特征在ROI中的 2維空間位置坐標(biāo)，上標(biāo)s即space的意思，η是時(shí)空興趣點(diǎn)特征數(shù)量。
[0012] 第二步，以步驟（1)中獲取的時(shí)空興趣點(diǎn)特征及空間位置坐標(biāo)，在字典學(xué)習(xí)過(guò)程 中，同時(shí)進(jìn)行空間規(guī)則化和局部約束操作，生成包含位置和特征信息視覺(jué)字典D。
[0013] D中的每一個(gè)視覺(jué)單詞山包含兩部分信息：特征描述信息和空間位置信息劣:，
，M是字典中視覺(jué)單詞的數(shù)量。
[0014] 字典學(xué)習(xí)的目標(biāo)函數(shù)定義為：
[0015]
[0016] 其中，第一項(xiàng)是特征描述域上的重構(gòu)誤差，第二項(xiàng)是空間位置域上的重 構(gòu)誤差，第三項(xiàng)是特征描述域上的局部約束，第四項(xiàng)是空間位置域上的局部約束，
表示第i個(gè)時(shí)空興趣點(diǎn)特征描述子x/與字典Df中視覺(jué)單詞 的歐式距湊
表示第i個(gè)時(shí)空興趣點(diǎn)空間位置< 與字典Ds* 視覺(jué)單詞的歐式距離，α，β是控制參數(shù)，Cl是第i個(gè)時(shí)空興趣點(diǎn)特征的特征編碼結(jié)果，η是 用于字典學(xué)習(xí)的時(shí)空興趣點(diǎn)數(shù)量；
[0017] 再4
字典學(xué)習(xí)的目標(biāo) 函數(shù)簡(jiǎn)化為：
[0018]
[0019] 其中，第一項(xiàng)是在特征描述域和空間位置域上的表示誤差，第二項(xiàng)是特征描述域 和空間位置域上的局部約束項(xiàng)，Θ是內(nèi)積操作，η表示用于字典學(xué)習(xí)的時(shí)空興趣點(diǎn)特征數(shù) 量，λ為控制參數(shù)，字典學(xué)習(xí)目標(biāo)函數(shù)采用迭代優(yōu)化算法求解。本發(fā)明采用的算法如表1所 不。
[0020] 第三步，根據(jù)第二步中學(xué)習(xí)到的視覺(jué)字典D，在特征編碼過(guò)程中，同時(shí)采用空間規(guī) 則化和局部約束進(jìn)行特征編碼，其目標(biāo)函數(shù)定義為：
[0021]
[0022] 其中，第一項(xiàng)
：是特征描述子表示誤差，第二項(xiàng)
是特征描述域上 的局部約束，第三項(xiàng)
是空間位置域上的局部約束

，A1, λ2是控制參數(shù)，通過(guò)凸優(yōu)化得到編碼結(jié)果c。
[0023] 第四步，根據(jù)（3)中的編碼結(jié)果，利用最大特征池方法，獲得每一段視頻的表示向 量。
[0024] 為了獲取整段視頻的表示向量，利用最大池函數(shù)ζ = ξ _(〇, ξ _表示對(duì)C按行 取絕對(duì)值最大值組