專利名稱：基于第二代條帶波變換圖像特征表示和人體運動跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計算機視覺及視頻圖像處理技術(shù)領(lǐng)域，主要涉及視頻圖像特征紋理表示方法，具體是一種基于第二代條帶波變換圖像特征表示和人體運動跟蹤方法，用于視頻人體運動跟蹤和三維姿勢恢復(fù)。
背景技術(shù)：
視頻人體運動跟蹤是近二十年內(nèi)計算機視覺領(lǐng)域的重大熱點之一，人物是核心的內(nèi)容，反映著圖像的核心語義特征。此類技術(shù)已在運動捕獲，人機交互，視頻監(jiān)控等多領(lǐng)域獲得了初步的應(yīng)用，并具重大的應(yīng)用前景。對視頻人體運動跟蹤的理解和解譯屬于視頻圖像處理范疇，還涉及模式識，別機器學(xué)習(xí)及信號處理，等眾多學(xué)科。三維人體運動跟蹤和姿勢恢復(fù)一系列的研究是計算機視覺領(lǐng)域一個長期存在，重要而距離徹底解決尚很遙遠的問題。對人類來說，觀看一幅圖像時幾乎可以瞬間理解其中人物的姿態(tài)；然而對于計算機來說，這種理解需要克服重重困難，必需要一種有效的圖像特征表征其中的人物運動狀態(tài)以及圖像紋理，輪廓等細節(jié)信息，作為計算機的識別接口。在運動跟蹤過程中，需要將運動跟蹤判定方法和圖像特征表示結(jié)合使用達到對人體的運動跟蹤和三維姿勢恢復(fù)?，F(xiàn)有的運動跟蹤中使用的跟蹤判定方法大致可分為產(chǎn)生式和判別式。圖像特征表示方法大致可以分為基于全局特征點方法和基于局部字碼表的特征表示方法，如梯度直方特征(HOG)、層級化特征(HMAX)、形狀上下文、及尺度不變性特征點的方法等。目前已經(jīng)有很多成熟的圖像特征表示方法被運用到人體特征表示和運動跟蹤中。 但是大部分描述人體的圖像特征表示是基于輪廓和邊緣信息的，在理論上不嚴格，很難較好地刻畫圖像內(nèi)部信息。同時在此類基于邊緣的方法中還面臨一個主要問題，圖像快變經(jīng)常不對應(yīng)于沿邊緣曲線的不連續(xù)性跳躍，一方面導(dǎo)致封閉邊界的灰度不連續(xù)性模糊，另一方面規(guī)劃出的紋理變化不沿幾何曲線聚集。最終結(jié)果是無法有效表示圖像中的幾何紋理走向，不能全面刻畫人在其中的姿態(tài)和特征信息，對于后期的運動跟蹤和恢復(fù)產(chǎn)生了模糊性和歧義性。本發(fā)明的發(fā)明人就本主題在互聯(lián)網(wǎng)上和論文數(shù)據(jù)庫中進行了檢索，未發(fā)現(xiàn)與本發(fā)明有完全相同的方法文獻及報道。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服上述已有技術(shù)的不足，提出了一種基于第二代條帶波變換圖像特征表示和人體運動跟蹤方法，以降低圖像特征提取的復(fù)雜度，提高特征的表征能力， 并在圖像數(shù)據(jù)分布未知情況下，通過學(xué)習(xí)先驗進行準確的姿態(tài)預(yù)測。本發(fā)明的技術(shù)方案通過如下步驟實現(xiàn)視頻圖像處理具體包括(1)輸入待處理訓(xùn)練及測試視頻圖像集轉(zhuǎn)換為連續(xù)單幅序列圖，根據(jù)圖像內(nèi)容，判斷需要識別的主要人體目標，提取出含有人體的矩形框體，統(tǒng)一圖像大小，統(tǒng)一將每幅圖像大小轉(zhuǎn)換為近似于人體運動比例的64X192像素的初始圖像，作為之后處理的訓(xùn)練樣本。
(2)對每個訓(xùn)練樣本圖像進行二維離散正交小波變換，小波變換的層數(shù)為L = 1。(3)對小波變換后的圖像，根據(jù)四叉樹劃分和自底向上融合法則，得到最優(yōu)的條帶波子塊，因在對訓(xùn)練樣本提取全部描述子之前需要對其進行紋理分析，故提取最優(yōu)幾何流的條帶波特征。(4)使用一維離散變換，按最優(yōu)方向投影誤差值從小到大重排步驟2中得到的采樣信息，得到變換后信號f"(5)計算f 0的量化值么，量化公式為
權(quán)利要求
1.一種基于第二代條帶波變換圖像特征表示和人體運動跟蹤方法，其特征在于包括以下步驟(1)輸入待處理訓(xùn)練及測試視頻圖像集轉(zhuǎn)換為連續(xù)單幅序列圖，根據(jù)圖像內(nèi)容，判斷需要識別的主要人體目標，提取出含有人體的矩形框體，作為之后處理的訓(xùn)練樣本；(2)對每個訓(xùn)練樣本圖像進行二維離散正交小波變換，變換的層數(shù)為L=I;(3)對小波變換后的圖像，根據(jù)四叉樹劃分和自底向上融合法則，得到最優(yōu)的條帶波子塊，提取最優(yōu)幾何流的條帶波特征；(4)使用一維離散變換，按最優(yōu)方向投影誤差值從小到大重排步驟2中得到的采樣信息，得到變換后信號f0 ；(5)計算f0的量化值量化公式為
2.根據(jù)權(quán)利要求1所述的基于第二代條帶波變換圖像特征表示和人體運動跟蹤方法， 特征在于步驟(3)中對最優(yōu)幾何流的條帶波特征的提取步驟包括有(3. 1)對于初始圖像中寬度為L的子塊S，計算其最優(yōu)幾何流方向，最優(yōu)方向可以通過優(yōu)化一個拉格朗日罰函數(shù)Ltl (S)確定
3.根據(jù)權(quán)利要求1所述的基于第二代條帶波變換圖像特征表示和人體運動跟蹤方法， 特征在于步驟(4)中重排步驟( 得到的采樣信息的步驟包括有(4. 1)將每一子塊內(nèi)所有的點按照最優(yōu)方向投影誤差值從小到大排序，可以得到一個 L2長度大小的排序索引；(4. 2)將小塊內(nèi)的二維離散小波變換后的系數(shù)按索引重排序，得到一個一維信號fd ；(4. 3)將fd進行一維離散小波變換，得到變換后信號f 0。
4.根據(jù)權(quán)利要求1所述的基于第二代條帶波變換圖像特征表示和人體運動跟蹤方法， 特征在于步驟(8)中人體運動姿勢的機器學(xué)習(xí)跟蹤和三維姿勢恢復(fù)的步驟包括有(8. 1)利用高斯過程學(xué)習(xí)訓(xùn)練圖像Bandelet2最大值特征X = Ix1, x2,... xj和對應(yīng)三維姿勢坐標點數(shù)據(jù)Y = Iy1,y2,... yn}的映射關(guān)系；回歸過程學(xué)習(xí)到核函數(shù)的相應(yīng)參數(shù)和特征空間至姿勢狀態(tài)空間的映射關(guān)系/: Χ^^Υ；(8.2)對于新的測試人體運動圖像序列，提取相應(yīng)Bandelet〗特征X'= χ' 1； X' 2，...，x' J，根據(jù)學(xué)習(xí)到的映射關(guān)系f，求解測試樣本所對應(yīng)的三維人體運動姿勢數(shù)據(jù) Y' = (y' 2，···，y' n}；(8.3)由得到視頻人體運動跟蹤的結(jié)果Y'= {y' i;y' 2，. . .，y' n}，可以準確恢復(fù)輸入視頻人體運動，包含20個關(guān)節(jié)點的空間三維運動姿勢。
全文摘要
本發(fā)明公開了一種基于第二代條帶波變換圖像特征表示和人體運動跟蹤方法，主要解決現(xiàn)有特征提取基于人體輪廓和邊緣模糊性，不能反映內(nèi)在圖像的幾何流向與紋理等一些缺陷的問題。其實現(xiàn)過程是輸入待處理視頻圖像，提取人體部位框圖；對圖像進行二維多尺度小波變換；利用四叉樹劃分和自底向上融合法則尋找最優(yōu)幾何流方向；對量化后的最優(yōu)幾何流方向信號做一維小波變換，重組為二維形式，得到Bandelet2系數(shù)矩陣；提取最大幾何流統(tǒng)計特征作為最終圖像特征表示；由回歸過程學(xué)習(xí)圖像特征到三維運動數(shù)據(jù)的映射關(guān)系，對新的訓(xùn)練視頻圖像預(yù)測并恢復(fù)三維姿態(tài)。本發(fā)明跟蹤快速，結(jié)果精確，計算量小，減小了圖像表示的模糊，可用于人體目標識別和三維姿勢重建。
文檔編號G06T7/20GK102270345SQ20111014849
公開日2011年12月7日 申請日期2011年6月2日 優(yōu)先權(quán)日2011年6月2日
發(fā)明者馮光潔, 王瑞, 茍靖翔, 韓紅 申請人:西安電子科技大學(xué)