一種基于kinect的運動人體姿態(tài)識別方法
【專利摘要】本發(fā)明提供了一種基于kinect的運動人體姿態(tài)識別方法，它包括以下步驟:定義姿態(tài)的行為模式、訓練姿態(tài)序列樣本采集、樣本姿態(tài)序列的特征提取和歸一化、樣本姿態(tài)特征的降維、訓練多類姿態(tài)分類機、對新的姿態(tài)序列進行識別。本發(fā)明同時還具有以下有益效果：(1) 本發(fā)明可以識別出輸入姿態(tài)序列的整體含義，與傳統(tǒng)的方法相比，能夠識別的含義更加豐富，也更加接近人際交流的層次。(2) 本發(fā)明與傳統(tǒng)的識別特定姿態(tài)的算法相比，更加泛用。(3) 本發(fā)明提出一種對用戶體型和位置不變的特征表示方法，能夠更加真實地反映出人體姿態(tài)本身的變化，因此提高了姿態(tài)識別的正確性。(4) 本發(fā)明與傳統(tǒng)的基于數(shù)據(jù)庫搜索的方法相比，具有更高的識別效率。
【專利說明】-種基于kinect的運動人體姿態(tài)識別方法

【技術(shù)領域】
[0001] 本發(fā)明涉及一種基于kinect的人體姿態(tài)識別方法。

【背景技術(shù)】
[0002] 讓計算機像人類一樣對世間的文字、語言，乃至現(xiàn)象進行理解是人工智能的重要 目標之一。隨著人工智能技術(shù)的發(fā)展，文字識別，語音識別等技術(shù)已經(jīng)逐步成熟，但在對人 類姿態(tài)進行理解方面，仍然存在非常大的困難。其原因在于一直以來，與文字，聲音等信號 相比，人體姿態(tài)識別的基礎，即人體姿態(tài)描述形式仍然沒有一個定論。雖然一些學者提出了 在視頻中提取人體部件的算法，但是由于視頻會受到光照，人穿著的衣服的影響，導致這些 算法存在著較大的局限性。
[0003] 近幾年，微軟公司推出了一款名為kinect的產(chǎn)品。這款集動態(tài)捕捉、影音識別、社 群互動等多項相關技術(shù)為一體的體感傳感器大大帶動了與圖形圖像相關的產(chǎn)業(yè)以及學術(shù) 研究領域的發(fā)展。更重要的是，這款產(chǎn)品提供了實時地表示人體姿態(tài)的方法，能夠比較準確 的檢測到人體的空間位置，并用三維鏈式骨骼系統(tǒng)對檢測到的人體姿態(tài)進行表示。這種快 速有效的人體姿態(tài)描述方法的誕生，為人體姿態(tài)的識別帶來了曙光。
[0004] 現(xiàn)有的人體姿態(tài)識別算法往往都是對人體所處的某一時刻的"狀態(tài)"進行識別，這 類方法能夠很準確地識別出"舉手"、"抬腿"等簡單的靜態(tài)姿態(tài)。但在自然的人際交流場景 中，人類傾向于使用一系列的動作組合表示出更為復雜的含義。對于這種一連串動作組成 的動態(tài)姿態(tài)進行識別，是當前人體姿態(tài)識別研究領域的研究重點與難點。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明所要解決的技術(shù)內(nèi)容是提供一種基于kinect的運動人體姿態(tài)識別方法。 通過對事先定義好的幾類姿態(tài)進行訓練，本發(fā)明可以自動地對kinect捕捉的運動人體姿 態(tài)序列所表示的意義進行識別。為此本發(fā)明采用以下技術(shù)方案，它包括以下步驟：
[0006] (1)、根據(jù)用戶的要求，事先定義數(shù)種運動姿態(tài)的行為模式；
[0007] (2)、令不同人表演（1)中定義的運動姿態(tài)，錄制與每個預定義姿態(tài)行為對應的多 個姿態(tài)序列，作為識別算法的訓練樣本；
[0008] (3)、計算每種運動姿態(tài)的相同長度的代表子片段，并對片段中的每一幀進行特征 提?。?br> [0009] (4)、對（3)中得到的所有訓練樣本的歸一化的姿態(tài)特征進行降維處理，得到每個 樣本的低維特征表示的同時，保存每個特征對應的基向量；
[0010] (5)、將（4)中得到的每個訓練樣本的低維特征和其對應的姿態(tài)類別作為輸入，使 用SVM算法訓練特征分類器；
[0011] ￠)、對于kinect捕獲的一組新的姿態(tài)序列，使用（3)中的方法對其進行特征提取 后，將特征投影到（4)中得到的基向量上進行降維，并將得到的低維特征輸入（5)中得到的 多類分類器，將分類器輸出的結(jié)果作為該姿態(tài)序列的識別結(jié)果。
[0012] 在采用以上技術(shù)方案的基礎上，本發(fā)明還可以采用以下進一步方案：
[0013] 使用kinect錄制用戶表演的預定義姿態(tài)，對于捕獲的每一幀深度圖像，將其中屬 于人體的區(qū)域分割出來，并使用人體部件檢測算法對人體的部件進行劃分。
[0014] 進一步的，對每種運動姿態(tài)尋找相同長度的代表子片段步驟，使用了貪心算法計 算每類姿態(tài)中與其他類別姿態(tài)相關程度最小的姿態(tài)片段作為該姿態(tài)的代表片段，完成姿態(tài) 序列長度歸一化。
[0015] 進一步的，對姿態(tài)序列進行特征提取步驟中，使用每根骨骼的相對增量旋轉(zhuǎn)的四 元數(shù)定義每一幀的人體姿態(tài)，其中對于骨骼i，相對增量旋轉(zhuǎn)為其相對于初始骨架中對應 骨骼的旋轉(zhuǎn)氏和其前一級骨骼j對應的旋轉(zhuǎn)L之間的旋轉(zhuǎn)增量：(Lr 1Rp
[0016] 進一步的，使用PCA算法對所有姿態(tài)樣本的整個姿態(tài)序列特征進行降維，并使用 cross validation方法選擇降維度
[0017] 由于本發(fā)明的技術(shù)方案，本發(fā)明同時還具有以下有益效果：
[0018] (1)本發(fā)明可以識別出輸入姿態(tài)序列的整體含義，與傳統(tǒng)的方法相比，能夠識別的 含義更加豐富，也更加接近人際交流的層次。
[0019] (2)本發(fā)明可以支持用戶自定義需要識別的姿態(tài)，與傳統(tǒng)的識別特定姿態(tài)的算法 相比，更加泛用。
[0020] (3)由于本發(fā)明提出了一種對用戶體型和位置不變的特征表示方法，能夠更加真 實地反映出人體姿態(tài)本身的變化，因此提高了姿態(tài)識別的正確性。
[0021] (4)本發(fā)明由于事先使用訓練算法對各種類姿態(tài)序列的樣本進行學習，因此在判 斷一個新來的姿態(tài)序列所屬類別的時候，只需要進行一系列簡單的線性運算即可得到分類 結(jié)果，與傳統(tǒng)的基于數(shù)據(jù)庫搜索的方法相比，具有更高的識別效率。

【專利附圖】

【附圖說明】
[0022] 圖1為本發(fā)明所提供的方法的整體流程圖。
[0023] 圖2為kinect提取的人體鏈式骨骼系統(tǒng)圖示。
[0024] 圖3為使用Iibsvm進行訓練分類模型得到的模型信息。
[0025] 圖4為用戶自定義的姿態(tài)模式。
[0026] 圖5為用戶自定義的每個姿態(tài)的平均幀數(shù)。
[0027] 圖6表示對使用不同長度的特征訓練的分類器進行測試，每組動作選擇6個測試 樣本，我們選擇測試正確率最高的作為最終的特征維數(shù)。
[0028] 圖7為分類器的測試結(jié)果。

【具體實施方式】
[0029] 圖1是本發(fā)明的基本流程圖，通過對事先定義好的幾類姿態(tài)進行訓練，使用訓練 過程中得到的基向量和線性分類器，本發(fā)明可以自動地對kinect捕捉的人體姿態(tài)序列所 表示的意義進行識別。下面對本發(fā)明的各個流程進行詳細說明：
[0030] (1)、定義姿態(tài)的行為模式：
[0031] 首先必須聲明，本發(fā)明允許用戶自己預定義不同種類、數(shù)量的姿態(tài)，以滿足不同用 戶的需求。在本說明書中，結(jié)合當前互動游戲的需求，定義了 9種不同的行為。具體動作規(guī) 范如圖4所示。
[0032] (2)、訓練姿態(tài)序列樣本采集：
[0033] 在定義了姿態(tài)行為后，需要收集每個姿態(tài)所對應的訓練樣本。如圖2所示，使用 kinect對預定義姿態(tài)進行采集，使用其自帶的三維鏈式骨骼系統(tǒng)記錄每種姿態(tài)的行為。為 了讓系統(tǒng)能夠適應不同用戶在執(zhí)行特定姿態(tài)時出現(xiàn)的差異，對于每一個姿態(tài)，請3到5個不 同身材的人員進行多次表演。將采集的所有數(shù)據(jù)的60%作為訓練用數(shù)據(jù)，40%作為測試數(shù) 據(jù)。為了訓練數(shù)據(jù)的平衡性，保證每一類姿態(tài)下的訓練樣本數(shù)目盡量相同。對人體部件進 行如圖2中所示的連接，得到用"圖"表示的人體姿態(tài)。
[0034] (3)、樣本姿態(tài)序列的特征提取和歸一化：
[0035] 首先需要明確姿態(tài)序列中每幀靜態(tài)姿態(tài)的表示。kinect的三維骨架使用了 15個 頂點的3維位置表示人體運動姿態(tài)，但是這種表示方式會受到人的位置和身材的影響，并 不能很好地表示姿態(tài)本身。為此，需構(gòu)造一種對用戶體型和位置不變的特征表示。首先定 義一個自然姿態(tài)的初始三維骨架，并將kinect捕獲的任意姿態(tài)表示為該姿態(tài)下每段骨骼 的相對增量旋轉(zhuǎn)，并使用四元數(shù)進行表示。其中對于骨骼i，相對增量旋轉(zhuǎn)為其相對于初始 骨架中對應骨骼的旋轉(zhuǎn)氏和其前一級骨骼j對應的旋轉(zhuǎn)L之間的旋轉(zhuǎn)增量：O^r 1Rp
[0036] 如圖5所示，完成不同的姿態(tài)需要花費的時間差異會導致捕獲的姿態(tài)序列的幀 數(shù)不盡相同，因此需要對姿態(tài)序列進行歸一化處理。
[0037] 本發(fā)明思路是：因為不同姿態(tài)序列的長度不一致，所以采用序列片段代表整體 姿態(tài)序列的方法，其中某類姿態(tài)的代表片段是某類姿態(tài)序列中連續(xù)的一段姿態(tài)，而且是 與其他類別的姿態(tài)序列區(qū)分度最大的一段姿態(tài)。設姿態(tài)類別數(shù)為N，代表片段長度為T， 對第i類姿態(tài)，其代表片段起始幀為該類完整姿態(tài)序列的第4幀，則代表片段可以表示 為一個T維的向量，記為V i (Α，Τ)。則每類代表片段的計算方法可以轉(zhuǎn)化為優(yōu)化問題： arg min Il γο/τ(V1 (./;，Γ)，…，V、（/,、，Π ) 111。其中，使用 c〇rr 計算片 性，0表示不相關，1表示完全一致。通過優(yōu)化上式，可以找到每類姿態(tài)序列中與其他類區(qū)分 度最大的片段。
[0038] 實驗中手動選擇T = 40,并使用貪心算法對代表片段進行優(yōu)化。在實驗中發(fā)現(xiàn)， 使用連續(xù)的T幀作為代表片段并不比從T幀中采樣數(shù)幀作為代表片段的姿態(tài)識別正確率更 高，但卻會大大增加計算量。因此實際保存代表片段時，每5幀取一關鍵幀，每類姿態(tài)只取 8幀作為代表片段。
[0039] (4)、樣本姿態(tài)特征的降維：
[0040] 通過（3)的處理，所有的姿態(tài)樣本都表示為相同長度的特征向量。但是，通過實 驗，發(fā)現(xiàn)數(shù)據(jù)在原始特征空間并沒有很好的區(qū)分度。因此我們對姿態(tài)特征向量進行了降維 處理。將所有訓練樣本的特征向量輸入PCA算法進行訓練，保存最大的數(shù)個特征向量作為 基向量，對應地，將每個訓練樣本在基向量上的投影作為該樣本的降維表示。由于不同用戶 預定義的姿態(tài)并不相同，無法給出最優(yōu)的特征維數(shù)，對此的做法是：如圖6所示，使用cross validation算法選擇基向量的個數(shù)。
[0041] (5)、訓練多類姿態(tài)分類機：
[0042] 將每個訓練樣本的低維特征和其對應的姿態(tài)類別作為輸入，訓練特征分類器。使 用支持向量機算法，具體使用了通用的Iibsvm庫建立了對9類預定義姿態(tài)分類的模型，模 型信息如圖3所示。
[0043] (6)、對新的姿態(tài)序列進行識別：
[0044] 在實際檢測動作的時候，會輸入一段很長的序列，甚至是實時的，對序列進行逐幀 檢測，對當前幀+后續(xù)40幀進行采樣，使用（3)中的方法對其進行特征提取后，將特征投影 至IJ (4)中得到的基向量上進行降維，并將得到的低維特征輸入（5)中得到的多類分類器，將 分類器輸出的結(jié)果作為該姿態(tài)序列的識別結(jié)果。我們將（2)中采集的所有數(shù)據(jù)的40%進行 分類測試。圖7為數(shù)據(jù)測試結(jié)果。
【權(quán)利要求】
1. 一種基于kinect的運動人體姿態(tài)識別方法，其特征在于它包括以下步驟： (1) 、根據(jù)用戶的要求，事先定義數(shù)種運動姿態(tài)的行為模式； (2) 、令不同人表演（1)中定義的姿態(tài)，錄制與每個預定義姿態(tài)行為對應的多個姿態(tài)序 列，作為識別算法的訓練樣本； (3) 、計算每種運動姿態(tài)的相同長度的代表子片段，并對片段中的每一幀進行特征提 ??； (4) 、對（3)中得到的所有訓練樣本的歸一化的姿態(tài)特征進行降維處理，得到每個樣本 的低維特征表示的同時，保存每個特征對應的基向量； (5) 、將（4)中得到的每個訓練樣本的低維特征和其對應的姿態(tài)類別作為輸入，使用 SVM算法訓練特征分類器； (6) 、對于kinect捕獲的一組新的姿態(tài)序列，使用（3)中的方法對其進行特征提取后， 將特征投影到（4)中得到的基向量上進行降維，并將得到的低維特征輸入（5)中得到的多 類分類器，將分類器輸出的結(jié)果作為該姿態(tài)序列的識別結(jié)果。
2. 如權(quán)利要求1所述的一種基于kinect的人體姿態(tài)識別方法，其特征在于：使用 kinect錄制用戶表演的預定義姿態(tài)，對于捕獲的每一幀深度圖像，將其中屬于人體的區(qū)域 分割出來，并使用人體部件檢測算法對人體的部件進行劃分。
3. 如權(quán)利要求1所述的一種基于kinect的人體姿態(tài)識別方法，其特征在于：對每種運 動姿態(tài)尋找相同長度的代表子片段步驟，使用了貪心算法計算每類姿態(tài)中與其他類別姿態(tài) 相關程度最小的姿態(tài)片段作為該姿態(tài)的代表片段，完成姿態(tài)序列長度歸一化。
4. 如權(quán)利要求1所述的一種基于kinect的人體姿態(tài)識別方法，其特征在于：對姿態(tài)序 列進行特征提取步驟中，使用每根骨骼的相對增量旋轉(zhuǎn)的四元數(shù)定義每一幀的人體姿態(tài)， 其中對于骨骼i，相對增量旋轉(zhuǎn)為其相對于初始骨架中對應骨骼的旋轉(zhuǎn)A和其前一級骨骼 J對應的旋轉(zhuǎn)&之間的旋轉(zhuǎn)增量= W1A。
5. 如權(quán)利要求1所述的一種基于kinect的人體姿態(tài)識別方法，其特征在于：使用PCA 算法對所有姿態(tài)樣本的整個姿態(tài)序列特征進行降維，并使用cross validation方法選擇降 維度。
【文檔編號】G06K9/00GK104517097SQ201410495282
【公開日】2015年4月15日 申請日期:2014年9月24日 優(yōu)先權(quán)日:2014年9月24日
【發(fā)明者】童若鋒, 王兆坤 申請人:浙江大學