一種多維加權的3d動態(tài)手勢識別方法
【專利摘要】本發(fā)明公開了一種多維加權的3D動態(tài)手勢識別方法，在訓練階段，首先對標準手勢進行分割，獲得標準手勢的特征向量，然后進行坐標系轉換、歸一化處理、平滑處理、降采樣以及差分處理，得到一個標準手勢的特征向量集以及其中各關節(jié)點的權值和元素各維的權值，這樣構建出標準手勢樣本庫。在識別階段，采用多維加權動態(tài)時間規(guī)整算法計算待識別手勢的特征向量集分別與標準手勢樣本庫中的各個標準手勢的特征向量集c＝1,2,…,C的動態(tài)規(guī)整距離，在計算代價矩陣C第(m,n)個元素s(m,n)時，考慮關節(jié)點的權值以及元素中各維的權值，去掉了對手勢識別無貢獻的關節(jié)點和坐標維數(shù)，有效去掉了關節(jié)抖動、人體誤動作對手勢識別造成的干擾，提高了算法的抗干擾能力，最終提高的手勢識別的正確率和實時性。
【專利說明】一種多維加權的3D動態(tài)手勢識別方法

【技術領域】
[0001] 本發(fā)明屬于模式識別與智能系統(tǒng)、計算機視覺與人機交互【技術領域】，更為具體地 講，涉及一種多維加權的3D動態(tài)手勢識別方法。

【背景技術】
[0002] 人機交互領域經(jīng)歷過兩次革命，第一次是1983年鼠標的出現(xiàn)，讓人們從基于鍵盤 的一維命令行進入到了基于鼠標的二維圖形界面。第二次是觸摸屏技術的產(chǎn)生，將顯示和 輸入融為一體，使人們逐漸熟悉多點觸控的交互方式。觸摸屏技術的發(fā)展，也帶動了其他新 型交互方式和設備的探索和研究。
[0003] 可以認為，人機交互方式的轉變與科技進步和社會的發(fā)展是密切聯(lián)系的。從傳統(tǒng) 遙控器、鼠標、鍵盤輸入方式到現(xiàn)在的手寫、觸摸屏和語音輸入方式，再到最新的體感輸入 方式，這些趨勢告訴我們，由人適應計算機的工作方式已逐漸轉變?yōu)橐匀藶橹行?，讓計算機 去獲得視覺感知的能力，從而"理解"用戶的意圖，做出正確的響應。
[0004] 手勢作為一種人類基本的交互手段，使用手勢進行人機交互會更加自然、直觀、友 好、符合人類心理。目前，能識別手勢的傳感設備主要有：智能手環(huán)、智能手機、T0F攝像機、 Kinect等。但現(xiàn)有的手勢識別系統(tǒng)存在手勢識別率不高的問題。


【發(fā)明內容】

[0005] 本發(fā)明的目的在于克服現(xiàn)有技術的不足，提供一種多維加權的3D動態(tài)手勢識別 方法，以提高手勢識別的正確率和實時性。
[0006] 為實現(xiàn)上述發(fā)明目的，本發(fā)明多維加權的3D動態(tài)手勢識別方法，其特征在于，包 括以下步驟：
[0007] (1)、訓練階段
[0008] 1.1)、手勢分割
[0009] 從圖像輸入設備提供的連續(xù)人體動作視頻（訓練視頻）中獲取標準手勢的關節(jié)點 數(shù)據(jù)，并跟蹤左右手、左右手腕、左右手肘這6個關節(jié)點的位置，當檢測到手處于伸出狀態(tài) 即手的Z坐標值在跟蹤的六個關節(jié)點的Z坐標值中最小時，并且手的移動速度在接下來的 連續(xù)的若干幀圖像中由〇增加到某一閾值，認為手勢開始；當該手部的移動速度在連續(xù)的 若干幀圖像中逐漸減小到某一閾值，則認為手勢結束；
[0010] 1. 2)、獲取手勢特征向量
[0011] 手勢分割結束后，根據(jù)跟蹤的6個關節(jié)點的連續(xù)坐標信息，就可以得到描述該標 準手勢的運動軌跡；
[0012] 對于每一幀圖像，6個關節(jié)點的位置信息：
[0013]

【權利要求】
1. 一種多維加權的3D動態(tài)手勢識別方法，其特征在于，包括以下步驟： (1)、訓練階段 1.1) 、手勢分割 從圖像輸入設備提供的連續(xù)人體動作視頻（訓練視頻）中獲取標準手勢的關節(jié)點數(shù) 據(jù)，并跟蹤左右手、左右手腕、左右手肘這6個關節(jié)點的位置，當檢測到手處于伸出狀態(tài)即 手的Z坐標值在跟蹤的六個關節(jié)點的Z坐標值中最小時，并且手的移動速度在接下來的連 續(xù)的若干幀圖像中由〇增加到某一閾值，認為手勢開始；當該手部的移動速度在連續(xù)的若 干幀圖像中逐漸減小到某一閾值，則認為手勢結束； 1.2) 、獲取手勢特征向量 手勢分割結束后，根據(jù)跟蹤的6個關節(jié)點的連續(xù)坐標信息，就可以得到描述該標準手 勢的運動軌跡； 對于每一幀圖像，6個關節(jié)點的位置信息：
其中，t為圖像幀序號，為第t幀圖像中第i個關節(jié)點的三維坐標，這 些關節(jié)點分別為右手、右手腕、右手肘、左手腕、左手肘、左手；Γ可以看成是一個包含6個 元素的特征向量，而其中的每個元素是三維的，c表示這個特征向量所屬的標準手勢類別； 一個標準手勢就是上述特征向量的集合，一個標準手勢需要N幀的時間完成，則它對 應的特征向量集為：
，N為標準手勢持續(xù)的巾貞數(shù)； 1.3) 、坐標系轉換 以肩部中心這一關節(jié)點為基準，把每一巾貞獲取的關節(jié)點的坐標系轉換為以肩部中心為 原點的用戶坐標系： 肩部中心的坐標為（Cx，Cy，Cz)，第t幀圖像中關節(jié)點i的坐標為
，i e [1，6] 轉換完之后的坐標為則
經(jīng)過處理之后，關節(jié)點所參考的坐標系就變成了以肩部中心這個關節(jié)點為原點的用戶 坐標系；這樣對應的特征向量具有平移不變性，不受手離圖像輸入設備的距離以及手勢起 始位置的影響； 1.4) 、歸一化處理 記特征向量集合F。中，X，y，z三個坐標分量的最大值、最小值分別為XMax，XMin，Y Max，YMin， ZMax，ZMin，對每一維坐標采用線性函數(shù)進行如下處理：
第C類標準手勢經(jīng)過預處理之后的特征向量集為：
經(jīng)過歸一化之后的特征向量具有尺度不變性； 1. 5)、對特征向量集進行平滑處理 考慮到本方法時間序列相鄰幀變化緩慢的特點，最終選擇移動平均濾波器對關節(jié)點的 每一維數(shù)據(jù)進行平滑濾波； 移動平均濾波基于統(tǒng)計規(guī)律，將連續(xù)的圖像幀看成一個長度固定為N的隊列，然后對 這個隊列進行算術運算，并將其結果作為本次濾波的結果； 平滑處理的步驟為： 將特征向量集#；中，第一個關節(jié)點的第一維坐標按幀進行平滑濾波，濾波的窗口寬度 為5,即：
每一個關節(jié)點的每一維坐標都按上述方法進行平滑處理，經(jīng)平滑處理之后，關節(jié)點的 抖動被很好的處理了； 1.6) 、降采樣 為了降低手勢特征向量集&的元素數(shù)，對特征向量集進行二元采樣，每隔一個元素 提取一個元素，從而得到一個降采樣特征向量集之； 1.7) 、差分處理 對降采樣之后的特征向量集爲的每一個特性向量的每一維進行一階差分處理，用一階 差分的結果替換坐標值來描述手勢隨時間變化的位置特征趨勢，差分如下：
式中，無，無，I;分別表示經(jīng)過前面七步處理之后的特征向量集第t幀方的第i個關 節(jié)點的X，y，z坐標； 第c類標準手勢經(jīng)過預處理之后的特征向量集為：
1. 8)、計算特征向量集處中各關節(jié)的權值 選擇邏輯斯蒂函數(shù)來為每個關節(jié)點計算它在標準手勢中的權值：

為關節(jié)點位移.
，i e [1，6]中的最大值，h為單位距離，根據(jù)實際情況確定； 1. 9)、計算特征向量集之中元素各維的權值 選取特征向量集A中權值最大的三個關節(jié)點α，β，Y各幀對應的三維坐標組成一個 新的特征向量集：
分別計算特征向量集合Τ。里每個關節(jié)點對應的X，y，ζ三維坐標的方差，其中，關節(jié)點 α，β，Y的X維坐標的方差為：
丨表示關節(jié)點α，β，γ在第t巾貞坐標的X維數(shù)據(jù)，表示特征向量集 合T。中關節(jié)點α，β，Y各自對應的所有X維坐標的平均值；
勻小于閾值時，表示在標準手勢中X維坐標是次要的，權值<為 〇
中有大于閾值的情況時，表示在標準手勢中X維坐標是主要的，權 值?為1 ; 對于y、ζ維坐標，采用同樣的方法，得到其權值％、Μ ; 1. 10)、構建標準手勢樣本庫 按照步驟1. 1)?1.9)的方法，構造每個標準手勢的特征向量集以及其中各關節(jié)點的 權值、元素各維坐標的權值，生成標準手勢樣本庫； (2)、識別階段 2. 1)、采用步驟1. 1)?1. 7)的方法，從待識別視頻中獲取待識別手勢的特征向量集
2. 2)、采用多維加權動態(tài)時間規(guī)整（MDW-DTW)算法，計算出待識別手勢的特征向量集 iti分別與標準手勢樣本庫中的各個標準手勢的特征向量集之》c = 1，2,…，C的動態(tài)規(guī)整 距離（相似度），并進行比較，與待識別手勢的特征向量集合動態(tài)規(guī)整距離
最 短（相似度最高）的特征向量集處對應的標準手勢類別即為待識別手勢的類別，C標準手 勢類別總數(shù)； 其中，多維加權動態(tài)時間規(guī)整算法中，代價矩陣C第（m，η)個元素 s(m，η)的計算公式 為：
./η/,./)為待識別手勢特征向量集中第m幀圖像中第i個關節(jié)點對應坐標的第j維坐 標，./；：仏刀為標準手勢樣本庫中標準手勢C的特征向量集中第η幀圖像中第i個關節(jié)點對 應坐標的第j維坐標，j = 1，2, 3分別代表X，y, z ; 其中，動態(tài)規(guī)整距離

其中，L為規(guī)整路徑的長度，（mk，nk )為代價矩陣C中規(guī)整路徑上的第k個元素坐標， 分別代表待識別手勢特征向量集中第mk幀，標準手勢樣本庫中標準手勢c的特征向量集中 第nk幀。
2.根據(jù)權利要求1所述的多維加權的3D動態(tài)手勢識別方法，其特征在于，步驟1. 9所 述的閾值為〇. 1。
【文檔編號】G06F3/01GK104123007SQ201410366945
【公開日】2014年10月29日 申請日期:2014年7月29日 優(yōu)先權日:2014年7月29日
【發(fā)明者】康波, 李云霞, 孫琴, 蔡會祥 申請人:電子科技大學