基于rgb-d數(shù)據(jù)構(gòu)成的少量訓練樣本的手勢識別方法
【專利摘要】本發(fā)明公開了一種基于RGB-D數(shù)據(jù)構(gòu)成的少量訓練樣本的手勢識別方法。本發(fā)明包含了：特征提取單元，其基于RGB-D相機得到的對齊的RGB-D圖像序列中提取三維稀疏SIFT特征；訓練單元，其用于基于少量的手勢訓練樣本來學習模型；識別單元，其用于對輸入的連續(xù)手勢進行識別。本發(fā)明能夠應(yīng)用在任何提供RGB-D數(shù)據(jù)的相機或設(shè)備，比如微軟的Kinect,華碩的Xtion?PRO或Leap公司的Leap?Motion；該方法識別速度能夠達到實時，可以用在人機交互、手語翻譯、智能家居、游戲開發(fā)以及虛擬現(xiàn)實中。
【專利說明】基于RGB-D數(shù)據(jù)構(gòu)成的少量訓練樣本的手勢識別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及手勢識別方法，可以應(yīng)用到人機交互、手語翻譯、智能家居、游戲開發(fā)以及虛擬現(xiàn)實。
【背景技術(shù)】
[0002]在傳統(tǒng)手勢識別中，通常都是利用普通攝像頭采集手勢，然后對RGB視頻流進行特征提取。在基于單目的手勢識別中，由于只能夠提供RGB圖像，通常需要大量的訓練樣本才能夠達到較好的識別效果；在多目視覺中，由于需要對多個相機進行標定以及構(gòu)建三維模型，這些都需要復(fù)雜的運算量，無法達到實時的效果。
[0003]近年來，越來越多的公司開發(fā)了 RGB-D相機。該相機的特點是能夠?qū)崟r的提供RGB圖像和深度圖像。比如2010年微軟發(fā)布了能夠?qū)崟r采集RGB-D圖像的攝像頭(即Kinect);2011年華碩發(fā)布了 Xtion PRO ；2013年體感控制器制造公司Leap發(fā)布的Leap Motion。
[0004]由于RGB-D相機比普通相機能夠提供更加豐富的信息，為少量訓練樣本達到較好的識別效果提供了可能。因此，當只有少量訓練樣本條件下，手勢識別所面臨的困難是如何從深度信息和顏色信息中提取有效的特征。
[0005]而在現(xiàn)有方法中，沒有基于RGB-D數(shù)據(jù)的少量樣本數(shù)據(jù)來預(yù)測手勢的。

【發(fā)明內(nèi)容】

[0006]本發(fā)明針對現(xiàn)有手勢識別方式上存在的缺陷，提供一種新的手勢識別方法。
[0007]本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是:
[0008]本發(fā)明手勢識別方法由特征提取單元、訓練單元和識別單元組成。
[0009]在特征提取單元中，首先，對連續(xù)兩幀RGB-D圖像序列檢測特征點；然后對特征點鄰域區(qū)域進行特征向量計算，這樣每個訓練或者待識別樣本可以用這些特征向量表示。特征提取單元應(yīng)用到了后續(xù)的訓練和識別單元中。
[0010]在訓練單元中，首先，訓練樣本提取時空特征；其次，把所有的時空特征組成一個大矩陣；再次，對該大矩陣進行聚類獲取該聚類中心矩陣，該聚類中心矩陣即為訓練后的字典，該字典會應(yīng)用到識別單元中；最后，每一個訓練樣本的時空特征利用該字典進行量化得到一個直方圖，即每個訓練樣本可以由一個直方圖表示。
[0011]在識別單元中，首先，對連續(xù)的手勢分割成孤立手勢，其次，對每個孤立手勢提取時空特征；再次，利用訓練單元中的字典對提取的待識別孤立手勢的時空特征進行量化，使每個孤立手勢由一個直方圖表示；最后，把該直方圖輸入到最近鄰分類器得到最終的識別結(jié)果。
[0012]進一步，本發(fā)明中的特征提取單元所提取的特征名為三維稀疏SIFT特征算子。
[0013]本發(fā)明需要的硬件包括RGB-D相機(如Kinect )，電腦主機及常規(guī)配件(如鼠標，鍵
盤等)。
[0014]這里，本發(fā)明有下面六個優(yōu)點:第一，可從少量訓練樣本中提取有效的特征；第二，提供了一套完整的手勢識別系統(tǒng)方法，包含了訓練和識別過程；第三，能夠應(yīng)用到所有的能夠提供RGB-D數(shù)據(jù)的相機；第四，該識別方法對手勢發(fā)生旋轉(zhuǎn)或尺度變化具有很好的魯棒性；第五，該識別方法對手勢中發(fā)生部分遮擋具有較好的識別效果；第六，該識別方法能夠達到實時。
[0015]本發(fā)明能夠應(yīng)用在任何提供RGB-D數(shù)據(jù)的相機或設(shè)備，比如微軟的Kinect，華碩的Xtion PRO或Leap公司的Leap Motion ;該方法識別速度能夠達到實時,可以用在人機交互、手語翻譯、智能家居、游戲開發(fā)以及虛擬現(xiàn)實中。
【專利附圖】

【附圖說明】
[0016]圖1為本發(fā)明的特征提取單元流程圖；
[0017]圖2為本發(fā)明的訓練單元流程圖；
[0018]圖3為本發(fā)明的識別單元流程圖。
【具體實施方式】
[0019]下面將結(jié)合附圖對本發(fā)明方法作進一步說明。
[0020]本發(fā)明手勢識別方法由特征提取單元、訓練單元和識別單元組成。
[0021]如圖1所示，本發(fā)明中，特征提取單元具體步驟如下:
[0022]步驟(I).對輸入的圖像序列中的每一幀都建立金字塔，包括了灰度圖金子塔和深度圖金字塔。其中灰度圖金字塔是由RGB圖經(jīng)過灰度轉(zhuǎn)換而來的，而深度圖金字塔是由深度圖計算而來的。該金字塔的第一層是原圖，第η層是第η-1層經(jīng)過下采樣得到的。
[0023]步驟(2).對t時刻的深度圖金字塔,利用角點檢測器(如Harris、Sh1-Tomasi等)檢測金字塔每層圖像中的角點。由此可以知道這些角點位于金字塔圖像中的位置信息。
[0024]步驟(3).利用光流跟蹤這些角點在t+Ι時刻灰度圖金字塔中的位置。由此可以知道這些角點的速度。當角點的速度小于某個閾值K的時候，該角點舍棄。同時保留速度大于該閾值K的角點，這些保留的角點即為特征點。
[0025]在該步驟中，所述閾值的取值為K=max {Sm*0.2,0.5}，其中Sm是指同一層金字塔中所有檢測到角點速度的最大值。
[0026]步驟(4).檢測完感特征點后，可以知道這些特征點所處金字塔的位置。在t和t+Ι時刻，從灰度圖金字塔和深度圖金字塔上分別提取特征點位置周圍的一小塊圖像區(qū)域。這樣就包括了四個局部圖像時刻的局部灰度圖像Gl，t時刻的局部深度圖像Dl，t+1時刻的局部灰度圖像G2，t+1時刻的局部深度圖像D2。然后對這四個圖像進行高斯濾波，得到對應(yīng)的濾波后的圖像61’，01’，62’，02’。利用G1’求水平梯度圖像Glx和垂直梯度圖像Gly;利用D1’也求水平和垂直梯度圖像Zx，Zy ;利用G1’和G2’計算灰度圖的水平光流場Vlx和垂直光流場Vly;同樣利用D1’和D2’計算深度圖的水平和垂直光流場VZX，VZy。
[0027]步驟(5).利用Glx，Gly, Zx和Zy構(gòu)建三維梯度空間，其中三維坐標中，X方向為Glx，Y方向為Gly，Z方向由Zx和Zy構(gòu)成。同樣的，利用Vlx，Vly，VZx和VZx構(gòu)建三維運動空間，其中三維坐標中，X方向為Vlx，Y方向為Vly，Z方向由VZx和VZy構(gòu)成。
[0028]步驟(6).在三維梯度和運動空間，分別在XY，YZ，XZ平面，求取SIFT描繪算子，這樣就可以計算6個SIFT描繪算子。最后這6個算子組成一個長的特征算子，即三維稀疏SIFT算子。三維稀疏SIFT算子就是提取的特征向量。
[0029]如圖2所示,本發(fā)明中， 訓練單元具體步驟如下:
[0030]步驟(1).對每個訓練樣本利用特征提取單元的方法提取特征.
[0031]步驟(2).把所有訓練樣本提取的特征組成一個大矩陣。
[0032]步驟(3).對該大矩陣進行聚類(如Kmeans，稀疏編碼等)獲取該聚類中心矩陣，該聚類中心矩陣即為訓練后的字典。
[0033]步驟(4).對每一個訓練樣本的時空特征利用該字典進行矢量量化，計算每個矢量出現(xiàn)的次數(shù)，得到每個矢量的頻數(shù)，最終得到歸一化后的向量(即直方圖)。
[0034]如圖3所示，本發(fā)明中，識別單元具體步驟如下:
[0035]步驟(1).對連續(xù)的RGB-D圖像序列，利用動態(tài)時間規(guī)整算法進行時間上的分割，使每一段只包含一個訓練手勢。
[0036]步驟(2).對每個孤立手勢利用特征提取單元的方法提取特征。
[0037]步驟(3).利用訓練單元中的字典對每個孤立手勢的特征進行矢量量化，這樣每個孤立手勢可以由一個直方圖表示。
[0038]步驟(4).該直方圖輸入到最近鄰分類器(即找到與訓練樣本的直方圖距離最近的類別)得到最終的識別結(jié)果。
【權(quán)利要求】
1.基于RGB-D數(shù)據(jù)構(gòu)成的少量訓練樣本的手勢識別方法，包括: 特征提取單元，其用于對RGB-D相機采集到的對齊的RGB-D數(shù)據(jù)進行特征提??； 訓練單元，其用于對少量的手勢訓練樣本提取的特征進行訓練，得到訓練后的模型； 識別單元，其用于對輸入的連續(xù)的RGB-D數(shù)據(jù)利用訓練單元生成的模型進行識別。
2.根據(jù)權(quán)利要求1所述的基于RGB-D數(shù)據(jù)構(gòu)成的少量訓練樣本的手勢識別方法，其特征在于: 在特征提取單元中，首先，對連續(xù)兩幀RGB-D圖像序列檢測特征點；然后對特征點鄰域區(qū)域進行特征向量計算，這樣每個訓練或者待識別樣本可以用這些特征向量表示； 在訓練單元中，首先，訓練樣本提取時空特征；其次，把所有的時空特征組成一個大矩陣；再次，對該大矩陣進行聚類獲取該聚類中心矩陣，該聚類中心矩陣即為訓練后的字典；最后，每一個訓練樣本的時空特征利用該字典進行量化得到一個直方圖，即每個訓練樣本可以由一個直方圖表不; 在識別單元中，首先，對連續(xù)的手勢分割成孤立手勢，其次，對每個孤立手勢提取時空特征；再次，利用訓練單元中的字典對提取的待識別孤立手勢的時空特征進行量化，使每個孤立手勢由一個直方圖表示；最后，把該直方圖輸入到最近鄰分類器得到最終的識別結(jié)果。
3.根據(jù)權(quán)利要求1或2所述的基于RGB-D數(shù)據(jù)構(gòu)成的少量訓練樣本的手勢識別方法，所述的特征提取單元具體步驟為: 步驟(1).對輸入的圖像序列中的每一幀都建立金字塔，包括了灰度圖金子塔和深度圖金字塔；其中灰度圖金字塔是由RGB圖經(jīng)過灰度轉(zhuǎn)換而來的，而深度圖金字塔是由深度圖計算而來的；該金字塔的第·一層是原圖，第η層是第η-1層經(jīng)過下采樣得到的； 步驟(2).對t時刻的深度圖金字塔，利用角點檢測器檢測金字塔每層圖像中的角點，由此可以知道這些角點位于金字塔圖像中的位置信息； 步驟(3).利用光流跟蹤這些角點在t+Ι時刻灰度圖金字塔中的位置，由此可以知道這些角點的速度；當角點的速度小于某個閾值K的時候，該角點舍棄；同時保留速度大于該閾值K的角點,這些保留的角點即為特征點； 在該步驟中，所述閾值的取值為K=max {Sm*0.2,0.5}，其中Sm是指同一層金字塔中所有檢測到角點速度的最大值； 步驟(4).檢測完特征點后，即可知道這些特征點所處金字塔的位置；在〖和t+Ι時刻，從灰度圖金字塔和深度圖金字塔上分別提取特征點位置周圍的一小塊圖像區(qū)域，這樣就包括了四個局部圖像:t時刻的局部灰度圖像Gl, t時刻的局部深度圖像Dl, t+Ι時刻的局部灰度圖像G2，t+Ι時刻的局部深度圖像D2 ;然后對這四個圖像進行高斯濾波，得到對應(yīng)的濾波后的圖像61’，01’，62’，02’ ；利用G1’求水平梯度圖像Glx和垂直梯度圖像Gly ;利用D1’也求水平和垂直梯度圖像Zx，Zy ;利用G1’和G2’計算灰度圖的水平光流場Vlx和垂直光流場Vly ;同樣利用D1’和D2’計算深度圖的水平和垂直光流場VZX，VZy ； 步驟(5).利用Glx，Gly, Zx和Zy構(gòu)建三維梯度空間，其中三維坐標中，X方向為Glx，Y方向為Gly，Z方向由Zx和Zy構(gòu)成；利用Vlx，Vly，VZx和VZx構(gòu)建三維運動空間，其中三維坐標中，X方向為Vlx，Y方向為Vly，Z方向由VZx和VZy構(gòu)成； 步驟(6).在三維梯度和運動空間，分別在XY，YZ, XZ平面，求取SIFT描繪算子，這樣就可以計算6個SIFT描繪算子；最后這6個算子組成一個長的特征算子，即三維稀疏SIFT算子；三維稀疏SIFT算子就是提取的特征向量。
4.根據(jù)權(quán)利要求1或2所述的基于RGB-D數(shù)據(jù)構(gòu)成的少量訓練樣本的手勢識別方法，所述的訓練單元具體步驟為: 步驟(1).對每個訓練樣本利用特征提取單元的方法提取特征； 步驟(2).把所有訓練樣本提取的特征組成一個大矩陣； 步驟(3).對該大矩陣進行聚類，獲取該聚類中心矩陣，該聚類中心矩陣即為訓練后的字典； 步驟(4).對每一個訓練樣本的時空特征利用該字典進行矢量量化，計算每個矢量出現(xiàn)的次數(shù)，得到每個矢量的頻數(shù)，最終得到歸一化后的向量——即直方圖。
5.根據(jù)權(quán)利要求1或2所述的基于RGB-D數(shù)據(jù)構(gòu)成的少量訓練樣本的手勢識別方法，所述的識別單元具體步驟為: 步驟(1).對連續(xù)的RGB-D圖像序列，利用動態(tài)時間規(guī)整算法進行時間上的分割，使每一段只包含一個訓練手勢； 步驟(2).對每個孤立手勢利用特征提取單元的方法提取特征； 步驟(3).利用訓練單元中的字典對每個孤立手勢的特征進行矢量量化，這樣每個孤立手勢可以由一個直方圖表示； 步驟(4).該直方圖 輸入到最近鄰分類器——即找到與訓練樣本的直方圖距離最近的類別，得到最終的識別結(jié)果。
【文檔編號】G06K9/54GK103530619SQ201310522370
【公開日】2014年1月22日 申請日期:2013年10月29日 優(yōu)先權(quán)日:2013年10月29日
【發(fā)明者】萬軍, 阮秋琦, 安高云 申請人:北京交通大學