一種手勢識別方法與裝置的制造方法
【技術領域】
[0001]本發(fā)明涉及人機交互技術領域，更具體地說，涉及一種手勢識別方法與裝置。
【背景技術】
[0002]在人機交互技術領域，手勢控制作為一種新型的人機交互方式具有友好性等方面的優(yōu)勢。目前，對于非接觸式手勢主要有兩種識別方法:
[0003]第一種為基于具有色彩信息的二維圖像的識別方法，其主要通過獲取目標的灰度圖像或者彩色圖像，通過邊緣檢測或者膚色閾值檢測識別出手勢。該二維圖像識別方法的優(yōu)點為目標圖像的分辨率較高。但是其容易受背景、環(huán)境光照的影響，同時也會受到目標距離攝像機的遠近距離影響，此外當目標轉(zhuǎn)換角度、發(fā)生旋轉(zhuǎn)，尤其手指發(fā)生相互遮擋時，識別的準確度會降低，甚至不能識別。
[0004]第二種為基于具有深度信息的三維圖像的識別方法，通過深度閾值檢測等方式識別出手勢。該三維圖像識別方法的優(yōu)點為不受目標的遠近距離影響，識別的準確度高。但是由于深度圖像的分辨率低，從一定程度上降低了識別的精度低；由于對于目標的不連續(xù)邊緣，間距較小的地方識別不靈敏，比如手指張開縫隙較小，導致對手指的識別不靈敏。
[0005]因此，如何準確地對非接觸式手勢進行識別是亟待解決的問題。

【發(fā)明內(nèi)容】

[0006]本發(fā)明要解決的技術問題在于，針對現(xiàn)有非接觸式手勢識別方法的準確性不高的缺陷，提供一種手勢識別方法與裝置，基于深度信息及色彩信息對圖像中的手勢進行識別進而有效地提高了手勢識別的準確性。
[0007]本發(fā)明解決其技術問題所采用的技術方案是:構造一種手勢識別方法，包括訓練步驟和識別步驟，其中，所述訓練步驟包括步驟:
[0008]S1、同步獲取具有深度信息和色彩信息的待訓練圖像；
[0009]S2、基于所述待訓練圖像的深度信息確定所述待訓練圖像的初級手部輪廓；
[0010]S3、調(diào)用所述待訓練圖像中的初級手部輪廓內(nèi)的色彩信息，分割出所述待訓練圖像的精確手部輪廓；
[0011]S4、調(diào)用所述待訓練圖像的精確手部輪廓內(nèi)的深度信息和色彩信息，通過自適應加權計算加權平均值建立三維手勢模型，并采用分類器的方法對多個所述待訓練圖像的所述三維手勢模型進行訓練獲得優(yōu)化的三維手勢模型；
[0012]所述識別步驟進一步包括步驟:
[0013]S5、同步獲取具有深度信息和色彩信息的待識別圖像；
[0014]S6、基于所述待識別圖像的深度信息確定所述待識別圖像的初級手部輪廓；
[0015]S7、調(diào)用所述待識別圖像中的初級手部輪廓內(nèi)的色彩信息，分割出所述待識別圖像的精確手部輪廓；
[0016]S8、調(diào)用所述待識別圖像的精確手部輪廓內(nèi)的深度信息和色彩信息，通過自適應加權計算加權平均值，與所述步驟S4訓練獲得的優(yōu)化的三維手勢模型匹配，識別出對應的二維手勢。
[0017]在根據(jù)本發(fā)明所述的手勢識別方法中，所述自適應加權計算加權平均值的公式為:
[0018]T = W1.Cftfi+W2.Dss
[0019]其中，W1是色彩彳目息的自適應加權系數(shù)，W2是深度彳目息的自適應加權系數(shù)，
色彩信息，Dss為深度信息。
[0020]在根據(jù)本發(fā)明所述的手勢識別方法中，所述步驟S4中建立的三維手勢模型包括三維手勢的特征點聯(lián)結模型。
[0021]在根據(jù)本發(fā)明所述的手勢識別方法中，所述步驟S8包括靜態(tài)手勢識別步驟:對步驟S4中訓練獲得的優(yōu)化的特征點聯(lián)結模型進行邊界條件設定，生成對應的模型參量空間；調(diào)用所述待識別圖像的精確手部輪廓內(nèi)的深度信息和色彩信息，通過自適應加權計算加權平均值，確定其對應于所述模型參量空間里的點，識別出該靜態(tài)手勢。
[0022]在根據(jù)本發(fā)明所述的手勢識別方法中，所述步驟S8還包括動態(tài)模型識別步驟:對各幀待識別圖像執(zhí)行靜態(tài)手勢識別步驟，并得到這些靜態(tài)手勢對應于所述模型參量空間里的點形成的軌跡；將所述軌跡分類對應到模型參量空間里生成子集，根據(jù)已定義的動態(tài)手勢的子集，確定對應的動態(tài)手勢。
[0023]在根據(jù)本發(fā)明所述的手勢識別方法中，所述對各幀待識別圖像執(zhí)行靜態(tài)手勢識別步驟中通過自適應加權計算加權平均值時包括:
[0024]I)基于確定的精確手部輪廓，使用手部輪廓中心點深度信息初步判斷手部的運動方向，分為:a)手部運動方向主要垂直于深度相機光軸，b)手部運動方向主要平行于深度相機光軸；
[0025]2)使用自適應加權調(diào)用深度信息和色彩信息的方法，當a)手部運動方向主要為垂直于深度相機光軸時，色彩信息的自適應加權系數(shù)W1大于深度信息的自適應加權系數(shù)W2 ;當b)手部運動方向主要平行于深度相機光軸時，色彩信息的自適應加權系數(shù)W1小于深度信息的自適應加權系數(shù)W2。
[0026]本發(fā)明還提供了一種手勢識別裝置，包括訓練模塊和識別模塊，其中，所述訓練模塊包括:
[0027]第一圖像獲取單元，用于同步獲取具有深度信息和色彩信息的待訓練圖像；
[0028]第一初級輪廓提取單元，用于基于所述待訓練圖像的深度信息確定所述待訓練圖像的初級手部輪廓；
[0029]第一精確輪廓提取單元，用于調(diào)用所述待訓練圖像中的初級手部輪廓內(nèi)的色彩信息，分割出所述待訓練圖像的精確手部輪廓；
[0030]模型建立單元，用于調(diào)用所述待訓練圖像的精確手部輪廓內(nèi)的深度信息和色彩信息，通過自適應加權計算加權平均值建立三維手勢模型，并采用分類器的方法對多個所述待訓練圖像的所述三維手勢模型進行訓練獲得優(yōu)化的三維手勢模型；
[0031]所述識別步驟進一步包括步驟:
[0032]第二圖像獲取單元，用于同步獲取具有深度信息和色彩信息的待識別圖像；
[0033]第二初級輪廓提取單元，用于基于所述待識別圖像的深度信息確定所述待識別圖像的初級手部輪廓；
[0034]第二精確輪廓提取單元，用于調(diào)用所述待識別圖像中的初級手部輪廓內(nèi)的色彩信息，分割出所述待識別圖像的精確手部輪廓；
[0035]手勢識別單元，用于調(diào)用所述待識別圖像的精確手部輪廓內(nèi)的深度信息和色彩信息，通過自適應加權計算加權平均值，與所述步模型建立單元訓練獲得的優(yōu)化的三維手勢模型匹配，識別出對應的三維手勢。
[0036]在根據(jù)本發(fā)明所述的手勢識別裝置中，所述模型建立單元和手勢識別單元中均包括通過以下公式進行自適應加權計算加權平均值的子單元:
[0037]T = W1.C 色彩十 W2.D 深度
[0038]其中，W1是色彩信息的自適應加權系數(shù)，W2是深度信息的自適應加權系數(shù)，06|為色彩信息，Dss為深度信息。
[0039]在根據(jù)本發(fā)明所述的手勢識別裝置中，所述模型建立單元進一步包括特征點聯(lián)結模型建立子單元，用于建立三維手勢模型的特征點聯(lián)結模型。
[0040]在根據(jù)本發(fā)明所述的手勢識別裝置中，所述手勢識別單元包括靜態(tài)手勢識別子單元，用于對所述模型建立單元訓練獲得的優(yōu)化的特征點聯(lián)結模型進行邊界條件設定，生成對應的模型參量空間，并調(diào)用所述待識別圖像的精確手部輪廓內(nèi)的深度信息和色彩信息，通過自適應加權計算加權平均值，確定其對應于所述模型參量空間里的點，識別出該靜態(tài)手勢。
[0041]在根據(jù)本發(fā)明所述的手勢識別裝置中，所述手勢識別單元還包括動態(tài)模型識別子單元，用于對各幀待識別圖像執(zhí)行靜態(tài)手勢識別，并得到這些靜態(tài)手勢對應于所述模型參量空間里的點形成的軌跡，并將所述軌跡分類對應到模型參量空間里生成子集，根據(jù)已定義的動態(tài)手勢的子集，確定對應的動態(tài)手勢。
[0042]在根據(jù)本發(fā)明所述的手勢識別裝置中，包括用于在對各幀待識別圖像執(zhí)行靜態(tài)手勢識別中通過自適應加權計算加權平均值的子單元，其首先基于確定的精確手部輪廓，使用手部輪廓中心點深度信息初步判斷手部的運動方向，分為:a)手部運動方向主要垂直于深度相機光軸，b)手部運動方向主要平行于深度相機光軸；并使用自適應加權調(diào)用深度信息和色彩信息的方法，當a)手部運動方向主要為垂直于深度相機光軸時，色彩信息的自適應加權系數(shù)W1大于深度信息的自