基于深度圖像的手定位方法和設備的制作方法
【專利摘要】提供了一種基于深度圖像的手定位方法和設備。所述方法包括：確定基于深度圖像獲取的手候選區(qū)域的主方向；沿所述主方向查找手的頂端邊緣點；基于各個所述頂端邊緣點確定手的位置點。所述手定位方法和設備能夠準確地定位手的位置，而不受光照條件、手的形狀的影響。
【專利說明】基于深度圖像的手定位方法和設備

【技術領域】
[0001] 本發(fā)明總體地涉及手的跟蹤定位，更具體地涉及基于深度圖像的手定位方法和設 備。

【背景技術】
[0002] 手跟蹤定位是手勢識別系統(tǒng)中非常重要且關鍵的一部分。為了方便用戶操作，手 跟蹤定位系統(tǒng)不應該要求用戶穿戴任何特殊的設備，如特殊手套，彩色標志物等；另外，手 是非剛性物體，具有運動快、易變形、自遮擋等特點。因此手跟蹤定位是一項非常有難度的 工作。
[0003] 以往，很多研究者采用手的顏色特征作為手的表觀特征來跟蹤并定位手。然而，該 方法很容易受到光照條件的影響?？紤]到深度圖像受光照影響較小，目前越來越多的研究 者基于深度圖像進行手的跟蹤定位。但是，深度圖像上的信息較少，因此如何從深度圖像提 取出有效信息來進行手跟蹤定位是一個需要解決的問題。一些研究者采用深度閾值分割出 候選的手區(qū)域，并通過形狀特征、邊緣特征或直方圖統(tǒng)計特征來檢查該區(qū)域是否為手。但如 果手的候選區(qū)域定位不準確，或者如果手在候選區(qū)域范圍外，這種方法將無法確定手位置。
[0004] 美國專利US7372977b2公開了一項采用深度相機進行實時視覺跟蹤的技術。在該 技術中，首先從深度圖像中獲取到跟蹤目標的邊緣信息，然后采用數(shù)學形式的輪廓表觀模 型表示該跟蹤目標，最后根據(jù)深度數(shù)據(jù)對跟蹤目標的邊緣信息與輪廓模型進行匹配，以找 到所跟蹤的位置點。在這一發(fā)明中主要采用輪廓信息進行手的跟蹤，因此對手的輪廓要求 較嚴格。
[0005] 文章"3D hand tracking using kalman filter in depth space，'提出了一種米 用運動歷史圖像信息進行實時的3D手跟蹤的方法。在該方法中，基于由3D深度傳感器產(chǎn)生 的圖像信息，通過運動聚類，檢測手的候選區(qū)域，然后通過kalman濾波器實現(xiàn)手的跟蹤與 定位。該技術在手運動時能夠較好的確定手的位置，實現(xiàn)手的跟蹤，但在手靜止的情況下， 容易受噪聲影響而產(chǎn)生誤跟。


【發(fā)明內(nèi)容】

[0006] 根據(jù)本發(fā)明的實施例，提供了一種基于深度圖像的手定位方法，包括：確定基于深 度圖像獲取的手候選區(qū)域的主方向；沿所述主方向查找手的頂端邊緣點；基于各個所述頂 端邊緣點確定手的位置點。
[0007] 根據(jù)本發(fā)明的另一實施例，提供了一種基于深度圖像的手定位設備，包括：主方 向確定裝置，用于確定基于深度圖像預測的手候選區(qū)域的主方向；邊緣點查找裝置，用于沿 所述主方向查找手的頂端邊緣點；位置點確定裝置，用于基于各個所述頂端邊緣點確定手 的位置點。
[0008] 根據(jù)本發(fā)明實施例的基于深度圖像的手定位技術能夠準確地定位手的位置，而不 受光照條件、手的形狀的影響。

【專利附圖】

【附圖說明】
[0009] 圖1示意性地示出了應用根據(jù)本發(fā)明實施例的手跟蹤定位技術的場景。
[0010] 圖2示出了根據(jù)本發(fā)明實施例的基于深度圖像的手定位方法的流程圖。
[0011] 圖3 (a)和3 (b)分別示意性地示出了基于深度圖像確定的候選區(qū)域塊和手候選 區(qū)域。
[0012] 圖4 (a)和（b)示出了手候選區(qū)域的主方向的示意圖。
[0013] 圖5示出了根據(jù)本發(fā)明實施例的沿主方向查找手的頂端邊緣點的流程圖。
[0014] 圖6 (a)到6(d)示出了根據(jù)本發(fā)明實施例的沿主方向查找手的頂端邊緣點的示例 過程。
[0015] 圖7示出根據(jù)本發(fā)明實施例的基于各個頂端邊緣點確定手的位置點的流程圖。
[0016] 圖8示出了根據(jù)本發(fā)明實施例的基于深度圖像的手定位設備的功能配置框圖。
[0017] 圖9示出了根據(jù)本發(fā)明實施例的基于深度圖像的手定位系統(tǒng)的總體硬件框圖。

【具體實施方式】
[0018] 為了使本領域技術人員更好地理解本發(fā)明，下面結(jié)合附圖和【具體實施方式】對本發(fā) 明作進一步詳細說明。
[0019] 圖1示意性地示出了應用根據(jù)本發(fā)明實施例的手定位技術的場景。如圖1所示， 用戶站在諸如雙目攝像機的立體攝像機的攝像范圍內(nèi)，該立體攝像機對用戶進行拍攝。當 用戶在攝像機范圍內(nèi)移動他/她的手時，諸如計算機的處理設備能夠基于根據(jù)立體相機拍 攝的圖像獲得的深度圖像，確定用戶的手的位置信息，從而實現(xiàn)對手的跟蹤。例如，圖1中 的黑色圓點示出了手的移動軌跡。
[0020] 如本領域技術人員公知的，深度圖像是圖像中每一像素點的值表示場景中某一點 與攝像機之間的距離的圖像。相比于灰度圖像，深度圖像具有物體的深度(距離)信息，因此 適合于需要立體信息的各種應用。
[0021] 圖2示出了根據(jù)本發(fā)明實施例的基于深度圖像的手定位方法的流程圖。
[0022] 如圖2所示，在步驟S210,確定基于深度圖像獲取的手候選區(qū)域的主方向。
[0023] 如前文所述，基于深度圖像來獲取手候選區(qū)域在本領域中已經(jīng)有很多研究，其并 非是本發(fā)明的關鍵所在，本領域技術人員可以利用任何現(xiàn)有的適當方式從深度圖像獲取手 候選區(qū)域。此處，為了說明的完整，對本實施例中使用的獲取方式進行簡單的描述。
[0024] 首先，基于歷史信息預測手的候選位置點。
[0025] 由于手的運動具有連續(xù)性，因此在該步驟中將基于手先前的運動狀態(tài)和運動參數(shù) 來預測手當前可能出現(xiàn)的位置。手的位置點是用來代表的手的位置的點，其可以是例如手 的中心點、重心點等等。
[0026] 該步驟可以利用例如kalman濾波、粒子濾波等任何適當?shù)狞c跟蹤方法來實現(xiàn)。， 由于在局部范圍內(nèi)，手的運動可以近似為線性運動，因此最簡單的預測方法可以根據(jù)前一 幀中手的位置點和手的運動速度來預測得到當前幀中手可能出現(xiàn)的位置，如下式所示：
[0027]

【權利要求】
1. 一種基于深度圖像的手定位方法，包括： 確定基于深度圖像獲取的手候選區(qū)域的主方向； 沿所述主方向查找手的頂端邊緣點； 基于各個所述頂端邊緣點確定手的位置點。
2. 根據(jù)權利要求1的手定位方法，還包括： 基于歷史信息預測手的候選位置點； 基于所述候選位置點和歷史深度值信息確定候選區(qū)域塊； 從所述候選區(qū)域塊中分割出所述手候選區(qū)域。
3. 如權利要求1或2所述的手定位方法，其中所述確定基于深度圖像獲取的手候選區(qū) 域的主方向包括： 計算所述手候選區(qū)域的主方向； 確定該主方向與前一幀圖像中手的主方向的差異值； 在所述差異值大于預定閾值的情況下，基于前預定幀圖像中手的主方向?qū)λ鍪趾蜻x 區(qū)域的主方向進行調(diào)整。
4. 如權利要求2所述的手定位方法，其中沿所述主方向查找手的頂端邊緣點包括： 確定與所述主方向垂直的第一直線； 在以該第一直線的預定范圍內(nèi)的多個預定點為各自的起始點、沿所述主方向延伸的多 條直線中的每一條直線上，查找一個所述頂端邊緣點。
5. 如權利要求4所述的手定位方法，其中所述第一直線經(jīng)過所述候選位置點，所述預 定范圍為第一直線上位于所述候選區(qū)域塊中的部分。
6. 如權利要求4或5所述的手定位方法，其中所述查找一個所述頂端邊緣點包括： 從所述起始點開始，計算該直線上每兩個相鄰像素點之間的深度值差異，并且將所述 深度值差異大于預定閾值的兩個相鄰像素點中距所述起始點較近的像素點作為頂端邊緣 點。
7. 如權利要求6所述的手定位方法，其中所述查找一個所述頂端邊緣點還包括： 計算所述頂端邊緣點與上一幀圖像的位置點之間的空間距離，并且在該空間距離超出 預定閾值范圍的情況下，將該頂端邊緣點作為噪聲邊緣點。
8. 如權利要求1或2所述的手定位方法，其中所述基于各個所述頂端邊緣點確定手的 位置點包括： 計算各個所述頂端邊緣點的均值位置點； 基于該均值位置點和所述主方向，確定手的位置點。
9. 如權利要求1所述的手定位方法，還包括基于所述手的位置點確定以下的至少一 項：手當前的運動速度、手當前的運動加速度、手的面積、所述位置點的深度值。
10. -種基于深度圖像的手定位設備，包括： 主方向確定裝置，用于確定基于深度圖像預測的手候選區(qū)域的主方向； 邊緣點查找裝置，用于沿所述主方向查找手的頂端邊緣點； 位置點確定裝置，用于基于各個所述頂端邊緣點確定手的位置點。
【文檔編號】G06K9/00GK104217192SQ201310217305
【公開日】2014年12月17日 申請日期:2013年6月3日 優(yōu)先權日:2013年6月3日
【發(fā)明者】梁玲燕, 劉麗艷, 趙穎 申請人:株式會社理光