本發(fā)明涉及圖像技術(shù)處理領(lǐng)域，尤其涉及一種跟蹤指蹼位置的方法及其裝置。

背景技術(shù)：

指蹼是指在掌骨頭處，掌腱膜深層的橫行纖維與其向遠(yuǎn)端發(fā)出的四束縱行纖維之間所圍成的三個(gè)纖維間隙，是手掌、手背與手指的掌、背側(cè)之間的通道。而在虛擬戒指試戴或其他需要跟蹤用戶的手部指蹼位置信息的應(yīng)用場(chǎng)景中，難以通過(guò)攝像頭拍攝的圖像數(shù)據(jù)準(zhǔn)確地提取出指蹼的位置信息。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提出一種提取指蹼位置的方法，能準(zhǔn)確地從圖像數(shù)據(jù)中跟蹤到指蹼的位置信息。

第一方面，本發(fā)明實(shí)施例提供一種跟蹤指蹼位置的方法，包括：

獲取記錄用戶手部的同一影像的深度圖像和彩色圖像；

從所述深度圖像中提取所述手部的外輪廓；

從所述外輪廓的相鄰指尖之間的輪廓點(diǎn)中，選取距離連接所述相鄰指尖的直線最遠(yuǎn)的輪廓點(diǎn)作為輪廓拐點(diǎn)；

以所述輪廓拐點(diǎn)作為指蹼的當(dāng)前位置，利用所述彩色圖像對(duì)所述指蹼的當(dāng)前位置進(jìn)行迭代修正，獲得所述指蹼的輸出位置。

結(jié)合第一方面，在第一方面的第一種可能的實(shí)現(xiàn)方式中，所述從所述深度圖像中提取所述手部的外輪廓，具體為：

根據(jù)預(yù)設(shè)的手部關(guān)節(jié)點(diǎn)模型，從所述深度圖像中計(jì)算出所述手部的每一個(gè)關(guān)節(jié)點(diǎn)的深度；

取所述有關(guān)節(jié)點(diǎn)的深度的中值作為參考深度d_ref；

從所述深度圖像中提取深度在手部深度范圍[d_ref-δ,d_ref+δ]內(nèi)的區(qū)域的外輪廓；其中，δ為衡量所述手部的手背與手掌之間厚度的參數(shù)值；

從所述外輪廓中選取輪廓的質(zhì)心距離所述關(guān)節(jié)點(diǎn)的平均距離最近，且輪廓曲線總長(zhǎng)度最長(zhǎng)的外輪廓作為所述手部的外輪廓。

結(jié)合第一方面，在第一方面的第二種可能的實(shí)現(xiàn)方式中，所述以所述輪廓拐點(diǎn)為指蹼的當(dāng)前位置，利用所述手部的彩色圖像對(duì)所述指蹼的當(dāng)前位置進(jìn)行迭代修正，獲得所述指蹼的輸出位置，具體為：

以所述輪廓拐點(diǎn)為指蹼的當(dāng)前位置，從所述手部的彩色圖像中提取以所述當(dāng)前位置為中心點(diǎn)的局部區(qū)域；

將所述當(dāng)前位置進(jìn)行偏移獲得多個(gè)偏移位置，并對(duì)于每一個(gè)偏移位置，從所述手部的彩色圖像中提取以該偏移位置為中心點(diǎn)且與所述局部區(qū)域相同形狀的區(qū)域作為候選區(qū)域；

計(jì)算每一個(gè)所述候選區(qū)域與所述局部區(qū)域的結(jié)構(gòu)偏差程度；

若每一個(gè)所述候選區(qū)域與所述局部區(qū)域的結(jié)構(gòu)偏差程度均大于預(yù)設(shè)閾值，則將所述當(dāng)前位置作為所述指蹼的輸出位置；

若存在一個(gè)所述候選區(qū)域與所述局部區(qū)域的結(jié)構(gòu)偏差程度不大于所述預(yù)設(shè)閾值時(shí)，則選取與所述局部區(qū)域的結(jié)構(gòu)偏差程度最小的候選區(qū)域所對(duì)應(yīng)的偏移位置來(lái)更新所述當(dāng)前位置，并更新所述局部區(qū)域和所述候選區(qū)域。

結(jié)合第一方面的第二種可能的實(shí)現(xiàn)方式中，在第一方面的第三種可能的實(shí)現(xiàn)方式中，對(duì)于每一個(gè)候選區(qū)域，所述候選區(qū)域與所述局部區(qū)域的結(jié)構(gòu)偏差程度為d(P,Q)，其中，P為包含所述局部區(qū)域的每一個(gè)像素點(diǎn)的像素值的集合，Q為包含所述候選區(qū)域的每一個(gè)像素點(diǎn)的像素值的集合，μ_P為集合P中所有像素值的均值，μ_Q為集合Q中所有像素值的均值，σ_PQ為集合P和集合Q的協(xié)方差，σ_P為集合P的方差，σ_Q為集合Q的方差，c₁和c₂為預(yù)設(shè)常數(shù)。

結(jié)合第一方面的第二種可能的實(shí)現(xiàn)方式中，在第一方面的第四種可能的實(shí)現(xiàn)方式中，所述當(dāng)前位置為(x,y)，則所述偏移位置為(x+δ_x,y+δ_y)；其中，δ_x∈{-1,0,1}，δ_y∈{-1,0,1}，且δ_x和δ_y不同時(shí)為0。

結(jié)合第一方面的第二種可能的實(shí)現(xiàn)方式中，在第一方面的第五種可能的實(shí)現(xiàn)方式中，在以所述輪廓拐點(diǎn)為指蹼的當(dāng)前位置之前，還包括：

將所述輪廓拐點(diǎn)的橫坐標(biāo)修訂所述輪廓拐點(diǎn)的左側(cè)M個(gè)連續(xù)的輪廓點(diǎn)和右側(cè)M個(gè)連續(xù)的輪廓點(diǎn)的橫坐標(biāo)的中值，以及將所述輪廓拐點(diǎn)的縱坐標(biāo)修訂為所述輪廓拐點(diǎn)的左側(cè)M個(gè)連續(xù)的輪廓點(diǎn)和右側(cè)M個(gè)連續(xù)的輪廓點(diǎn)的縱坐標(biāo)的中值；

對(duì)所述彩色圖像進(jìn)行高斯模糊處理。

結(jié)合第一方面，在第一方面的第六種可能的實(shí)現(xiàn)方式中，在從所述外輪廓的相鄰指尖之間的輪廓點(diǎn)中，選取距離連接所述相鄰指尖的直線最遠(yuǎn)的輪廓點(diǎn)作為輪廓拐點(diǎn)之前，還包括：

對(duì)于所述外輪廓中的每一個(gè)輪廓點(diǎn)，將所述輪廓點(diǎn)的橫坐標(biāo)修訂為所述輪廓點(diǎn)左側(cè)N個(gè)連續(xù)輪廓點(diǎn)和右側(cè)N個(gè)連續(xù)輪廓點(diǎn)的橫坐標(biāo)的均值，以及，將所述輪廓點(diǎn)的縱坐標(biāo)修訂為所述輪廓點(diǎn)左側(cè)N個(gè)連續(xù)輪廓點(diǎn)和右側(cè)N個(gè)連續(xù)輪廓點(diǎn)的縱坐標(biāo)的均值。

相應(yīng)地，在第二方面，本發(fā)明還提供一種跟蹤指蹼位置的裝置，包括：

圖像獲取模塊，用于獲取記錄用戶手部的同一影像的深度圖像和彩色圖像；

外輪廓提取模塊，用于從所述深度圖像中提取所述手部的外輪廓；

輪廓拐點(diǎn)選取模塊，用于從所述外輪廓的相鄰指尖之間的輪廓點(diǎn)中，選取距離連接所述相鄰指尖的直線最遠(yuǎn)的輪廓點(diǎn)作為輪廓拐點(diǎn)；

指蹼位置確定模塊，用于以所述輪廓拐點(diǎn)作為指蹼的當(dāng)前位置，利用所述彩色圖像對(duì)所述指蹼的當(dāng)前位置進(jìn)行迭代修正，獲得所述指蹼的輸出位置。

結(jié)合第二方面，在第二方面的第一種可能的實(shí)現(xiàn)方式中，所述外輪廓提取模塊，具體包括：

關(guān)節(jié)點(diǎn)深度計(jì)算單元，用于根據(jù)預(yù)設(shè)的手部關(guān)節(jié)點(diǎn)模型，從所述深度圖像中計(jì)算出所述手部的每一個(gè)關(guān)節(jié)點(diǎn)的深度；

參考深度確定單元，用于取所述有關(guān)節(jié)點(diǎn)的深度的中值作為參考深度d_ref；

輪廓提取單元，用于從所述深度圖像中提取深度在手部深度范圍[d_ref-δ,d_ref+δ]內(nèi)的區(qū)域的外輪廓；其中，δ為衡量所述手部的手背與手掌之間厚度的參數(shù)值；

輪廓選取單元，用于從所述外輪廓中選取輪廓的質(zhì)心距離所述關(guān)節(jié)點(diǎn)的平均距離最近，且輪廓曲線總長(zhǎng)度最長(zhǎng)的外輪廓作為所述手部的外輪廓。

結(jié)合第二方面，在第二方面的第二種可能的實(shí)現(xiàn)方式中，所述指蹼位置確定模塊，具體包括：

局部區(qū)域確定單元，用于以所述輪廓拐點(diǎn)為指蹼的當(dāng)前位置，從所述手部的彩色圖像中提取以所述當(dāng)前位置為中心點(diǎn)的局部區(qū)域；

候選區(qū)域確定單元，用于將所述當(dāng)前位置進(jìn)行偏移獲得多個(gè)偏移位置，并對(duì)于每一個(gè)偏移位置，從所述手部的彩色圖像中提取以該偏移位置為中心點(diǎn)且與所述局部區(qū)域相同形狀的區(qū)域作為候選區(qū)域；

偏差程度計(jì)算單元，用于計(jì)算每一個(gè)所述候選區(qū)域與所述局部區(qū)域的結(jié)構(gòu)偏差程度；

輸出位置確定單元，用于當(dāng)每一個(gè)所述候選區(qū)域與所述局部區(qū)域的結(jié)構(gòu)偏差程度均大于預(yù)設(shè)閾值時(shí)，將所述當(dāng)前位置作為所述指蹼的輸出位置；

當(dāng)前位置更新單元，用于當(dāng)存在一個(gè)所述候選區(qū)域與所述局部區(qū)域的結(jié)構(gòu)偏差程度不大于所述預(yù)設(shè)閾值時(shí)，則選取與所述局部區(qū)域的結(jié)構(gòu)偏差程度最小的候選區(qū)域所對(duì)應(yīng)的偏移位置來(lái)更新所述當(dāng)前位置，進(jìn)而更新所述局部區(qū)域和所述候選區(qū)域。

結(jié)合第二方面的第二種可能的實(shí)現(xiàn)方式，在第二方面的第三種可能的實(shí)現(xiàn)方式中，所述指蹼位置確定模塊還包括：

輪廓拐點(diǎn)修訂單元，用于將所述輪廓拐點(diǎn)的橫坐標(biāo)修訂所述輪廓拐點(diǎn)的左側(cè)M個(gè)連續(xù)的輪廓點(diǎn)和右側(cè)M個(gè)連續(xù)的輪廓點(diǎn)的橫坐標(biāo)的中值，以及將所述輪廓拐點(diǎn)的縱坐標(biāo)修訂為所述輪廓拐點(diǎn)的左側(cè)M個(gè)連續(xù)的輪廓點(diǎn)和右側(cè)M個(gè)連續(xù)的輪廓點(diǎn)的縱坐標(biāo)的中值；

高期模糊處理單元，用于對(duì)所述彩色圖像進(jìn)行高斯模糊處理。

結(jié)合第二方面，在第二方面的第四種可能的實(shí)現(xiàn)方式中，所述跟蹤指蹼位置的裝置還包括：

輪廓點(diǎn)修訂模塊，用于對(duì)于所述外輪廓中的每一個(gè)輪廓點(diǎn)，將所述輪廓點(diǎn)的橫坐標(biāo)修訂為所述輪廓點(diǎn)左側(cè)N個(gè)連續(xù)輪廓點(diǎn)和右側(cè)N個(gè)連續(xù)輪廓點(diǎn)的橫坐標(biāo)的均值，以及，將所述輪廓點(diǎn)的縱坐標(biāo)修訂為所述輪廓點(diǎn)左側(cè)N個(gè)連續(xù)輪廓點(diǎn)和右側(cè)N個(gè)連續(xù)輪廓點(diǎn)的縱坐標(biāo)的均值。

實(shí)施本發(fā)明實(shí)施例，具有如下有益效果：

本發(fā)明實(shí)施例提供的跟蹤指蹼位置的方法和裝置，通過(guò)獲取記錄用戶手部的同一影像的深度圖像和彩色圖像；從所述深度圖像中提取所述手部的外輪廓；從所述外輪廓的相鄰指尖之間的輪廓點(diǎn)中，選取距離連接所述相鄰指尖的直線最遠(yuǎn)的輪廓點(diǎn)作為輪廓拐點(diǎn)；以所述輪廓拐點(diǎn)作為指蹼的當(dāng)前位置，利用所述彩色圖像對(duì)所述指蹼的當(dāng)前位置進(jìn)行迭代修正，來(lái)獲得所述指蹼的輸出位置，從而準(zhǔn)確地從圖像數(shù)據(jù)中跟蹤到指蹼的位置信息。

附圖說(shuō)明

圖1是本發(fā)明提供的跟蹤指蹼位置的方法的一個(gè)實(shí)施例的流程示意圖；

圖2是圖1提供的跟蹤指蹼位置的方法中的步驟S4的一個(gè)實(shí)施例的流程示意圖；

圖3是圖1提供的跟蹤指蹼位置的方法中的步驟S4的另一個(gè)實(shí)施例的流程示意圖；

圖4是本發(fā)明提供的跟蹤指蹼位置的裝置的一個(gè)實(shí)施例的結(jié)構(gòu)示意圖；

圖5是本發(fā)明提供的跟蹤指蹼位置的裝置的外輪廓提取模塊的一個(gè)實(shí)施例的結(jié)構(gòu)示意圖；

圖6是本發(fā)明提供的跟蹤指蹼位置的裝置的指蹼位置確定模塊的一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

參見(jiàn)圖1，是本發(fā)明提供的跟蹤指蹼位置的方法的一個(gè)實(shí)施例的流程示意圖，該方法包括步驟S1至S4，具體如下：

S1，獲取記錄用戶手部的同一影像的深度圖像和彩色圖像；

S2，從所述深度圖像中提取所述手部的外輪廓；

S3，從所述外輪廓的相鄰指尖之間的輪廓點(diǎn)中，選取距離連接所述相鄰指尖的直線最遠(yuǎn)的輪廓點(diǎn)作為輪廓拐點(diǎn)；

S4，以所述輪廓拐點(diǎn)作為指蹼的當(dāng)前位置，利用所述彩色圖像對(duì)所述指蹼的當(dāng)前位置進(jìn)行迭代修正，獲得所述指蹼的輸出位置。

需要說(shuō)明的是，深度圖像是由深度攝像裝置捕獲到被拍攝物體的圖像，其所包含的每一個(gè)像素點(diǎn)的像素值反映的是該被拍攝物體與該像素點(diǎn)對(duì)應(yīng)的位置距離攝像頭之間的距離信息；彩色圖像是由普通攝像裝置捕獲到被拍攝物體的圖像，其所包含的每一個(gè)像素點(diǎn)的像素值反映的是該被拍攝物體與該像素點(diǎn)對(duì)應(yīng)的位置的外觀顏色信息。另外，手部的指蹼一般有四個(gè)，對(duì)于每一個(gè)指蹼的輸出位置的獲取都可依據(jù)上述步驟S1至步驟S4來(lái)獲取。

在通過(guò)步驟S2獲取到手部的外輪廓時(shí)，此時(shí)的外輪廓是由一群坐標(biāo)點(diǎn)構(gòu)成的集合，相鄰兩個(gè)坐標(biāo)點(diǎn)之間通過(guò)直線連接，則外輪廓由多個(gè)細(xì)短的折線相互連接成的，此時(shí)需要對(duì)外輪廓進(jìn)行輕微的平滑操作，具體如下：

對(duì)于所述外輪廓中的每一個(gè)輪廓點(diǎn)，將所述輪廓點(diǎn)的橫坐標(biāo)修訂為所述輪廓點(diǎn)左側(cè)N個(gè)連續(xù)輪廓點(diǎn)和右側(cè)N個(gè)連續(xù)輪廓點(diǎn)的橫坐標(biāo)的均值，以及，將所述輪廓點(diǎn)的縱坐標(biāo)修訂為所述輪廓點(diǎn)左側(cè)N個(gè)連續(xù)輪廓點(diǎn)和右側(cè)N個(gè)連續(xù)輪廓點(diǎn)的縱坐標(biāo)的均值。此處的N的數(shù)值可根據(jù)實(shí)際需要進(jìn)行設(shè)置。

而對(duì)于上述輪廓拐點(diǎn)的確定，有兩種方式：

其一，對(duì)所述外輪廓求凸包，然后選取凸包中連接相鄰指尖的直線，進(jìn)而從相鄰指尖之間的輪廓點(diǎn)中選取距離該直線最遠(yuǎn)的輪廓點(diǎn)作為輪廓拐點(diǎn)；

其二，將所述指尖表示為在包圍所述指尖對(duì)應(yīng)的關(guān)節(jié)點(diǎn)的輪廓點(diǎn)中距離所述指尖對(duì)應(yīng)的關(guān)節(jié)點(diǎn)最遠(yuǎn)的輪廓點(diǎn)，然后連接相鄰指尖獲得直線，進(jìn)而從所述相鄰指尖之間的輪廓點(diǎn)中選取距離該直線最遠(yuǎn)的輪廓點(diǎn)作為輪廓拐點(diǎn)。

需要注意的是，通過(guò)上述操作所獲得輪廓拐點(diǎn)并不能直接作為指蹼的輸出位置，由于提取出來(lái)的輪廓容易受到圖像背景、手指姿態(tài)的影響以及外輪廓上的輪廓點(diǎn)帶有噪聲的影響，因而直接提取該輪廓拐點(diǎn)作為指蹼的輸出位置存在較大的歧義性，例如，輪廓拐點(diǎn)處于手指縫的某處位置，而并不處于指蹼處，則此時(shí)需要通過(guò)上述步驟S4對(duì)輪廓拐點(diǎn)進(jìn)行修正，獲取指蹼的真正位置(指蹼的輸出位置)。

而對(duì)于上述步驟S2從深度圖像中提取所述手部的外輪廓，其具體實(shí)施過(guò)程為：

根據(jù)預(yù)設(shè)的手部關(guān)節(jié)點(diǎn)模型，從所述深度圖像中計(jì)算出所述手部的每一個(gè)關(guān)節(jié)點(diǎn)的深度；

取所述有關(guān)節(jié)點(diǎn)的深度的中值作為參考深度d_ref；

從所述深度圖像中提取深度在手部深度范圍[d_ref-δ,d_ref+δ]內(nèi)的區(qū)域的外輪廓；其中，δ為衡量所述手部的手背與手掌之間厚度的參數(shù)值；

從所述外輪廓中選取輪廓的質(zhì)心距離所述關(guān)節(jié)點(diǎn)的平均距離最近，且輪廓曲線總長(zhǎng)度最長(zhǎng)的外輪廓作為所述手部的外輪廓。

需要說(shuō)明的是，手部關(guān)節(jié)點(diǎn)模型是預(yù)先利用大量的記錄有手部的深度圖像的訓(xùn)練集訓(xùn)練出來(lái)的模型，該模型包括：基于kinect的手部關(guān)節(jié)點(diǎn)蹤模型、多隨機(jī)森林模型等，其是基于手部的深度圖像的信息訓(xùn)練生成的，可優(yōu)選利用隨機(jī)森林算法訓(xùn)練手部關(guān)節(jié)點(diǎn)模型。手部關(guān)節(jié)點(diǎn)提供手部各關(guān)節(jié)點(diǎn)的大致位置，并且通過(guò)各關(guān)節(jié)點(diǎn)的深度可以估算出整個(gè)手部的深度范圍。另外，在少數(shù)情況下，計(jì)算到的部分關(guān)節(jié)點(diǎn)也可能因精度不足超出該手部的區(qū)域，或是因深度圖像噪聲導(dǎo)致關(guān)節(jié)點(diǎn)的深度誤差較大，因而，為了減少這些異常關(guān)節(jié)點(diǎn)的影響，取所述關(guān)節(jié)點(diǎn)的深度的中值作為參考深度，則整個(gè)手部的深度處于手部深度范圍[d_ref-δ,d_ref+δ]內(nèi)，δ為衡量所述手部的手背與手掌之間厚度的參數(shù)值，則提取該范圍內(nèi)的區(qū)域的邊緣的外輪廓出來(lái)，即為該手部的外輪廓。但是由于受到噪聲或其它干擾區(qū)域的影響，提取出來(lái)的外輪廓可能會(huì)有多個(gè)，此時(shí)，從中選取輪廓的質(zhì)心距離所述關(guān)節(jié)點(diǎn)的平均距離最近，且輪廓曲線總長(zhǎng)度最長(zhǎng)的外輪廓即可。

如圖2所示，圖2是圖1提供的跟蹤指蹼位置的方法中的步驟S4的一個(gè)實(shí)施例的流程示意圖，則上述步驟S4的具體實(shí)施方式為：

S41，以所述輪廓拐點(diǎn)為指蹼的當(dāng)前位置，從所述手部的彩色圖像中提取以所述當(dāng)前位置為中心點(diǎn)的局部區(qū)域；

S42，將所述當(dāng)前位置進(jìn)行偏移獲得多個(gè)偏移位置，并對(duì)于每一個(gè)偏移位置，從所述手部的彩色圖像中提取以該偏移位置為中心點(diǎn)且與所述局部區(qū)域相同形狀的區(qū)域作為候選區(qū)域；例如，當(dāng)所述當(dāng)前位置為(x,y)時(shí)，則所述偏移位置為(x+δ_x,y+δ_y)；其中，δ_x∈{-1,0,1}，δ_y∈{-1,0,1}，且δ_x和δ_y不同時(shí)為0，δ_x和δ_y的設(shè)置并不限于為上述數(shù)值，可以根據(jù)實(shí)際情況進(jìn)行調(diào)整。

S43，計(jì)算每一個(gè)所述候選區(qū)域與所述局部區(qū)域的結(jié)構(gòu)偏差程度；對(duì)于每一個(gè)候選區(qū)域，所述候選區(qū)域與所述局部區(qū)域的結(jié)構(gòu)偏差程度為d(P,Q)，其中，P為包含所述局部區(qū)域的每一個(gè)像素點(diǎn)的像素值的集合，Q為包含所述候選區(qū)域的每一個(gè)像素點(diǎn)的像素值的集合，μ_P為集合P中所有像素值的均值，μ_Q為集合Q中所有像素值的均值，σ_PQ為集合P和集合Q的協(xié)方差，σ_P為集合P的方差，σ_Q為集合Q的方差，c₁和c₂為預(yù)設(shè)常數(shù)。由于候選區(qū)域與局部區(qū)域均是從手部的彩色圖像中提取出來(lái)的，則上述該結(jié)構(gòu)偏差程度可準(zhǔn)確描述候選區(qū)域與局部區(qū)域兩者的每一個(gè)點(diǎn)上的顏色分布(像素值分布)情況。

S44，若每一個(gè)所述候選區(qū)域與所述局部區(qū)域的結(jié)構(gòu)偏差程度均大于預(yù)設(shè)閾值，則將所述當(dāng)前位置作為所述指蹼的輸出位置；

S45，若存在一個(gè)所述候選區(qū)域與所述局部區(qū)域的結(jié)構(gòu)偏差程度不大于所述預(yù)設(shè)閾值時(shí)，則選取與所述局部區(qū)域的結(jié)構(gòu)偏差程度最小的候選區(qū)域所對(duì)應(yīng)的偏移位置來(lái)更新所述當(dāng)前位置，并更新所述局部區(qū)域和所述候選區(qū)域。

需要說(shuō)明的是，當(dāng)局部區(qū)域處于指蹼時(shí)，該局部區(qū)域與鄰近的候選區(qū)域的顏色分布(即像素值分布)均有較大差別；當(dāng)局部區(qū)域處于指縫時(shí)，該局部區(qū)域與沿指縫方向上的鄰近的候選區(qū)域的顏色分布差別相對(duì)較小，且該局部區(qū)域與其他的候選區(qū)域的顏色分布差較大。因而，當(dāng)在比較出每一個(gè)所述候選區(qū)域與所述局部區(qū)域的結(jié)構(gòu)偏差程度均大于預(yù)設(shè)閾值時(shí)，即可判斷出局部區(qū)域落在指蹼上，將該局部區(qū)域的中心位置(上述當(dāng)前位置)作為指蹼的輸出位置，從而完成對(duì)指蹼的輸出位置的修正；反之，可判斷出該局部區(qū)域落在指縫上，需要繼續(xù)對(duì)該指蹼的當(dāng)前位置進(jìn)行修正，且選取與該局部區(qū)域的結(jié)構(gòu)偏差程度最小的候選區(qū)域所對(duì)應(yīng)的中心位置(上述偏移位置)更新為該指蹼的當(dāng)前位置，可以確保后續(xù)更新后的指蹼的當(dāng)前位置仍處于指縫上，而不是偏移到非指縫的位置上。

如圖3所示，圖3是圖1提供的跟蹤指蹼位置的方法中的步驟S4的另一個(gè)實(shí)施例的流程示意圖；在上一個(gè)實(shí)施例的基礎(chǔ)上，即在上述步驟S41之前還包括：

S46，將所述輪廓拐點(diǎn)的橫坐標(biāo)修訂所述輪廓拐點(diǎn)的左側(cè)M個(gè)連續(xù)的輪廓點(diǎn)和右側(cè)M個(gè)連續(xù)的輪廓點(diǎn)的橫坐標(biāo)的中值，以及將所述輪廓拐點(diǎn)的縱坐標(biāo)修訂為所述輪廓拐點(diǎn)的左側(cè)M個(gè)連續(xù)的輪廓點(diǎn)和右側(cè)M個(gè)連續(xù)的輪廓點(diǎn)的縱坐標(biāo)的中值；

S47，對(duì)所述彩色圖像進(jìn)行高斯模糊處理。此步驟可濾除噪聲對(duì)彩色圖像的影響，便于后續(xù)步驟的判斷。

上述提供的跟蹤指蹼位置的方法并不限于跟蹤人體手部，還可以跟蹤腳部或其他由模具構(gòu)造成的手部或腳部，甚至動(dòng)物的手部或腳部。另外，上述提供的跟蹤指蹼位置的方法可以應(yīng)用于VR(Virtual Reality，虛擬現(xiàn)實(shí))，例如，虛擬戒指試戴，即：用戶在客戶端的攝像頭前舉起手部，該攝像頭拍攝用戶的手部，并將拍攝到的深度圖像和彩色圖像傳送到另一接收端，接收端根據(jù)以上提供的跟蹤指蹼位置的方法從深度圖像和彩色圖像中跟蹤到用戶的手部的指蹼的確切位置，然后接收端根據(jù)相鄰兩個(gè)指蹼的位置確定戒指在手指上的佩戴位置，并將戒指佩戴在所述用戶的手指的佩戴位置上的圖像返回到客戶端，并在客戶端的顯示器上顯示，從而用戶可以從顯示器中的圖像獲知其佩帶戒指的效果。

本發(fā)明實(shí)施例提供的跟蹤指蹼位置的方法，通過(guò)獲取記錄用戶手部的同一影像的深度圖像和彩色圖像；從所述深度圖像中提取所述手部的外輪廓；從所述外輪廓的相鄰指尖之間的輪廓點(diǎn)中，選取距離連接所述相鄰指尖的直線最遠(yuǎn)的輪廓點(diǎn)作為輪廓拐點(diǎn)；以所述輪廓拐點(diǎn)作為指蹼的當(dāng)前位置，利用所述彩色圖像對(duì)所述指蹼的當(dāng)前位置進(jìn)行迭代修正，來(lái)獲得所述指蹼的輸出位置，從而準(zhǔn)確地從圖像數(shù)據(jù)中跟蹤到指蹼的位置信息。

相應(yīng)地，本發(fā)明還提供一種跟蹤指蹼位置的裝置能實(shí)現(xiàn)上述實(shí)施例提供的跟蹤指蹼位置的方法的全部流程，參見(jiàn)圖4，是本發(fā)明提供的跟蹤指蹼位置的裝置的一個(gè)實(shí)施例的結(jié)構(gòu)示意圖，該裝置具體包括：

圖像獲取模塊10，用于獲取記錄用戶手部的同一影像的深度圖像和彩色圖像；

外輪廓提取模塊20，用于從所述深度圖像中提取所述手部的外輪廓；

輪廓拐點(diǎn)選取模塊30，用于從所述外輪廓的相鄰指尖之間的輪廓點(diǎn)中，選取距離連接所述相鄰指尖的直線最遠(yuǎn)的輪廓點(diǎn)作為輪廓拐點(diǎn)；

指蹼位置確定模塊40，用于以所述輪廓拐點(diǎn)作為指蹼的當(dāng)前位置，利用所述彩色圖像對(duì)所述指蹼的當(dāng)前位置進(jìn)行迭代修正，獲得所述指蹼的輸出位置。

結(jié)合第二方面，在第二方面的第一種可能的實(shí)現(xiàn)方式中，參見(jiàn)圖5，是本發(fā)明提供的跟蹤指蹼位置的裝置的外輪廓提取模塊的一個(gè)實(shí)施例的結(jié)構(gòu)示意圖，所述外輪廓提取模塊20，具體包括：

關(guān)節(jié)點(diǎn)深度計(jì)算單元21，用于根據(jù)預(yù)設(shè)的手部關(guān)節(jié)點(diǎn)模型，從所述深度圖像中計(jì)算出所述手部的每一個(gè)關(guān)節(jié)點(diǎn)的深度；

參考深度確定單元22，用于取所述有關(guān)節(jié)點(diǎn)的深度的中值作為參考深度d_ref；

輪廓提取單元23，用于從所述深度圖像中提取深度在手部深度范圍[d_ref-δ,d_ref+δ]內(nèi)的區(qū)域的外輪廓；其中，δ為衡量所述手部的手背與手掌之間厚度的參數(shù)值；

輪廓選取單元24，用于從所述外輪廓中選取輪廓的質(zhì)心距離所述關(guān)節(jié)點(diǎn)的平均距離最近，且輪廓曲線總長(zhǎng)度最長(zhǎng)的外輪廓作為所述手部的外輪廓。

結(jié)合第二方面，在第二方面的第二種可能的實(shí)現(xiàn)方式中，參見(jiàn)圖6，是本發(fā)明提供的跟蹤指蹼位置的裝置的指蹼位置確定模塊的一個(gè)實(shí)施例的結(jié)構(gòu)示意圖，所述指蹼位置確定模塊40，具體包括：

局部區(qū)域確定單元41，用于以所述輪廓拐點(diǎn)為指蹼的當(dāng)前位置，從所述手部的彩色圖像中提取以所述當(dāng)前位置為中心點(diǎn)的局部區(qū)域；

候選區(qū)域確定單元42，用于將所述當(dāng)前位置進(jìn)行偏移獲得多個(gè)偏移位置，并對(duì)于每一個(gè)偏移位置，從所述手部的彩色圖像中提取以該偏移位置為中心點(diǎn)且與所述局部區(qū)域相同形狀的區(qū)域作為候選區(qū)域；例如，當(dāng)所述當(dāng)前位置為(x,y)時(shí)，則所述偏移位置為(x+δ_x,y+δ_y)；其中，δ_x∈{-1,0,1}，δ_y∈{-1,0,1}，且δ_x和δ_y不同時(shí)為0。

偏差程度計(jì)算單元43，用于計(jì)算每一個(gè)所述候選區(qū)域與所述局部區(qū)域的結(jié)構(gòu)偏差程度；對(duì)于每一個(gè)候選區(qū)域，所述候選區(qū)域與所述局部區(qū)域的結(jié)構(gòu)偏差程度為d(P,Q)，其中，P為包含所述局部區(qū)域的每一個(gè)像素點(diǎn)的像素值的集合，Q為包含所述候選區(qū)域的每一個(gè)像素點(diǎn)的像素值的集合，μ_P為集合P中所有像素值的均值，μ_Q為集合Q中所有像素值的均值，σ_PQ為集合P和集合Q的協(xié)方差，σ_P為集合P的方差，σ_Q為集合Q的方差，c₁和c₂為預(yù)設(shè)常數(shù)。

輸出位置確定單元44，用于當(dāng)每一個(gè)所述候選區(qū)域與所述局部區(qū)域的結(jié)構(gòu)偏差程度均大于預(yù)設(shè)閾值時(shí)，將所述當(dāng)前位置作為所述指蹼的輸出位置；

當(dāng)前位置更新單元45，用于當(dāng)存在一個(gè)所述候選區(qū)域與所述局部區(qū)域的結(jié)構(gòu)偏差程度不大于所述預(yù)設(shè)閾值時(shí)，則選取與所述局部區(qū)域的結(jié)構(gòu)偏差程度最小的候選區(qū)域所對(duì)應(yīng)的偏移位置來(lái)更新所述當(dāng)前位置，進(jìn)而更新所述局部區(qū)域和所述候選區(qū)域。

結(jié)合第二方面的第二種可能的實(shí)現(xiàn)方式，在第二方面的第三種可能的實(shí)現(xiàn)方式中，參見(jiàn)圖6，所述指蹼位置確定模塊40還包括：

輪廓拐點(diǎn)修訂單元46，用于將所述輪廓拐點(diǎn)的橫坐標(biāo)修訂所述輪廓拐點(diǎn)的左側(cè)M個(gè)連續(xù)的輪廓點(diǎn)和右側(cè)M個(gè)連續(xù)的輪廓點(diǎn)的橫坐標(biāo)的中值，以及將所述輪廓拐點(diǎn)的縱坐標(biāo)修訂為所述輪廓拐點(diǎn)的左側(cè)M個(gè)連續(xù)的輪廓點(diǎn)和右側(cè)M個(gè)連續(xù)的輪廓點(diǎn)的縱坐標(biāo)的中值；

高期模糊處理單元47，用于對(duì)所述彩色圖像進(jìn)行高斯模糊處理。

結(jié)合第二方面，在第二方面的第四種可能的實(shí)現(xiàn)方式中，如圖4所示，所述跟蹤指蹼位置的裝置還包括：

輪廓點(diǎn)修訂模塊50，用于對(duì)于所述外輪廓中的每一個(gè)輪廓點(diǎn)，將所述輪廓點(diǎn)的橫坐標(biāo)修訂為所述輪廓點(diǎn)左側(cè)N個(gè)連續(xù)輪廓點(diǎn)和右側(cè)N個(gè)連續(xù)輪廓點(diǎn)的橫坐標(biāo)的均值，以及，將所述輪廓點(diǎn)的縱坐標(biāo)修訂為所述輪廓點(diǎn)左側(cè)N個(gè)連續(xù)輪廓點(diǎn)和右側(cè)N個(gè)連續(xù)輪廓點(diǎn)的縱坐標(biāo)的均值。

本發(fā)明實(shí)施例提供的跟蹤指蹼位置的裝置，通過(guò)獲取記錄用戶手部的同一影像的深度圖像和彩色圖像；從所述深度圖像中提取所述手部的外輪廓；從所述外輪廓的相鄰指尖之間的輪廓點(diǎn)中，選取距離連接所述相鄰指尖的直線最遠(yuǎn)的輪廓點(diǎn)作為輪廓拐點(diǎn)；以所述輪廓拐點(diǎn)作為指蹼的當(dāng)前位置，利用所述彩色圖像對(duì)所述指蹼的當(dāng)前位置進(jìn)行迭代修正，來(lái)獲得所述指蹼的輸出位置，從而準(zhǔn)確地從圖像數(shù)據(jù)中跟蹤到指蹼的位置信息。

本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程，是可以通過(guò)計(jì)算機(jī)程序來(lái)指令相關(guān)的硬件來(lái)完成，所述的程序可存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，可包括如上述各方法的實(shí)施例的流程。其中，所述的存儲(chǔ)介質(zhì)可為磁碟、光盤(pán)、只讀存儲(chǔ)記憶體(Read-Only Memory，ROM)或隨機(jī)存儲(chǔ)記憶體(Random Access Memory，RAM)等。

以上所述是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也視為本發(fā)明的保護(hù)范圍。