1.一種三維空間中手部定位的方法,其特征在于,該方法包括:
采集包含手部的深度圖像;
從所述深度圖像中截取僅包含手部的目標(biāo)深度圖像,并基于預(yù)先訓(xùn)練的手部關(guān)節(jié)點(diǎn)模型以及所述目標(biāo)深度圖像,確定所述目標(biāo)深度圖像中手部各關(guān)節(jié)點(diǎn)相對于采集所述深度圖像的相機(jī)的三維空間坐標(biāo);
根據(jù)預(yù)先確定的所述相機(jī)在空間中的位姿數(shù)據(jù)以及所述目標(biāo)深度圖像中手部各關(guān)節(jié)點(diǎn)相對于所述相機(jī)的三維空間坐標(biāo),確定所述目標(biāo)深度圖像中手部各關(guān)節(jié)點(diǎn)在空間中的三維空間坐標(biāo)。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,該方法還包括:
基于所述目標(biāo)深度圖像中手部各關(guān)節(jié)點(diǎn)在空間中的三維空間坐標(biāo),確定手部關(guān)節(jié)點(diǎn)之間的空間距離關(guān)系;
基于確定出的手部關(guān)節(jié)點(diǎn)之間的空間距離關(guān)系以及預(yù)先訓(xùn)練生成的手勢模型,確定所述目標(biāo)深度圖像中所包含手部在空間中的手勢。
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,該方法還包括:
基于預(yù)先訓(xùn)練生成的手部動作模型以及連續(xù)多幀深度圖像中所包含手部在空間中的手勢,確定采集多幀深度圖像對應(yīng)時長內(nèi)手部的動作。
4.根據(jù)權(quán)利要求1-3中任一項所述的方法,其特征在于,在基于預(yù)先訓(xùn)練的手部關(guān)節(jié)點(diǎn)模型以及所述目標(biāo)深度圖像,確定所述目標(biāo)深度圖像中手部各關(guān)節(jié)點(diǎn)相對于采集所述深度圖像的相機(jī)的三維空間坐標(biāo)之前,該方法還包括:
判斷所述目標(biāo)深度圖像中所包含的手部為左手或者右手;
則所述基于預(yù)先訓(xùn)練的手部關(guān)節(jié)點(diǎn)模型以及所述目標(biāo)深度圖像,確定所述目標(biāo)深度圖像中手部各關(guān)節(jié)點(diǎn)相對于采集所述深度圖像的相機(jī)的三維空間坐標(biāo),包括:
在判定所述目標(biāo)深度圖像中所包含的手部為左手的條件下,基于預(yù)先訓(xùn)練的左手關(guān)節(jié)點(diǎn)模型以及所述目標(biāo)深度圖像,確定所述目標(biāo)深度圖像中左手手部各關(guān)節(jié)點(diǎn)相對于采集所述深度圖像的相機(jī)的三維空間坐標(biāo);以及
在判定所述目標(biāo)深度圖像中所包含的手部為右手的條件下,基于預(yù)先訓(xùn)練的右手手部關(guān)節(jié)點(diǎn)模型以及所述目標(biāo)深度圖像,確定所述目標(biāo)深度圖像中右手手部各關(guān)節(jié)點(diǎn)相對于采集所述深度圖像的相機(jī)的三維空間坐標(biāo)。
5.根據(jù)權(quán)利要求4所述的方法,其特征在于,所述判斷目標(biāo)深度圖像中所包含的手部為左手或者右手,包括:
在采集所述深度圖像的時刻采集包含手部的彩色圖像;
根據(jù)所述包含手部的彩色圖像和/或包含手部的深度圖像,基于預(yù)先訓(xùn)練生成的左右手模型,判斷目標(biāo)深度圖像中所包含的手部為左手或者右手。
6.根據(jù)權(quán)利要求1-3中任一項所述的方法,其特征在于,所述從所述深度圖像中截取僅包含手部的目標(biāo)深度圖像,包括:
在所述深度圖像中確定包含手部的目標(biāo)區(qū)域,從所述深度圖像中截取目標(biāo)區(qū)域的深度圖像;
對所述目標(biāo)區(qū)域的深度圖像進(jìn)行基于手部的語義分割處理,生成僅包含手部的目標(biāo)深度圖像。
7.根據(jù)權(quán)利要求6所述的方法,其特征在于,所述對所述目標(biāo)區(qū)域的深度圖像進(jìn)行基于手部的語義分割處理,生成僅包含手部的目標(biāo)深度圖像,包括:
檢測所述目標(biāo)區(qū)域的深度圖像中是否存在連通域;
在確定所述目標(biāo)區(qū)域的深度圖像中存在連通域的條件下,將所述目標(biāo)區(qū)域的深度圖像中最大的連通域確定為手部連通域,從所述目標(biāo)區(qū)域的深度圖像中截取手部連通域的目標(biāo)深度圖像,生成僅包含手部的目標(biāo)深度圖像。
8.根據(jù)權(quán)利要求7所述的方法,其特征在于,在確定所述目標(biāo)區(qū)域的深度圖像中存在連通域之后,將所述目標(biāo)區(qū)域的深度圖像中最大的連通域確定為手部連通域之前,該方法還包括:
判斷所述目標(biāo)區(qū)域的深度圖像中最大的連通域是否大于預(yù)設(shè)連通域閾值,并在判定所述目標(biāo)區(qū)域的深度圖像中最大的連通域大于預(yù)設(shè)連通域閾值的條件下,執(zhí)行將所述目標(biāo)區(qū)域的深度圖像中最大的連通域確定為手部連通域的操作。
9.根據(jù)權(quán)利要求6所述的方法,其特征在于,所述在所述深度圖像中確定包含手部的目標(biāo)區(qū)域,包括:
在當(dāng)前幀之前采集的多幀深度圖像中均包含手部的條件下,根據(jù)當(dāng)前幀之前采集的多幀深度圖像中包含手部的目標(biāo)區(qū)域的移動軌跡,確定當(dāng)前幀深度圖像中包含手部的目標(biāo)區(qū)域;和/或
在當(dāng)前幀的前一幀深度圖像中未包含手部或者在當(dāng)前幀之前采集的多幀深度圖像中僅當(dāng)前幀的前一幀深度圖像中包含手部的條件下,基于預(yù)先訓(xùn)練的手部檢測模型以及當(dāng)前幀深度圖像,確定當(dāng)前幀深度圖像中包含手部的目標(biāo)區(qū)域。
10.根據(jù)權(quán)利要求1-3中任一項所述的方法,其特征在于,在采集包含手部的深度圖像之后,從所述深度圖像中截取僅包含手部的目標(biāo)深度圖像之前,該方法還包括:
對所述包含手部的深度圖像進(jìn)行預(yù)處理,其中,所述預(yù)處理包括平滑處理和去噪處理;
則所述從所述深度圖像中截取僅包含手部的目標(biāo)深度圖像,包括:
從經(jīng)過預(yù)處理之后的深度圖像中截取僅包含手部的目標(biāo)深度圖像。
11.根據(jù)權(quán)利要求1-3中任一項所述的方法,其特征在于,所述基于預(yù)先訓(xùn)練的手部關(guān)節(jié)點(diǎn)模型以及所述目標(biāo)深度圖像,確定所述目標(biāo)深度圖像中手部各關(guān)節(jié)點(diǎn)相對于采集所述深度圖像的相機(jī)的三維空間坐標(biāo),包括:
基于預(yù)先訓(xùn)練的手部關(guān)節(jié)點(diǎn)模型以及所述目標(biāo)深度圖像,確定所述目標(biāo)深度圖像中手部各關(guān)節(jié)點(diǎn)的像素坐標(biāo)與像素值;
利用反投影算法對確定出的手部各關(guān)節(jié)點(diǎn)的像素坐標(biāo)與像素值進(jìn)行處理,得到所述目標(biāo)深度圖像中手部各關(guān)節(jié)點(diǎn)相對于采集所述深度圖像的相機(jī)的三維空間坐標(biāo)。
12.根據(jù)權(quán)利要求11所述的方法,其特征在于,在確定所述目標(biāo)深度圖像中手部各關(guān)節(jié)點(diǎn)的像素坐標(biāo)與像素值之后,在利用反投影算法對確定出的手部各關(guān)節(jié)點(diǎn)的像素坐標(biāo)與像素值進(jìn)行處理之前,該方法還包括:
對確定出的手部各關(guān)節(jié)點(diǎn)的像素坐標(biāo)與像素值進(jìn)行優(yōu)化處理,其中,所述優(yōu)化處理包括:平滑處理和糾錯處理;
則所述利用反投影算法對確定出的手部各關(guān)節(jié)點(diǎn)的像素坐標(biāo)與像素值進(jìn)行處理,得到所述目標(biāo)深度圖像中手部各關(guān)節(jié)點(diǎn)相對于采集所述深度圖像的相機(jī)的三維空間坐標(biāo),包括:
利用反投影算法對優(yōu)化后的手部各關(guān)節(jié)點(diǎn)的像素坐標(biāo)與像素值進(jìn)行處理,得到所述目標(biāo)深度圖像中手部各關(guān)節(jié)點(diǎn)相對于采集所述深度圖像的相機(jī)的三維空間坐標(biāo)。
13.一種三維空間中手部定位的裝置,其特征在于,該裝置包括:
采集單元,用于采集包含手部的深度圖像;
處理單元,用于從所述深度圖像中截取僅包含手部的目標(biāo)深度圖像,并基于預(yù)先訓(xùn)練的手部關(guān)節(jié)點(diǎn)模型以及所述目標(biāo)深度圖像,確定所述目標(biāo)深度圖像中手部各關(guān)節(jié)點(diǎn)相對于采集所述深度圖像的相機(jī)的三維空間坐標(biāo);
空間位置確定單元,用于根據(jù)預(yù)先確定的所述相機(jī)在空間中的位姿數(shù)據(jù)以及所述目標(biāo)深度圖像中手部各關(guān)節(jié)點(diǎn)相對于所述相機(jī)的三維空間坐標(biāo),確定所述目標(biāo)深度圖像中手部各關(guān)節(jié)點(diǎn)在空間中的三維空間坐標(biāo)。
14.根據(jù)權(quán)利要求13所述的裝置,其特征在于,該裝置還包括:
關(guān)節(jié)點(diǎn)關(guān)系確定單元,用于基于所述目標(biāo)深度圖像中手部各關(guān)節(jié)點(diǎn)在空間中的三維空間坐標(biāo),確定手部關(guān)節(jié)點(diǎn)之間的空間距離關(guān)系;
手勢確定單元,用于基于確定出的手部關(guān)節(jié)點(diǎn)之間的空間距離關(guān)系以及預(yù)先訓(xùn)練生成的手勢模型,確定所述目標(biāo)深度圖像中所包含手部在空間中的手勢。
15.根據(jù)權(quán)利要求14所述的裝置,其特征在于,該裝置還包括:
手部動作確定單元,用于基于預(yù)先訓(xùn)練生成的手部動作模型以及連續(xù)多幀深度圖像中所包含手部在空間中的手勢,確定采集多幀深度圖像對應(yīng)時長內(nèi)手部的動作。
16.根據(jù)權(quán)利要求13-15中任一項所述的裝置,其特征在于,該裝置還包括:
左右手判斷單元,用于在所述處理單元基于預(yù)先訓(xùn)練的手部關(guān)節(jié)點(diǎn)模型以及所述目標(biāo)深度圖像,確定所述目標(biāo)深度圖像中手部各關(guān)節(jié)點(diǎn)相對于采集所述深度圖像的相機(jī)的三維空間坐標(biāo)之前,判斷所述目標(biāo)深度圖像中所包含的手部為左手或者右手;
所述處理單元基于預(yù)先訓(xùn)練的手部關(guān)節(jié)點(diǎn)模型以及所述目標(biāo)深度圖像,確定所述目標(biāo)深度圖像中手部各關(guān)節(jié)點(diǎn)相對于采集所述深度圖像的相機(jī)的三維空間坐標(biāo),具體用于:
在所述左右手判斷單元判定所述目標(biāo)深度圖像中所包含的手部為左手的條件下,基于預(yù)先訓(xùn)練的左手關(guān)節(jié)點(diǎn)模型以及所述目標(biāo)深度圖像,確定所述目標(biāo)深度圖像中左手手部各關(guān)節(jié)點(diǎn)相對于采集所述深度圖像的相機(jī)的三維空間坐標(biāo);以及
在所述左右手判斷單元判定所述目標(biāo)深度圖像中所包含的手部為右手的條件下,基于預(yù)先訓(xùn)練的右手手部關(guān)節(jié)點(diǎn)模型以及所述目標(biāo)深度圖像,確定所述目標(biāo)深度圖像中右手手部各關(guān)節(jié)點(diǎn)相對于采集所述深度圖像的相機(jī)的三維空間坐標(biāo)。
17.根據(jù)權(quán)利要求16所述的裝置,其特征在于,所述左右手判斷單元,具體用于:
在采集所述深度圖像的時刻采集包含手部的彩色圖像;
根據(jù)所述包含手部的彩色圖像和/或包含手部的深度圖像,基于預(yù)先訓(xùn)練生成的左右手模型,判斷目標(biāo)深度圖像中所包含的手部為左手或者右手。
18.根據(jù)權(quán)利要求13-15中任一項所述的裝置,其特征在于,所述處理單元從所述深度圖像中截取僅包含手部的目標(biāo)深度圖像,具體用于:
在所述深度圖像中確定包含手部的目標(biāo)區(qū)域,從所述深度圖像中截取目標(biāo)區(qū)域的深度圖像;
對所述目標(biāo)區(qū)域的深度圖像進(jìn)行基于手部的語義分割處理,生成僅包含手部的目標(biāo)深度圖像。
19.根據(jù)權(quán)利要求18所述的裝置,其特征在于,所述處理單元對所述目標(biāo)區(qū)域的深度圖像進(jìn)行基于手部的語義分割處理,生成僅包含手部的目標(biāo)深度圖像,具體用于:
檢測所述目標(biāo)區(qū)域的深度圖像中是否存在連通域;
在確定所述目標(biāo)區(qū)域的深度圖像中存在連通域的條件下,將所述目標(biāo)區(qū)域的深度圖像中最大的連通域確定為手部連通域,從所述目標(biāo)區(qū)域的深度圖像中截取手部連通域的目標(biāo)深度圖像,生成僅包含手部的目標(biāo)深度圖像。
20.根據(jù)權(quán)利要求19所述的裝置,其特征在于,該裝置還包括:
判斷單元,用于在所述處理單元確定所述目標(biāo)區(qū)域的深度圖像中存在連通域之后,將所述目標(biāo)區(qū)域的深度圖像中最大的連通域確定為手部連通域之前,判斷所述目標(biāo)區(qū)域的深度圖像中最大的連通域是否大于預(yù)設(shè)連通域閾值;
通知單元,用于在所述判斷單元判定所述目標(biāo)區(qū)域的深度圖像中最大的連通域大于預(yù)設(shè)連通域閾值的條件下,通知所述處理單元將所述目標(biāo)區(qū)域的深度圖像中最大的連通域確定為手部連通域。
21.根據(jù)權(quán)利要求18所述的裝置,其特征在于,所述處理單元在所述深度圖像中確定包含手部的目標(biāo)區(qū)域,具體用于:
在當(dāng)前幀之前采集的多幀深度圖像中均包含手部的條件下,根據(jù)當(dāng)前幀之前采集的多幀深度圖像中包含手部的目標(biāo)區(qū)域的移動軌跡,確定當(dāng)前幀深度圖像中包含手部的目標(biāo)區(qū)域;和/或
在當(dāng)前幀的前一幀深度圖像中未包含手部或者在當(dāng)前幀之前采集的多幀深度圖像中僅當(dāng)前幀的前一幀深度圖像中包含手部的條件下,基于預(yù)先訓(xùn)練的手部檢測模型以及當(dāng)前幀深度圖像,確定當(dāng)前幀深度圖像中包含手部的目標(biāo)區(qū)域。
22.根據(jù)權(quán)利要求13-15中任一項所述的裝置,其特征在于,該裝置還包括:
第一優(yōu)化處理單元,用于在采集包含手部的深度圖像之后,從所述深度圖像中截取僅包含手部的目標(biāo)深度圖像之前,對所述包含手部的深度圖像進(jìn)行預(yù)處理,其中,所述預(yù)處理包括平滑處理和去噪處理;
則所述處理單元從所述深度圖像中截取僅包含手部的目標(biāo)深度圖像,具體用于:
從經(jīng)過預(yù)處理之后的深度圖像中截取僅包含手部的目標(biāo)深度圖像。
23.根據(jù)權(quán)利要求13-15中任一項所述的裝置,其特征在于,所述處理單元基于預(yù)先訓(xùn)練的手部關(guān)節(jié)點(diǎn)模型以及所述目標(biāo)深度圖像,確定所述目標(biāo)深度圖像中手部各關(guān)節(jié)點(diǎn)相對于采集所述深度圖像的相機(jī)的三維空間坐標(biāo),具體用于:
基于預(yù)先訓(xùn)練的手部關(guān)節(jié)點(diǎn)模型以及所述目標(biāo)深度圖像,確定所述目標(biāo)深度圖像中手部各關(guān)節(jié)點(diǎn)的像素坐標(biāo)與像素值;
利用反投影算法對確定出的手部各關(guān)節(jié)點(diǎn)的像素坐標(biāo)與像素值進(jìn)行處理,得到所述目標(biāo)深度圖像中手部各關(guān)節(jié)點(diǎn)相對于采集所述深度圖像的相機(jī)的三維空間坐標(biāo)。
24.根據(jù)權(quán)利要求23所述的裝置,其特征在于,該裝置還包括:
第二優(yōu)化處理單元,用于在確定所述目標(biāo)深度圖像中手部各關(guān)節(jié)點(diǎn)的像素坐標(biāo)與像素值之后,在利用反投影算法對確定出的手部各關(guān)節(jié)點(diǎn)的像素坐標(biāo)與像素值進(jìn)行處理之前,對確定出的手部各關(guān)節(jié)點(diǎn)的像素坐標(biāo)與像素值進(jìn)行優(yōu)化處理,其中,所述優(yōu)化處理包括:平滑處理和糾錯處理;
則所述處理單元利用反投影算法對確定出的手部各關(guān)節(jié)點(diǎn)的像素坐標(biāo)與像素值進(jìn)行處理,得到所述目標(biāo)深度圖像中手部各關(guān)節(jié)點(diǎn)相對于采集所述深度圖像的相機(jī)的三維空間坐標(biāo),具體用于:
利用反投影算法對優(yōu)化后的手部各關(guān)節(jié)點(diǎn)的像素坐標(biāo)與像素值進(jìn)行處理,得到所述目標(biāo)深度圖像中手部各關(guān)節(jié)點(diǎn)相對于采集所述深度圖像的相機(jī)的三維空間坐標(biāo)。
25.一種智能設(shè)備,其特征在于,所述智能設(shè)備包括如權(quán)利要求13-24中任一項所述的三維空間中手部定位的裝置。