本公開(kāi)涉及可穿戴的智能裝備領(lǐng)域，具體地，涉及一種人體動(dòng)作智能教練的方法及裝置、存儲(chǔ)介質(zhì)、電子設(shè)備。

背景技術(shù)：

1、人在很多時(shí)候需要學(xué)習(xí)動(dòng)作：運(yùn)動(dòng)、技術(shù)、健身、康復(fù)……等等，但是每個(gè)人的動(dòng)作學(xué)習(xí)能力不同，進(jìn)度有快有慢，而教練的時(shí)間寶貴，并不能時(shí)時(shí)刻刻進(jìn)行動(dòng)作指導(dǎo)。因此，設(shè)計(jì)基于人工智能的動(dòng)作教練，針對(duì)每個(gè)人的學(xué)習(xí)狀態(tài)，有針對(duì)性、全時(shí)間地指導(dǎo)學(xué)習(xí)，提出動(dòng)作建議，就成為可行的方案。甚至有些創(chuàng)新動(dòng)作，就沒(méi)有教練可以指導(dǎo)，也可以在虛擬平臺(tái)上指導(dǎo)虛擬的教練完成，然后再指導(dǎo)學(xué)生學(xué)習(xí)。

技術(shù)實(shí)現(xiàn)思路

1、本公開(kāi)提供一種動(dòng)作捕捉方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，以至少解決相關(guān)技術(shù)中動(dòng)作捕捉過(guò)程中難以得到完整的動(dòng)作信息的問(wèn)題。本公開(kāi)的技術(shù)方案如下：

2、根據(jù)本公開(kāi)實(shí)施例的第一方面，提供一種動(dòng)作捕捉方法，包括：

3、通過(guò)單目采集設(shè)備采集目標(biāo)對(duì)象的全身動(dòng)作視頻數(shù)據(jù)；

4、通過(guò)神經(jīng)網(wǎng)絡(luò)模型識(shí)別目標(biāo)對(duì)象的全身動(dòng)作視頻數(shù)據(jù)，得到主體關(guān)節(jié)運(yùn)動(dòng)信息，

5、主體關(guān)節(jié)包括人體中除手腕關(guān)節(jié)外的其他關(guān)節(jié)；

6、接收目標(biāo)對(duì)象上的手持設(shè)備輸出的手腕關(guān)節(jié)運(yùn)動(dòng)信息，手持設(shè)備設(shè)置有慣性傳感器；

7、對(duì)主體關(guān)節(jié)運(yùn)動(dòng)信息和手腕關(guān)節(jié)運(yùn)動(dòng)信息進(jìn)行對(duì)齊處理，得到目標(biāo)對(duì)象的目標(biāo)動(dòng)作信息。

8、在其中一個(gè)實(shí)施例中，對(duì)主體關(guān)節(jié)運(yùn)動(dòng)信息和手腕關(guān)節(jié)運(yùn)動(dòng)信息進(jìn)行對(duì)齊處理，得到目標(biāo)對(duì)象的目標(biāo)動(dòng)作信息，包括：

9、獲取全身動(dòng)作視頻數(shù)據(jù)中的每幀視頻圖像對(duì)應(yīng)的主體關(guān)節(jié)運(yùn)動(dòng)信息；

10、對(duì)于全身動(dòng)作視頻數(shù)據(jù)中的每幀視頻圖像，獲取與每幀視頻圖像在時(shí)間上最近的手腕關(guān)節(jié)運(yùn)動(dòng)信息，作為每幀視頻圖像對(duì)應(yīng)的手腕關(guān)節(jié)運(yùn)動(dòng)信息；

11、根據(jù)每幀視頻圖像對(duì)應(yīng)的主體關(guān)節(jié)運(yùn)動(dòng)信息和手腕關(guān)節(jié)運(yùn)動(dòng)信息，生成一幀目標(biāo)動(dòng)作信息。

12、在其中一個(gè)實(shí)施例中，主體關(guān)節(jié)運(yùn)動(dòng)信息包括多個(gè)關(guān)節(jié)的旋轉(zhuǎn)角度，手腕關(guān)節(jié)運(yùn)動(dòng)信息包括手腕關(guān)節(jié)方向；根據(jù)每幀視頻圖像對(duì)應(yīng)的主體關(guān)節(jié)運(yùn)動(dòng)信息和手腕關(guān)節(jié)運(yùn)動(dòng)信息，生成一幀目標(biāo)動(dòng)作信息，包括：

13、獲取預(yù)先配置的多個(gè)關(guān)節(jié)的排序，多個(gè)關(guān)節(jié)中包括肘部關(guān)節(jié)，肘部關(guān)節(jié)的順序?yàn)槎鄠€(gè)關(guān)節(jié)中的最后一個(gè)；

14、按照多個(gè)關(guān)節(jié)的排序，根據(jù)每個(gè)關(guān)節(jié)的旋轉(zhuǎn)角度依次對(duì)每個(gè)關(guān)節(jié)進(jìn)行旋轉(zhuǎn)處理，直至對(duì)肘部關(guān)節(jié)進(jìn)行旋轉(zhuǎn)處理后得到肘部關(guān)節(jié)方向，作為手臂方向；

15、獲取手腕關(guān)節(jié)方向相對(duì)手臂方向之間的旋轉(zhuǎn)角度，作為手腕關(guān)節(jié)的旋轉(zhuǎn)角度；

16、將每幀視頻圖像對(duì)應(yīng)的多個(gè)關(guān)節(jié)的旋轉(zhuǎn)角度和手腕關(guān)節(jié)的旋轉(zhuǎn)角度，作為一幀目標(biāo)動(dòng)作信息。

17、在其中一個(gè)實(shí)施例中，手持設(shè)備包括左手手持設(shè)備和右手手持設(shè)備；對(duì)主體關(guān)節(jié)運(yùn)動(dòng)信息和手腕關(guān)節(jié)運(yùn)動(dòng)信息進(jìn)行對(duì)齊處理，得到目標(biāo)對(duì)象的目標(biāo)動(dòng)作信息，包括：

18、對(duì)主體關(guān)節(jié)運(yùn)動(dòng)信息、左手手持設(shè)備對(duì)應(yīng)的手腕關(guān)節(jié)運(yùn)動(dòng)信息以及右手手持設(shè)備對(duì)應(yīng)的手腕關(guān)節(jié)運(yùn)動(dòng)信息進(jìn)行對(duì)齊處理，得到目標(biāo)對(duì)象的目標(biāo)動(dòng)作信息。

19、在其中一個(gè)實(shí)施例中，在接收目標(biāo)對(duì)象上的手持設(shè)備輸出的手腕關(guān)節(jié)運(yùn)動(dòng)信息之前，還包括：

20、接收手持設(shè)備發(fā)出的校準(zhǔn)請(qǐng)求；

21、響應(yīng)于校準(zhǔn)請(qǐng)求，對(duì)手持設(shè)備在世界坐標(biāo)系下的旋轉(zhuǎn)方向進(jìn)行歸零校準(zhǔn)，世界坐標(biāo)系為單目采集設(shè)備的坐標(biāo)系。

22、在其中一個(gè)實(shí)施例中，響應(yīng)于校準(zhǔn)請(qǐng)求，對(duì)手持設(shè)備在世界坐標(biāo)系下的旋轉(zhuǎn)方向進(jìn)行歸零校準(zhǔn)，包括：

23、響應(yīng)于校準(zhǔn)請(qǐng)求，對(duì)手持設(shè)備的旋轉(zhuǎn)歐拉角進(jìn)行歸零，其中，在進(jìn)行歸零校準(zhǔn)時(shí)，手持設(shè)備垂直指向用于單目采集設(shè)備，且手持設(shè)備的屏幕朝向正上方。

24、在其中一個(gè)實(shí)施例中，慣性傳感器為陀螺儀。

25、根據(jù)本公開(kāi)實(shí)施例的第二方面，提供一種動(dòng)作捕捉裝置，其特征在于，包括：

26、采集模塊，被配置為執(zhí)行通過(guò)單目采集設(shè)備采集目標(biāo)對(duì)象的全身動(dòng)作視頻數(shù)據(jù)；

27、識(shí)別模塊，被配置為執(zhí)行通過(guò)神經(jīng)網(wǎng)絡(luò)模型識(shí)別目標(biāo)對(duì)象的全身動(dòng)作視頻數(shù)據(jù)，

28、得到主體關(guān)節(jié)運(yùn)動(dòng)信息，主體關(guān)節(jié)包括人體中除手腕關(guān)節(jié)外的其他關(guān)節(jié)；

29、接收模塊，被配置為執(zhí)行接收目標(biāo)對(duì)象上的手持設(shè)備輸出的手腕關(guān)節(jié)運(yùn)動(dòng)信息，

30、手持設(shè)備設(shè)置有慣性傳感器；

31、動(dòng)作信息生成模塊，被配置為執(zhí)行對(duì)主體關(guān)節(jié)運(yùn)動(dòng)信息和手腕關(guān)節(jié)運(yùn)動(dòng)信息進(jìn)行對(duì)齊處理，得到目標(biāo)對(duì)象的目標(biāo)動(dòng)作信息。

32、在其中一個(gè)實(shí)施例中，動(dòng)作信息生成模塊，包括：

33、獲取模塊，被配置為執(zhí)行獲取全身動(dòng)作視頻數(shù)據(jù)中的每幀視頻圖像對(duì)應(yīng)的主體關(guān)節(jié)運(yùn)動(dòng)信息對(duì)齊模塊，被配置為執(zhí)行對(duì)于全身動(dòng)作視頻數(shù)據(jù)中的每幀視頻圖像，獲取與每幀視頻圖像在時(shí)間上最近的手腕關(guān)節(jié)運(yùn)動(dòng)信息，作為每幀視頻圖像對(duì)應(yīng)的手腕關(guān)節(jié)運(yùn)動(dòng)信息；

34、一幀動(dòng)作信息生成模塊，被配置為執(zhí)行根據(jù)每幀視頻圖像對(duì)應(yīng)的主體關(guān)節(jié)運(yùn)動(dòng)信息和手腕關(guān)節(jié)運(yùn)動(dòng)信息，生成一幀目標(biāo)動(dòng)作信息。

35、在其中一個(gè)實(shí)施例中，主體關(guān)節(jié)運(yùn)動(dòng)信息包括多個(gè)關(guān)節(jié)的旋轉(zhuǎn)角度，手腕關(guān)節(jié)運(yùn)動(dòng)信息包括手腕關(guān)節(jié)方向；一幀動(dòng)作信息生成模塊，包括：

36、獲取單元，被配置為執(zhí)行獲取預(yù)先配置的多個(gè)關(guān)節(jié)的排序，多個(gè)關(guān)節(jié)中包括肘部關(guān)節(jié)，肘部關(guān)節(jié)的順序?yàn)槎鄠€(gè)關(guān)節(jié)中的最后一個(gè)；

37、手臂方向生成單元，被配置為執(zhí)行按照多個(gè)關(guān)節(jié)的排序，根據(jù)每個(gè)關(guān)節(jié)的旋轉(zhuǎn)角度依次對(duì)每個(gè)關(guān)節(jié)進(jìn)行旋轉(zhuǎn)處理，直至對(duì)肘部關(guān)節(jié)進(jìn)行旋轉(zhuǎn)處理后得到肘部關(guān)節(jié)方向，作為手臂方向；

38、手腕關(guān)節(jié)旋轉(zhuǎn)角度生成單元，被配置為執(zhí)行獲取手腕關(guān)節(jié)方向相對(duì)手臂方向之間的旋轉(zhuǎn)角度，作為手腕關(guān)節(jié)的旋轉(zhuǎn)角度；

39、一幀動(dòng)作信息生成單元，被配置為執(zhí)行將每幀視頻圖像對(duì)應(yīng)的多個(gè)關(guān)節(jié)的旋轉(zhuǎn)角度和手腕關(guān)節(jié)的旋轉(zhuǎn)角度，作為一幀目標(biāo)動(dòng)作信息。

40、在其中一個(gè)實(shí)施例中，手持設(shè)備包括左手手持設(shè)備和右手手持設(shè)備；動(dòng)作信息生成模塊，被配置為執(zhí)行對(duì)主體關(guān)節(jié)運(yùn)動(dòng)信息、左手手持設(shè)備對(duì)應(yīng)的手腕關(guān)節(jié)運(yùn)動(dòng)信息以及右手手持設(shè)備對(duì)應(yīng)的手腕關(guān)節(jié)運(yùn)動(dòng)信息進(jìn)行對(duì)齊處理，得到目標(biāo)對(duì)象的目標(biāo)動(dòng)作信息。

41、在其中一個(gè)實(shí)施例中，接收模塊，還被配置為執(zhí)行接收手持設(shè)備發(fā)出的校準(zhǔn)請(qǐng)求；

42、所述裝置還包括校準(zhǔn)模塊，被配置為執(zhí)行響應(yīng)于校準(zhǔn)請(qǐng)求，對(duì)手持設(shè)備在世界坐標(biāo)系下的旋轉(zhuǎn)方向進(jìn)行歸零校準(zhǔn)，世界坐標(biāo)系為單目采集設(shè)備的坐標(biāo)系。

43、在其中一個(gè)實(shí)施例中，校準(zhǔn)模塊，被配置為執(zhí)行響應(yīng)于校準(zhǔn)請(qǐng)求，對(duì)手持設(shè)備的旋轉(zhuǎn)歐拉角進(jìn)行歸零，其中，在進(jìn)行歸零校準(zhǔn)時(shí)，手持設(shè)備垂直指向用于單目采集設(shè)備，且手持設(shè)備的屏幕朝向正上方。

44、在其中一個(gè)實(shí)施例中，慣性傳感器為陀螺儀。

45、根據(jù)本公開(kāi)實(shí)施例的第三方面，提供一種電子設(shè)備，包括：

46、處理器；

47、用于存儲(chǔ)所述處理器可執(zhí)行指令的存儲(chǔ)器；

48、其中，所述處理器被配置為執(zhí)行所述指令，以實(shí)現(xiàn)如第一方面的任一項(xiàng)實(shí)施例中所述的動(dòng)作捕捉方法。

49、根據(jù)本公開(kāi)實(shí)施例的第四方面，提供一種存儲(chǔ)介質(zhì)，當(dāng)所述存儲(chǔ)介質(zhì)中的指令由電子設(shè)備的處理器執(zhí)行時(shí)，使得電子設(shè)備能夠執(zhí)行如第一方面的任一項(xiàng)實(shí)施例中所述的動(dòng)作捕捉方法。

50、根據(jù)本公開(kāi)實(shí)施例的第五方面，提供一種計(jì)算機(jī)程序產(chǎn)品，所述程序產(chǎn)品包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序存儲(chǔ)在可讀存儲(chǔ)介質(zhì)中，設(shè)備的至少一個(gè)處理器從所述可讀存儲(chǔ)介質(zhì)讀取并執(zhí)行所述計(jì)算機(jī)程序，使得設(shè)備執(zhí)行第一方面的任一項(xiàng)實(shí)施例中所述的動(dòng)作捕捉方法。

51、本公開(kāi)的實(shí)施例提供的技術(shù)方案至少帶來(lái)以下有益效果：

52、通過(guò)單目采集設(shè)備采集目標(biāo)對(duì)象的全身動(dòng)作視頻數(shù)據(jù)；通過(guò)神經(jīng)網(wǎng)絡(luò)模型識(shí)別全身動(dòng)作視頻數(shù)據(jù)，得到主體關(guān)節(jié)運(yùn)動(dòng)信息；通過(guò)設(shè)置有慣性傳感器的手持設(shè)備采集手腕關(guān)節(jié)運(yùn)動(dòng)信息；將主體關(guān)節(jié)運(yùn)動(dòng)信息和手腕關(guān)節(jié)運(yùn)動(dòng)信息進(jìn)行對(duì)齊處理，得到目標(biāo)動(dòng)作信息。根據(jù)本公開(kāi)的方案，一方面采用基于多模態(tài)輸入的實(shí)時(shí)動(dòng)作捕捉系統(tǒng)分別采集主體關(guān)節(jié)運(yùn)動(dòng)信息和手腕關(guān)節(jié)運(yùn)動(dòng)信息，當(dāng)表演者做出對(duì)手腕朝向有高精度要求的動(dòng)作(比如敬禮、拍手)，以及手持道具(比如揮劍，舉杯)等動(dòng)作時(shí)，可以得到包含精確的手腕關(guān)節(jié)動(dòng)作信息的目標(biāo)動(dòng)作信息，從而實(shí)現(xiàn)完整的動(dòng)作捕捉。另一方面，上述技術(shù)方案基于純視覺(jué)方法進(jìn)行動(dòng)作捕捉，實(shí)現(xiàn)了在平民化的成本內(nèi)進(jìn)行完整動(dòng)作采集。

53、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本公開(kāi)。