本技術(shù)涉及虛擬現(xiàn)實(shí)，尤其涉及一種動(dòng)作捕捉方法及相關(guān)裝置。

背景技術(shù)：

1、在當(dāng)下的技術(shù)實(shí)踐中，可以通過(guò)對(duì)拍攝的人物動(dòng)作視頻進(jìn)行骨骼動(dòng)作捕捉，從而生成用于控制虛擬人物運(yùn)產(chǎn)生相應(yīng)動(dòng)作的動(dòng)作數(shù)據(jù)，但是，受限于視頻拍攝質(zhì)量和環(huán)境復(fù)雜，傳統(tǒng)通過(guò)視頻進(jìn)行動(dòng)作捕捉的方法的動(dòng)作捕捉效果較低。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述問(wèn)題，本技術(shù)提供了一種動(dòng)作捕捉方法及相關(guān)裝置，以實(shí)現(xiàn)提高動(dòng)作捕捉準(zhǔn)確性和連續(xù)性的目的。具體方案如下：

2、本技術(shù)第一方面提供一種動(dòng)作捕捉方法，包括：

3、提取目標(biāo)動(dòng)作視頻中的關(guān)鍵幀，得到目標(biāo)動(dòng)作視頻的關(guān)鍵幀序列，所述關(guān)鍵幀序列包括依幀序排列的多張關(guān)鍵幀；

4、分別獲取各個(gè)所述關(guān)鍵幀中預(yù)設(shè)的關(guān)鍵關(guān)節(jié)點(diǎn)的位置信息，得到各個(gè)所述關(guān)鍵關(guān)節(jié)點(diǎn)的第一位置序列，所述第一位置序列由所述關(guān)鍵關(guān)節(jié)點(diǎn)在關(guān)鍵幀中的位置信息依幀序排列得到，所述位置信息包括各個(gè)坐標(biāo)分量的坐標(biāo)值；

5、對(duì)于每一所述坐標(biāo)分量，基于所述關(guān)鍵關(guān)節(jié)點(diǎn)的第一位置序列以及預(yù)設(shè)的約束條件求解預(yù)設(shè)的插值函數(shù)中的各個(gè)單項(xiàng)式的系數(shù)，得到目標(biāo)插值函數(shù)；所述插值函數(shù)為以幀序?yàn)樽宰兞?，以坐?biāo)值為因變量的多項(xiàng)式，其中，所述插值函數(shù)中的各個(gè)單項(xiàng)式的系數(shù)為以幀序?yàn)樽宰兞康南禂?shù)函數(shù)；

6、對(duì)于每一所述關(guān)鍵關(guān)節(jié)點(diǎn)，基于各個(gè)所述坐標(biāo)分量的所述目標(biāo)插值函數(shù)獲取所述關(guān)鍵關(guān)節(jié)點(diǎn)的第二位置序列，所述第二位置序列由所述關(guān)鍵關(guān)節(jié)點(diǎn)在視頻幀中的位置信息依幀序排列得到；

7、依據(jù)各個(gè)所述關(guān)鍵關(guān)節(jié)點(diǎn)的第二位置序列，獲取所述目標(biāo)動(dòng)作視頻的動(dòng)作數(shù)據(jù)，所述動(dòng)作數(shù)據(jù)包括各個(gè)所述關(guān)鍵關(guān)節(jié)點(diǎn)的標(biāo)識(shí)、幀序、以及位置信息的對(duì)應(yīng)關(guān)系。

8、在一種可能的實(shí)現(xiàn)中，提取目標(biāo)動(dòng)作視頻中的關(guān)鍵幀，包括：

9、解析所述目標(biāo)動(dòng)作視頻，獲取所述目標(biāo)動(dòng)作視頻的視頻幀序列，視頻幀序列包括按幀序排列的所有視頻幀；

10、對(duì)視頻幀序列中的每一視頻幀，獲取視頻幀與前序視頻幀的幀間差異；

11、獲取各個(gè)視頻幀序列的平均幀間差異，基于所述平均幀間差異計(jì)算視頻幀的自適應(yīng)閾值；

12、對(duì)視頻幀序列中的每一視頻幀，若視頻幀的幀間差異大于自適應(yīng)閾值，將視頻幀作為關(guān)鍵幀并提??；若視頻幀的幀間差異不大于自適應(yīng)閾值，將視頻幀作為非關(guān)鍵幀。

13、在一種可能的實(shí)現(xiàn)中，對(duì)于每一所述坐標(biāo)分量，基于所述關(guān)鍵關(guān)節(jié)點(diǎn)的第一位置序列以及預(yù)設(shè)的約束條件求解預(yù)設(shè)的插值函數(shù)中的各個(gè)單項(xiàng)式的系數(shù)，得到目標(biāo)插值函數(shù)，包括：

14、獲取依據(jù)所述約束條件構(gòu)建的線性方程組，所述約束條件包括插值條件、連續(xù)性條件、一階導(dǎo)數(shù)連續(xù)性條件、以及二階導(dǎo)數(shù)連續(xù)性條件；

15、對(duì)于每一所述關(guān)鍵幀，將所述第一位置序列中的位置信息對(duì)應(yīng)的所述關(guān)鍵幀的幀序作為自變量的值，將所述坐標(biāo)分量的坐標(biāo)值作為所述目標(biāo)插值函數(shù)的函數(shù)值，代入至所述線性方程組，求解所述插值函數(shù)中的各個(gè)單項(xiàng)式的系數(shù)，得到各個(gè)所述單項(xiàng)式的目標(biāo)系數(shù)；

16、獲取所述目標(biāo)插值函數(shù)，所述目標(biāo)插值函數(shù)為以幀序?yàn)樽宰兞?，以坐?biāo)值為因變量的多項(xiàng)式，其中，所述目標(biāo)插值函數(shù)中的各個(gè)所述單項(xiàng)式的系數(shù)為所述單項(xiàng)式的目標(biāo)系數(shù)。

17、在一種可能的實(shí)現(xiàn)中，對(duì)于每一所述關(guān)鍵關(guān)節(jié)點(diǎn)，基于各個(gè)所述坐標(biāo)分量的所述目標(biāo)插值函數(shù)獲取所述關(guān)鍵關(guān)節(jié)點(diǎn)的第二位置序列，包括：

18、對(duì)于每個(gè)所述坐標(biāo)分量，將缺失幀序代入至所述目標(biāo)插值函數(shù)，得到所述目標(biāo)插值函數(shù)的函數(shù)值，作為得到所述關(guān)鍵關(guān)節(jié)點(diǎn)在所述缺失幀序?qū)?yīng)的視頻幀中的所述坐標(biāo)分量的坐標(biāo)值，所述缺失幀序包括預(yù)設(shè)采樣幀數(shù)量的缺失關(guān)鍵幀的幀序，所述缺失關(guān)鍵幀包括不存在位置信息的關(guān)鍵幀；

19、綜合所有所述坐標(biāo)分量的坐標(biāo)值，得到所述關(guān)鍵關(guān)節(jié)點(diǎn)在所述缺失幀序?qū)?yīng)的視頻幀中的位置信息；

20、將所述關(guān)鍵關(guān)節(jié)點(diǎn)在目標(biāo)幀序?qū)?yīng)的視頻幀中的位置信息按照幀序從小到大排序，得到所述關(guān)鍵關(guān)節(jié)點(diǎn)的第二位置序列，所述目標(biāo)幀序包括所有關(guān)鍵幀的幀序。

21、在一種可能的實(shí)現(xiàn)中，依據(jù)各個(gè)所述關(guān)鍵關(guān)節(jié)點(diǎn)的第二位置序列，獲取所述目標(biāo)動(dòng)作視頻的動(dòng)作數(shù)據(jù)，包括：

22、依據(jù)各個(gè)所述關(guān)鍵關(guān)節(jié)點(diǎn)的第二位置序列，獲取各個(gè)所述關(guān)鍵關(guān)節(jié)點(diǎn)在每一采樣視頻幀的角度信息，所述角度信息用于指示所述關(guān)鍵關(guān)節(jié)點(diǎn)在采樣視頻幀產(chǎn)生的角度運(yùn)動(dòng)，所述采樣視頻幀包括所屬目標(biāo)幀序?qū)?yīng)的視頻幀；

23、獲取所述目標(biāo)動(dòng)作視頻的動(dòng)作數(shù)據(jù)，所述動(dòng)作數(shù)據(jù)還包括各個(gè)所述關(guān)鍵關(guān)節(jié)點(diǎn)的標(biāo)識(shí)、幀序以及角度信息的對(duì)應(yīng)關(guān)系；

24、生成預(yù)制骨骼文件，并將所述預(yù)制骨骼文件輸入至預(yù)設(shè)的骨骼驅(qū)動(dòng)模型，使得所述骨骼驅(qū)動(dòng)模型基于所述預(yù)制骨骼文件中的關(guān)鍵關(guān)節(jié)點(diǎn)的動(dòng)作驅(qū)動(dòng)數(shù)據(jù)驅(qū)動(dòng)動(dòng)作捕捉對(duì)象的關(guān)鍵關(guān)節(jié)點(diǎn)；其中，第一類關(guān)鍵關(guān)節(jié)點(diǎn)的動(dòng)作驅(qū)動(dòng)數(shù)據(jù)包括按照幀序排序的角度信息和位置信息，第二類關(guān)鍵關(guān)節(jié)點(diǎn)的動(dòng)作驅(qū)動(dòng)數(shù)據(jù)包括按照幀序排序的角度信息。

25、在一種可能的實(shí)現(xiàn)中，依據(jù)各個(gè)所述關(guān)鍵關(guān)節(jié)點(diǎn)的第二位置序列，獲取各個(gè)所述關(guān)鍵關(guān)節(jié)點(diǎn)在每一視頻幀的角度信息，包括：

26、基于所述關(guān)鍵關(guān)節(jié)點(diǎn)在視頻幀以及視頻幀的前序視頻幀的位置信息，獲取關(guān)鍵關(guān)節(jié)點(diǎn)在視頻幀的位移向量；

27、獲取所述關(guān)鍵關(guān)節(jié)點(diǎn)在視頻幀的位移向量與各個(gè)坐標(biāo)軸的角度；

28、匯總所述關(guān)鍵關(guān)節(jié)點(diǎn)在視頻幀的位移向量與各個(gè)坐標(biāo)軸的角度，得到所述關(guān)鍵關(guān)節(jié)點(diǎn)在視頻幀的角度信息。

29、本技術(shù)第二方面提供一種動(dòng)作捕捉裝置，包括：

30、幀采樣單元，用于提取目標(biāo)動(dòng)作視頻中的關(guān)鍵幀，得到目標(biāo)動(dòng)作視頻的關(guān)鍵幀序列，所述關(guān)鍵幀序列包括依幀序排列的多張關(guān)鍵幀；

31、關(guān)節(jié)點(diǎn)定位單元，用于分別獲取各個(gè)所述關(guān)鍵幀中預(yù)設(shè)的關(guān)鍵關(guān)節(jié)點(diǎn)的位置信息，得到各個(gè)所述關(guān)鍵關(guān)節(jié)點(diǎn)的第一位置序列，所述第一位置序列由所述關(guān)鍵關(guān)節(jié)點(diǎn)在關(guān)鍵幀中的位置信息依幀序排列得到，所述位置信息包括各個(gè)坐標(biāo)分量的坐標(biāo)值；

32、插值函數(shù)確定單元，用于對(duì)于每一所述坐標(biāo)分量，基于所述關(guān)鍵關(guān)節(jié)點(diǎn)的第一位置序列以及預(yù)設(shè)的約束條件求解預(yù)設(shè)的插值函數(shù)中的各個(gè)單項(xiàng)式的系數(shù)，得到目標(biāo)插值函數(shù)；所述插值函數(shù)為以幀序?yàn)樽宰兞?，以坐?biāo)值為因變量的多項(xiàng)式，其中，所述插值函數(shù)中的各個(gè)單項(xiàng)式的系數(shù)為以幀序?yàn)樽宰兞康南禂?shù)函數(shù)；

33、插值單元，用于對(duì)于每一所述關(guān)鍵關(guān)節(jié)點(diǎn)，基于各個(gè)所述坐標(biāo)分量的所述目標(biāo)插值函數(shù)獲取所述關(guān)鍵關(guān)節(jié)點(diǎn)的第二位置序列，所述第二位置序列由所述關(guān)鍵關(guān)節(jié)點(diǎn)在視頻幀中的位置信息依幀序排列得到；

34、動(dòng)作捕捉單元，用于依據(jù)各個(gè)所述關(guān)鍵關(guān)節(jié)點(diǎn)的第二位置序列，獲取所述目標(biāo)動(dòng)作視頻的動(dòng)作數(shù)據(jù)，所述動(dòng)作數(shù)據(jù)包括各個(gè)所述關(guān)鍵關(guān)節(jié)點(diǎn)的標(biāo)識(shí)、幀序、以及位置信息的對(duì)應(yīng)關(guān)系。

35、本技術(shù)第三方面提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)可讀指令，當(dāng)所述計(jì)算機(jī)可讀指令在電子設(shè)備上運(yùn)行時(shí)，使得所述電子設(shè)備實(shí)現(xiàn)上述第一方面或第一方面任一實(shí)現(xiàn)方式的動(dòng)作捕捉方法。

36、本技術(shù)第四方面提供一種電子設(shè)備，包括至少一個(gè)處理器和與所述處理器連接的存儲(chǔ)器，其中：

37、所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序；

38、所述處理器用于執(zhí)行所述計(jì)算機(jī)程序，以使所述電子設(shè)備能夠?qū)崿F(xiàn)上述第一方面或第一方面任一實(shí)現(xiàn)方式的動(dòng)作捕捉方法。

39、本技術(shù)第五方面提供一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)承載有一個(gè)或多個(gè)計(jì)算機(jī)程序，當(dāng)所述一個(gè)或多個(gè)計(jì)算機(jī)程序被電子設(shè)備執(zhí)行時(shí)，能夠使所述電子設(shè)備上述第一方面或第一方面任一實(shí)現(xiàn)方式的動(dòng)作捕捉方法。

40、借由上述技術(shù)方案，本技術(shù)提供的一種動(dòng)作捕捉方法及相關(guān)裝置，提取目標(biāo)動(dòng)作視頻中的關(guān)鍵幀，得到目標(biāo)動(dòng)作視頻的關(guān)鍵幀序列。分別獲取各個(gè)關(guān)鍵幀中預(yù)設(shè)的關(guān)鍵關(guān)節(jié)點(diǎn)的位置信息，得到各個(gè)關(guān)鍵關(guān)節(jié)點(diǎn)的第一位置序列。對(duì)于每一坐標(biāo)分量，基于關(guān)鍵關(guān)節(jié)點(diǎn)的第一位置序列以及預(yù)設(shè)的約束條件求解預(yù)設(shè)的插值函數(shù)中的各個(gè)單項(xiàng)式的系數(shù)，得到目標(biāo)插值函數(shù)。對(duì)于每一關(guān)鍵關(guān)節(jié)點(diǎn)，基于各個(gè)坐標(biāo)分量的目標(biāo)插值函數(shù)獲取關(guān)鍵關(guān)節(jié)點(diǎn)的第二位置序列。依據(jù)各個(gè)關(guān)鍵關(guān)節(jié)點(diǎn)的第二位置序列，獲取目標(biāo)動(dòng)作視頻的動(dòng)作數(shù)據(jù)。其中，動(dòng)作數(shù)據(jù)包括各個(gè)關(guān)鍵關(guān)節(jié)點(diǎn)的標(biāo)識(shí)、幀序、以及位置信息的對(duì)應(yīng)關(guān)系。由于，插值函數(shù)為以幀序?yàn)樽宰兞?，以坐?biāo)值為因變量的多項(xiàng)式，其中，插值函數(shù)中的各個(gè)單項(xiàng)式的系數(shù)為以幀序?yàn)樽宰兞康南禂?shù)函數(shù)。因此基于關(guān)鍵關(guān)節(jié)點(diǎn)的第一位置序列可以求解得到各個(gè)單項(xiàng)式的系數(shù)，且該系數(shù)與序位相關(guān)，由此，基于目標(biāo)插值函數(shù)進(jìn)行采樣得到的各個(gè)關(guān)鍵關(guān)節(jié)點(diǎn)的第二位置序列的準(zhǔn)確性高，避免位置信息缺失造成的目標(biāo)動(dòng)作視頻的動(dòng)作捕捉不連續(xù)或不準(zhǔn)確，也即，提高了動(dòng)作捕捉連續(xù)性和準(zhǔn)確性。