本技術(shù)涉及圖像識(shí)別，尤其涉及一種基于深度學(xué)習(xí)的人體運(yùn)動(dòng)姿態(tài)識(shí)別方法及智能穿戴設(shè)備。

背景技術(shù)：

1、人體運(yùn)動(dòng)姿態(tài)識(shí)別是計(jì)算機(jī)視覺(jué)和人工智能領(lǐng)域中的一個(gè)重要研究方向，具有廣泛的應(yīng)用前景，如健康監(jiān)測(cè)、運(yùn)動(dòng)分析、虛擬現(xiàn)實(shí)和人機(jī)交互等。傳統(tǒng)的姿態(tài)識(shí)別方法主要依賴于圖像處理和機(jī)器學(xué)習(xí)技術(shù)，然而，這些方法在面對(duì)復(fù)雜的運(yùn)動(dòng)模式和多樣的環(huán)境變化時(shí)，往往表現(xiàn)出計(jì)算量大、識(shí)別準(zhǔn)確度不高的局限性。

2、近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)和圖神經(jīng)網(wǎng)絡(luò)在特征提取和模式識(shí)別方面展現(xiàn)了強(qiáng)大的能力，但單一的網(wǎng)絡(luò)結(jié)構(gòu)在處理高維度、時(shí)空關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)時(shí)，仍存在一定的局限性。

3、因此，人體姿態(tài)識(shí)別中計(jì)算量大、識(shí)別準(zhǔn)確度低成為了亟待解決的技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供一種基于深度學(xué)習(xí)的人體運(yùn)動(dòng)姿態(tài)識(shí)別方法及智能穿戴設(shè)備，以解決人體姿態(tài)識(shí)別中計(jì)算量大、識(shí)別準(zhǔn)確度低的技術(shù)問(wèn)題。

2、為解決上述技術(shù)問(wèn)題，本發(fā)明所采取的技術(shù)方案在于如下方面：

3、第一方面，本發(fā)明提供一種基于深度學(xué)習(xí)的人體運(yùn)動(dòng)姿態(tài)識(shí)別方法，包括如下步驟：

4、步驟s1：獲得原始運(yùn)動(dòng)數(shù)據(jù)的圖像，對(duì)原始運(yùn)動(dòng)數(shù)據(jù)的圖像進(jìn)行伽馬校正獲得經(jīng)過(guò)伽馬校正處理后的運(yùn)動(dòng)數(shù)據(jù)；

5、步驟s2：從經(jīng)過(guò)伽馬校正處理后的運(yùn)動(dòng)數(shù)據(jù)中提取特征獲得特征提取后的特征向量；

6、步驟s3：對(duì)特征提取后的特征向量進(jìn)行非線性操作獲得非線性操作后的特征向量；

7、步驟s4：對(duì)非線性操作后的特征向量進(jìn)行三維最大池化操作獲得下采樣后的特征向量；

8、步驟s5：重復(fù)上述三維最大池化操作若干次，對(duì)應(yīng)獲得三維最大池化操作輸出的下采樣后的特征向量；

9、步驟s6：基于圖神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)的拓?fù)潢P(guān)系，從下采樣后的特征向量中提取獲得圖形特征；

10、步驟s7：對(duì)圖形特征進(jìn)行三維topk圖池化操作獲得下采樣后的特征矩陣；

11、步驟s8：重復(fù)上述三維topk圖池化操作若干次，對(duì)應(yīng)獲得三維topk圖池化操作后輸出的下采樣后的特征矩陣；

12、步驟s9：將步驟s8下采樣后的特征矩陣映射到分類空間獲得運(yùn)動(dòng)姿勢(shì)的分類概率。

13、進(jìn)一步的技術(shù)方案在于：所述步驟s1中，對(duì)圖像進(jìn)行伽馬校正；

14、

15、式中，x為伽馬校正處理后的運(yùn)動(dòng)數(shù)據(jù)；iin為輸入圖像；γ為伽馬值，常取0.5到2.5。

16、進(jìn)一步的技術(shù)方案在于：所述步驟s2中，從輸入的三維的運(yùn)動(dòng)數(shù)據(jù)中提取時(shí)空特征，通過(guò)卷積操作提取運(yùn)動(dòng)數(shù)據(jù)中的局部時(shí)空特征；

17、y＝x*w+b

18、式中：y為特征提取后的特征向量；x為經(jīng)過(guò)伽馬校正的運(yùn)動(dòng)數(shù)據(jù)；w為卷積操作的權(quán)重；b為偏置。

19、進(jìn)一步的技術(shù)方案在于：所述步驟s3中，引入激活函數(shù)能夠有效緩解梯度消失，幫助模型更快地收斂；

20、y′＝max(0,x)

21、式中，y′為將特征提取后的特征向量y非線性操作后的特征向量，表示?。?和x之間的最大值；x為輸入的數(shù)據(jù)，即特征提取后的特征向量y。

22、進(jìn)一步的技術(shù)方案在于：所述步驟s4中，引入三維最大池化操作，三維最大池化操作過(guò)程包括：將輸入的非線性操作后的特征向量y′劃分為若干個(gè)矩形區(qū)域，所述矩形區(qū)域?yàn)槌鼗翱诨驗(yàn)V波器，然后在每個(gè)矩形區(qū)域內(nèi)的子區(qū)域中選擇最大值作為該矩形區(qū)域的輸出；

23、yt,h,w,d＝maxt′,h′,w′(xt+t′,h+h′,w+w′,d)

24、式中，yt,h,w,d為節(jié)點(diǎn)特征矩陣，即下采樣后的后的特征向量；xt+t′,h+h′,w+w′,d為每個(gè)局部區(qū)域的特征值；max()表示在每個(gè)矩形區(qū)域內(nèi)，選擇最大的元素值作為該區(qū)域的代表值；maxt′,h′,w′(xt+t′,h+h′,w+w′,d)表示從每個(gè)局部區(qū)域xt+t′,h+h′,w+w′,d中選擇特征值最大的節(jié)點(diǎn)，形成新的節(jié)點(diǎn)特征矩陣yt,h,w,d。

25、進(jìn)一步的技術(shù)方案在于：所述步驟s6中，根據(jù)人體骨骼圖構(gòu)建獲得圖神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)的拓?fù)潢P(guān)系；

26、h′＝σ(ahw)

27、式中，h′為圖形特征；σ為激活函數(shù)leakyrelu；a為圖神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)的拓?fù)潢P(guān)系即鄰接矩陣；h為步驟s5下采樣后的特征向量即節(jié)點(diǎn)特征矩陣；w為圖卷積權(quán)重矩陣。

28、進(jìn)一步的技術(shù)方案在于：所述步驟s7，具體包括如下步驟：

29、步驟s701：計(jì)算節(jié)點(diǎn)的重要性分?jǐn)?shù)；

30、si＝mlp(hi)

31、式中，mlp是一個(gè)多層感知機(jī)multi-layerperceptron評(píng)分函數(shù)，hi是圖形特征h′中第i個(gè)節(jié)點(diǎn)的特征向量，si是每個(gè)節(jié)點(diǎn)的重要性分?jǐn)?shù)；

32、步驟s702：將重要性分?jǐn)?shù)從大到小排序，選擇前k個(gè)節(jié)點(diǎn)；

33、indices＝topk(si,k)

34、式中，indices為topk函數(shù)返回分?jǐn)?shù)最高的前k個(gè)節(jié)點(diǎn)的索引，即選擇分?jǐn)?shù)最高的前k個(gè)節(jié)點(diǎn)，構(gòu)成新的節(jié)點(diǎn)集合；si是每個(gè)節(jié)點(diǎn)的重要性分?jǐn)?shù)；k為節(jié)點(diǎn)；

35、步驟s703：對(duì)選擇的節(jié)點(diǎn)進(jìn)行重構(gòu)，形成新的鄰接矩陣a′和節(jié)點(diǎn)特征矩陣h″；

36、h″＝h′[indices]

37、a′＝a[indices,indices]

38、式中，a′為新的鄰接矩陣；h″為下采樣后的特征矩陣即節(jié)點(diǎn)特征矩陣；indices為分?jǐn)?shù)最高的前k個(gè)節(jié)點(diǎn)的索引。

39、進(jìn)一步的技術(shù)方案在于：所述步驟s9中，

40、p＝softmax(wfh″+bf)

41、式中，p為分類概率；wf為全連接層的權(quán)重矩陣；bf為全連接操作的偏置。

42、進(jìn)一步的技術(shù)方案在于：采用的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)包括依次連接的伽馬校正模塊、三維卷積層特征提取模塊、激活函數(shù)relu、三維最大池化層、三維圖卷積層、三維topk圖池化層和全連接層；其中，

43、將獲得的原始運(yùn)動(dòng)數(shù)據(jù)的圖像輸入至伽馬校正模塊，伽馬校正模塊輸出經(jīng)過(guò)伽馬校正處理后的運(yùn)動(dòng)數(shù)據(jù)至三維卷積層特征提取模塊，三維卷積層特征提取模塊輸出特征提取后的特征向量至激活函數(shù)relu，激活函數(shù)relu輸出非線性操作后的特征向量至三維最大池化層，三維最大池化層輸出下采樣后的特征向量至三維圖卷積層，圖神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)的拓?fù)潢P(guān)系輸入至三維圖卷積層，三維圖卷積層輸出圖形特征至三維topk圖池化層，三維topk圖池化層輸出下采樣后的特征矩陣至全連接層，全連接層輸出運(yùn)動(dòng)姿勢(shì)的分類概率。

44、第二方面，本發(fā)明提供一種智能穿戴設(shè)備，包括前端傳感器組件、無(wú)線通信模塊、顯示模塊；

45、所述傳感器組件，包括：九軸陀螺儀、加速度傳感器、角速度傳感器、磁力計(jì)和深度攝像機(jī)，用于捕捉穿戴者四肢的運(yùn)動(dòng)數(shù)據(jù)；

46、所述無(wú)線通信模塊，用于將捕獲的穿戴者四肢的運(yùn)動(dòng)數(shù)據(jù)傳輸至后端處理系統(tǒng)；其中，所述后端處理系統(tǒng)中的處理器用于執(zhí)行如第一方面所述的基于深度學(xué)習(xí)的人體運(yùn)動(dòng)姿態(tài)識(shí)別方法，用于對(duì)穿戴者的人體運(yùn)動(dòng)姿態(tài)進(jìn)行高精度識(shí)別，并將運(yùn)動(dòng)姿態(tài)識(shí)別結(jié)果通過(guò)無(wú)線網(wǎng)絡(luò)傳輸回所述無(wú)線通信模塊；

47、所述顯示模塊，用于將最終穿戴者的運(yùn)動(dòng)姿態(tài)識(shí)別結(jié)果進(jìn)行顯示。

48、采用上述技術(shù)方案所產(chǎn)生的有益效果在于：

49、本發(fā)明的基于深度學(xué)習(xí)的人體運(yùn)動(dòng)姿態(tài)識(shí)別方法通過(guò)伽馬校正等使得人體姿態(tài)識(shí)別中識(shí)別準(zhǔn)確度高，其通過(guò)非線性操作等使得人體姿態(tài)識(shí)別中計(jì)算量?。煌ㄟ^(guò)伽馬校正模塊等使得人體姿態(tài)識(shí)別中識(shí)別準(zhǔn)確度高，其通過(guò)激活函數(shù)relu等使得人體姿態(tài)識(shí)別中計(jì)算量小。通過(guò)結(jié)合三維卷積神經(jīng)網(wǎng)絡(luò)和三維圖神經(jīng)網(wǎng)絡(luò)的混合模型，有效地提取運(yùn)動(dòng)視頻中時(shí)空特征和人體運(yùn)動(dòng)骨骼的圖結(jié)構(gòu)特征，實(shí)現(xiàn)了對(duì)人體運(yùn)動(dòng)姿態(tài)的高精度識(shí)別和實(shí)時(shí)反饋，并利用伽馬校正技術(shù)有效提升了識(shí)別的準(zhǔn)確性和魯棒性。在識(shí)別過(guò)程中，能夠?qū)崟r(shí)分析穿戴者的運(yùn)動(dòng)姿態(tài)，并給出準(zhǔn)確的反饋，如姿態(tài)糾正建議、運(yùn)動(dòng)效果評(píng)估、情緒檢測(cè)、跌倒預(yù)警和房顫監(jiān)測(cè)等。

50、詳見(jiàn)具體實(shí)施方式部分描述。