本發(fā)明屬于深度學習，具體涉及一種基于多尺度跨維共同注意力機制的步態(tài)分析方法。

背景技術：

1、步態(tài)是人體行走時的運動模式，正常步態(tài)表現(xiàn)出協(xié)調(diào)、平衡、流暢的特點。異常步態(tài)是指與正常步態(tài)的運動模式存在偏差，表現(xiàn)出異常特征的行走方式，通常是由神經(jīng)系統(tǒng)、骨骼肌肉系統(tǒng)或其他身體部位的疾病、損傷或功能障礙引起的。步態(tài)分析可以通過解析步態(tài)的特征來識別異常步態(tài)。

2、基于深度學習的異常步態(tài)分析可以利用豐富的步態(tài)數(shù)據(jù)，自動學習步態(tài)特征，并對異常步態(tài)進行識別，為醫(yī)生提供輔助診斷依據(jù)，提高診斷效率和準確率。因此，開發(fā)更精準、更方便、更符合臨床需求的異常步態(tài)診斷方法，具有重要的現(xiàn)實意義。

3、步態(tài)是一個復雜而動態(tài)的過程，蘊含著多尺度、多維度的豐富特征信息。異常步態(tài)往往表現(xiàn)為多個層級的運動偏差，這些偏差需要通過不同尺度的觀察和分析來全面理解。從微觀尺度來看，異常步態(tài)表現(xiàn)為特定關節(jié)角度的細微變化或骨骼點運動速度、加速度的異常，這些異常反映在骨骼點之間的相對位置關系和運動軌跡的細節(jié)中，可能是某些特定疾病或身體狀況的早期預警信號。從中觀尺度來看，異常步態(tài)表現(xiàn)為步態(tài)周期和整體模式的顯著變化，或肢體運動協(xié)調(diào)性的紊亂，這些變化反映在不同肢體之間骨骼點運動的同步性和一致性上，可能揭示出身體某個特定部位的功能異?；蚣膊　暮暧^尺度來看，異常步態(tài)表現(xiàn)為整體運動軌跡的偏差，甚至呈現(xiàn)出特殊的運動模式，這些偏差體現(xiàn)在整個步態(tài)周期內(nèi)骨骼點運動軌跡的整體變化趨勢上，往往是影響全身運動的系統(tǒng)性問題的外在表現(xiàn)。

4、異常步態(tài)往往是由多個因素造成的，這些因素體現(xiàn)在步態(tài)的不同維度上，例如，一個患有膝關節(jié)損傷的患者，在骨骼點維度會表現(xiàn)出膝關節(jié)角度變化異常，膝關節(jié)速度和加速度異常，在時間維度會表現(xiàn)出步態(tài)周期延長，步頻變慢，在空間維度會表現(xiàn)出身體重心偏移，肢體運動協(xié)調(diào)性下降。而現(xiàn)有的異常步態(tài)分析方法傾向于只關注單一尺度的特征，忽視了不同尺度特征之間的復雜相互作用，導致對異常步態(tài)的不完整理解。此外，許多研究主要聚焦于時間維度和空間維度的特征提取，而對骨骼點維度的深入分析卻相對不足，這種偏重可能導致某些重要的局部信息被忽視，從而影響分析的全面性和準確性。

5、因此，有效捕獲多尺度信息并建立長距離依賴關系對于異常步態(tài)分析至關重要，開發(fā)一種可以有效捕獲不同尺度和維度的步態(tài)信息并進行深度融合的步態(tài)分析方法，為臨床診斷異常步態(tài)提供新的工具，具有廣闊的研究前景和重要的應用價值。

技術實現(xiàn)思路

1、本發(fā)明提出一種基于多尺度跨維共同注意力機制的步態(tài)分析方法，提高對異常步態(tài)患者的診斷效率和準確性，為醫(yī)生提供更精準的診斷依據(jù)，為患者的治療提供更有效的指導。

2、本發(fā)明所采取的技術方案如下：基于多尺度跨維共同注意力機制的步態(tài)分析方法：

3、(1)搭建基于骨架動作識別的時空圖卷積網(wǎng)絡st-gcn；

4、1.1)骨骼序列用每一幀中人體各關節(jié)的2d或3d坐標來表示，利用時空圖對骨架序列進行層次化表示來構建骨架圖，在具有n個關節(jié)和t個幀的骨架序列上構建了一個無向時空圖g＝(v,e)，捕捉體內(nèi)關節(jié)之間連接的同時考慮了幀間的時序關聯(lián)，將關節(jié)節(jié)點分成多個子集，包括向心、離心、根節(jié)點，對每個子集分配不同的權重；

5、1.2)基于動作識別的特點，引入了圖劃分的方法，以根節(jié)點到重心的距離為基準，標記為label＝0，對于所有鄰接節(jié)點，根據(jù)它們到重心的距離與基準值的比較，進行分類：如果距離小于基準值，則將其標記為向心節(jié)點，label＝1；如果距離大于基準值，則將其標記為離心節(jié)點，label＝2；

6、1.3)圖卷積以邊為權值對節(jié)點特征求加權平均，使用的圖卷積公式是：

7、

8、其中，zti(vtj)＝|{vtk|lti(vtk)＝lti(vtj)}|為標準化項，用于平衡不同子集的貢獻程度，w為權重函數(shù)，提供用于與輸入采樣特征進行內(nèi)積運算的權重矩陣，vtj為vti的相鄰節(jié)點，lti(vtj)為此相鄰節(jié)點vtj所屬的label，lti為子集的映射關系；

9、1.4)使用時間卷積網(wǎng)絡tcn提取關節(jié)點變化的時序信息，tcn為一個大小為[1,t]的一維卷積，其卷積維度為時間維度，卷積核為一行多列的結構，在沿時間維度進行卷積，提取骨骼點的時序特征。

10、(2)在st-gcn的基礎上引入多尺度跨維共同注意力機制，簡稱為ms-cdca，捕獲、融合多2.1)多尺度跨維共同注意力機制的參數(shù)量較小，計算開銷適中，st-gcn包含10層時空圖卷積層，在每兩層時空圖卷積層之間部署多尺度跨維共同注意力機制；

11、2.2)步態(tài)序列特征f被輸入進st-gcn，經(jīng)時空圖卷積層處理后得到特征finput，計算過程為：

12、finput＝st-gcn(f)

13、其中，st-gcn(·)表示注意力模塊前的時空圖卷積層，得到的fin[ut被傳遞到多尺度跨維共同注意力機制，計算過程為：

14、fatten＝ms-cdca(finput)

15、其中，mcdca(·)表示多尺度跨維共同注意力機制，將finput和多尺度跨維共同注意力機制的輸出fatten沿通道維度連接起來，得到foutput，計算過程為：

16、foutput＝[finput,fat(en]

17、其中，[…]表示殘差連接；

18、2.3)foutput將被傳遞到接下來的時空圖卷積層和注意力模塊中，得到最終的特征表示ffinal，采用線性層替代st-gcn的池化層，通過全連接層得到最終的預測結果output，計算過程為：

19、output＝fcn(linear(ffinal))

20、其中，linear(·)表示線性層，fcn(·)表示全連接層。

21、尺度、多維度的步態(tài)特征，得到用于異常步態(tài)識別的mcc-gcn模型。

22、(3)使用異常步態(tài)數(shù)據(jù)集gist訓練mcc-gcn，該數(shù)據(jù)集包含1種正常步態(tài)和5種病理性異常步態(tài)，由10名受試者模擬獲得；

23、gist數(shù)據(jù)集將步態(tài)分為一種正常步態(tài)和五種異常步態(tài)；其中，異常步態(tài)包括鎮(zhèn)痛步態(tài)、跨步步態(tài)、蹣跚步態(tài)、硬腿步態(tài)和臀中肌步態(tài)；鎮(zhèn)痛步態(tài)表現(xiàn)為根據(jù)受傷部位出現(xiàn)的跛行和步速降低；跨步步態(tài)在行走時腳尖著地，抬高下肢才能起步；蹣跚步態(tài)表現(xiàn)為行走時身體兩側搖擺，類似于鴨子走路；硬腿步態(tài)出現(xiàn)畫圈步態(tài)、足下垂和膝關節(jié)過度伸展的現(xiàn)象；臀中肌步態(tài)在行走時骨盆一高一低；該數(shù)據(jù)集使用6個攝像頭采集三維骨骼信息，共計7200個樣本。按照訓練集：測試集為8：2的比例劃分該數(shù)據(jù)集并訓練mcc-gcn模型，得到預訓練的mcc-gcn模型。

24、(4)使用kinect?v2深度相機采集真實異常步態(tài)患者的三維步態(tài)數(shù)據(jù)，歸一化后輸入預訓練好的mcc-gcn，得到診斷結果。

25、4.1)在實際應用場景中，對于采集到的真實異常步態(tài)患者的基于三維骨骼點的異常步態(tài)數(shù)據(jù)，先進行步態(tài)周期的姿態(tài)對齊和世界坐標系的歸一化，實現(xiàn)時間和空間維度上的統(tǒng)一；在連續(xù)的運動序列中識別和提取完整的步態(tài)周期，并將不同序列中的姿態(tài)對齊；

26、將三維空間中的骨骼點坐標轉(zhuǎn)換為關節(jié)旋轉(zhuǎn)弧度表示，計算弧度矩陣中每對向量之間的歐氏距離，并引入幀間距離約束，通過在距離矩陣中尋找局部最小歐氏距離來識別最佳匹配動作，定位步態(tài)周期的起始幀和結束幀，周期定義為由左腳跟踏地至下一次左腳跟踏地；對提取的完整步態(tài)周期數(shù)據(jù)進行均勻采樣，將不同步態(tài)數(shù)據(jù)中的關鍵幀數(shù)量和時間順序統(tǒng)一，通過幀的切割進行時間歸一化；

27、4.2)對獲得的步態(tài)數(shù)據(jù)進行空間歸一化，定義的參考身高為1.6874米，通過計算目標身高與參考身高的比例，從髖部的中心骨骼點開始，向外擴散逐步調(diào)整每個骨骼點的相對位置，保持骨骼結構的完整性，使得所有人物的骨骼點都處于相同的比例尺度；通過調(diào)整坐標軸來統(tǒng)一坐標系標準，根據(jù)左右腳踝的高度調(diào)整y軸，使人物位于以地面為原點的坐標系中；使用人體生理信息計算方法，得到人物的空間信息和生理信息，結合人物的骨盆位置，計算出z軸偏移量，消除相機距離和視角的影響；

28、4.3)通過4.1)及4.2)消除數(shù)據(jù)采集的互異性厚后，最終得到維度為rn×c×t×v的步態(tài)序列特征f，其中n為步態(tài)周期的數(shù)量，c為通道數(shù)量，t為步態(tài)周期幀數(shù)，v為三維骨骼點個數(shù)，將步態(tài)序列f輸入預訓練的mcc-gcn模型，得到步態(tài)序列特征f所屬患者的異常步態(tài)類型診斷。

29、本發(fā)明創(chuàng)造的有益效果為：只需要借助普通的光學相機或者一臺深度相機拍攝異常步態(tài)患者的行走過程，就可以利用得到的三維骨架步態(tài)數(shù)據(jù)識別出患者的異常步態(tài)類型，模型較為輕量且不改變特征維度，對醫(yī)療人員和患者都不存在負擔和操作難度。目前，全球老齡化趨勢加劇，老年人的步態(tài)問題成為全社會關注的話題，本方法在醫(yī)療診斷、康復評估和運動訓練等領域都可以發(fā)揮重要作用。