本發(fā)明涉及人體動作識別，尤其涉及一種基于輕量化模型的雷達人體動作識別方法。

背景技術：

1、隨著人口老齡化進程的加快，對老年人的監(jiān)護問題正逐漸成為一個社會熱點問題。而在日常生活中，摔倒是導致老年人受傷的主要原因之一，因此需要對老年人的日常生活進行監(jiān)測。近幾年來，老年人摔倒檢測已經成為老年人監(jiān)護研究和開發(fā)的活躍領域。

2、目前，常用的對于摔倒檢測設備可以分為兩大類：穿戴式和非穿戴式。穿戴式檢測設備包括壓力鞋墊、手環(huán)、按鈕和智能手機等。非穿戴式檢測設備包括視覺傳感器、聲音、壓力和震動傳感器等。

3、但是穿戴式設備容易引起用戶不適，影響用戶的正常生活，且識別準確度不足。而視覺傳感器會造成人員暴露在攝像頭下，容易泄露隱私；聲音、壓力和震動傳感器等受環(huán)境的影響比較大，抗干擾性弱。

技術實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于輕量化模型的雷達人體動作識別方法，在動作識別方面具有顯著優(yōu)勢，更能夠滿足實際應用的需求。

2、本發(fā)明采用的技術方案是：

3、一種基于輕量化模型的雷達人體動作識別方法，首先，采用iwr1843boost雷達收集人體步行、坐下、站立、彎腰、跌倒五種狀態(tài)下的雷達回波數(shù)據，每類動作300組，共1500組雷達回波。其次，對收集的雷達數(shù)據去除環(huán)境噪聲以及室內其他物體的干擾，利用快速傅里葉變換構造距離-時間圖(rtm)。將頻譜圖沿距離維進行短時傅里葉變換形成微多普勒圖。最后，將收集的微多普勒圖使用數(shù)據增強構建其數(shù)據集，其中訓練集占60％、驗證集占20％、測試集占20％。訓練集用于模型訓練，提供輸入的特征。在訓練的過程中通過驗證集得出的模型性能指標以選擇最佳的模型超參數(shù)，最后將待測的人體動作時頻圖作為測試集送入訓練好的模型中進行分類識別，以識別出待測人體動作的雷達回波信號的具體動作類型。方法具體包括以下步驟：

4、步驟1，構建fmcw雷達模型，并基于fmcw雷達模型采集獲取人體不同姿態(tài)下的雷達回波數(shù)據；

5、進一步地，步驟1中構建fmcw雷達模型的具體步驟為：

6、步驟1-1，將雷達的發(fā)射信號表示為：

7、

8、式中，at表示發(fā)射功率，b表示chirp的帶寬，fc表示chirp的起始頻率，tc表示chirp的持續(xù)時間，表示相位噪音；

9、步驟1-2，雷達接收到經過延時和縮放處理的回波信息數(shù)學表達式為：

10、

11、式中，td＝2r/c用來表示信號在與距離雷達r處的目標之間的往返時間，α為信號傳播過程中幅度的衰減；

12、步驟1-3，將雷達發(fā)射信號xt(t)和接收xr(t)進行混頻，經過i/q解調后得到近似表示差拍信號的數(shù)學表達式

13、

14、式中，fb＝2br/(ctc)表示差拍頻率，ar表示接收功率，表示相位；

15、進一步地，在近距離檢測人體動作的實驗中，可以忽略殘留相位噪音此外，由于實際情況下πbt2d/tc很小，也可將其忽略，因此相位φb(t)＝4πr/λ。

16、步驟1-4，將所得的差拍信號描述為雷達數(shù)據矩陣的形式：

17、

18、式中，n表示快時間采樣軸，m表示慢時間采樣軸，tf表示快時間采樣軸上的adc采樣時間間隔，ts表示慢時間采樣軸上的采樣時間間隔。

19、進一步地，步驟1中采集獲取人體不同姿態(tài)下的雷達回波數(shù)據，每個姿態(tài)采集若干組得到雷達回波數(shù)據。

20、具體地，采用iwr1843boost雷達收集人體步行、坐下、站立、彎腰、跌倒五種狀態(tài)下的雷達回波數(shù)據，每類動作300組，共1500組雷達回波。

21、步驟2，利用雷達回波數(shù)據構建微多普勒圖數(shù)據集，并將微多普勒圖數(shù)據集按設定比例劃為訓練集、驗證集和測試集；

22、具體地，步驟2包括以下步驟：

23、步驟2-1，將雷達回波數(shù)據進行去噪去干擾后，利用快速傅里葉變換構造距離-時間圖(rtm)，并將頻譜圖沿距離維進行短時傅里葉變換形成微多普勒圖

24、步驟2-2，將收集的微多普勒圖使用數(shù)據增強構建對應的微多普勒圖數(shù)據集，并將微多普勒圖數(shù)據集按設定比例劃為訓練集、驗證集和測試集；

25、進一步地，步驟2中設定比例為6:2:2。

26、具體地，對收集的雷達數(shù)據去除環(huán)境噪聲以及室內其他物體的干擾，利用快速傅里葉變換構造距離-時間圖(rtm)。將頻譜圖沿距離維進行短時傅里葉變換形成微多普勒圖。將收集的微多普勒圖使用數(shù)據增強構建其數(shù)據集，其中訓練集占60％、驗證集占20％、測試集占20％。訓練集用于模型訓練，提供輸入的特征。在訓練的過程中通過驗證集得出的模型性能指標以選擇最佳的模型超參數(shù)，最后采用測試集評估模型性能，得到動作識別結果。

27、針對雷達采集的數(shù)據矩陣，在其快時間維上所有列數(shù)據加上漢寧窗，執(zhí)行range-fft得到距離-時間圖，其次對距離-時間二維矩陣中的距離維加窗采用stft，最后進行疊加，從而得到人體動作的微多普勒-時間特征信息，即微多普勒-時間圖。短時傅里葉變換(stft)是一種用于檢測時變信號的線性時頻方法。將給定的一個雷達信號分成m個長度為l的段：

28、

29、根據需求選取窗函數(shù)設置128，得到人體不同動作微多普勒圖。

30、步驟3，構建改進的fasternet網絡模型，并將預處理后的訓練集和與驗證集輸入構建好的改進的fasternet網絡模型進行動作識別；改進的fasternet網絡模型包括嵌入層、多尺度特征融合模塊、至少四個fasternet?bolck；相鄰兩個fasternet?bolck之間設有一個合并層；最后一個fasternet?bolck的輸出依次通過全局平均池化層、1×1卷積層和全連接層進行特征轉換和分類；

31、其中，多尺度特征融合模塊將輸入的特征分為三個部分并行處理，一部分通過全局平均池化層對特征圖的每個通道進行全局平均池化壓縮通道信息并提取全局特征；另外兩個部分分別進行1×1卷積和3×3卷積操作，使用深度可分離卷積代替?zhèn)鹘y(tǒng)卷積以減少網絡參數(shù)量；再將三部分的提取特征分別通過一個pwconv層處理后進行bn層歸一化處理，再拼接后輸出；

32、fasternet?bolck包括依次一個pconv層和兩個pwconv層，形成了一個倒置的殘差結構；fasternet?bolck的輸入分為兩路，一路依次通過一個pconv層和兩個pwconv層處理得到輸出特征與另一路拼接后作為fasternet?bolck的輸出；合并層用于通道數(shù)擴展；

33、具體地，每個fasternet?bolck前都包含一個嵌入層或一個合并層，用于空間下采樣和通道數(shù)擴展。在嵌入層后設計一種多尺度特征融合模塊，使用多尺度卷積核，實現(xiàn)不同尺度的感知，豐富特征圖的特征信息。該模塊將輸入的特征分為三個部分并行處理，首先，對特征圖的每個通道進行全局平均池化壓縮通道信息并提取全局特征。后續(xù)兩個部分進行1×1卷積和3×3卷積操作，使用深度可分離卷積代替?zhèn)鹘y(tǒng)卷積以減少網絡參數(shù)量。fasternet?bolck中由一個pconv層和兩個pwconv層組成，它們形成了一個倒置的殘差結構。最后使用全局平均池化層、1×1卷積層和全連接層進行特征轉換和分類。

34、進一步地，fasternet?bolck的兩個pwconv層之間設有simam模塊，simam模塊對提取的特征從空間和通道維度上學習每個位置的相關性，使網絡保持輕量化前提下，更加專注于微多普勒圖重要特征信息的提取，提升網絡識別精度。

35、進一步地，simam模塊執(zhí)行如下步驟：

36、s1，為每個神經元定義能量函數(shù)，能量函數(shù)表達式如下：

37、

38、式中，和分別是t和xi的線性變換，wt和bt分別為權重和偏移；m是對應通道上的神經元數(shù)量；

39、s2，引入正則項得到最終的能量函數(shù)表達式：

40、

41、式中，λ為權重值，xi為輸入特征，wt和bt分別表示：

42、

43、式中，是該通道中除t以外的所有神經元的均值和方差。

44、s3，計算得到最小能量，計算公式如下：

45、

46、由式子3-4可以看出，能量越低，神經元t與周圍神經元的差異越大，在模型中對神經元t的關注就越多。

47、s4，對輸入特征增強處理得到增強特征，增強計算公式如下：

48、

49、其中，x為輸入特征，為增強后的輸出特征，e為et*在所有通道和空間維度的總和，⊙為點積運算。

50、步驟4：對改進的fasternet網絡模型進行訓練：使用adamw優(yōu)化器，損失函數(shù)采用交叉熵損失函數(shù)(crossentropy?loss)，不斷更新模型參數(shù)得到最優(yōu)模型；

51、進一步地，步驟4中每次訓練的批次(batchsize)為16，訓練100個epoch，學習率為0.001。

52、進一步地，步驟4中adamw優(yōu)化器的權重衰減設置為0.0005。

53、步驟5：將待測的雷達采樣數(shù)據處理得到待測的微多普勒特征數(shù)據，待測的微多普勒特征數(shù)據輸入最優(yōu)模型得到人體動作識別的分類結果。

54、本發(fā)明采用以上技術方案，具有如下技術特點：(1)針對攝像頭容易受到光線條件影響，并且存在個人隱私泄露風險，不適合臥室、客廳等一些居家場所，本發(fā)明從雷達采樣數(shù)據中處理得到微多普勒特征，使用短時傅里葉變換構建不同動作的微多普勒圖。(2)傳統(tǒng)的動作識別方法忽視了模型的大小導致網絡運行計算量太大，本發(fā)明基于輕量化卷積神經網絡fasternet對人體動作微多普勒圖分類，使網絡有較低的參數(shù)量和計算量，更能滿足實際要求。(3)本發(fā)明設有一多尺度特征融合模塊，通過平均池化層和不同尺度卷積提取更加豐富的特征，將該模塊與輕量型卷積神經網絡fasternet模型結合防止信息丟失。為避免輕量化分類精度下降，在fasternet模型中融入注意力機制，提升網絡識別精度。

55、本發(fā)明的技術方案，在智能家居方面，用戶可以通過動作更便捷地操作設備，同時系統(tǒng)也可以通過用戶的動作智能的調整工作狀態(tài)，例如在老人監(jiān)護方面，系統(tǒng)能夠實時分析老人的身體狀況，并在必要時及時發(fā)出警報。