本發(fā)明涉及人體關(guān)鍵點(diǎn)檢測，尤其涉及一種基于改進(jìn)lite-hrnet模型的病人步態(tài)識別算法。

背景技術(shù)：

1、腰椎間盤突出癥是腰痛中常見病和流行病，針對腰椎間盤突出癥的預(yù)防和大規(guī)模篩查，對于促進(jìn)醫(yī)療衛(wèi)生事業(yè)的發(fā)展，提高人民群眾的生命質(zhì)量和健康水平具有重要意義。

2、目前，在醫(yī)院大多數(shù)采用傳統(tǒng)的影像檢測方法，這種方法需要影像學(xué)專家進(jìn)行手工標(biāo)注，面對成千上萬的醫(yī)學(xué)影像標(biāo)注需要極大的工作量，且其準(zhǔn)確性受到醫(yī)生主觀性、醫(yī)生巨大差異認(rèn)知和疲勞的限制。

3、近年來，隨著人體姿態(tài)估計(jì)網(wǎng)絡(luò)的不斷發(fā)展，在腰椎間盤突出病人的步態(tài)識別中取得了一定的成果：相較于傳統(tǒng)費(fèi)時(shí)費(fèi)力的人工標(biāo)注，基于機(jī)器學(xué)習(xí)的方法具有自動(dòng)化程度高、容易擴(kuò)展等特點(diǎn)。

4、但是，現(xiàn)有的人體姿態(tài)估計(jì)算法很難做到與腰椎間盤突出癥病人步態(tài)識別算法相結(jié)合；雖然研究人員使用更深、更復(fù)雜的網(wǎng)絡(luò)來估計(jì)人體姿態(tài)，但是增加了神經(jīng)網(wǎng)絡(luò)的參數(shù)量，使運(yùn)算速度變慢，在醫(yī)院的移動(dòng)或嵌入式設(shè)備不利于實(shí)際應(yīng)用；現(xiàn)有的輕量級人體姿態(tài)估計(jì)網(wǎng)絡(luò)精確度不高，在檢測過程中存在關(guān)節(jié)點(diǎn)誤判或遺漏等問題。

5、因此，如何保持人體姿態(tài)估計(jì)網(wǎng)絡(luò)檢測精度基本不變的情況下，減少網(wǎng)絡(luò)的參數(shù)數(shù)量和計(jì)算復(fù)雜度，實(shí)現(xiàn)輕量級人體姿態(tài)估計(jì)網(wǎng)絡(luò)與步態(tài)識別算法相結(jié)合，并在醫(yī)院的設(shè)備上實(shí)際應(yīng)用，是本領(lǐng)域技術(shù)人員需要解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明針對現(xiàn)有解決方案的局限性和挑戰(zhàn)，提出了一種基于改進(jìn)lite-hrnet模型的病人步態(tài)識別算法，針對醫(yī)院移動(dòng)或嵌入式設(shè)備計(jì)算資源有限和現(xiàn)有的輕量級人體姿態(tài)估計(jì)網(wǎng)絡(luò)準(zhǔn)確率不高的問題，本方法提出一種輕量級高分辨率的人體姿態(tài)估計(jì)網(wǎng)絡(luò)應(yīng)用于人體步態(tài)識別檢測。具體來說，從病人步態(tài)視頻數(shù)據(jù)集中隨機(jī)選取視頻進(jìn)行視頻數(shù)據(jù)增強(qiáng)，得到數(shù)據(jù)增強(qiáng)后的視頻，逐幀輸入至改進(jìn)lite-hrnet模型中進(jìn)行訓(xùn)練，得到訓(xùn)練后的改進(jìn)lite-hrnet模型；改進(jìn)lite-hrnet模型包括：首先在主干階段第二個(gè)卷積引入幻影卷積和cbam注意力機(jī)制進(jìn)行圖像特征提??；其次模型的所有分支引入幻影卷積和解耦注意力機(jī)制作為基礎(chǔ)殘差模型；最后在第四階段的上采樣中使用了gc模塊輸出得到一個(gè)連續(xù)的人體關(guān)鍵點(diǎn)序列；把連續(xù)的人體關(guān)鍵點(diǎn)序列輸入到c3d網(wǎng)絡(luò)中，得到步態(tài)分類的結(jié)果。具體來說，本方法提出一種輔助醫(yī)生預(yù)防和篩查腰椎間盤突出癥的輕量級步態(tài)識別檢測算法，結(jié)合了輕量級人體姿態(tài)估計(jì)檢測網(wǎng)絡(luò)和c3d視頻分析網(wǎng)絡(luò)，最終將輕量級步態(tài)識別算法與醫(yī)學(xué)中腰椎間盤突出疾病治療進(jìn)行結(jié)合，該方法更好地解決了醫(yī)生對于腰椎間盤突出癥的預(yù)防和篩查，幫助醫(yī)生更好地診斷和治療患者，實(shí)現(xiàn)了在醫(yī)院計(jì)算資源有限的移動(dòng)或嵌入式設(shè)備上應(yīng)用。

2、本發(fā)明的一種基于改進(jìn)lite-hrnet模型的病人步態(tài)識別算法，包含以下步驟：

3、s1：獲取病人步態(tài)視頻數(shù)據(jù)集，從所述病人步態(tài)視頻數(shù)據(jù)集中隨機(jī)選取n段視頻進(jìn)行視頻數(shù)據(jù)增強(qiáng)，得到數(shù)據(jù)增強(qiáng)后的視頻；

4、s2：將所述數(shù)據(jù)增強(qiáng)后的視頻逐幀輸入至改進(jìn)lite-hrnet模型中進(jìn)行訓(xùn)練，得到訓(xùn)練后的改進(jìn)lite-hrnet模型；所述改進(jìn)lite-hrnet模型包括：首先在主干階段第二個(gè)卷積引入幻影卷積和cbam注意力機(jī)制進(jìn)行圖像特征提??；其次模型的所有分支引入幻影卷積和解耦注意力機(jī)制作為基礎(chǔ)殘差模型；最后在第四階段的上采樣中使用了gc模塊輸出得到一個(gè)連續(xù)的人體關(guān)鍵點(diǎn)序列；

5、s3：將連續(xù)的人體關(guān)鍵點(diǎn)序列進(jìn)行數(shù)據(jù)處理轉(zhuǎn)為c3d網(wǎng)絡(luò)的輸入格式，然后將關(guān)鍵點(diǎn)序列輸入至c3d網(wǎng)絡(luò)，得到病人步態(tài)分類結(jié)果。

6、進(jìn)一步地，所述步驟s1中，從所述病人步態(tài)視頻數(shù)據(jù)集中隨機(jī)選取n段視頻進(jìn)行視頻數(shù)據(jù)增強(qiáng)，所述視頻數(shù)據(jù)增強(qiáng)包括：

7、s21：對視頻進(jìn)行鏡像翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)和尺度縮放；

8、s22：將鏡像翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)和尺度縮放后的每個(gè)視頻中抽取16幀，把視頻序列處理為后續(xù)需要用的圖像數(shù)據(jù)。

9、進(jìn)一步地，所述步驟s2中，所述在主干階段第二個(gè)卷積引入幻影卷積和cbam注意力機(jī)制進(jìn)行圖像特征提取，具體包括以下步驟：

10、s31：將所述數(shù)據(jù)增強(qiáng)后的圖像，輸入主干階段第一個(gè)卷積核大小為3×3、通道數(shù)為32的卷積并經(jīng)過下采樣操作得到特征圖feature-t0，其特征圖尺寸為原圖像的1/2；

11、s32：將所述特征圖feature-t0輸入至主干階段第二個(gè)設(shè)計(jì)的bottleneck模塊，模塊采用兩個(gè)幻影卷積串聯(lián)而成，模塊中引入一個(gè)步距為2的深度卷積將特征圖大小降為輸入的一半，跳躍連接同樣下采樣實(shí)現(xiàn)add操作對齊，在深度卷積后引入cbam注意力機(jī)制強(qiáng)化空間和通道信息，輸出特征圖feature-t1，其特征圖尺寸為原圖像的1/4，通道數(shù)為32。

12、進(jìn)一步地，所述步驟s2中，所述在模型的所有分支引入幻影卷積和解耦注意力機(jī)制作為基礎(chǔ)殘差結(jié)構(gòu)，具體包括以下步驟：

13、s41：將所述特征圖feature-t1作為高分辨率主分支，主分支特征圖尺寸為原圖像1/4，同時(shí)將主分支下采樣兩倍獲得一個(gè)特征圖次分支feature-down1，其特征圖尺寸為原圖像的1/8；

14、s42：將所述特征圖feature-t1與所述特征圖feature-down1并行通過第二階段stage2基本結(jié)構(gòu)，在stage2、stage3和stage4的基本結(jié)構(gòu)中引入幻影卷積和解耦注意力機(jī)制替換原shuffle模塊第一個(gè)逐點(diǎn)卷積，引入se注意力機(jī)制替換原shuffle模塊第二個(gè)逐點(diǎn)卷積；

15、s43：將所述特征圖feature-t1和所述特征圖feature-down1在stage2的過渡結(jié)構(gòu)進(jìn)行特征融合，所述特征圖feature-t1下采樣兩倍與所述特征圖feature-down1特征融合得到特征圖feature-down2，所述特征圖feature-down1上采樣兩倍與所述特征圖feature-t1特征融合得到特征圖feature-t2，同時(shí)將特征圖feature-down1下采樣兩倍獲得一個(gè)特征圖次分支feature-x1；

16、s44：將所述特征圖feature-t2、feature-down2和feature-x1并行通過第三階段stage3基本結(jié)構(gòu)，在stage3過渡結(jié)構(gòu)進(jìn)行特征融合，將所述特征圖feature-t2下采樣兩倍、feature-x1上采樣兩倍與所述特征圖feature-down2特征融合得到特征圖feature-down3，將所述特征圖feature-down2上采樣兩倍、feature-x1上采樣四倍與所述特征圖feature-t2特征融合得到特征圖feature-t3，將所述特征圖feature-t2下采樣兩倍、feature-down2下采樣四倍與所述特征圖feature-x1特征融合得到特征圖feature-x2，同時(shí)將feature-x1下采樣兩倍得到特征圖次分支feature-m1；

17、s45：將所述特征圖feature-t3、feature-down3、feature-x2和feature-m1并行通過第四階段stage4基本結(jié)構(gòu)，在stage4過渡結(jié)構(gòu)進(jìn)行特征融合，將所述特征圖feature-t3下采樣兩倍、feature-x2上采樣兩倍、feature-m1上采樣四倍與所述特征圖feature-down3特征融合得到特征圖feature-down4，將所述特征圖feature-t3下采樣四倍、feature-down3下采樣兩倍、feature-m1上采樣兩倍與所述特征圖feature-x2特征融合得到特征圖feature-x3，所述特征圖feature-t3下采樣八倍、feature-down3下采樣四倍、feature-x2下采樣兩倍與所述特征圖feature-m1特征融合得到特征圖feature-m2，所述特征圖feature-m1上采樣八倍、feature-x2上采樣四倍、feature-down3上采樣兩倍與所述特征圖feature-t3特征融合得到特征圖feature-t4。

18、進(jìn)一步地，所述步驟s2中，所述在第四階段的上采樣中使用了gc模塊輸出得到一個(gè)連續(xù)的人體關(guān)鍵點(diǎn)序列，具體包括以下步驟：

19、s51：將所述特征圖feature-t4不做處理，特征圖feature-down4、feature-x3和feature-m2上采樣過程中通過一個(gè)卷積核大小為1×1的卷積層和bn層，然后通過upsample放大n倍，最后通過gc模塊得到上采樣的結(jié)果；

20、s52：將所述特征圖feature-m2上采樣8倍得到feature-up1，將所述特征圖feature-x3上采樣4倍得到feature-up2，將所述特征圖feature-down4上采樣2倍得到feature-up3，將所述特征圖feature-up1、feature-up2和feature-up3與保留最高分辨率特征層feature-t4進(jìn)行相加融合，最后通過relu函數(shù)和一個(gè)卷積核大小為1×1卷積核個(gè)數(shù)為17的卷積層得到一個(gè)連續(xù)的人體關(guān)鍵點(diǎn)序列。

21、進(jìn)一步地，所述步驟s3中，所述將連續(xù)的人體關(guān)鍵點(diǎn)序列進(jìn)行數(shù)據(jù)處理轉(zhuǎn)為c3d網(wǎng)絡(luò)的輸入格式，然后將關(guān)鍵點(diǎn)序列輸入至c3d網(wǎng)絡(luò)，得到病人步態(tài)分類結(jié)果，具體包括以下步驟：

22、s61：將所述視頻數(shù)據(jù)16幀圖片數(shù)據(jù)依次輸入至改進(jìn)的lite-hrnet中，輸出得到輸入c3d網(wǎng)絡(luò)的16個(gè)序列；

23、s62：將所述關(guān)鍵點(diǎn)序列處理為c3d網(wǎng)絡(luò)的輸入格式，視頻片段取出來的幀數(shù)為16，圖像分辨率resize到128×172，然后再random?crop到112×112；

24、s63：所述c3d網(wǎng)絡(luò)由八個(gè)卷積層，五個(gè)池化層，兩個(gè)全連接層和一個(gè)softmax分類器組成，所有層的卷積核都是3×3×3的大小，卷積層后面是最大池化層，網(wǎng)絡(luò)的兩個(gè)連接層把特征映射轉(zhuǎn)換為病人步態(tài)分類分類結(jié)果。