本發(fā)明涉及步態(tài)識別,尤其涉及一種步態(tài)識別模型的訓(xùn)練方法、步態(tài)識別方法及介質(zhì)、控制器。
背景技術(shù):
1、步態(tài)識別是一種基于受試者的身體外形和行走方式實現(xiàn)身份認證的生物識別技術(shù)。相比于人臉識別、虹膜識別和指紋識別等技術(shù),步態(tài)數(shù)據(jù)具有難以偽裝、可遠距離采集和無需受試者配合等優(yōu)勢,因而步態(tài)識別在視頻監(jiān)控、安防和刑偵等領(lǐng)域具有廣闊的應(yīng)用前景。
2、步態(tài)識別的目標是從人體形態(tài)的時間變化規(guī)律中學(xué)習(xí)特定的身份表征,然而現(xiàn)實場景中的相機視角、服裝和攜帶物等因素不僅會導(dǎo)致人體輪廓發(fā)生明顯變化,而且在一定程度上會改變?nèi)梭w的運動特征,從而給步態(tài)識別任務(wù)帶來巨大挑戰(zhàn)。
技術(shù)實現(xiàn)思路
1、本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。為此,本發(fā)明的一個目的在于提出一種步態(tài)識別模型的訓(xùn)練方法,訓(xùn)練得到的步態(tài)識別模型,具有步態(tài)識別準確率高的優(yōu)點。
2、本發(fā)明的第二個目的在于提出一種步態(tài)識別方法。
3、本發(fā)明的第三個目的在于提出一種計算機可讀存儲介質(zhì)。
4、本發(fā)明的第四個目的在于提出一種控制器。
5、為達到上述目的,本發(fā)明第一方面實施例提出一種步態(tài)識別模型的訓(xùn)練方法,所述步態(tài)識別模型包括形變場特征提取網(wǎng)絡(luò)、全連接層和分類器,所述形變場特征提取網(wǎng)絡(luò)的輸入端用以輸入步態(tài)剪影序列的形變場數(shù)據(jù),所述形變場特征提取網(wǎng)絡(luò)的輸出端與所述全連接層的輸入端連接,所述全連接層的輸出端與所述分類器的輸入端連接,所述全連接層用以輸出所述步態(tài)剪影序列的步態(tài)特征,所述分類器用以輸出所述步態(tài)剪影序列的身份標簽,所述訓(xùn)練方法包括:
6、獲取訓(xùn)練樣本集,其中,所述訓(xùn)練樣本集包括步態(tài)剪影序列的形變場數(shù)據(jù)及其對應(yīng)的真實身份標簽;
7、將所述訓(xùn)練樣本集中的步態(tài)剪影序列輸入至步態(tài)識別模型,得到所述步態(tài)剪影序列的步態(tài)特征和預(yù)測身份標簽;
8、根據(jù)所述步態(tài)特征構(gòu)建三元組損失函數(shù),根據(jù)所述預(yù)測身份標簽和所述真實身份標簽構(gòu)建交叉熵損失函數(shù),并根據(jù)所述三元組損失函數(shù)和所述交叉熵損失函數(shù)構(gòu)建步態(tài)識別模型損失函數(shù);
9、基于所述步態(tài)識別模型損失函數(shù)對所述步態(tài)識別模型進行訓(xùn)練,得到訓(xùn)練好的步態(tài)識別模型。
10、根據(jù)本發(fā)明實施例的步態(tài)識別模型的訓(xùn)練方法,步態(tài)識別模型采用的形變場特征提取網(wǎng)絡(luò)利用從相鄰幀人體輪廓點中生成包含人體形態(tài)和運動變化量信息的形變場數(shù)據(jù)生成形變場特征,解決步態(tài)剪影數(shù)據(jù)中運動信息不足的問題,提高訓(xùn)練得到的步態(tài)識別模型步態(tài)識別準確率。
11、另外,根據(jù)本發(fā)明上述實施例提出的步態(tài)識別模型的訓(xùn)練方法還可以具有如下附加的技術(shù)特征:
12、根據(jù)本發(fā)明的一個實施例,所述形變場特征提取網(wǎng)絡(luò)分支包括依次連接的第二三維卷積層、第二時間聚合層、多尺度特征提取層、第二池化層和第二廣義均值池化層,將所述訓(xùn)練樣本集中的步態(tài)剪影序列輸入至步態(tài)識別模型,包括:
13、利用所述第二三維卷積層和所述第二時間聚合層對所述形變場數(shù)據(jù)進行特征提取和聚合,得到第三特征;
14、利用所述多尺度特征提取層對所述第三特征進行特征提取,得到第四特征;
15、利用所述第二池化層和所述第二廣義均值池化層對所述第四特征進行池化,得到形變場特征;
16、利用所述全連接層對所述形變場特征進行映射,得到所述步態(tài)特征;
17、利用所述分類器對所述步態(tài)特征進行分類,得到所述預(yù)測身份標簽。
18、根據(jù)本發(fā)明的一個實施例,所述多尺度特征提取層包括第一多尺度特征提取模塊、第二多尺度特征提取模塊和第三多尺度特征提取模塊,所述第一多尺度特征提取模塊、所述第二多尺度特征提取模塊和所述第三多尺度特征提取模塊均包括第一卷積分支、第二卷積分支、第三卷積分支和特征融合層,所述特征融合層包括特征相加融合子層和特征拼接融合子層,其中,所述第一多尺度特征提取模塊和所述第二多尺度特征提取模塊利用特征相加融合子層進行元素級特征相加融合,所述第三多尺度特征提取模塊利用特征拼接融合子層進行元素級特征拼接融合,利用多尺度特征提取層對第三特征進行特征提取,得到第四特征,包括:
19、利用所述第一多尺度特征提取模塊中的第一卷積分支、第二卷積分支、第三卷積分支分別對第三特征進行特征提取,得到三個不同尺度的第一子特征;
20、利用所述第一多尺度特征提取模塊中的特征融合層對三個不同尺度的第一子特征進行元素級特征相加,得到第一形變場融合特征;
21、利用所述第二多尺度特征提取模塊中的第一卷積分支、第二卷積分支、第三卷積分支分別對第一形變場融合特征進行特征提取,得到三個不同尺度的第二子特征;
22、利用所述第一多尺度特征提取模塊中的特征融合層對三個不同尺度的第二子特征進行元素級特征相加,得到第二形變場融合特征;
23、利用所述第三多尺度特征提取模塊中的第一卷積分支、第二卷積分支、第三卷積分支分別對第二形變場融合特征進行特征提取,得到三個不同尺度的第三子特征;
24、利用所述第三多尺度特征提取模塊中的特征融合層對三個不同尺度的第三子特征進行元素級特征拼接,得到第四特征。
25、根據(jù)本發(fā)明的一個實施例,所述步態(tài)識別模型還包括步態(tài)剪影特征提取網(wǎng)絡(luò)和融合層,所述步態(tài)剪影特征提取網(wǎng)絡(luò)的輸入端用以輸入所述步態(tài)剪影序列,所述步態(tài)剪影特征提取網(wǎng)絡(luò)的輸出端與所述融合層的第一輸入端連接,所述融合層的第二輸入端與所述形變場特征提取網(wǎng)絡(luò)的輸出端連接,所述融合層的輸出端與所述全連接層連接;所述訓(xùn)練方法還包括:
26、利用所述步態(tài)剪影特征提取網(wǎng)絡(luò)對所述步態(tài)剪影序列進行特征提取,得到步態(tài)剪影特征,并利用所述融合層對所述步態(tài)剪影特征和所述形變場特征進行融合;
27、所述利用所述全連接層對所述形變場特征進行映射,包括:
28、利用所述全連接層對融合步態(tài)剪影特征的形變場特征進行映射。
29、根據(jù)本發(fā)明的一個實施例,所述步態(tài)剪影特征提取網(wǎng)絡(luò)包括依次連接的第一三維卷積層、第一時間聚合層、幀間差異性和上下文信息特征提取層、第一池化層和第一廣義均值池化層,利用所述步態(tài)剪影特征提取網(wǎng)絡(luò)對所述步態(tài)剪影序列進行特征提取,包括:
30、利用所述第一三維卷積層和所述第一時間聚合層對所述步態(tài)剪影序列進行特征提取和聚合,得到第一特征;
31、利用所述幀間差異性和上下文信息特征提取層對所述第一特征進行特征提取,得到第二特征;
32、利用所述第一池化層和所述第一廣義均值池化層對所述第二特征進行池化,得到步態(tài)剪影特征。
33、根據(jù)本發(fā)明的一個實施例,所述形變場數(shù)據(jù)是通過如下方式得到的:
34、針對每一所述步態(tài)剪影序列,對所述步態(tài)剪影序列中每一步態(tài)剪影幀進行輪廓提取,得到人體輪廓;
35、對所述人體輪廓進行離散化,得到人體輪廓離散點;
36、對相鄰幀之間的人體輪廓離散點進行配準,得到每一所述步態(tài)剪影序列對應(yīng)的所述形變場數(shù)據(jù)。
37、根據(jù)本發(fā)明的一個實施例,所述步態(tài)識別模型損失函數(shù)的表達式為:
38、
39、其中,為所述步態(tài)識別模型損失函數(shù),為所述交叉熵損失函數(shù),為所述三元組損失函數(shù);
40、所述交叉熵損失函數(shù)的表達式為:
41、
42、其中,為身份特征的數(shù)量,為第個樣本對應(yīng)的身份標簽,為第個樣本的預(yù)測概率;
43、所述三元組損失函數(shù)的表達式為:
44、
45、其中,h為三元組的個數(shù),三元組為,為第h個三元組中受試者的特征,為第h個三元組中與屬于同一受試者的特征,為第h個三元組中與屬于不同受試者的特征,為特征與特征間的歐氏距離,為特征與特征間的歐氏距離,表示邊界閾值。
46、為達到上述目的,本發(fā)明第二方面實施例提出了一種步態(tài)識別方法,所述識別方法包括:將待識別步態(tài)剪影序列的形變場數(shù)據(jù)輸入至訓(xùn)練好的步態(tài)識別模型,得到所述待識別步態(tài)剪影序列的類別,其中,所述訓(xùn)練好的步態(tài)識別模型利用如本發(fā)明第一方面實施例提出的步態(tài)識別模型的訓(xùn)練方法訓(xùn)練得到。
47、為達到上述目的,本發(fā)明第三方面實施例提出了一種計算機可讀存儲介質(zhì),其上存儲有計算機程序,所述計算機程序被處理器執(zhí)行時,實現(xiàn)如本發(fā)明第一方面實施例提出的步態(tài)識別模型的訓(xùn)練方法,或,如本發(fā)明第二方面實施例提出的步態(tài)識別方法。
48、為達到上述目的,本發(fā)明第四方面實施例提出了一種控制器,包括存儲器、處理器,所述存儲器上存儲有計算機程序,所述計算機程序被所述處理器執(zhí)行時,實現(xiàn)如本發(fā)明第一方面實施例提出的步態(tài)識別模型的訓(xùn)練方法,或,如本發(fā)明第二方面實施例提出的步態(tài)識別方法。
49、本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出,部分將從下面的描述中變得明顯,或通過本發(fā)明的實踐了解到。