基于多視圖和多模態(tài)特征的自適應(yīng)動(dòng)作識(shí)別方法
【專利摘要】一種基于多視圖和多模態(tài)特征的自適應(yīng)動(dòng)作識(shí)別方法。具體包括：視頻預(yù)處理；目標(biāo)運(yùn)動(dòng)變化過(guò)程多視圖描述；等級(jí)金字塔特征提??；多視圖深度和RGB模型構(gòu)建；多視圖模型選擇，推斷及多模態(tài)特征結(jié)果融合。本發(fā)明首先針對(duì)可見光圖像動(dòng)作識(shí)別常遇到的光照變化和陰影等困難，提出基于多視圖和多模態(tài)特征進(jìn)行動(dòng)作識(shí)別；其次本發(fā)明針對(duì)單一視圖的局限性，提出了目標(biāo)運(yùn)動(dòng)變化過(guò)程多視圖描述，它能夠比較全面的捕獲深度和RGB圖像序列中目標(biāo)的變化過(guò)程；再次本發(fā)明公開的等級(jí)金字塔特征既有空間分辨能力也有細(xì)節(jié)描述能力，具有非常好的魯棒性和區(qū)分性；最后，根據(jù)環(huán)境光線的變化情況，自適應(yīng)的進(jìn)行多模態(tài)特征的融合，進(jìn)一步提高動(dòng)作識(shí)別方法的性能和穩(wěn)定性。
【專利說(shuō)明】基于多視圖和多模態(tài)特征的自適應(yīng)動(dòng)作識(shí)別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計(jì)算機(jī)視覺和模式識(shí)別【技術(shù)領(lǐng)域】，設(shè)計(jì)了一種基于多視圖和多模態(tài)特征的自適應(yīng)動(dòng)作識(shí)別方法，解決利用可見光圖像進(jìn)行動(dòng)作識(shí)別的困難，并提高動(dòng)作識(shí)別的準(zhǔn)確性和魯棒性，可以用于對(duì)監(jiān)控視頻中人體目標(biāo)的動(dòng)作識(shí)別，實(shí)現(xiàn)對(duì)監(jiān)控視頻的智能化管理。
【背景技術(shù)】
[0002]隨著計(jì)算機(jī)技術(shù)和信息技術(shù)的發(fā)展，對(duì)基于視頻的人體動(dòng)作分析的需求越來(lái)越迫切，在諸如智能監(jiān)控、家居安全、智能機(jī)器人、運(yùn)動(dòng)員輔助訓(xùn)練等系統(tǒng)中，動(dòng)作分析起到了越來(lái)越重要的作用。然而早期的人體動(dòng)作識(shí)別大多是利用普通的RGB圖像序列進(jìn)行動(dòng)作分析，這樣會(huì)受到光照、陰影、色度、環(huán)境變化等因素的干擾。
[0003]利用深度圖像進(jìn)行人體動(dòng)作識(shí)別是近年來(lái)興起的技術(shù)。這主要得益于深度圖攝像機(jī)的成本降低，特別是微軟推出Kinect設(shè)備。與可見光圖像不同，深度圖像像素值僅與物體空間位置有關(guān)，不會(huì)受光照、陰影、色度、環(huán)境變化等因素的干擾，能夠有效地突破可見光圖像識(shí)別遇到的問(wèn)題和瓶頸。在一定的空間范圍內(nèi)，深度圖像可以用來(lái)進(jìn)行3D空間中的動(dòng)作識(shí)別，代替可見光攝像機(jī)的雙目視覺。因?yàn)槿梭w運(yùn)動(dòng)分析在高級(jí)人機(jī)交互、視頻會(huì)議、安全監(jiān)控、醫(yī)療診斷、基于內(nèi)容的圖像存儲(chǔ)和檢索等方面，具有潛在的經(jīng)濟(jì)價(jià)值和廣泛的應(yīng)用前景，因此利用深度圖像進(jìn)行動(dòng)作分析得到國(guó)內(nèi)外廣大機(jī)器視覺研究者們的關(guān)注。
[0004]在計(jì)算機(jī)視覺和模式識(shí)別相關(guān)研究領(lǐng)域中，提高人體動(dòng)作識(shí)別的準(zhǔn)確性和穩(wěn)定性一直是最活躍的研究問(wèn)題之一，并且能夠設(shè)計(jì)出一種魯棒的動(dòng)作描述法也是一個(gè)重點(diǎn)和難點(diǎn)。由于利用可見光圖像會(huì)受到光照、陰影、色度、環(huán)境變化等因素的干擾，在識(shí)別目標(biāo)的動(dòng)作時(shí)，基于可見光的方法常常失敗，當(dāng)光線發(fā)生較大變化時(shí)，例如，夜晚，其性能將急劇下降。因此，近些年利用深度圖像進(jìn)行動(dòng)作識(shí)別成為該領(lǐng)域主流方法，但是由于目標(biāo)差異較大，同時(shí)，即使相同目標(biāo)的動(dòng)作也存在差異，這給人體動(dòng)作識(shí)別帶來(lái)了很大困難。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的是解決基于可見光的動(dòng)作識(shí)別方法識(shí)別性能不穩(wěn)定，當(dāng)光線發(fā)生較大變化時(shí)，例如，夜晚，其性能將急劇下降的問(wèn)題，同時(shí)，由于觀察視角的不同，從某個(gè)觀察視角，不能全面的捕獲目標(biāo)運(yùn)動(dòng)歷史變化過(guò)程，因此，本發(fā)明提出一種基于多視圖和多模態(tài)特征的自適應(yīng)動(dòng)作識(shí)別方法，用于對(duì)視頻監(jiān)控中目標(biāo)動(dòng)作進(jìn)行識(shí)別，以實(shí)現(xiàn)對(duì)監(jiān)控視頻的智能分析。
[0006]本發(fā)明提供的基于多視圖和多模態(tài)特征的自適應(yīng)動(dòng)作識(shí)別方法，克服了現(xiàn)有技術(shù)的不足并提高了動(dòng)作識(shí)別的準(zhǔn)確性，能夠很好的應(yīng)用于現(xiàn)實(shí)生活中。該方法具體包含以下步驟:
第1、視頻預(yù)處理
預(yù)處理包括對(duì)輸入的深度圖像和RGB圖像序列濾波去噪，同時(shí)，通過(guò)Kinect設(shè)備的紅外裝置，可以測(cè)出目標(biāo)與攝像頭的近似距離，在該距離值的基礎(chǔ)上，增加0.5米獲得對(duì)應(yīng)的大閾值，減去I米獲得對(duì)應(yīng)的小閾值。當(dāng)某像素的深度值大于大閾值或小于小閾值時(shí)，將該像素標(biāo)記為O，否則標(biāo)記為1，這樣，能夠移除背景對(duì)目標(biāo)的干擾；
第2、目標(biāo)運(yùn)動(dòng)變化過(guò)程多視圖描述
由于環(huán)境光線的變化，將對(duì)RGB圖像序列有較大的影響，同時(shí)，由于觀察視角的不同，從某個(gè)觀察視角，不能全面地捕獲目標(biāo)運(yùn)動(dòng)歷史變化過(guò)程，因此，提出了基于RGB圖像和深度圖像的多視圖目標(biāo)運(yùn)動(dòng)歷史變化過(guò)程，捕獲目標(biāo)的運(yùn)動(dòng)變化，即:
(1)捕獲深度視頻序列人體變化過(guò)程，獲得對(duì)應(yīng)的多視圖深度運(yùn)動(dòng)歷史圖像；
(2)捕獲RGB視頻序列人體運(yùn)動(dòng)變化過(guò)程，獲得對(duì)應(yīng)的深度限制RGB圖的多視圖運(yùn)動(dòng)歷史圖像；
第3、等級(jí)金字塔特征提取
在第2步獲得的多視圖深度運(yùn)動(dòng)歷史圖像和深度限制RGB圖的多視圖運(yùn)動(dòng)歷史圖像的基礎(chǔ)上，分別尋找圖像中非零像素，從而獲得對(duì)應(yīng)的人體歷史運(yùn)動(dòng)的矩形區(qū)域，并在該區(qū)域內(nèi)，提取等級(jí)金字塔特征描述對(duì)應(yīng)的人體動(dòng)作，其中人體動(dòng)作包括:(I)彎腰鞠躬，(2)原地起跳且手抬起，(3)跳遠(yuǎn)，(4)單手揮手，(5)原地跳起手不動(dòng)，(6)跑步，(7)側(cè)移，
(8)單腳走路，(9)雙手揮手，(10)雙腳走路，(11)鼓掌，(12)甩胳膊，(13)踢腿，(14)網(wǎng)球、羽毛球等發(fā)球，(15)聞爾夫搖桿擊球，(16)拳擊，(17)太極z?手。
[0007]第4、多視圖深度模型構(gòu)建和多視圖RGB模型構(gòu)建
網(wǎng)路中公共的動(dòng)作數(shù)據(jù)集DHA中每個(gè)樣本都包括RGB和深度圖像序列，同時(shí),該數(shù)據(jù)集被劃分為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集，按照第3步的方法，為DHA訓(xùn)練數(shù)據(jù)集中的每個(gè)樣本分別提取深度圖像序列和RGB圖像序列上的多視圖的等級(jí)金字塔特征，并將每個(gè)樣本的不同視圖的特征串聯(lián)，然后，在訓(xùn)練數(shù)據(jù)集上，分別訓(xùn)練基于深度的多視圖等級(jí)金字塔特征和基于RGB的多視圖等級(jí)金字塔特征的支持向量機(jī)模型；
第5、多視圖模型選擇，模型推斷以及多模態(tài)特征結(jié)果融合
在公共動(dòng)作數(shù)據(jù)集DHA中測(cè)試數(shù)據(jù)集上，按照第3步的方法，提取深度和RGB運(yùn)動(dòng)歷史圖像上的多視圖的等級(jí)金字塔特征，同時(shí)，計(jì)算RGB矩形區(qū)域內(nèi)平均亮度，根據(jù)其光線的亮暗情況，自適應(yīng)的選擇已經(jīng)訓(xùn)練好的模型。當(dāng)環(huán)境光線較暗時(shí)，RGB圖像序列非常模糊，無(wú)法進(jìn)行動(dòng)作識(shí)別，因此，采用基于深度的多視圖等級(jí)金字塔特征的支持向量機(jī)模型，反之，則采用基于深度和RGB融合的多視圖，多模態(tài)特征的支持向量機(jī)模型。即將測(cè)試樣本中提取基于深度的多視圖特征和基于RGB的多視圖特征分別輸入到模型中，模型將自動(dòng)地對(duì)樣本的動(dòng)作類別進(jìn)行判斷，并給出對(duì)應(yīng)的屬于某個(gè)動(dòng)作類別的概率，最后，融合多模態(tài)特征的結(jié)果。
[0008]本發(fā)明方法首先針對(duì)可見光圖像動(dòng)作識(shí)別常遇到的困難，例如，光照變化、陰影和遮擋等變化，引入基于深度圖的動(dòng)作識(shí)別方法，同時(shí)，針對(duì)觀察視角的不同，從某個(gè)觀察視角，不能全面的捕獲目標(biāo)運(yùn)動(dòng)歷史變化過(guò)程，因此，本發(fā)明提出了目標(biāo)運(yùn)動(dòng)變化過(guò)程多視圖描述，它能夠比較全面的捕獲深度圖像序列和RGB圖像序列中人體動(dòng)作的變化過(guò)程；再次本發(fā)明公開的等級(jí)金字塔特征既有空間分辨能力也有細(xì)節(jié)描述能力，且具有非常好的魯棒性和區(qū)分性；最后、根據(jù)環(huán)境光線的變化情況，自適應(yīng)的進(jìn)行多模態(tài)特征的融合，進(jìn)一步的提高動(dòng)作識(shí)別方法的性能和穩(wěn)定性。[0009]本發(fā)明的優(yōu)點(diǎn)和有益效果:
I)通過(guò)引入基于深度圖像的動(dòng)作識(shí)別方法，解決由于光照、陰影、色度、環(huán)境變化等因素帶來(lái)的影響；2)本發(fā)明公開的目標(biāo)運(yùn)動(dòng)變化過(guò)程多視圖描述，能夠比較全面的捕獲深度圖像序列和RGB圖像序列中人體動(dòng)作的變化過(guò)程，克服由于觀察視角的不同，從某個(gè)觀察視角，不能全面的捕獲目標(biāo)運(yùn)動(dòng)歷史變化過(guò)程的困難；3)本發(fā)明公開的等級(jí)金字塔特征既具有空間分辨能力也具有細(xì)節(jié)描述能力，且具有很好的魯棒性和區(qū)分性，很大程度上提高動(dòng)作識(shí)別的準(zhǔn)確性。4)根據(jù)環(huán)境光線的變化情況，自適應(yīng)的進(jìn)行多模態(tài)特征的融合，進(jìn)一步的提高動(dòng)作識(shí)別方法的性能和穩(wěn)定性。
[0010]
【專利附圖】

【附圖說(shuō)明】
[0011]圖1為本發(fā)明的流程圖。
[0012]圖2從左至右分別為“單手揮手”動(dòng)作的(a) RGB圖像和(b)深度圖像。
[0013]圖3從左至右分別為“高爾夫搖桿擊球”動(dòng)作的(a) RGB圖像和(b) RGB圖人體剪
影圖像。
[0014]圖4從左至右分別為基于深度圖的“鞠躬”動(dòng)作的(a)正視圖，(b)俯視圖和(C)左視圖的運(yùn)動(dòng)歷史過(guò)程。
[0015]圖5從左至右分別為基于RGB圖的“單手揮”動(dòng)作的(a)正視圖，(b)俯視圖和(C)左視圖的運(yùn)動(dòng)歷史過(guò) 程。
[0016]圖6為“雙手揮動(dòng)”的正視圖下等級(jí)金字塔特征的提取過(guò)程。
[0017]
【具體實(shí)施方式】
[0018]下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步的描述。
[0019]實(shí)施例1
如圖1所示，為本發(fā)明基于多視圖和多模態(tài)特征的自適應(yīng)動(dòng)作識(shí)別方法的操作流程圖，該方法的操作步驟包括:
步驟01視頻預(yù)處理
對(duì)輸入的深度圖像和RGB圖像序列濾波去噪，同時(shí)，通過(guò)Kinect設(shè)備的紅外裝置，可以測(cè)出目標(biāo)與攝像頭的大概距離，根據(jù)該距離值，加上0.5米獲得大閾值，減去I米獲得小閾值，例如，在本實(shí)施例中，目標(biāo)與攝像頭的距離大約為2米，則大閾值為2.5米，小閾值為I米。當(dāng)某像素的深度值大于大閾值或小于小閾值時(shí)，將該像素標(biāo)記為0，否則標(biāo)記為1，這樣，可以移除背景對(duì)目標(biāo)的干擾；其結(jié)果如圖2 Ca)和(b)所示。具體定義為:.ο5>Thres\ or 其中代表深度圖像中像素的深度值，代表兩個(gè)不同的閾值，
且1&1§2；1>11?|16*0,實(shí)施例中，113|18?1=2.5, Ihredl =10其中圖像去噪采用均值濾波方法。[0020]步驟02目標(biāo)運(yùn)動(dòng)歷史變化過(guò)程多視圖描述
(I)深度運(yùn)動(dòng)過(guò)程多視圖描述:
任意長(zhǎng)度的N幀視頻，例如N=23、31、54，由于觀察視角的不同，從某個(gè)觀察視角，不能全面的捕獲目標(biāo)運(yùn)動(dòng)歷史變化過(guò)程，因此，本發(fā)明提出了基于多視圖的目標(biāo)運(yùn)動(dòng)歷史變化過(guò)程，具體包括正視圖、俯視圖和左視圖的目標(biāo)運(yùn)動(dòng)歷史變化過(guò)程。下面依次介紹不同視圖的目標(biāo)運(yùn)動(dòng)歷史變化過(guò)程:
(a)正視圖下的目標(biāo)運(yùn)動(dòng)歷史變化過(guò)程
為了描述連續(xù)運(yùn)動(dòng)序列的深度變化過(guò)程，針對(duì)每個(gè)非零像素，計(jì)算N幀中該像素位置的最大值和最小值，獲得對(duì)應(yīng)的最大值和最小值圖像，將這兩幅圖像做差，并取絕對(duì)值，獲得對(duì)應(yīng)的正視圖下的目標(biāo)運(yùn)動(dòng)歷史變化過(guò)程，其效果圖如圖3 (a)所示，具體定義如下所示:
【權(quán)利要求】
1.一種基于多視圖和多模態(tài)特征的自適應(yīng)動(dòng)作識(shí)別方法，該方法具體包含以下步驟: 第1、視頻預(yù)處理 預(yù)處理包括對(duì)輸入的深度圖像和RGB圖像序列濾波去噪，同時(shí)，通過(guò)Kinect設(shè)備的紅外裝置，測(cè)出目標(biāo)與攝像頭的近似距離，在該距離值的基礎(chǔ)上，增加0.5米獲得對(duì)應(yīng)的大閾值，減去I米獲得對(duì)應(yīng)的小閾值；當(dāng)某像素的深度值大于大閾值或小于小閾值時(shí)，將該像素標(biāo)記為O，否則標(biāo)記為1，這樣，能夠移除背景對(duì)目標(biāo)的干擾； 第2、目標(biāo)運(yùn)動(dòng)變化過(guò)程多視圖描述 由于環(huán)境光線的變化，將對(duì)RGB圖像序列有較大的影響，同時(shí)，由于觀察視角的不同，從某個(gè)觀察視角，不能全面地捕獲目標(biāo)運(yùn)動(dòng)歷史變化過(guò)程，因此，提出了基于RGB圖像和深度圖像的多視圖目標(biāo)運(yùn)動(dòng)歷史變化過(guò)程，捕獲目標(biāo)的運(yùn)動(dòng)變化，即: (1)捕獲深度視頻序列人體變化過(guò)程，獲得對(duì)應(yīng)的多視圖深度運(yùn)動(dòng)歷史圖像； (2)捕獲RGB視頻序列人體運(yùn)動(dòng)變化過(guò)程，獲得對(duì)應(yīng)的深度限制RGB圖的多視圖運(yùn)動(dòng)歷史圖像； 第3、等級(jí)金字塔特征提取 在第2步獲得的多視圖深度運(yùn)動(dòng)歷史圖像和深度限制RGB圖的多視圖運(yùn)動(dòng)歷史圖像的基礎(chǔ)上，分別尋找圖像中非零像素，從而獲得對(duì)應(yīng)的人體歷史運(yùn)動(dòng)的矩形區(qū)域，并在該區(qū)域內(nèi)，提取等級(jí)金字塔特征描述對(duì)應(yīng)的人體動(dòng)作，其中人體動(dòng)作包括:(I)彎腰鞠躬，(2)原地起跳且手抬起，(3)跳遠(yuǎn)，(4)單手揮手，(5)原地跳起手不動(dòng)，(6)跑步，(7)側(cè)移，(8)單腳走路，(9)雙手揮 手，(10)雙腳走路，(11)鼓掌，(12)甩胳膊，(13)踢腿，(14)網(wǎng)球、羽毛球等發(fā)球，(15)聞爾夫搖桿擊球，(16)拳擊，(17)太極z?手； 第4、多視圖深度模型構(gòu)建和多視圖RGB模型構(gòu)建 網(wǎng)絡(luò)中公開的動(dòng)作數(shù)據(jù)集DHA中每個(gè)樣本都包括RGB和深度圖像序列，同時(shí),該數(shù)據(jù)集被劃分為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集，按照第3步的方法，為DHA訓(xùn)練數(shù)據(jù)集中的每個(gè)樣本分別提取深度圖像序列和RGB圖像序列上的多視圖的等級(jí)金字塔特征，并將每個(gè)樣本的不同視圖的特征串聯(lián)，然后，在訓(xùn)練數(shù)據(jù)集上，分別訓(xùn)練基于深度的多視圖等級(jí)金字塔特征和基于RGB的多視圖等級(jí)金字塔特征的支持向量機(jī)模型； 第5、多視圖模型選擇，模型推斷以及多模態(tài)特征結(jié)果融合 在公共動(dòng)作數(shù)據(jù)集DHA中測(cè)試數(shù)據(jù)集上，按照第3步的方法，提取深度和RGB運(yùn)動(dòng)歷史圖像上的多視圖的等級(jí)金字塔特征，同時(shí)，計(jì)算RGB矩形區(qū)域內(nèi)平均亮度，根據(jù)光線的亮暗情況，自適應(yīng)的選擇已經(jīng)訓(xùn)練好的模型；當(dāng)環(huán)境光線較暗時(shí)，RGB圖像序列非常模糊，無(wú)法進(jìn)行動(dòng)作識(shí)別，因此，采用基于深度的多視圖等級(jí)金字塔特征的支持向量機(jī)模型，反之，則采用基于深度和RGB融合的多視圖，多模態(tài)特征的支持向量機(jī)模型，即將測(cè)試樣本中提取基于深度的多視圖特征和基于RGB的多視圖特征分別輸入到模型中，模型將自動(dòng)地對(duì)樣本的動(dòng)作類別進(jìn)行判斷，并給出對(duì)應(yīng)的屬于某個(gè)動(dòng)作類別的概率，最后，融合多模態(tài)特征的結(jié)果O
2.根據(jù)權(quán)利要求1所述的方法，其特征在于該方法首先針對(duì)可見光圖像動(dòng)作識(shí)別常遇到的光照變化、陰影和遮擋困難，引入基于深度圖的動(dòng)作識(shí)別方法，同時(shí)，針對(duì)觀察視角的不同，從某個(gè)觀察視角，不能全面的捕獲目標(biāo)運(yùn)動(dòng)歷史變化過(guò)程，因此，本發(fā)明提出了目標(biāo)運(yùn)動(dòng)變化過(guò)程多視圖描述，它能夠比較全面的捕獲深度和RGB圖像序列中人體動(dòng)作的變化過(guò)程；再次本發(fā)明公開的等級(jí)金字塔特征既有空間分辨能力也有細(xì)節(jié)描述能力，且具有非常好的魯棒性和區(qū)分性；最后、根據(jù)環(huán)境光線的變化情況，自適應(yīng)的進(jìn)行多模態(tài)特征的融合，進(jìn)一步的提高動(dòng) 作識(shí)別方法的性能和穩(wěn)定性。
【文檔編號(hào)】G06K9/00GK103473530SQ201310386606
【公開日】2013年12月25日 申請(qǐng)日期:2013年8月30日 優(yōu)先權(quán)日:2013年8月30日
【發(fā)明者】高贊, 張樺, 徐光平, 薛彥兵, 申曉霞, 宋健明 申請(qǐng)人:天津理工大學(xué)