一種基于stdf特征的人體行為識(shí)別算法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及到視頻處理的技術(shù)領(lǐng)域，尤其設(shè)及到一種基于STDF特征的人體行為 識(shí)別算法。
【背景技術(shù)】
[0002] 基于視頻圖像的行為識(shí)別在智能視頻監(jiān)控、視頻檢索、人機(jī)交互和智能家居等方 面有著廣泛的應(yīng)用。行為識(shí)別的主要任務(wù)是利用計(jì)算機(jī)對(duì)包含行人的圖像序列進(jìn)行分析， 從而識(shí)別人的動(dòng)作。在基于計(jì)算機(jī)視覺(jué)的行為識(shí)別中，主要包括行為特征提取W及行為分 類兩個(gè)步驟，目前，行為識(shí)別算法中使用的特征主要包括全局特征和局部特征兩大類。
[0003] 在視頻圖像中不僅單幅圖像空間中存在聯(lián)系，帖與帖之間也相互關(guān)聯(lián)，因此，在各 類特種中，時(shí)空體特征受到了學(xué)者廣泛的關(guān)注。全局時(shí)空體特征主要W檢測(cè)輪廓、邊緣、光 流為主。局部時(shí)空體特征，主要W檢測(cè)時(shí)空興趣點(diǎn)為主?；诰植繒r(shí)空體興趣點(diǎn)的動(dòng)作表 示和識(shí)別的方法，首先從圖像序列中提取能夠代表行為的時(shí)空興趣點(diǎn)，再使用興趣點(diǎn)的特 征對(duì)運(yùn)動(dòng)進(jìn)行表征，最后建立動(dòng)作分類器進(jìn)行動(dòng)作識(shí)別。Laptev I首次提出時(shí)空體興趣點(diǎn) 的檢測(cè)，在Harris角點(diǎn)檢測(cè)中加入時(shí)空信息。為了得到更加稠密的興趣點(diǎn)，Dollar提出通 過(guò)構(gòu)造一系列的1D G油or濾波器對(duì)圖像序列進(jìn)行Gaussian卷積，，從而檢測(cè)局部最大的 化boids特征進(jìn)行興趣點(diǎn)的提取。Willems提出使用化ssian3D檢測(cè)興趣點(diǎn)，并且擴(kuò)展SURF 描述子，更加有效的檢測(cè)復(fù)雜的時(shí)空體興趣點(diǎn)。由于時(shí)上述方法提取出的空體興趣點(diǎn)較為 稀疏，Wang在綜述了現(xiàn)有局部時(shí)空體特征后，提出采用稠密網(wǎng)格取樣的方法進(jìn)行行為識(shí)別 的識(shí)別率最高。
[0004] 通過(guò)檢測(cè)局部時(shí)空體興趣點(diǎn)和稠密取樣的方式提取時(shí)空特征都有一定的局限性。 大部分時(shí)空體興趣點(diǎn)是由2D空間的興趣點(diǎn)檢測(cè)器擴(kuò)展而來(lái)，而該些2D的興趣點(diǎn)檢測(cè)器最 初是用于特征匹配，而并非用于數(shù)據(jù)分類。因此，提取時(shí)空體特征時(shí)需要對(duì)像素點(diǎn)進(jìn)行逐 一的計(jì)算，特征提取的計(jì)算量較大，并且提取出的興趣點(diǎn)較為稀疏，使用時(shí)空興趣點(diǎn)作為特 征，描述性不強(qiáng)。相反，稠密取樣可W提取大量的樣本點(diǎn)，但是，稠密取樣得到的樣本點(diǎn)數(shù)量 巨大，對(duì)行為的表現(xiàn)力不強(qiáng)，同時(shí)引入了對(duì)于行為識(shí)別不必要背景信息。在復(fù)雜場(chǎng)景下，稠 密取樣的識(shí)別效率低，效果不佳。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是為了克服現(xiàn)有技術(shù)的不足，提供了一種人體行為識(shí)別算法。
[0006] 本發(fā)明是通過(guò)W上技術(shù)方案實(shí)現(xiàn)：
[0007] 本發(fā)明提供了一種人體行為識(shí)別算法，該人體行為識(shí)別算法包括W下步驟：
[000引依據(jù)視頻序列深度信息，提取對(duì)應(yīng)的STDF特征；
[0009] 提取采樣點(diǎn)STDF特征，依據(jù)LPM模型建立BoW模型；
[0010] 使用基于RBF核函數(shù)的SVM對(duì)建立的BoW中的數(shù)據(jù)進(jìn)行分析得到結(jié)果。
[0011] 優(yōu)選的，所述提取采樣點(diǎn)STDF特征具體步驟為：
[0012] 根據(jù)視頻序列深度信息求取運(yùn)動(dòng)顯著性區(qū)域；
[0013] 確定顯著性區(qū)域的區(qū)域活躍度；
[0014] 提取顯著性區(qū)域的時(shí)空特征點(diǎn)。
[0015] 優(yōu)選的，所述確定顯著性區(qū)域的區(qū)域活躍度具體為；由視頻的深度信息確定人體 的頭部、四肢作為顯著性區(qū)域；計(jì)算顯著性區(qū)域的Lucas-Kanade光流特征，作為能量函數(shù)， 恒量該區(qū)域運(yùn)動(dòng)運(yùn)動(dòng)激烈程度。
[0016] 優(yōu)選的，所述能量函數(shù)為計(jì)算所述顯著性區(qū)域內(nèi)像素點(diǎn)的流光之和。
[0017] 優(yōu)選的，所述能量函數(shù)包括：
[0020] 其中Vi為區(qū)域內(nèi)第i個(gè)像素點(diǎn)的光流矢量（V h，Viy) ; Ivil表示光流矢量的幅值， 區(qū)域內(nèi)能量函數(shù)EK(n)值越大，則認(rèn)為區(qū)域越活躍。
[0021] 本發(fā)明的有益效果是：算法依據(jù)運(yùn)動(dòng)劇烈區(qū)域在行為識(shí)別中提供更多判別信息的 思想，利用視頻圖像的深度信息確定人體運(yùn)動(dòng)顯著性區(qū)域，通過(guò)計(jì)算區(qū)域內(nèi)光流特征作為 度量區(qū)域活躍度的能量函數(shù)，依據(jù)能量函數(shù)對(duì)運(yùn)動(dòng)顯著性區(qū)域進(jìn)行高斯取樣，使樣本點(diǎn)分 布于運(yùn)動(dòng)劇烈區(qū)域。將采集到的樣本點(diǎn)作為動(dòng)作底層特征描述人體行為，結(jié)合BoW詞袋模 型，采用SVM分類器對(duì)行為進(jìn)行識(shí)別。實(shí)驗(yàn)數(shù)據(jù)表明，基于STDF特征的人體行為識(shí)別算法， 在SwustDepth數(shù)據(jù)集中平均行為識(shí)別準(zhǔn)確率能夠達(dá)到92%。
【具體實(shí)施方式】
[0022] 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，W下結(jié)合實(shí)施例，對(duì)本發(fā)明 進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用W解釋本發(fā)明，并不用 于限定本發(fā)明。
[0023] 本發(fā)明實(shí)施例提供了一種人體行為識(shí)別算法，該人體行為識(shí)別算法包括W下步 驟：依據(jù)視頻序列深度信息，提取對(duì)應(yīng)的STDF特征；
[0024] 提取采樣點(diǎn)STDF特征，依據(jù)LPM模型建立BoW模型；
[0025] 使用基于RBF核函數(shù)的SVM對(duì)建立的BoW中的數(shù)據(jù)進(jìn)行分析得到結(jié)果。
[0026] 優(yōu)選的，所述提取采樣點(diǎn)STDF特征具體步驟為：
[0027] 根據(jù)視頻序列深度信息求取運(yùn)動(dòng)顯著性區(qū)域；
[002引確定顯著性區(qū)域的區(qū)域活躍度；
[0029] 提取顯著性區(qū)域的時(shí)空特征點(diǎn)。
[0030] 優(yōu)選的，所述確定顯著性區(qū)域的區(qū)域活躍度具體為；由視頻的深度信息確定人體 的頭部、四肢作為顯著性區(qū)域；計(jì)算顯著性區(qū)域的Lucas-Kanade光流特征，作為能量函數(shù)， 恒量該區(qū)域運(yùn)動(dòng)運(yùn)動(dòng)激烈程度。
[0031] 優(yōu)選的，所述能量函數(shù)為計(jì)算所述顯著性區(qū)域內(nèi)像素點(diǎn)的流光之和。
[0032] 優(yōu)選的，所述能量函數(shù)包括：
[003引其中Vi為區(qū)域內(nèi)第i個(gè)像素點(diǎn)的光流矢量（V h，Viy) ; |vi|表示光流矢量的幅值， 區(qū)域內(nèi)能量函數(shù)EK(n)值越大，則認(rèn)為區(qū)域越活躍。
[0036] 本實(shí)施例提供的算法依據(jù)運(yùn)動(dòng)劇烈區(qū)域在行為識(shí)別中提供更多判別信息的思想， 利用視頻圖像的深度信息確定人體運(yùn)動(dòng)顯著性區(qū)域，通過(guò)計(jì)算區(qū)域內(nèi)光流特征作為度量區(qū) 域活躍度的能量函數(shù)，依據(jù)能量函數(shù)對(duì)運(yùn)動(dòng)顯著性區(qū)域進(jìn)行高斯取樣，使樣本點(diǎn)分布于運(yùn) 動(dòng)劇烈區(qū)域。將采集到的樣本點(diǎn)作為動(dòng)作底層特征描述人體行為，結(jié)合BoW詞袋模型，采 用SVM分類器對(duì)行為進(jìn)行識(shí)別。實(shí)驗(yàn)數(shù)據(jù)表明，基于STDF特征的人體行為識(shí)別算法，在 SwustDepth數(shù)據(jù)集中平均行為識(shí)別準(zhǔn)確率能夠達(dá)到92%。
[0037] 為了方便對(duì)本實(shí)施例的理解，下面結(jié)合具體的實(shí)施例進(jìn)行詳細(xì)的說(shuō)明。
[003引A1 ;建立LPM模型；，對(duì)于一個(gè)大小為2W*2H*2T的視頻Vp，對(duì)其進(jìn)行降采樣，得到 一個(gè)大小為W*H*2T，分辨率為原視頻一半的視頻V,，使用不同尺度的滑動(dòng)窗口在視頻V,中， 提取粗略3D局部時(shí)空塊，作為"root"時(shí)空塊。而對(duì)于每一個(gè)"root"時(shí)空塊都有8個(gè)對(duì)應(yīng) 從Vp中提取的高分辨率的"parts"特征。此模型，旨在建立BoW模式時(shí)，使提取的時(shí)空塊 特征包含空間結(jié)構(gòu)信息和時(shí)間順序信息。
[0039] A2;提取 STDF 特征；
[0040] A21基于深度信息的顯著性區(qū)域確定
[0041] 利用可見(jiàn)光圖像的行為識(shí)別，常遭遇光照變化、陰影、物體遮擋W及環(huán)境變化等因 素的干擾。深度圖像僅與CCD到物體表面的距離有關(guān)。因此，深度圖像具有顏色無(wú)關(guān)性，不 會(huì)遇到光照、陰影、環(huán)境變化等因素的影響。其次，根據(jù)距離很容易確定人體的不同區(qū)域。將 前景與背景W及前景中人的不同區(qū)域分割出來(lái)。
[0042] 算法中，使用Jamie Shotton提出的隨機(jī)森林算法，估計(jì)人體不同的區(qū)域。首先， 使用場(chǎng)景的深度信息，由遠(yuǎn)到近的分析每個(gè)像素，確定最可能為人體的區(qū)域，再通過(guò)邊緣檢 巧版術(shù)確定區(qū)域，獲取人體的完整輪廓，將前景中的人分割出來(lái)。然后根據(jù)分割出人體身體 的區(qū)域，識(shí)別人體輪廓區(qū)域內(nèi)的各個(gè)身體部位。實(shí)驗(yàn)中使用Kinect同時(shí)獲取顏色和深度 信息，通過(guò)深度信息獲取人體部位的隨機(jī)森林模型，利用mean shift算法預(yù)測(cè)各部位節(jié)點(diǎn)。 使用深度信息，粗略確定