人體行為識(shí)別的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像理解與識(shí)別領(lǐng)域，特別涉及一種人體行為識(shí)別的方法和裝置。
【背景技術(shù)】
[0002] 人體行為識(shí)別在計(jì)算機(jī)視覺、模式識(shí)別、人工智能等領(lǐng)域中，已經(jīng)成為一個(gè)極具意 義的研宄熱點(diǎn)。它具有廣闊的應(yīng)用前景，包括智能視頻監(jiān)控、虛擬現(xiàn)實(shí)技術(shù)等。關(guān)于人體行 為分析、識(shí)別及人體異常行為檢測(cè)的研宄可以追溯到上世紀(jì)90年代，到目前為止，國內(nèi)外 已經(jīng)取得了許多具有階段性的重要研宄成果。
[0003] 從傳統(tǒng)的研宄來看，人體行為識(shí)別的方法主要有基于模板的方法以及基于機(jī)器學(xué) 習(xí)的方法?；谀０宸椒ㄖ饕心０迤ヅ洹?dòng)態(tài)時(shí)間規(guī)整等，它通過人體行為序列與預(yù)設(shè)數(shù) 據(jù)進(jìn)行匹配，依據(jù)兩者之間的相似度來進(jìn)行識(shí)別。而基于機(jī)器學(xué)習(xí)的方法主要有動(dòng)態(tài)貝葉 斯網(wǎng)絡(luò)、支持向量機(jī)、隱馬爾科夫模型等，它通過特征提取、行為描述以及樣本學(xué)習(xí)來訓(xùn)練 得到分類器，最后對(duì)未知的人體行為進(jìn)行識(shí)別與檢測(cè)。
[0004] 人體行為的復(fù)雜性不言而喻，相比于其它模式識(shí)別的研宄更具挑戰(zhàn)性。傳統(tǒng)的人 體行為識(shí)別方法在進(jìn)行人體行為的特征提取時(shí)，大多關(guān)注二維輪廓特征，如邊緣、形狀、姿 態(tài)、軌跡等等，但是，對(duì)于復(fù)雜的人體行為而言，該方法易受噪聲的干擾，識(shí)別率不高。

【發(fā)明內(nèi)容】

[0005] 有鑒于此，本發(fā)明提供了一種人體行為識(shí)別的方法和裝置，以提高人體行為的識(shí) 別率。所述技術(shù)方案如下：
[0006] 第一方面，本發(fā)明提供了一種人體行為識(shí)別的方法，包括：
[0007] 獲取人體行為的多個(gè)時(shí)空訓(xùn)練樣本，每個(gè)時(shí)空訓(xùn)練樣本包括人體行為的一段連續(xù) 的多幀圖像；
[0008] 對(duì)所述多個(gè)時(shí)空訓(xùn)練樣本提取三維時(shí)空直方圖特征；
[0009] 對(duì)所述多個(gè)時(shí)空訓(xùn)練樣本提取二維輪廓特征；
[0010] 將所述三維時(shí)空直方圖特征和所述二維輪廓特征組合成混合特征；
[0011] 用所述混合特征輸入支持向量機(jī)SVM進(jìn)行訓(xùn)練得到分類器；
[0012] 使用所述分類器對(duì)測(cè)試樣本進(jìn)行識(shí)別，得到人體行為的識(shí)別結(jié)果。
[0013] 其中，所述對(duì)所述多個(gè)時(shí)空訓(xùn)練樣本提取三維時(shí)空直方圖特征，包括：
[0014] 對(duì)所述多個(gè)時(shí)空訓(xùn)練樣本中的每一個(gè)時(shí)空訓(xùn)練樣本執(zhí)行以下操作：
[0015] 在所述時(shí)空訓(xùn)練樣本上采樣多個(gè)興趣點(diǎn)并確定每個(gè)興趣點(diǎn)的特征描述符，根據(jù)所 述特征描述符保留具有空間特征描述性的興趣點(diǎn)，由保留的興趣點(diǎn)的特征描述符組成所述 時(shí)空訓(xùn)練樣本的時(shí)空特征矩陣；
[0016] 使用聚類算法將所述時(shí)空特征矩陣聚成K個(gè)聚類；
[0017] 對(duì)所述時(shí)空特征矩陣中的每個(gè)特征描述符所屬聚類進(jìn)行標(biāo)記后做直方圖，得到所 述時(shí)空訓(xùn)練樣本的三維時(shí)空直方圖特征。
[0018] 其中，所述確定每個(gè)興趣點(diǎn)的特征描述符，包括：
[0019] 對(duì)所述時(shí)空訓(xùn)練樣本上的每一個(gè)興趣點(diǎn)執(zhí)行以下操作：
[0020] 以所述興趣點(diǎn)為中心抽取指定邊長的立方體，將所述立方體劃分為多個(gè)子立方 體，且每個(gè)子立方體劃分為多個(gè)單位立方體，其中，一個(gè)單位立方體代表一個(gè)像素點(diǎn)；
[0021] 采用柏拉圖立體統(tǒng)計(jì)每個(gè)子立方體的梯度方向，得到每個(gè)子立方體的梯度直方 圖；
[0022] 由所述多個(gè)子立方體的梯度直方圖組成所述興趣點(diǎn)的特征描述符。
[0023] 其中，所述根據(jù)所述特征描述符保留具有空間特征描述性的興趣點(diǎn)，包括：
[0024] 對(duì)所述時(shí)空訓(xùn)練樣本上的每一個(gè)興趣點(diǎn)執(zhí)行以下操作：
[0025] 以所述興趣點(diǎn)為中心抽取指定邊長的立方體，所述立方體包括多個(gè)像素點(diǎn)；
[0026] 采用柏拉圖立體統(tǒng)計(jì)所述立方體的梯度方向，得到所述立方體的梯度直方圖；
[0027] 在所述梯度直方圖中按照峰值從高到低取前三個(gè)峰值，分別對(duì)應(yīng)所述興趣點(diǎn)至柏 拉圖立體相應(yīng)面中心點(diǎn)的三個(gè)向量：第一向量、第二向量和第三向量；
[0028] 判斷所述第一向量和第二向量之間的夾角以及所述第一向量和第三向量之間的 夾角是否均小于指定值，如果是，則去除所述興趣點(diǎn)，否則，保留所述興趣點(diǎn)。
[0029] 其中，所述對(duì)所述多個(gè)時(shí)空訓(xùn)練樣本提取二維輪廓特征，包括：
[0030] 對(duì)所述多個(gè)時(shí)空訓(xùn)練樣本中的每一個(gè)時(shí)空訓(xùn)練樣本執(zhí)行以下操作：
[0031] 對(duì)所述時(shí)空訓(xùn)練樣本中的每幀圖像，使用圖像顯著性檢測(cè)方法提取出人體輪廓 圖，并在所述人體輪廓圖上提取二維輪廓特征；
[0032] 根據(jù)提取的每幀圖像的二維輪廓特征計(jì)算得到所述時(shí)空訓(xùn)練樣本的二維輪廓特 征。
[0033] 第二方面，本發(fā)明提供了一種人體行為識(shí)別的裝置，包括：
[0034] 獲取模塊，用于獲取人體行為的多個(gè)時(shí)空訓(xùn)練樣本，每個(gè)時(shí)空訓(xùn)練樣本包括人體 行為的一段連續(xù)的多幀圖像；
[0035] 三維特征提取模塊，用于對(duì)所述多個(gè)時(shí)空訓(xùn)練樣本提取三維時(shí)空直方圖特征；
[0036] 二維特征提取模塊，用于對(duì)所述多個(gè)時(shí)空訓(xùn)練樣本提取二維輪廓特征；
[0037] 混合模塊，用于將所述三維時(shí)空直方圖特征和所述二維輪廓特征組合成混合特 征；
[0038] 訓(xùn)練模塊，用于用所述混合特征輸入支持向量機(jī)SVM進(jìn)行訓(xùn)練得到分類器；
[0039] 識(shí)別模塊，用于使用所述分類器對(duì)測(cè)試樣本進(jìn)行識(shí)別，得到人體行為的識(shí)別結(jié)果。
[0040] 其中，所述三維特征提取模塊包括：循環(huán)單元、矩陣獲取單元、聚類單元和直方圖 單元；
[0041] 所述循環(huán)單元，用于觸發(fā)所述矩陣獲取單元、聚類單元和直方圖單元，對(duì)所述多個(gè) 時(shí)空訓(xùn)練樣本中的每一個(gè)時(shí)空訓(xùn)練樣本執(zhí)行相同的操作，得到每一個(gè)時(shí)空訓(xùn)練樣本的三維 時(shí)空直方圖特征；
[0042] 所述矩陣獲取單元，用于在所述時(shí)空訓(xùn)練樣本上采樣多個(gè)興趣點(diǎn)并確定每個(gè)興趣 點(diǎn)的特征描述符，根據(jù)所述特征描述符保留具有空間特征描述性的興趣點(diǎn)，由保留的興趣 點(diǎn)的特征描述符組成所述時(shí)空訓(xùn)練樣本的時(shí)空特征矩陣；
[0043] 所述聚類單元，用于使用聚類算法將所述時(shí)空特征矩陣聚成K個(gè)聚類；
[0044] 所述直方圖單元，用于對(duì)所述時(shí)空特征矩陣中的每個(gè)特征描述符所屬聚類進(jìn)行標(biāo) 記后做直方圖，得到所述時(shí)空訓(xùn)練樣本的三維時(shí)空直方圖特征。
[0045] 其中，所述矩陣獲取單元包括：
[0046] 特征描述符確定子單元，用于對(duì)所述時(shí)空訓(xùn)練樣本上的每一個(gè)興趣點(diǎn)執(zhí)行以下操 作：以所述興趣點(diǎn)為中心抽取指定邊長的立方體，將所述立方體劃分為多個(gè)子立方體，且每 個(gè)子立方體劃分為多個(gè)單位立方體，其中，一個(gè)單位立方體代表一個(gè)像素點(diǎn)；采用柏拉圖立 體統(tǒng)計(jì)每個(gè)子立方體的梯度方向，得到每個(gè)子立方體的梯度直方圖；由所述多個(gè)子立方體 的梯度直方圖組成所述興趣點(diǎn)的特征描述符。
[0047] 其中，所述矩陣獲取單元包括：
[0048] 興趣點(diǎn)過濾子單元，用于對(duì)所述時(shí)空訓(xùn)練樣本上的每一個(gè)興趣點(diǎn)執(zhí)行以下操作： 以所述興趣點(diǎn)為中心抽取指定邊長的立方體，所述立方體包括多個(gè)像素點(diǎn)；采用柏拉圖立 體統(tǒng)計(jì)所述立方體的梯度方向，得到所述立方體的梯度直方圖；在所述梯度直方圖中按照 峰值從高到低取前三個(gè)峰值，分別對(duì)應(yīng)所述興趣點(diǎn)至柏拉圖立體相應(yīng)面中心點(diǎn)的三個(gè)向 量：第一向量、第二向量和第三向量；判斷所述第一向量和第二向量之間的夾角以及所述 第一向量和第三向量之間的夾角是否均小于指定值，如果是，則去除所述興趣點(diǎn)，否則，保 留所述興趣點(diǎn)。
[0049] 其中，所述二維特征提取模塊包括：
[0050] 二維特征提取單元，用于對(duì)所述多個(gè)時(shí)空訓(xùn)練樣本中的每一個(gè)時(shí)空訓(xùn)練樣本執(zhí)行 以下操作：對(duì)所述時(shí)空訓(xùn)練樣本中的每幀圖像，使用圖像顯著性檢測(cè)方法提取出人體輪廓 圖，并在所述人體輪廓圖上提取二維輪廓特征；根據(jù)提取的每幀圖像的二維輪廓特征計(jì)算 得到所述時(shí)空訓(xùn)練樣本的二維輪廓特征。
[0051] 本發(fā)明提供的技術(shù)方案帶來的有益效果是：通過獲取人體行為的多個(gè)時(shí)空訓(xùn)練樣 本，并提取三維時(shí)空直方圖特征和二維輪廓特征，且組合成混合特征，用混合特征輸入SVM 進(jìn)行訓(xùn)練得到分類器，對(duì)測(cè)試樣本進(jìn)行識(shí)別，得到人體行為的識(shí)別結(jié)果，由于結(jié)合了三維時(shí) 空直方圖特征和二維輪廓特征來描述人體行為，實(shí)現(xiàn)了較為理想的識(shí)別結(jié)果，不易受噪聲 的干擾，提高了識(shí)別率。
【附圖說明】
[0052] 為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使 用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于 本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他 的附圖。
[0053] 圖1是本發(fā)明一實(shí)施例提供的人體行為識(shí)別的方法流程圖；
[0054] 圖2是本發(fā)明另一實(shí)施例提供的時(shí)空訓(xùn)練樣本的示意圖；
[0055] 圖3是本發(fā)明另一實(shí)施例提供的獲取時(shí)空訓(xùn)練樣本的示意圖；
[0056] 圖4是本發(fā)明另一實(shí)施例提供的人體行為識(shí)別的方法流程圖；
[0057] 圖5是本發(fā)明另一實(shí)施例提供的人體行為的示意圖；
[0058] 圖6是本發(fā)明另一實(shí)施例提供的提取三維時(shí)空直方圖特征的流程示意圖；
[0059] 圖7是本發(fā)明另一實(shí)施例提供的提取人體輪廓圖的過程和結(jié)果比較示意圖；
[0060] 圖