基于屬性特征表示的群體行為識別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及圖像處理與模式識別領(lǐng)域，尤其設(shè)及一種基于屬性特征表示的群體行 為識別方法。
【背景技術(shù)】
[0002] 近年來，由于視頻監(jiān)督、人機(jī)交互、基于視頻的內(nèi)容檢索的需求越來越大，人體行 為識別漸漸成為了計算視覺和模式識別的研究熱點之一。目前的人體行為識別算法仍集中 于人體標(biāo)準(zhǔn)姿勢和簡單行為的識別與理解方面，近年來利用機(jī)器學(xué)習(xí)工具構(gòu)建人體行為模 型的研究已經(jīng)取得了一定的進(jìn)展。但是現(xiàn)在識別較好的只是在一些簡單的行為上，對于復(fù) 雜的群體行為還沒有一個框架簡單，模型復(fù)雜度低的，易于實施的方法。未來的發(fā)展趨勢是 如何借助先進(jìn)的視覺算法和人工智能等領(lǐng)域的成果，將現(xiàn)有簡單的行為識別與語義理解推 廣到更為復(fù)雜場景下的自然語言描述，并能夠根據(jù)外部環(huán)境進(jìn)行自主的學(xué)習(xí)與理解。
[0003] 對于群體運動行為，參與運動的人的數(shù)目比較多，每個人的運動狀態(tài)也是不盡相 同的，不僅要跟蹤到單個人的運動狀態(tài)，還要考慮到人與人之間的關(guān)系，該就需要建立一個 復(fù)雜的模型。Nabi提出了使用姿態(tài)來進(jìn)行群體行為的識別，姿態(tài)就是人體各個關(guān)節(jié)節(jié)點的 一種結(jié)構(gòu)關(guān)系，不同的結(jié)構(gòu)關(guān)系就代表一種姿態(tài)，并且訓(xùn)練得到了 150種姿態(tài)檢測器。但是 該種方法沒有考慮到單個人的運動狀態(tài)，W及它們之間的關(guān)系，是一種從宏觀上來把握整 體運動。它的抗干擾能力是很強(qiáng)的，普適性也是很強(qiáng)的，但是它沒有得到帖與帖之間的運動 信息，并且用該個特征直接關(guān)聯(lián)到標(biāo)簽，效果一般。Liu提出了在運動行為中提取高層語義 即屬性概念，該些高層語義，不僅僅是人的某個動作是否存在，而且還包含環(huán)境因素。使用 屬性概念在單個人行為中取得了非常好的效果。Kong化把屬性應(yīng)用到群體行為識別方法 中，雖然取得了良好的效果，但是，它需要對交互行為中的每一個人進(jìn)行跟蹤，該就需要很 大的預(yù)處理工作，并且在識別時使用的模型非常復(fù)雜，參數(shù)調(diào)節(jié)比較繁瑣，在實際應(yīng)用中很 難做到實時性，該樣會限制它的應(yīng)用場合。
[0004] 對于復(fù)雜的群體行為識別中，傳統(tǒng)方法具有預(yù)處理復(fù)雜，模型復(fù)雜度高等不足。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明所要解決的技術(shù)問題是針對【背景技術(shù)】中所設(shè)及的缺陷，提供一種基于屬性 特征表示的群體行為識別方法。
[0006] 本發(fā)明為解決上述技術(shù)問題采用W下技術(shù)方案：
[0007] 基于屬性特征表示的群體行為識別方法，包括如下步驟：
[000引步驟1)，將原始動作視頻序列劃分為若干視頻，將視頻劃分為訓(xùn)練視頻和測試視 頻兩組，并基于訓(xùn)練視頻構(gòu)建視頻的特征詞典；
[0009] 步驟2)，根據(jù)視頻高層語義概念，標(biāo)定訓(xùn)練視頻的屬性，使得每個訓(xùn)練視頻對應(yīng)一 個屬性向量；
[0010] 步驟3)，根據(jù)所述特征詞典提取訓(xùn)練視頻的描述符后，基于訓(xùn)練視頻的描述符和 屬性向量進(jìn)行訓(xùn)練得到屬性分類模型；
[0011] 步驟4)，根據(jù)所述訓(xùn)練視頻的屬性向量提取其基于屬性的視頻描述符后，訓(xùn)練得 到預(yù)先設(shè)定的動作數(shù)據(jù)庫中各個動作的分類模型；
[0012] 步驟5)，根據(jù)所述特征詞典提取測試視頻的描述符；
[0013] 步驟6)，根據(jù)所述測試視頻的描述符，使用屬性分類模型提取測試視頻的屬性向 量；
[0014] 步驟7)，根據(jù)所述測試視頻的屬性向量，提取測試視頻基于屬性的視頻描述符；
[0015] 步驟8)，對所述測試視頻基于屬性的視頻描述符，運用所述分類模型獲得測試視 頻中包含的動作類別。
[0016] 作為本發(fā)明基于屬性特征表示的群體行為識別方法進(jìn)一步的優(yōu)化方案，所述步驟 1)具體包括：
[0017] 步驟1. 1)，將視頻的每一帖劃分成大小相同、兩兩不相交的柵格后，W視頻的每一 帖相同位置的柵格為時間軸方向結(jié)合形成一個柵格立方體，將視頻若干柵格立方體；
[0018] 步驟1.2)，對于視頻的每一帖圖片，利用預(yù)先設(shè)定的姿態(tài)檢測器庫來提取圖片的 姿態(tài)；
[0019] 步驟1. 3)，視頻每一帖圖片中，對于任意一個柵格，根據(jù)包含此柵格的帖的姿態(tài)獲 取柵格的描述符，并將柵格立方體的每個柵格的描述符依次串聯(lián)起來，得到柵格立方體基 于姿態(tài)的描述符；
[0020] 步驟1. 4)，對于視頻中所有柵格立方體，根據(jù)柵格立方體的描述符和預(yù)設(shè)的顯著 性公式計算出柵格立方體的顯著值后，把柵格立方體顯著值與預(yù)先設(shè)定的顯著闊值進(jìn)行比 較，刪除顯著值小于等于預(yù)先設(shè)定的顯著闊值的柵格立方體；
[0021] 步驟1. 5)，采用梯度公式，提取柵格立方體基于梯度的描述符；
[0022] 步驟1. 6)，將柵格立方體的基于姿態(tài)的描述符和基于梯度的描述符串聯(lián)起來，得 到柵格立方體的描述符；
[0023]步驟1. 7)，對訓(xùn)練視頻中所有保留的柵格立方體的描述符進(jìn)行K-means聚類，形 成視頻的特征詞典。
[0024] 作為本發(fā)明基于屬性特征表示的群體行為識別方法進(jìn)一步的優(yōu)化方案，所述步驟 1. 2)的詳細(xì)步驟如下：
[002引步驟1. 2. 1)，對于視頻的每一帖圖片，根據(jù)不同尺度，把圖片劃分為一定數(shù)量的圖 像塊，針對每一個圖像塊，采用預(yù)先設(shè)定的姿態(tài)檢測器庫中的姿態(tài)檢測器依次對其進(jìn)行檢 巧。，得到姿態(tài)檢測器庫中各個姿態(tài)檢測器與其的匹配度，將匹配度最高的姿態(tài)檢測器對應(yīng) 的姿態(tài)作為該圖像塊中的姿態(tài)，并記錄此匹配值為其類似度；
[0026] 步驟1. 2. 2)，對于所有提取出的姿態(tài)，將其類似度與預(yù)設(shè)的類似度闊值進(jìn)行比較， 刪除類似度低于類似度闊值的姿態(tài)。
[0027] 作為本發(fā)明基于屬性特征表示的群體行為識別方法進(jìn)一步的優(yōu)化方案，所述步驟 3)具體包括：
[002引步驟3. 1)，對于所有訓(xùn)練視頻中的每一個視頻，利用所述特征詞典，根據(jù)視頻中的 柵格立方體的描述符計算其與詞典中所有詞的歐式距離，將柵格立方體劃歸為距離最小的 詞，得到視頻的詞頻直方圖，歸一化之后得到視頻的描述符；
[0029]步驟3. 2)，根據(jù)訓(xùn)練視頻的描述符和屬性向量，使用線性支持向量機(jī)，學(xué)習(xí)得到屬 性的分類模型。
[0030] 作為本發(fā)明基于屬性特征表示的群體行為識別方法進(jìn)一步的優(yōu)化方案，所述步驟 4)具體包括：
[003U 步驟4. 1)，根據(jù)訓(xùn)練視頻的屬性向量，得到屬性向量內(nèi)屬性之間的關(guān)系，屬性向量 內(nèi)每兩個屬性之間的關(guān)系使用一個四維向量來表示，將屬性向量內(nèi)所有兩兩屬性間關(guān)系的 向量串聯(lián)得到訓(xùn)練視頻的屬性關(guān)系向量；
[0032] 步驟4. 2)，將訓(xùn)練視頻的屬性向量和訓(xùn)練視頻的屬性關(guān)系向量進(jìn)行串聯(lián)，得到訓(xùn) 練視頻的基于屬性的描述符；
[0033] 步驟4. 3)，采用訓(xùn)練視頻的基于屬性的描述符，使用支持向量機(jī)訓(xùn)練得到預(yù)先設(shè) 定的動作數(shù)據(jù)庫中各個動作的分類模型。
[0034] 作為本發(fā)明基于屬性特征表示的群體行為識別方法進(jìn)一步的優(yōu)化方案，將原始 視頻序列劃分為視頻時，視頻所包含的帖數(shù)為10,視頻的每一帖圖片中劃分的柵格大小為 40*40,柵格立方體的小為40*40*10,姿態(tài)類別的數(shù)目為150個，視頻的柵格立方體基于姿 態(tài)的描述符是1500維向量，視頻的柵格立方體基于梯度的描述符是216維向量。
[0035] 作為本發(fā)明基于屬性特征表示的群體行為識別方法進(jìn)一步的優(yōu)化方案，所述訓(xùn)練 視頻的屬性向量中屬性之間的關(guān)系為W下四種：
[0036] {(〇,〇)，（0, 1)，（1，〇)，（1，1)}。
[0037] 本發(fā)明采用W上技術(shù)方案與現(xiàn)有技術(shù)相比，具有W下技術(shù)效果：
[003引在群體行為識別中，現(xiàn)在的一般方法是先得到原子行為，再通過原子行為之間的 關(guān)系得到總的群體行為的表示，但是人體受到遮擋，背景復(fù)雜等影響，導(dǎo)致原子行為之間 的建模變得困難。本發(fā)明，是不需要對群體行為中的個體進(jìn)行跟蹤的，并且前期操作非常簡 單，很容易就可W得到視