關(guān)系作為HCRF的 原始觀測(cè)值，在樣本視頻的集合上利用預(yù)設(shè)函數(shù)完成HCRF的參數(shù)訓(xùn)練，從而學(xué)習(xí)到具有中 級(jí)語(yǔ)義信息的隱狀態(tài)及隱狀態(tài)的空間連接關(guān)系。
[0037] 本步驟中，具有中級(jí)語(yǔ)義信息的隱狀態(tài)被定義為基元，隱狀態(tài)的空間連接關(guān)系，即 為基元的空間連接關(guān)系；優(yōu)選地，本步驟中的預(yù)設(shè)函數(shù)為最大似然函數(shù)，即HCRF模型通過(guò) 最大似然函數(shù)估計(jì)法進(jìn)行參數(shù)訓(xùn)練。本步驟中的最大似然函數(shù)通過(guò)勢(shì)函數(shù)進(jìn)行定義，通過(guò) 最大化所有樣本觀測(cè)值的出現(xiàn)概率優(yōu)化模型參數(shù)。勢(shì)函數(shù)包括unary勢(shì)函數(shù)和pairwise 勢(shì)函數(shù)?，F(xiàn)有技術(shù)中，基于HCRF的行為識(shí)別方法，構(gòu)建和訓(xùn)練HCRF僅僅為了學(xué)習(xí)到一個(gè)從 觀測(cè)值X到類別標(biāo)號(hào)y的映射關(guān)系，而本實(shí)施例中的基于結(jié)構(gòu)化的特征圖的人體行為識(shí)別 方法，旨在利用HCRF學(xué)習(xí)具有中級(jí)語(yǔ)義信息的基元（即現(xiàn)有技術(shù)中HCRF的隱狀態(tài)，本發(fā)明 中定義為基元）及其空間連接關(guān)系，更好的對(duì)局部特征及其空間關(guān)系進(jìn)行建模，從而完成 對(duì)人體行為視頻的匹配和識(shí)別。
[0038] 步驟4,將所述樣本視頻序列分割為時(shí)序單元。
[0039] 本步驟中，所述時(shí)序單元包含一個(gè)或多個(gè)幀，在具體分割時(shí)，需要根據(jù)視頻的長(zhǎng)度 和計(jì)算復(fù)雜度的需要，取不同的時(shí)序單元大小。
[0040] 步驟5,在所述時(shí)序單元內(nèi)，利用所述隱狀態(tài)和隱狀態(tài)的空間連接關(guān)系構(gòu)建結(jié)構(gòu)化 的特征圖。
[0041] 對(duì)于同一個(gè)樣本視頻的集合，采用一個(gè)統(tǒng)一的具有固定結(jié)構(gòu)的特征圖，所述特征 圖的每個(gè)頂點(diǎn)對(duì)應(yīng)一個(gè)學(xué)習(xí)到的基元，每條邊對(duì)應(yīng)所述基元的空間連接關(guān)系，從而構(gòu)建一 個(gè)全連接的屬性圖，特征圖的每個(gè)頂點(diǎn)和每條邊的屬性值分別為所對(duì)應(yīng)的基元和空間連接 關(guān)系在該時(shí)序單元內(nèi)出現(xiàn)的概率，該屬性值可以在HCRF中通過(guò)預(yù)設(shè)算法計(jì)算，如置信傳播 算法，當(dāng)某一頂點(diǎn)或邊對(duì)應(yīng)的基元或空間關(guān)聯(lián)關(guān)系未在該時(shí)序單元內(nèi)出現(xiàn)時(shí)，無(wú)需改變特 征圖的結(jié)構(gòu)，只需將其對(duì)應(yīng)的屬性值置零即可。
[0042] 步驟6,將所述結(jié)構(gòu)化的特征圖映射到特征空間中。
[0043] 本步驟中的特征空間，是由結(jié)構(gòu)化的特征圖的所有頂點(diǎn)和所有邊的屬性的所有可 能取值組成的。由于各特征圖的結(jié)構(gòu)都是統(tǒng)一的、固定的，只是特征圖中頂點(diǎn)和邊的屬性值 不同，因此，可以在特征空間中，將屬性延展成特征向量，優(yōu)選地，通過(guò)串聯(lián)的方式將所述屬 性延展成特征向量。當(dāng)進(jìn)行匹配時(shí)，只需要在特征空間中比較所延展成的特征向量，衡量屬 性值的相似度。
[0044] 步驟7,將所述時(shí)序單元通過(guò)時(shí)序關(guān)系進(jìn)行連接，構(gòu)建基于結(jié)構(gòu)化的特征圖的鏈狀 圖，提出時(shí)序圖核。
[0045] 本步驟中，將每個(gè)時(shí)序單元作為所述鏈狀圖的頂點(diǎn)，前后時(shí)序關(guān)系作為鏈狀圖的 邊，構(gòu)建一個(gè)基于特征圖（SFG，StructuredFeature-Graph)的鏈狀圖（SFGs)，提出時(shí)序圖 核（TGK，TemporalGraphKernel)，優(yōu)選的，這里的時(shí)序圖核是一種基于隨機(jī)游走的圖核。
[0046] 優(yōu)選地，本步驟中游走的長(zhǎng)度可以從0到無(wú)窮，充分考慮不同行為序列在運(yùn)動(dòng)時(shí) 間和運(yùn)動(dòng)速度上的不同。
[0047] 步驟8,利用所述時(shí)序圖核，對(duì)待識(shí)別行為視頻進(jìn)行識(shí)別。
[0048] 本步驟中的待識(shí)別行為視頻，區(qū)別于樣本視頻序列。
[0049] 優(yōu)選地，本步驟中使用K近鄰方法對(duì)所述行為視頻進(jìn)行識(shí)別和分類。
[0050] 本實(shí)施例通過(guò)利用局部特征在空間-時(shí)間上的關(guān)聯(lián)關(guān)系，對(duì)人體行為進(jìn)行建模和 分析，從而進(jìn)行分類識(shí)別；在所構(gòu)建的鏈狀圖的基礎(chǔ)上提出了一種新的時(shí)序圖核，完成特征 圖在空間-時(shí)間上的匹配，從而對(duì)不同長(zhǎng)度和速度的行為序列進(jìn)行匹配，不僅對(duì)單人的行 為進(jìn)行識(shí)別，也適用于對(duì)多人的交互行為進(jìn)行分類識(shí)別。
[0051] 圖2是本發(fā)明第二實(shí)施例基于結(jié)構(gòu)化的特征圖的人體行為識(shí)別方法的流程示意 圖；圖3是本發(fā)明第二實(shí)施例的人體行為識(shí)別方法所構(gòu)建的結(jié)構(gòu)化特征圖的結(jié)構(gòu)示意圖。
[0052] 本實(shí)施例所涉及到的時(shí)空興趣點(diǎn)，H0G\H0F描述子，HCRF模型，隨機(jī)游走，K近鄰分 類等均是現(xiàn)有技術(shù)，本實(shí)施例中不再贅述。
[0053] 如圖2所示，本實(shí)施例的基于結(jié)構(gòu)化的特征圖的人體行為識(shí)別方法，包括如下步 驟：
[0054] 步驟S21，在訓(xùn)練樣本中，提取時(shí)空興趣點(diǎn)X。
[0055] 本步驟中的訓(xùn)練樣本，即為樣本視頻序列，可以是UCF人體行為數(shù)據(jù)庫(kù)、 UT-interaction人體行為數(shù)據(jù)庫(kù)或KTH人體行為數(shù)據(jù)庫(kù)等視頻數(shù)據(jù)庫(kù)中的樣本，所述訓(xùn)練 樣本的數(shù)量根據(jù)不同的數(shù)據(jù)庫(kù)而有所不同。如，當(dāng)所選訓(xùn)練樣本為KTH人體行為數(shù)據(jù)庫(kù)中 的樣本視頻時(shí)，選取16個(gè)人體行為視頻序列作為訓(xùn)練樣本。
[0056] 相應(yīng)的，在通過(guò)本實(shí)施例所提出的時(shí)序圖核進(jìn)行識(shí)別測(cè)試時(shí)，在不同的數(shù)據(jù)庫(kù)中 也選取不同數(shù)量的測(cè)試樣本，如，當(dāng)所選訓(xùn)練樣本為KTH人體行為數(shù)據(jù)庫(kù)中的樣本視頻時(shí)， 選取9個(gè)人體行為視頻序列作為測(cè)試樣本。
[0057] 步驟S22,利用梯度方向直方圖和光流方向直方圖對(duì)所述時(shí)空興趣點(diǎn)X進(jìn)行描述， 生成特征向量X，并通過(guò)最小生成樹(shù)算法生成時(shí)空興趣點(diǎn)的空間連接關(guān)系。
[0058]步驟S23,為訓(xùn)練樣本的每一幀學(xué)習(xí)一個(gè)隱條件隨機(jī)場(chǎng)模型（HCRF)，將時(shí)空興趣 點(diǎn)X的特征向量X作為HCRF的原始觀測(cè)值，在訓(xùn)練樣本集合上利用最大似然函數(shù)估計(jì)法完 成HCRF的參數(shù)學(xué)習(xí)，從而學(xué)習(xí)到具有中級(jí)語(yǔ)義信息的基元及基元的空間連接關(guān)系。
[0059] 本實(shí)施例中的HCRF為一個(gè)條件概率模型，優(yōu)選地，所述HCRF表示為：
【主權(quán)項(xiàng)】
1. 一種基于結(jié)構(gòu)化的特征圖的人體行為識(shí)別方法，其特征在于，所述方法包括如下步 驟： 從樣本視頻序列中提取時(shí)空興趣點(diǎn)； 對(duì)所述時(shí)空興趣點(diǎn)進(jìn)行描述，生成特征向量，并通過(guò)預(yù)設(shè)算法生成時(shí)空興趣點(diǎn)的空間 連接關(guān)系； 為樣本視頻序列的每一幀學(xué)習(xí)隱條件隨機(jī)場(chǎng)模型HCRF，將所述時(shí)空興趣點(diǎn)的特征向量 和空間連接關(guān)系作為HCRF的原始觀測(cè)值，在樣本視頻的集合上利用預(yù)設(shè)函數(shù)完成HCRF的 參數(shù)訓(xùn)練，學(xué)習(xí)到具有中級(jí)語(yǔ)義信息的隱狀態(tài)及隱狀態(tài)的空間連接關(guān)系； 將所述樣本視頻序列分割為時(shí)序單元； 在所述時(shí)序單元內(nèi)，利用所述隱狀態(tài)和隱狀態(tài)的空間連接關(guān)系構(gòu)建結(jié)構(gòu)化的特征圖； 將所述結(jié)構(gòu)化的特征圖映射到特征空間中； 將所述時(shí)序單元通過(guò)時(shí)序關(guān)系進(jìn)行連接，構(gòu)建基于結(jié)構(gòu)化的特征圖的鏈狀圖，提出時(shí) 序圖核； 利用所述時(shí)序圖核，對(duì)待識(shí)別行為視頻進(jìn)行識(shí)別。
2. 根據(jù)權(quán)利要求1所述的人體行為識(shí)別方法，其特征在于，所述時(shí)序單元中包含一個(gè) 或一個(gè)以上的幀。
3. 根據(jù)權(quán)利要求1所述的人體行為識(shí)別方法，其特征在于，所述構(gòu)建結(jié)構(gòu)化的特征圖， 進(jìn)一步包括： 將學(xué)習(xí)到的所述隱狀態(tài)對(duì)應(yīng)所述特征圖的頂點(diǎn)，將學(xué)習(xí)到的所述隱狀態(tài)的空間連接關(guān) 系對(duì)應(yīng)所述特征圖的邊，所述頂點(diǎn)的屬性值為所述頂點(diǎn)所對(duì)應(yīng)的隱狀態(tài)在該時(shí)序單元內(nèi)出 現(xiàn)的概率，所述邊的屬性值為所述邊所對(duì)應(yīng)的隱狀態(tài)在該時(shí)序單元內(nèi)出現(xiàn)的概率。
4. 根據(jù)權(quán)利要求3所述的人體行為識(shí)別方法，其特征在于，所述結(jié)構(gòu)化的特征圖具有 固定的結(jié)構(gòu)。
5. 根據(jù)權(quán)利要求1所述的人體行為識(shí)別方法，其特征在于，所述將所述時(shí)序單元通過(guò) 時(shí)序關(guān)系進(jìn)行連接、構(gòu)建基于結(jié)構(gòu)化的特征圖的鏈狀圖，進(jìn)一步包括： 將所述時(shí)序單元作為所述鏈狀圖的頂點(diǎn)，將所述時(shí)序關(guān)系作為所述鏈狀圖的邊，通過(guò) 作為邊的時(shí)序關(guān)系將所述作為頂點(diǎn)的時(shí)序單元連接起來(lái)，構(gòu)建基于結(jié)構(gòu)化的特征圖的鏈狀 圖。
6. 根據(jù)權(quán)利要求1至5任一項(xiàng)所述的人體行為識(shí)別方法，其特征在于，所述時(shí)序圖核是 基于隨機(jī)游走的。
【專利摘要】本發(fā)明公開(kāi)了一種基于結(jié)構(gòu)化的特征圖的人體行為識(shí)別方法，所述方法包括：從樣本中提取時(shí)空興趣點(diǎn)，生成特征向量；以特征向量為初始值，利用預(yù)設(shè)函數(shù)完成隱條件隨機(jī)場(chǎng)模型的參數(shù)訓(xùn)練，學(xué)習(xí)到具有中級(jí)語(yǔ)義信息的基元及其空間連接關(guān)系；而后將樣本分割為時(shí)序單元，在時(shí)序單元內(nèi)構(gòu)建特征圖，并映射到特征空間中；通過(guò)時(shí)序關(guān)系連接時(shí)序單元，構(gòu)建鏈狀圖，提出時(shí)序圖核；利用時(shí)序圖核，對(duì)待識(shí)別行為視頻分類識(shí)別。本發(fā)明應(yīng)用HCRF完成對(duì)基元及其關(guān)聯(lián)關(guān)系的學(xué)習(xí)，利用特征圖完成對(duì)視頻序列的描述，利用時(shí)序圖核完成特征圖在空間-時(shí)間上的匹配，從而可以對(duì)不同長(zhǎng)度和速度的行為序列進(jìn)行匹配，不僅可以用于單人的行為，也可以用于多人的交互行為。
【IPC分類】G06K9-00
【公開(kāi)號(hào)】CN104766051
【申請(qǐng)?zhí)枴緾N201510126019
【發(fā)明人】苗振江, 許萬(wàn)茹, 張強(qiáng), 劉汝杰
【申請(qǐng)人】北京交通大學(xué), 富士通株式會(huì)社
【公開(kāi)日】2015年7月8日
【申請(qǐng)日】2015年3月20日