一種基于多實(shí)例馬爾科夫模型的行為識(shí)別方法
【專利摘要】本發(fā)明公開了一種基于多實(shí)例馬爾科夫模型的行為識(shí)別方法。該方法包括以下步驟：對(duì)每個(gè)視頻提取局部特征，用一個(gè)局部視頻塊的特征直方圖來表示行為的某個(gè)局部運(yùn)動(dòng)；通過隨機(jī)采樣的方式得到許多局部視頻塊，這些局部視頻塊將形成多個(gè)馬爾科夫鏈，這些馬爾科夫鏈表示為某些局部運(yùn)動(dòng)在時(shí)間上的連續(xù)動(dòng)作；在多實(shí)例學(xué)習(xí)的框架下，模型選擇最具有判別性能的馬爾科夫鏈表示行為；測(cè)試時(shí)，以同樣的方式構(gòu)成多個(gè)馬爾科夫鏈表示視頻，然后計(jì)算出這些馬爾科夫鏈的分?jǐn)?shù)，大于某個(gè)閾值為這種行為，反之不屬于這種行為。本發(fā)明通過多實(shí)例馬爾科夫模型，達(dá)到復(fù)雜場(chǎng)景下行為識(shí)別的目的，并可以減少對(duì)視頻的標(biāo)注。
【專利說明】—種基于多實(shí)例馬爾科夫模型的行為識(shí)別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于智能視頻監(jiān)控【技術(shù)領(lǐng)域】，具體涉及一種基于多實(shí)例馬爾科夫模型的行為識(shí)別方法。
【背景技術(shù)】
[0002]行為識(shí)別在視頻智能監(jiān)控方面有著廣泛的應(yīng)用。例如在某些特定的場(chǎng)合，機(jī)場(chǎng)，廣場(chǎng)，街道，商店等，對(duì)個(gè)人的危險(xiǎn)行為以及群體的危險(xiǎn)行為的預(yù)警對(duì)于公共安全有著重要的應(yīng)用價(jià)值。目前，主流的行為識(shí)別主要是通過構(gòu)建基于局部特征的詞包來進(jìn)行識(shí)別。該方法沒有考慮行為特征點(diǎn)在時(shí)間和空間上的分布信息和語義信息，而且這些局部特征檢測(cè)子從背景中檢測(cè)到許多噪聲特征點(diǎn)。為了解決這些問題，Sadanand等人提出一種新的行為表示方法，該方法融入了語義信息用來彌補(bǔ)局部特征的不足，并且在復(fù)雜數(shù)據(jù)庫(kù)上具有較好的泛化性能。Liu等人定義一種新的高層語義特征:屬性來表示行為。Chakraborty等人利用圖像的語義信息來去除那些噪聲特征點(diǎn)，在復(fù)雜數(shù)據(jù)庫(kù)上達(dá)到了較好的效果。Raptis等人利用靜態(tài)特征和動(dòng)態(tài)特征來表示部分結(jié)構(gòu)，然后利用這些部分結(jié)構(gòu)之間的空間和時(shí)間關(guān)系來進(jìn)行行為識(shí)別。但是這些方法都沒有對(duì)復(fù)雜行為的時(shí)間結(jié)構(gòu)進(jìn)行建模。為了解決這個(gè)問題，Shi等人利用馬爾科夫模型對(duì)這些復(fù)雜的時(shí)間結(jié)構(gòu)進(jìn)行建模，將行為表示成各部分結(jié)構(gòu)之間的狀態(tài)轉(zhuǎn)移過程，通過計(jì)算概率來進(jìn)行行為分類。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的是為了解決復(fù)雜場(chǎng)景下行為識(shí)別的問題，為此，本發(fā)明提供一種基于多實(shí)例馬爾科夫模型的行為識(shí)別方法。
[0004]為了實(shí)現(xiàn)所述目的，本發(fā)明基于多實(shí)例馬爾科夫模型行為識(shí)別方法包含以下步驟:
[0005]步驟SI，建立訓(xùn)練集，所述訓(xùn)練集包含某個(gè)動(dòng)作A的正樣本和負(fù)樣本視頻；對(duì)訓(xùn)練集中的每個(gè)視頻提取其局部時(shí)空興趣點(diǎn)；對(duì)提取得到的時(shí)空興趣點(diǎn)進(jìn)行第一次聚類，得到這些時(shí)空興趣點(diǎn)對(duì)應(yīng)于第一聚類中心的類別；
[0006]步驟S2，對(duì)于所述訓(xùn)練集中的每個(gè)原始視頻，分別提取其局部視頻塊及基于所述步驟SI得到的聚類中心的類別，得到用于表示局部視頻塊的直方圖特征向量，基于所述局部視頻塊得到相應(yīng)原始視頻的馬爾科夫鏈集合B ；
[0007]步驟S3，對(duì)所述步驟S2得到的用于表示局部視頻塊的直方圖特征向量進(jìn)行第二次聚類得到相應(yīng)局部視頻塊狀態(tài)變量的初始值，以及這些局部視頻塊對(duì)應(yīng)于第二聚類中心的類別，并將這些類別作為這些局部視頻塊的初始狀態(tài)；
[0008]步驟S4，將所述局部視頻塊的直方圖特征向量按照狀態(tài)變量的不同拼接得到用于描述所述局部視頻塊所屬馬爾科夫鏈的特征向量；
[0009]步驟S5，構(gòu)建一分類器，并得到相應(yīng)馬爾科夫鏈的權(quán)重；
[0010]步驟S6，根據(jù)所述步驟S5得到的相應(yīng)馬爾科夫鏈的權(quán)重W，更新馬爾科夫鏈上所有局部視頻塊的狀態(tài)變量，直到所述狀態(tài)變量不再變化，或者達(dá)到設(shè)置的循環(huán)次數(shù)；
[0011]步驟S7，對(duì)于待測(cè)試視頻，與所述步驟S2類似，通過隨機(jī)采樣的方式，得到多個(gè)馬爾科夫鏈；
[0012]步驟S8，與所述步驟S6類似，得到這些馬爾科夫鏈的狀態(tài)變量；
[0013]步驟S9，與所述步驟S4類似得到相應(yīng)馬爾科夫鏈的特征向量；
[0014]步驟S10，利用所述步驟S5得到的分類器對(duì)所述步驟S9得到的特征向量計(jì)算得分，如果該分?jǐn)?shù)大于某個(gè)預(yù)定閾值則判斷該待測(cè)試視頻屬于訓(xùn)練集中定義的行為A，否則不屬于該種行為。
[0015]本發(fā)明的有益效果:通過多實(shí)例馬爾科夫模型，達(dá)到復(fù)雜場(chǎng)景下行為識(shí)別的目的；通過多實(shí)例馬爾科夫模型可以減少對(duì)視頻的標(biāo)注。
【專利附圖】

【附圖說明】
[0016]圖1是本發(fā)明提出的基于多實(shí)例馬爾科夫模型的行為識(shí)別方法流程圖；
[0017]圖2是本發(fā)明方法在KTH數(shù)據(jù)庫(kù)上學(xué)習(xí)得到的狀態(tài)轉(zhuǎn)移示意圖；
[0018]圖3是本發(fā)明方法在KTH數(shù)據(jù)庫(kù)上的識(shí)別結(jié)果示意圖。
【具體實(shí)施方式】
[0019]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。
[0020]圖1是本發(fā)明提出的基于多實(shí)例馬爾科夫模型的行為識(shí)別方法流程圖，如圖1所示，所述基于多實(shí)例馬爾科夫模型的行為識(shí)別方法包括以下步驟:
[0021]步驟SI，建立訓(xùn)練集，所述訓(xùn)練集包含某個(gè)動(dòng)作A的正樣本和負(fù)樣本視頻；對(duì)訓(xùn)練集中的每個(gè)視頻提取其局部時(shí)空興趣點(diǎn)；對(duì)提取得到的時(shí)空興趣點(diǎn)進(jìn)行第一次聚類，得到這些時(shí)空興趣點(diǎn)對(duì)應(yīng)于第一聚類中心的類別；
[0022]比如對(duì)提取得到的時(shí)空興趣點(diǎn)進(jìn)行聚類可以得到2400個(gè)類別；
[0023]步驟S2，對(duì)于所述訓(xùn)練集中的每個(gè)原始視頻，分別提取其局部視頻塊及基于所述步驟SI得到的聚類中心的類別，得到用于表示局部視頻塊的直方圖特征向量，基于所述局部視頻塊得到相應(yīng)原始視頻的馬爾科夫鏈集合B ；
[0024]所述步驟S2進(jìn)一步包括以下步驟:
[0025]步驟S21，按照時(shí)間順序多次隨機(jī)從所述訓(xùn)練集中的每個(gè)原始視頻中采樣得到一些局部視頻塊；
[0026]步驟S22，通過統(tǒng)計(jì)局部視頻塊的時(shí)空興趣點(diǎn)相對(duì)于所述步驟SI得到的聚類中心的類別，形成用以表示相應(yīng)局部視頻塊的直方圖特征向量；
[0027]步驟S23，對(duì)于每個(gè)局部視頻塊定義一個(gè)狀態(tài)變量，每次隨機(jī)采樣得到的局部視頻塊按照時(shí)間順序排列形成一條馬爾科夫鏈，經(jīng)過多次隨機(jī)采樣，得到用以表示相應(yīng)原始視頻的多條馬爾科夫鏈，這些馬爾科夫鏈表示為某些局部運(yùn)動(dòng)在時(shí)間上的連續(xù)動(dòng)作。
[0028]在本發(fā)明一實(shí)施例中，局部視頻塊的大小為40*40*6。
[0029]步驟S3，對(duì)所述步驟S2得到的用于表示局部視頻塊的直方圖特征向量進(jìn)行第二次聚類得到相應(yīng)局部視頻塊狀態(tài)變量的初始值，以及這些局部視頻塊對(duì)應(yīng)于第二聚類中心的類別，并將這些類別作為這些局部視頻塊的初始狀態(tài)；
[0030]在本發(fā)明一實(shí)施例中，對(duì)于所述直方圖特征向量進(jìn)行第二次聚類得到7個(gè)類別。
[0031]步驟S4，將所述局部視頻塊的直方圖特征向量按照狀態(tài)變量的不同拼接得到用于描述所述局部視頻塊所屬馬爾科夫鏈的特征向量；
[0032]所述步驟S4進(jìn)一步包括以下步驟:
[0033]步驟S41，將相應(yīng)馬爾科夫鏈上狀態(tài)變量為Sk (k=l,..，L)的局部視頻塊的直方圖特征向量相加得到一多維向量，其中，L為聚類類別數(shù)量；
[0034]步驟S42，將屬于所有狀態(tài)的直方圖特征向量拼接成一個(gè)向量Xtl= [Xl，..，xk]，其中Xk表示狀態(tài)變量等于Sk的直方圖特征向量；
[0035]步驟S43，統(tǒng)計(jì)所述馬爾科夫鏈上各種狀態(tài)之間的轉(zhuǎn)移頻率，其中，t.j為從i狀態(tài)轉(zhuǎn)移到j(luò)狀態(tài)的頻率；
[0036]步驟S44，將直方圖特征向量和轉(zhuǎn)移概率合成一個(gè)特征向量來描述該馬爾科夫鏈
Y(I, s) = [x0, tn,…，tij, tkk]，其中，I表不一條馬爾科夫鏈，S表不馬爾科夫鏈的狀態(tài)變量，X0表示為步驟S42中拼接形成的特征向量。
[0037]根據(jù)本發(fā)明方法在KTH數(shù)據(jù)庫(kù)上學(xué)習(xí)得到的狀態(tài)轉(zhuǎn)移示意圖如圖2所示。
[0038]步驟S5，構(gòu)建分類器/= max max W7(/, ，其中，s表示馬爾科夫鏈的狀

IeB s
態(tài)變量，I表示一條馬爾科夫鏈，B表示所述步驟S2得到的原始視頻的馬爾科夫鏈集合，W = [W。，W1ViW丨，表示學(xué)習(xí)得到的相應(yīng)馬爾科夫鏈的權(quán)重，其中wl表示從狀態(tài)
Sk轉(zhuǎn)移到狀態(tài)St情況下的權(quán)重，Y (I,s)表示某一馬爾科夫鏈的特征向量；
[0039]該步驟中，在所述訓(xùn)練集上通過多實(shí)例學(xué)習(xí)框架迭代算法來學(xué)習(xí)權(quán)重W，具體為:首先利用局部視頻塊的初始狀態(tài)來形成如步驟S4所述的馬爾科夫鏈的特征向量，通過特征學(xué)習(xí)得到所述權(quán)重w ;其次通過所述權(quán)重w從多個(gè)馬爾科夫鏈中選擇一條馬爾科夫鏈，直到所選擇的馬爾科夫鏈標(biāo)號(hào)不再發(fā)生變化時(shí)終止迭代算法。其中，所述迭代算法對(duì)權(quán)重和所選擇的馬爾科夫鏈標(biāo)號(hào)進(jìn)行迭代更新。
[0040]所述步驟S5中權(quán)重w的學(xué)習(xí)進(jìn)一步包括以下步驟:
[0041]步驟S51，隨機(jī)從一個(gè)馬爾科夫包Bi (該包中含有多條馬爾科夫鏈)中選擇一個(gè)實(shí)例，然后對(duì)于這些選取的實(shí)例根據(jù)其初始狀態(tài)變量形成特征向量，在這些特征向量上通過最小化目標(biāo)函數(shù)得到權(quán)重《，所述目標(biāo)函數(shù)為:
【權(quán)利要求】
1.一種基于多實(shí)例馬爾科夫模型的行為識(shí)別方法，其特征在于，該方法包括以下步驟: 步驟SI，建立訓(xùn)練集，所述訓(xùn)練集包含某個(gè)動(dòng)作A的正樣本和負(fù)樣本視頻；對(duì)訓(xùn)練集中的每個(gè)視頻提取其局部時(shí)空興趣點(diǎn)；對(duì)提取得到的時(shí)空興趣點(diǎn)進(jìn)行第一次聚類，得到這些時(shí)空興趣點(diǎn)對(duì)應(yīng)于第一聚類中心的類別； 步驟S2，對(duì)于所述訓(xùn)練集中的每個(gè)原始視頻，分別提取其局部視頻塊及基于所述步驟SI得到的聚類中心的類別，得到用于表示局部視頻塊的直方圖特征向量，基于所述局部視頻塊得到相應(yīng)原始視頻的馬爾科夫鏈集合B ; 步驟S3，對(duì)所述步驟S2得到的用于表示局部視頻塊的直方圖特征向量進(jìn)行第二次聚類得到相應(yīng)局部視頻塊狀態(tài)變量的初始值，以及這些局部視頻塊對(duì)應(yīng)于第二聚類中心的類另Ij，并將這些類別作為這些局部視頻塊的初始狀態(tài)； 步驟S4，將所述局部視頻塊的直方圖特征向量按照狀態(tài)變量的不同拼接得到用于描述所述局部視頻塊所屬馬爾科夫鏈的特征向量； 步驟S5，構(gòu)建一分類器，并得到相應(yīng)馬爾科夫鏈的權(quán)重； 步驟S6，根據(jù)所述步驟S5得到的相應(yīng)馬爾科夫鏈的權(quán)重W，更新馬爾科夫鏈上所有局部視頻塊的狀態(tài)變量，直到所述狀態(tài)變量不再變化，或者達(dá)到設(shè)置的循環(huán)次數(shù)； 步驟S7，對(duì)于待測(cè)試視頻，與所述步驟S2類似，通過隨機(jī)采樣的方式，得到多個(gè)馬爾科夫鏈； 步驟S8，與所述步驟S6類似，得 到這些馬爾科夫鏈的狀態(tài)變量； 步驟S9，與所述步驟S4類似得到相應(yīng)馬爾科夫鏈的特征向量； 步驟S10，利用所述步驟S5得到的分類器對(duì)所述步驟S9得到的特征向量計(jì)算得分，如果該分?jǐn)?shù)大于某個(gè)預(yù)定閾值則判斷該待測(cè)試視頻屬于訓(xùn)練集中定義的行為A，否則不屬于該種行為。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S2進(jìn)一步包括以下步驟: 步驟S21，按照時(shí)間順序多次隨機(jī)從所述訓(xùn)練集中的每個(gè)原始視頻中采樣得到一些局部視頻塊； 步驟S22，通過統(tǒng)計(jì)局部視頻塊的時(shí)空興趣點(diǎn)相對(duì)于所述步驟SI得到的聚類中心的類另O，形成用以表示相應(yīng)局部視頻塊的直方圖特征向量； 步驟S23，對(duì)于每個(gè)局部視頻塊定義一個(gè)狀態(tài)變量，每次隨機(jī)采樣得到的局部視頻塊按照時(shí)間順序排列形成一條馬爾科夫鏈，經(jīng)過多次隨機(jī)采樣，得到用以表示相應(yīng)原始視頻的多條馬爾科夫鏈。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S4進(jìn)一步包括以下步驟: 步驟S41，將相應(yīng)馬爾科夫鏈上狀態(tài)變量為Sk (k=l,..，L)的局部視頻塊的直方圖特征向量相加得到一多維向量，其中，L為聚類類別數(shù)量； 步驟S42，將屬于所有狀態(tài)的直方圖特征向量拼接成一個(gè)向量X(l=[Xl，..，xk]，其中&表示狀態(tài)變量等于sk的直方圖特征向量； 步驟S43，統(tǒng)計(jì)所述馬爾科夫鏈上各種狀態(tài)之間的轉(zhuǎn)移頻率tu，其中，為從i狀態(tài)轉(zhuǎn)移到j(luò)狀態(tài)的頻率； 步驟S44，將直方圖特征向量和轉(zhuǎn)移概率合成一個(gè)特征向量來描述該馬爾科夫鏈Y (I, s) = [x0, tn,…，tjj, tkk]，其中，I表不一條馬爾科夫鏈，s表不馬爾科夫鏈的狀態(tài)變量，X0表示為步驟S42中拼接形成的特征向量。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S5中的分類器表示為：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述權(quán)重w的學(xué)習(xí)進(jìn)一歩包括以下步驟： 步驟S51，隨機(jī)從ー個(gè)含有多條馬爾科夫鏈的馬爾科夫包Bi中選擇ー個(gè)實(shí)例，然后對(duì)于這些選取的實(shí)例根據(jù)其初始狀態(tài)變量形成特征向量，在這些特征向量上通過最小化目標(biāo)函數(shù)得到權(quán)重w ; 步驟S52，用所述步驟S51學(xué)習(xí)得到的權(quán)重重新計(jì)算值k，如果得到的所有k和隨機(jī)選擇的實(shí)例的標(biāo)號(hào)相同，則停止循環(huán)，否則選擇標(biāo)號(hào)為k的實(shí)例，重復(fù)所述步驟S4，重新學(xué)習(xí)得到權(quán)重。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述目標(biāo)函數(shù)表示為：
7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述值k表示為：
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S6中，利用下式來對(duì)所述局部視頻塊的狀態(tài)變量進(jìn)行更新：
【文檔編號(hào)】G06K9/62GK103544503SQ201310566006
【公開日】2014年1月29日 申請(qǐng)日期:2013年11月14日 優(yōu)先權(quán)日:2013年11月14日
【發(fā)明者】王春恒, 周文, 肖柏華, 張重 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所