專利名稱：用運動紋理分析執(zhí)行活動識別和探測活動異常模式的方法
用運動紋理分析執(zhí)fr活動i朋訴口 探測活動異常模式的方法
駄領域
本發(fā)明涉及視,頻監(jiān)視，且更具體地，涉及i^運動紋理分析來執(zhí)行視頻分 析學。
背景獄
,來隨著恐怖傷7的、^和 ， ^^ 視令頁，得日益重要。尤其是，
對智能化視 視的需求增加了，智能化視^m見包括高級事f^測(例如， 探測人的、胸，比如人倒下、徘徊等)。傳紅，{頓低級圖像鵬模^^執(zhí)行 高級事ft^測(例如，運動探測模塊，比如運動探測和對象鵬)。在這樣的運 動探觀贖塊中，輸入圖像中的每一個像素均被分離出來并被在前景區(qū)域或背景 區(qū)域中成組布置。在前景區(qū)域中成組布置的像素可能表現為輸入圖像中的移動
對象。典型地，這些前景區(qū)域隨時間^ii^并且被分析以辨別、赫。
然而，艦這對氐級圖像^a模塊雜相關的困難。例如，這樣的模塊當 在擁擠的區(qū)域中執(zhí)行視頻分析學時可能是無效的。作為示例，在擁擠的場景中， 人和其它的運動對象更可能被分組到一個單獨的運動區(qū)域中。當一組人被分組 到一個單獨的運動區(qū)域中時，使用視頻分析學來執(zhí)行對該單獨的運動區(qū)域中的 單個人的活動辨別可能變得較為困難。


參考附圖來描述本發(fā)明的實施例，其中 圖i是根據一個示例的方法的瀨呈圖2根據一個示例，包括被分割為片的柳鵬列的幀的繊； 圖3根據一個示例，包括幀的描述截屏和相應的^M模型圖； 圖4是根據一個示例的3x3方位的片陣列、3x3距離片陣列和3x3 ^i模 型片陣列的圖例；
圖5是根據一個示例的3x3矢量t!M圖的圖例；
圖6是根據一個示例的包括中心和矢量模辦歹啲矢量模型圖；圖7是根據一個示例，為視,列的幀的i^; 圖8是根據一個示例的方法的^f呈圖9A、 9B、 9C、 9D、 9E和9F根據多個示例，包括多種幀的辦；
圖10根據多個示例，包括多個簡化的^S值柱狀圖11根據多個示例，包括包括多種幀的截屏；
圖12是根據一個示例的包銜頁定矢量的幀的辦；
圖13是根據一個示例的包括指向左邊的預定^ft和指向右邊的預定矢量的 幀的辦；
圖14是根據一個示例動態(tài)貝葉斯(Bayesian)網絡的方塊圖。 圖15描述了第一和第1格，其每一^&括獨立的一組數值；以及 圖16是根據一個示例的方法的淑呈圖。
具體實施方式
I.鵬
公開了使用運動紋理分析來執(zhí)行視頻分析學的方法。根據一個示例，方法 可包括在顯示一致的、赫模式的視^i^列中分害嘔域。根據該方法，該方法包 括分割視頻序列中給出的幀為多個片，通過分析與片相關聯的運動紋理為每個 片構建矢量模型，以及聚集具有顯示一致模式的矢量模型的片。聚集顯示一致 模式的片(即，在幀中分割區(qū)域)可以個別地分割對象，所M象與其它對象 一起作為單獨的塊移動。因此，由于一M象作為一個單獨的塊移動，每一個 對象可以被斜蟲地i湖ij。
根據另一個示例，方法可以包括使用運動紋理來辨別視頻序列中感興趣的 活動。根據該方法，該方法包括從視辦列中選擇多^1>貞，在所述多個幀中分 t it動紋理以識別流，從流中提取特征，以及表征提取的特征以執(zhí)行活動辨別。 例如，執(zhí)行活動辨別可以幫助用戶在擁擠的或稀疏的場景中識別特殊對象的運 動，或者分離出擁擠的鵬疏的場景中感興趣的特殊鄉(xiāng)的運動(例如，徘徊、 倒下、奔跑、在特殊的方向散步、站立、坐下)。
根據另一個示例，方法可以包括i，運動紋理來探測異常活動。根據該方 法，i^、皿括從第一視z，列中選擇第一多個幀，分析在所述第一多個幀中 的運動紋理以識別第一流，從第一流中提取第HT征，比較，HT征與在前 面柳噝階段期間所提取的第二特征，以及基于該比較確定該第,征是否指
示異?；顒印＠?，確定該第HT征是否指示異?；顒涌梢跃嬗脩魧ο笤诘?未經許可的方向上移動(例如，iSA未經許可的區(qū)域)。
S31閱讀如下部分并適當參考附圖，這些以及其它方面和優(yōu)點對那些本領 域普通技術人員來說^變得明顯。 II.方法I
圖1是根據一個示例的方法100的流程圖。圖1中示出的兩個或更多個功 能實質上可以同時發(fā)生。
該方法100可包括 示一致^j模式的柳辦列中分割區(qū)域。如圖1中 所描述的，在塊102'該方'跑括分割視辦列中給出的幀為多個片。在塊104， 該方法包括通過分析與片相關聯的運動紋理為每一個片構建矢量模型。在塊 106，該方艦括聚集具有顯示一致模式的矢量翻的片。
在塊102，該方鵬括分割柳辦列中給出的幀為多個片。該給出的巾何為 視辦列中的多^l"貞的一部分。例如,視辦列中的T幀可由時間(例如，t+l 、...、 t+T)的滑動窗口中鵬出。枧辦列中給出的巾柯包括一個鞭多個對象，比 如在由滑動窗口設置的時期內可移動或被移動的A^任何其它類型的對象。此 外，該給出的幀包括多鋪素，每一個像素定義一個3拉的像素方位和強度值。
將給出的幀分割為多個片可包括在空間上分割該幀為n片。多個片中的每 一片鄰接到相鄰的片。Jt[^卜，多片中的每一片可與另一片交迭。
圖2根據一個示例，包括被分割為片的現辦列的幀202、 204、 206和208 的辦200。如示出的，幀202、 204、 206和208中的每一個分別被分割為第一 片210a、 210b、 210c和210d，以及第二片212a、 212b、 212c和212d。雖然對 每一幀僅描述了兩片，給出的幀可被分割為大量的片，并且旨幀更,地被 分害偽多個片。如圖2中描述的，例如，鄉(xiāng)一片210a和第二片212a部分地 相互交迭?？蛇x擇他，片可以不與另一片，。
另外，片可為多種微中的任何形狀，比如正方形、長方形或五邊形。此 外，每一片包括相應的一組像素。而且，片的像素尺寸可改變。例如，片尺寸 范圍可在5x5像素尺寸至40x40像素尺寸。由雅出的職可能與多個片相交， 每一片的像素尺寸可以為每一對象的片段的空間分辨率。
在塊104，駄法包^Iil分析與片相關聯的運動紋理為每一片構建矢量模 型。每一片的矢量模型可以以多種方式中的任意方式構建。例如，構建矢量模
型可包銜i )為多片中的每一片估計運動紋理參數，(ii)為多個片中每一個給出 的片和給出的片的每一個相鄰片計算所述給出的片的運動紋理參數與所述相鄰 片的運動紋理參數之間的運動紋郷巨離，以及(iii)基于多個片中的每一個片的運 動IW巨離的計算，為多個片中的每一個片構建矢量模型。
為多個片中的每一個片估計運動紋理參數可使用多種技術中的任意技術來 實現，比如多矩陣估計的Soatto次最佳方法。關于多矩陣估計的Soatto的次最 佳方法的進一步的細節(jié)在S.Soatto、 GDoretto和YN.Wu盼'Dynamic Textures (動 態(tài)紋理)"(International Journal of Computer Viskm^51^o.2^2003,pp.91-109 ("Soatto"))中提供，，此全文引入作為參考。
在一個實施例中，在估計運動紋理參數之前，幀的每一片可被再成形。這 可以包括將每一片再成形至抱括維Xp (例如，zK平軸)、yp (例如，垂直軸)和 T (例如，時間維)的多維陣列(Y)中。在每一片均以這種方式再成形之后， 則每一片的運動紋理參數可被估計。然而，每一片的運動紋理參數也可以被估 而不再成形每一片計。
為了估計每一片的運動紋理參數，可以首先數學ifeifi似紋理參數。例如， 可ffi^知的輸入將運動紋理與自動回歸的第二順序的移動平均處理相關聯。 作為示例，如下的方程可協(xié)同^iiii動紋理
在上面的方程中，y(t)恭示觀測矢量。該觀測短y(t)可對應于每一像素的各自 弓賊值，例如，該3賊值的范圍是0至255。另外，x(t)標隱藏的狀態(tài)縫。 與觀測縫y(t)相反，隱藏的枕態(tài)矢量不可見。財卜，A標系統(tǒng)矩陣，且C 標輸出矩陣。另外，v(t)標系統(tǒng)的驅動輸入，比如高斯白噪聲，以及w(t)表 示與觀測每一像素的 雖相關聯的噪聲，比如數字圖像 破噪聲。關于自動回 歸的移動平均鵬方程的變量的進一步的細節(jié)獸辦在Soatto的文中找到。
一旦每一個片的各自運動紋理被數學地近似，則每一個片的運動紋理參數 可被估計。例如，可翻:矩陣A、 C、 Q (驅動輸入協(xié)方差矩陣，其標驅動輸 入的標準偏差v(t))和R (測量噪聲的協(xié)方差矩陣，其標高斯噪聲的標準偏差 w(t))來^ii動紋理參數。為了獲得用于矩陣A、 C、 Q和R的估計，可鵬 多矩陣估計的Soatto次最佳方法。在這樣一個多矩陣估計的方法中，使m》n、
rank(C)=n、和CTC=In,以從樣本路徑y(tǒng)(t)識別唯一的l魏，其中In為識別矩陣. 多矩陣估計的次最佳方法如下所示
(1) 首先，對Y執(zhí)行單個分解，以使<formula>formula see original document page 9</formula>
(2) 然后，估計矩陣C為<formula>formula see original document page 9</formula>
(3) 接著，狀態(tài)X的序列被估計為<formula>formula see original document page 9</formula>
(4)然后，矩陣A被估計為
<formula>formula see original document page 9</formula>其中Ir-1為(r-l)x(r-l)維的識別矩陣
(5) 接著，估計驅動輸入為
<formula>formula see original document page 9</formula>
(6) 然后，估計驅動輸入協(xié)方差矩陣Q為
<formula>formula see original document page 9</formula>
(7) 最后，計算測量噪聲R的協(xié)方差矩陣為<formula>formula see original document page 9</formula>
因此，用于矩陣A、 C、 Q和R的估計可被獲得，并且這徵陣的估計可被用 來協(xié)同表,一個片的相應的運動紋理參數。
接著，為多個片中每一K出的片并且為給出的片的每一個相鄰的片構建 矢量模型可包括計算給出的片的運動紋理參數與相鄰的片的運動紋理參數之間 的運動紋理距離。每一個片的運動紋理距離可以以多種方式中的任意方式確定。 例如，計算運動紋郷巨離可包括比較給出的片的運動紋理參數與相鄰的片的運動紋理參數。
作為另一個示例，計算給出的片的運動紋理參數與相鄰的片的運動紋理參 數之間的運動紋郷巨離可包括確定給出的片的運動紋理參數(即，給出的片的 觀測)與相鄰的片的運動紋理參數(即，相鄰的片的相應的觀測)之間的各自 的Mahalanobis距離。給出的片的運動紋理參數與相鄰的片的運動紋理參數之間 的Mahalanobis足巨離可j^ffi A.Chan禾口 N.Vasconcebs ^TTv!ixtures of Dynamic Textures (動態(tài)紋理的混合)"(Intl.Conf on Computer Vision^2005 ("Chan"))中 公開的方法來計算，，此全文引入作為參考。使用Chan的方法，進行關于通
過具有特定運動紋理參數的運動紋理生^i量的序列Y的概率的計算。特別地， 這個概率作為測量y(t)和分布s的估計的外)的Mahalanobis距離被計算。該 Mahalanobis距離可被定義為mdc(P, ^ - V0")rs(p-y)，其中i: = C * * C'+A ， 并且邵)為由卡爾曼濾波器計算的體協(xié)方差矩陣。
接著，為每一個片構建^S^M可包括基于每一個片的運動紋郷B離的計 算為每一個片構建矢量模型。每一個片可通過其各自的矢量模型被表示。例如， 當j頓八鄰域為給出的片構建矢量模型時，為給出的片構建矢量模型可包括選 擇至少一個相鄰片。選出的相鄰片可包括定義給出的片的運動紋理參數與每一 個相鄰的片的運動紋理參數之間的最短運動紋理距離的運動紋理參數。財卜， 矢量模型可發(fā)生于給出的片的近似中心并且通?？芍赶蛞粋€或更多，擇的相 鄰片。另外，矢量模型包括te^出的片的運動紋理參數與一個鞭多個所選 擇的相鄰片的運動紋理參數之間的運動紋郷巨離的量值。圖3根據一個示例， 描繪了幀302的鄉(xiāng)以及相應的^fi模型圖304。如圖3中所描繪的，幀302 包括對象308和310，并且矢量模型圖304包括與對象308和310分別相對應的 矢量模型簇312和314。視圖306提供分別與矢量模型簇312和314相對應的矢 量模型簇316和318的放大視圖。
此外，圖4是根據一個示例的3x3方位的片陣列402、 3x3距離片陣列404 和3x3矢量豐莫型片陣列406的圖例。如3x3方^位的片陣列402中所示，片408 定位在(0， 0)，并且連同鄰近的相鄰片410、 412、 414、 416、 418、 420、 422 和424 —起 擇(這里，八片鄰域lte擇)。如3x3距離片陣列404中所示的， 在片408與它的每一個相鄰片之間的運動紋郷B離被計算。例如，在為每一個 片估計運動紋理參數之后，片408與片410、 412、 414、 416、 418、 420、 422 和424中的每一個之間的各自的Mahalanobis距離被計算。接著，如3x3矢量模 型片陣列406中所示的，為片408構建矢量模型426。作為一個示例，片408
的^M模型(即，F(/,力可被計算為<formula>formula see original document page 10</formula>
其中k沿x方向和/沿y方向。矢量模型V的幅值s艦^V^TF得到，并且
縫模型的角《艦"=肌加+得到。矢量模型的幅值可以反映當前片408與
它的相鄰片之間的距離。財卜，縫，魏可指向與當前片408最相似的片。作 為這"H十算的結果，片408的^^題可以被構建。
接著，在塊106，該方魏括聚集具有顯示一致模式的矢量模型的片。矢 量模型的一致模式可以以多種方式中的任意方式顯示。例如，顯示一致模式的 矢量，IM可包括圍繞給出的片同中心的矢量模型。為了舉例，幀中每一個片的 矢量模型可共同定義矢量模型圖，并且矢量模型圖可包括中心。具有通常指向 該中心的矢量模型的片可被聚集。
矢量模型圖中的中心可被定義為具有閾 量的相鄰片的片，每一個相鄰 片具有角度朝向該片的^M模型。作為在矢量模型圖中確定中心的示例，圖5 是根據一個示例的3x3 ^S模型圖500的圖例。如所描述的，3x3 ^fi:豐翻圖 500包括片502的矢量模型，以及^M模型504、 506、 508、 510、 512、 514、 516和518?？p輕504、 506、 508、 510、 512、 514、 516和518中的每一個 g相應的相鄰片。如圖5中所描述的，片502的^fi模型近似為0，并且^1; 模型504、 506、 508、 510、 512、 514、 516和518中的每一個角度朝向片502。 例如，矢量模型504與片502的水平線520成315。角，^S模型506與7^K平線 520成270°角，^ft模型508為225。角，矢量模型510為180°角，矢量模型 512為135。角，矢量IIM514為90。角，矢量豐難516為45°角，矢量模型516 為0。角。
相應于矢量豐IM504、 506、 508、 510、 512、 514、 516和518中的每一個 的，每一個角，可被^ffl來確定給出的矢量模型角度是否朝向片502的理 想角。在這種理想狀況下，片502為中心，因為(i)周圍的鄉(xiāng)八個矢量豐鄉(xiāng)均 (ii)角度朝向片502 (另外，片502可以是中心，因為片502的矢量豐翻近似為 0)。然而，即使圍繞的全部八個矢量模型均角度不朝向片502的情況下，片502 仍可以被確定為中心。例如，只要閾微目的圍繞的矢量模型角度朝向片502， 它就可被確定為中心。例如，^S模型的閾iMt目的范圍由4到8。
財卜，即使在給出的矢量模型的角度并未朝向各自的理想角的情況下給出 的圍繞的矢量模型也可能角度朝向片502。偏離理想角是可能的。作為一個示例， 給出的矢量模型的允許的偏離角度的范圍可從-e到e (例如，^可為15°)。此 外，每一個周圍矢量模型的相應的允許偏離角可以相互不同。
一旦矢量模型圖的中心被確定，具有通常指向中心的短模型的片被聚集。
換句話說，包括具有通常指向中心的縫模型的片的區(qū)域被分割。當然，矢量 模型圖可包含多于一個的中心，在該情況下每一個中心與它自己的通常指向它 的縫模型的相應類相關聯。
有多種確定通常指向中心的矢量模型的方式。為了舉例說明，圖6是根據 一個示例的包括中心604和矢量模型序列602的矢量模型圖600。 矢量模型602 序列包括矢量模型606、 608、 610、 612和614。如示出的，矢量+IM606的角 度朝向矢量模型(或片)608，并且矢量模型608的角度朝向矢量模型610。這 樣，矢量模型606、 608和610協(xié)同定義矢量模型的離歹撥。另外，因為矢量 模型610的角度朝向矢量模型612，并且矢量模型612的角度朝向矢量模型614, 矢量模型610、 612和614中的每一賴被包括在縫豐魏的鏈接列表中。因此， 矢量模型606、 608、 610、 612和614協(xié)同定義矢量模型的鏈接列表中。
因為矢量模型鏈接列表中的最后的矢量模型614指向中心604，矢量，矢量模型鏈接列表的軌線指向中心604。因為矢量模型鏈接列表的軌線指向中心604，因為矢 量沖鏈接列表(即，矢量模型序列602)中的每一個矢量模型被分組到與中心 604相對應的類中。
另外，正如每一個中心，地與它自己的通常指向各自的中心的矢量模型 類相對應，每一個矢量模型類優(yōu)選地與視頻序列的幀中的對象相對應。因此， 如果給出的幀包括多個對象，聚集具有顯示一致模式的矢量,的片可包括聚 集片為多個簇，其中每一個自應一個給出的對象。
為了舉例說明，圖7是根據一個示例的視頻序列的幀702的截屏700。如 圖7中所描述的，幀702包括對象704、 706和708。對象704、 706和708中的 每一個分別被類輪廓線710、 712和714 (至少部分地)環(huán)繞，并且分別包括中 心716、 718和720。如果描述為相應的矢量模型圖，則類輪廓線710、 712和 714)imM分別包括通常指向中心716、 718和720的縫模型。因此，中心 716、 718和720中的每一個分別與類輪廓線(即，矢量模型類,)710、 712和714 相對應，并且類輪廓線710、 712和714中的每一個分別與對象704、 706和708 相對應。之后方法100可重復至塊102，以處理視頻序列的下一個幀，以處理視頻序列中的每一個其它幀。
接下來，片的一個或更多個簇的表示可被顯示給用戶，或作用于活動辨
別的輸入。片的簇的標可采用多種形式中的任意形式，比如二進制對象的描 述。形卜，片的簇可fel示在多種輸出設備中的任意輸出設備上，比如圖形用
戶界面顯示。顯示片的一個^多，的表示可幫助用戶執(zhí)行活動辨別禾n/或分
割在幀中一起移動的多個對象。
瓜方法n
圖8是根據一個示例的方法的流程圖800。圖8中示出的兩個或更多個功能
實質上可同時發(fā)生。
方法800可包括使用運動紋理來辨別柳，列中感興趣的活動。如圖8中 所描繪的，在塊802'該方法包括從視頻序列中選擇多個幀。在塊804'該方法 包括分析多^H貞中的運動紋理以識別流。接下來，在塊806，該方法包括從流中 提取特征。在塊80S，該方、,括表征提取的特征以執(zhí)行活動辨別。
在塊802,該方B括從視,列中選擇多W貞。所述多個巾M包括對應于 第一時間的第一幀、對應于第二時間的第二幀以及對應于第三時間的第三幀。 此外，第一幀可以包括對象，并且第二和第三幀也可以包括該對象。額外的對 象也可以在一個或更多個幀中出現。
在塊804，該方法包括分析多個幀中的運動紋理以識別流。該流可以定義幀 中各自的區(qū)域的時間和空間的分割，并且所述區(qū)域可以顯示運動的一致形式。 財卜，在多^M中分析運動紋理以識別流可包銜i)分割每一4^貞為相應的多 個片，(ii)為每"HS)貞識另湘應的多個片中的各自的一組片，其中各自的一組 片對應于幀中各自的區(qū)域，并且(iii)i鄉(xiāng)J流，所述流定義多個幀中的每一個幀中 各自的片組的時間和空間的分割，其中每一個幀的各自的片組顯^動的一致 形式。
為了示例，圖9A包括幀902a和904a的截屏，并且圖9B包括幀902b和 9041>的,，圖9A和圖9B各根據一個示例。在圖9A中，幀902a包括對象 906a并且?guī)?04a包括對象906b。在這個示例中，對象906a ，處于第一時間 的人，并M象906b標處于第二時間的同一人。在圖9B中，幀902b包括與 對象906a相對應的第一組片908，并且?guī)?04b包括與)(^ 906b相對應的第二 組片910。處于第一時間的幀902b中的第一組片908與處于第二時間的幀904b 中的第二組片910可分別定義幀902b和904b中的每一個中的片組908和910 的時間和空間的分割。幀902b和904b中的每一個中的片組908和910分別顯
示運動的一致形式(例如，對象906a向左移動)。財卜，第一組片908可包括 第一組像素，第一組像素中的每一個像素定義各自的像素方位和強度值。相似 地，第二組片910可包括第二組像素，第二組像素中的每一像素定義各自的 像素方位和 ，值。
在塊806，該方法括從流中提取特征。從流中提取特征可采用多種配置多種配置中的任意配置。作為一個示例，從流中提取特征可包括產生描繪運動的參數。這 種參數的示例包括一組數值，具有指示幀中對象的分割區(qū)域的第一數值，指示 運動方向的第二數值，以及指示速度的第三數值。圖15描繪了包括該組數值的 表1502。當然，#^其它描皿動的參數的示例。
作為另一個示例，從流中提取特征可包括構建運動矢量(運動矢量可為更 一般的運動紋理模塊的示例)。運動矢量可以以多種方式中的<封可方式被構建。 作為示例，構建第一運動矢量可包括從幀904b中的相對應的像素的強度值中減 去幀902b中的每一個像素的強度值以創(chuàng)建強度差值梯度。該強度值梯度可包 銜1揮一組像素中的每一個像素與幀904b中的相對應像素之間，以及(2)第二 組像素中的每一，素與幀902b中的相對應像素之間的各自的強度錢值。 (1) 第一組像素中的每一個像素與幀904b中的相對應像素之間的強度值差值協(xié)同對 應于幀902a中的對象906a，并且(2)第二組像素中的每一個像素與幀902b中的 相對應像素之間的強度值差值協(xié)同對應于幀904a中的對象906b。圖9C是根據 一個示例的包括5MM值梯度914的幀912的,。
強度值差值<formula>formula see original document page 14</formula>可被計算，其中^)為片的產幀且T為片的幀數目。例如， ^TX/)可被計算為
柳H禍-少"-0| , t = l，...,r-l 如y(t)方程中所描述的，減去強度值差值可包括求幀902b中每一個像素的強度值與 幀904b中相對應像素的強度之間的差值的絕對值。
進一步舉例，圖10根據多個示例，包括與幀902b相對應的簡化的強度值 柱狀圖IOOO，以及與幀904b相對應的簡化的強度值柱狀圖1002。財卜，圖IO 根據一個^^'L包括與SMM值梯度914相對應的簡化的強度值柱狀圖1004。
為對象構建第一運動矢量可進一步包括通過使得低于閾值的各自的強度值 差值為零來過濾強度MH梯度。使低于閾值的各自的強度1IM值為零可以突出 對應于重要的強度值差值的像素位置。對應于重要的強度值差值的像素方位可
以對應于對象的重要的點，比如對象的輪廓。此外，使得低于閾值的各自的強
度錢值為零也可僅允許〗頓重要的^MI^t^構麟一運動矢量。圖9D是 根據一個示例的包皿濾的強^S梯度918的幀916的截屏。
閾值可以以多種方式中的任意方式來計算。例如，對應于第一和第二像素 組的強度值可以包括最大強度值(例如，200),并且閾值可以等于最大強度值 的90%,或ftj可其它百分比(例如，180)。因此，低于180的3賊,值將為 零，并且僅僅等于或高于180的強度值將在過濾步mt后保留。進一步舉例， 圖10根據一個示例，包括與過濾的強SM值梯度918相對應的簡化的強度值柱 狀圖1008。當然，存在其它計算閾值的示例。
構麟一運動矢量可進"^包括，基于敏濾的5贓^I梯度918中保留 的強度，值，確^t應于在幀902a中的對象906a的第一平i^素方位和對 應于在幀904a中的對象906b的第二平均像素方位。圖9E是根據一個示例的包 括對應于對象906a的第一平均像素^S 922和對應于對象906b的第二平均像 素位置924的幀920的截屏。
接下來，構建第一運動矢量可以包括構建第一運動矢量，使得該第一運動 ^M:生于第一平鄉(xiāng)素方位(其可對應于第一 片)和在第二平均像素方位(其 可對應于第二片)結束。圖9F是根據一個示例的包括第一運動矢量928的幀926 的截屏。如所示出的，第一運動矢量928發(fā)生于第一平均像素方位922和， 二平均像素方位924麟束。
仍為另一個示例，從流中提取特征可包括構建多個運動矢量。每一個運動 ^S可以對應于預定數目的幀。作為示例，在多個幀中包括第一幀(幀902a)、 第二幀(幀904a)和第三幀(未描述)，可構自應于第一和第二幀的第"ig動 矢量，并且可構自應于第二和第三幀的第:^S動矢量。為了舉例說明，圖11 根據一個示例，包括幀926、 1102和1104的截屏1100。幀926包括對應于從幀 902a到幀904a的對象906a的運動的第一運動矢量928 ，并且?guī)?102包括對應 于從幀904a到第三幀的對象906b的運動的第Z1^動矢量1106。
當然，多個運動矢量中給出的運動矢量可對應于多于兩個的幀。作為一個 示例，給出的運動矢量可對應于三個幀。作為示例，給出的運動^fi可皿求 第一與第1動縫之和來構建。如圖11所示，幀1104包^iitt第一運動 矢量928與第二運動矢量1106之和所構建的給定的運動矢量1108。當然，存在
其，建給出的運動矢量的示例。此外，存在其它從流中提取特征的示例。
在塊808，該方法包括表征提取的特征以執(zhí)fi^活動辨別。表征提取的特征以 執(zhí)行活動辨別可以采用多種配置中的任意配置。例如，當從流中提取的特征包 括描^ii動的參數時，表征提取的特征可以包括確定描i&ii動的參數是否在預 定的運動模型的閾值之內。作為示例，描i^i動的參數可包括表1502中描述的 數值組，并且預定的運動模型可包括預定的數值組，作為示例，該預定的數值 組在圖15的表1504中描述。在這種情況下，確定參數是否在預定的運動豐IM 的閾值之內可以包括比較表1502中的每一個數值與表1504中的相應數值。當 然，存在其它確定描述運動的參數是否在預定的運動模型的閾值之內的示例。
作為另一個示例，當從流中提取的特征包括一個運動矢量(或者多個運動 矢量)時，表征提取的特征可以包括估計(多個)運動矢量的特征(例如，幅 度和/駄向)。表征提取的特征可進一步包括比較(多個)運動矢量的特征與至 少一個預定^S的特征。圖12是根據一個示例的包括指向右方的預定矢量1202 的幀1200的截屏。比較(多個)運動矢量的量值和方向與預定矢量1202的量 值和方向可以包括確定是否M運動矢量的每一個量值和方向分別在預定矢量 1202的量值和方向的閾值之內。例如，基于該比較，用戶可以確定豐見，列中 的對象是否以預定的皿在預定的方向上移動。當然，運動矢量的特征可以與 更多預定矢量相比較。辨ij說明，圖13是根據一個示例的包括指向左邊的預定 矢量1302和指向右邊的預定矢量1304的幀BOO的截屏。
仍為另一個示例，運動^S可以穿過片(例如，對應于第一平均像素方位、 第二平均像素方位的片，或樹可運動縫可穿過的其它片)，并腺征提取的特 征可以包括確定運動矢量與由片定義的運動模式是否相類似。
仍為另一個示例，表征提取的特征以執(zhí)行活動辨別可以包括執(zhí)行簡單活動 辨別。例如，簡單活動辨別可以用于確定人群中的每一個人是否在預定的方向 上移動(或者不移動)。在簡單活動辨別期間，可構建預定的運動模型(例如， 在訓練期間)。預定運動模型可以以多種方式中的任意方式構建。例如，預定運 動模型可以從包含多個預定運動模型的遠程或本地數據庫中選擇。作為另一個 示例，預定運動II^可以皿分析樣科見頻序列來構建。
預定運動模型可以采用多種配置中的任意配置。例如，預定運動模型可以 包括預定3M閾值。作為另一個示例，預定運動模型可包括一個或更多個預定
矢量。例如， 一個或更多個預定矢量可以從數據庫中選擇，或l頓包括在一個 或更多個方向上移動的一個或更多個對象的樣本現頻序列來構建。此外，預定
矢量可包括單個預定矢量(例如，指向右方的預定矢量1202)或兩^hf頁定矢量 (例如，預定縫1302和1304)。當然，也可以艦額外的預定矢量。
例如，當分析安全區(qū)域中的入口鵬的視,鵬列時(例如，在觀賦階段)， 各自的運動矢量不在(多個)預定矢量的通常方向上的每一個對象(例如，不 在預定矢量的精確方向上，并且也不在預定矢量的角度變化的范圍內，比如加 或減15°)將被*祐為異常?？筛郊拥鼗蚩蛇x娜，視辦列中的每一個具有超 出預定強度閾值的確定范圍的強度閾值的對象也可被標記為異常。
作為另一個示例，表征提取的特征以執(zhí)行活動辨別可以包括執(zhí)行復雜活動 辨別。樹豫雜、赫探測可以包括確定是否探測到預定數目的簡單駒。財卜， 確定是否探測到預定數目的簡單活動可以包括使用圖形模塊(gr^hical model) (例如，動態(tài)Bayesian網絡禾B/或隱藏Markoy模塊)。
鄉(xiāng)ij說明，圖14是根據一個示例的動態(tài)貝葉斯(Bayesian)網絡1400的方
點(特征)1414和1416、簡單活動節(jié)點1410和1412、復雜活動^測節(jié)點1402 和1404以及完成節(jié)點1406和1408。完成節(jié)點1406和1408分別關聯于觀測節(jié) 點1414和1416。盡管描述的是兩層動態(tài)貝葉斯網絡，動態(tài)貝葉斯網絡1400可 以包括多個層。
如所記載的，執(zhí)行^活動探測可以包括確定是否探測到預定數目的簡單 活動。作為示例，對于三個幀，對象的第一運動矢量可指向右方，且第一運動 矢量可計為對象的一個簡單活動。在接下來的三幀中，該對象的第^ig動矢量 可指向左方，且這可計為對象的第二個簡單活動。在隨后的三幀中，該對象的 第三運動矢量可指向上方，且第三運動矢量可計為對象的第三個簡單活動。當 對象的三個簡單活動被探測到時(該三個簡單活動可以是相互不同的，或者可 以重復)，復雜g探測節(jié)點可被觸發(fā)。在動態(tài)貝葉斯網絡1400中，如果從觀 測節(jié)點1414到觀測節(jié)點1416的轉^括對象的第三個簡單活動，完成節(jié)點1406 可變?yōu)檫壿?l"，這樣指示一個復雜活動被探測到。另一方面，如果在從觀測節(jié) 點1414至ij觀測節(jié)點1416的轉z，間對象的三個簡單^^都沒有被探測到，則
誠節(jié)點可保持為邏輯T，這樣指示一個鋭活動沒有被探測到。當然，存在
探測^活動的其它示例。例如，執(zhí)行活動辨別可以幫助用戶在擁擠的場景中
識別特定對象的運動。
iv.方法ni
圖16是根據一個示例的方法1600的淑呈圖。圖16中示出的兩個或更多個
功能實質上可以同時發(fā)生，或者以與示出的不同的順序發(fā)生。
方法1600可以包括j頓運動紋理總測異常赫。如圖16中所描述的， 方法開始于塊1602,其中開始測試階段。在塊1602，駄飽括絲一視辦 列中選擇第一多個幀。在塊1604,該方,括在第一多個幀中分析運動紋理以
識別第一流。接下來，在±央1606,該方、跑括^m—流中提麟~#征。在塊
1608，該方法包括比較第一特征與在之前的訓練階段提取的第二特征。在塊 1610，基于該比較，該方飽括確定第~#征是否指示異常驗。
在塊1602，該方、跑括/Am一現辦列中選擇第一多^l"貞。絲一現辦 列中選擇第一多^H貞實質上與塊802中從柳辦列中選擇多^N"貞相似。
在塊1604，該方、飽括鄉(xiāng)一多,貞中分l腺動紋理以識別第一流。同樣 地，這一步驟實質上與塊804中在多鋪中分t脂動紋理以i朋lj流是相似的。
在塊1606， i^",括從第一流中提,HT征。再次，這一步驟實質上 為塊806中的從流中提取特征。
在±央1608，該方雜括比織H^征與在之前的訓練階段提取的的二特征。
該訓練階段可采用多種配置中的任意sas。例如，該訓練階段可以包括從多個
存儲在本:btk^程數據庫中的預定特征中選擇第二特征。作為另一個示例，該 訓練階段可包括("從樣本視辦列中選擇第二多個幀，(ii)在第二多,貞中分 析運動紋理以識別第二流，其中第二流定義第二多個幀中各自的區(qū)域的第二時 間的和第二空間的分割,并且其中該區(qū)域識別顯示運動的第二一致模式,以及(iii) 絲二流中提取第二特征。當然，存在訓練階段的其它示例。
此外，將第"^征與第二特征相比較可采用多種KS中的任意SSS。例如， 所述第一和第二特征可以包括第一和第二運動紋理模型，并且該第一和第二運 動紋理模型可以被比較。作為示例，該第一和第^ig動紋理模型可以分別包括 第一和第二運動矢量，并且第一和第二運動矢量的4^禾P/或方向可以被比較。 作為另一個示例，第一和第二特征可以分別包括描魏動的第一和第二參數(例 如，第一和第二組數值)，織一和第二參數可以被比較。當然，雜將第Ht
征與第二特征相比較的其它示例。
在塊1610，基于該比較，該方飽括確定第"^征是否指示異?；顒?。確 定第一特征是否指示異常活動可以包括確定是否第一和第二特征之間的相似性 測量值超出了預定閾值。例如，如果第一和第二特征包括第一和第二運動紋理 模型，如果第一和第:iii動紋理模型之間的相似性觀懂鵬出了預定閾值則可 確定為異?；顒?。作為示例，如果第一和第二運動紋理模型包括第一和第:iii 動矢量，在第一和第二矢量之間的相似性測量可以包括在第一和第:^ii動矢量 的各自的量級和/或方向之間的測量。如果第一和第1動矢量的量級和/或方向 之間的差異超出了預定閾值，貝iJ對象可被標記為異常。
鄉(xiāng)ij說明，預定閾值(例如，允許的對已知的運動模型的偏離)可以包括 特征的預定閾值(例如，運動矢量的25。角)。如果第一和第:nil動矢量的各自 的方向之間的差異在預定閾值內(例如，25° ，小)，則第HT征將不指示異 常活動(即，第HTiW征的對象將不被標記為異常)。另一方面，如果第一和 第z^動縫的各自的方向之間的差異大于預定閾值(例如，大于25°)，貝i傑 Hf征將指示異常赫(即，第1寺録征的鄉(xiāng)將被^HB為異常)。例如，確 定第1征是否指示異常翻可以幫助用戶確^tm是否itA^授權區(qū)域。 V.結論
以上描述了本發(fā)明的示范性實施例。無論如何，那些本領域技術人員將會明 白，所述實施例可被改變和修改而不會背離本發(fā)明的由權禾腰求限定的真正的 范圍和精神。
權利要求
1、一種在視頻序列中使用運動紋理來辨別感興趣的活動的方法，該方法包含從視頻序列中選擇多個幀；分析多個幀中的運動紋理以識別流，其中該流定義在該多個幀中各個區(qū)域的時間和空間的分割，并且其中所述區(qū)域顯示一致的運動模式；從所述流中提取特征；并且表征提取的特征以執(zhí)行活動辨別。
2、 權利要求l的方法，其中分析多^1>貞中的運動紋理以識別流包括 分割每一,貞為相應的多個片；對每一幀，在相應的多個片中識別M片組，其中所述M片m應于該 幀中的^h區(qū)域；并且在每一個幀中識另啶義於片組的時間和空間的分割的流，其中每一個幀 的所述M片組顯示一致的運動模式。
3、 權利要求l的方法，其中從流中提取特征包括構軀動縫，并且其中 表征提取的特征以執(zhí)行、^J認包括估it^動矢量的特征。
4、 權利要求3的方法，其中運動矢量穿過片，并且其中表征提取的特征以執(zhí)療^辨別還包括確定運動矢量是否相似于由該片定義的運動模式。
5、 權利要求1的方法，其中從流中提取特征包括構建多個運動矢量，其中 每一^動矢量對應于預定數目的幀，并且其中表征提取的特征以執(zhí)行活動辨 別包括估計多個運動矢量中的每一個運動矢量的特征。
6、 IX利要求5的方法，其中表征提取的特征以執(zhí)行活動辨別還包括比較多個運動矢量中的每一個運動矢量的各自的特征與至少一個預定矢量的特征。
7、 權利要求1的方法，其中從流中提取特征包括產生描述運動的參數，并 且其中表征提取的特征以執(zhí)行活動辨別包括確定描3^t動的參數是否在預定運 動凈IM的閾值內。
8、 權利要求1的方法，其中表征提取的特征以執(zhí)行活動辨別包括執(zhí)行簡單 活動辨別。
9、 權利要求1的方法，其中表征提取的特征以執(zhí)行活動辨別包括執(zhí)4f^ 活動辨別。
10、 權利要求9的方法，其中執(zhí)纟茂雜活動探測包括確定是否己探測至顧 定數目的簡單活動。
11、 權利要求10的方法，其中確定是否己探測到預定數目的簡#^動包括 艦圖形翻。
12、 一種j頓運動紋理來探測異?；顒拥姆椒ǎ摲?括>!^一視 列中選擇第一多,貞；分析第一多個幀中的運動紋理以識別第一流，其中第一流定義第一多1^貞 中的M區(qū)域的第一時間和第一空間的分割，并且其中所述區(qū)域顯示第一一致 的運動模式；/Am—流中提取第"iT征；比織~#征與在之前的訓練階段提取的第二特征；并且 基于該比較，確定第HT征是否指示異?；顒印?br> 13、 權利要求12的方法，其中訓練階段包括，二視,列中選擇第二多,貞；分析第二多個幀中的運動紋理以識別第二流，其中第二流定義第二多^H貞中的^h區(qū)域的第二時間和第二空間的分割，并且其中所述區(qū)域顯示第二一致的運動模式；并且/Am二流中提取第二特征。
14、 權利要求12的方法，其中確定第~#征是否指示異?；顒影ù_定第 —與第二特t!Et間的相似性測量值是否超出了預定閾值。
15、 權利要求13的方法，其中織一流中提取特征包括構麟一運動紋理模型，其中從第二特征提取特征包括構建第二運動紋理模型，其中比鄉(xiāng)1 征與第二特征包括比較第一與第:iig動紋理模型。
16、 權利要求15的方法，其中確定第HT征是否指示異?；顒影ù_定第一與第二運動紋理模型之間的相似性測量值是否超出了預定閾值。
17、 一種在柳辦列中分割顯示一致活動模式的區(qū)域的方法，該方魏括: a將給出的幀分割為多個片；b. i!31分析與片相關聯的運動紋理為每一個片構建矢量模型；并且c. 聚集具有顯示一辦莫式的^a+iM的多個片。
18、 權利要求17的方法，其中給出的幀為現辦列中多i^貞的一部分，該 方法進一步包括對多個幀中的每一4^貞重復步驟a《。
19、 權利要求17的方法，其中聚集具有顯示一致模式的縫翻的多個片包括聚集包括同中心地圍繞給出的片的^fi模型的多個片。
20、 權利要求17的方法，其中多個片中的每一個片鄰接至相鄰片，并且其 中皿分析與該片相關聯的運動紋理為每一個片構建^fi，M包括為多個片中的每一個片估計運動紋理參數；為多個片中每一個給出的片和為每一個與給出的片鄰接的相鄰片計算在給 出的片的運動紋理參數與相鄰片的運動紋理參數之間的運動紋郷B離；并且 基于多個片中每一個片的運動紋郷巨離的計算，為多個片中的每一個片構
全文摘要
本發(fā)明涉及用運動紋理分析執(zhí)行活動識別和探測活動異常模式的方法。公開了使用運動紋理分析來執(zhí)行視頻分析學的方法。一種方法包括從視頻序列中選擇多個幀，在多個幀中分析運動紋理以識別流，從流中提取特征，以及表征提取的特征以執(zhí)行活動辨別。另一種方法包括，從視頻序列中選擇多個幀，在多個幀中分析運動紋理以識別流，從流中提取第一特征，比較第一特征與在之前的訓練階段提取的第二特征，以及基于該比較，確定第一特征是否指示異常活動。另一種方法包括分割視頻序列中給出的幀為多個片，通過分析與片相關聯的運動紋理為每一個片構建矢量模型，和聚集具有顯示一致模式的矢量模型的多個片。
文檔編號G06T7/20GK101359401SQ20081021035
公開日2009年2月4日 申請日期2008年7月8日 優(yōu)先權日2007年7月9日
發(fā)明者I·科亨, P·西薩, Y·馬 申請人:霍尼韋爾國際公司