檢測設(shè)備和方法、檢測器生成設(shè)備和方法及監(jiān)控系統(tǒng)的制作方法
【專利摘要】提供了一種檢測設(shè)備和方法、檢測器生成設(shè)備和方法及監(jiān)控系統(tǒng)。檢測視頻中對象的異常行為的設(shè)備包括：提取裝置，其從待檢測的視頻中提取包含前景目標(biāo)的前景圖像，以得到包含前景圖像的圖像序列；特征計算裝置，其計算方向特征向量和幅度特征向量，其中，方向特征向量包含圖像序列的運動向量方向直方圖，幅度特征向量包含圖像序列的運動向量幅度直方圖；匹配裝置，其比較所計算的方向特征向量與對應(yīng)于不同運動方向的多個預(yù)定方向特征向量中的每個之間的相似度；以及檢測裝置，其使用與具有最高相似度的預(yù)定方向特征向量相關(guān)聯(lián)的檢測器，根據(jù)幅度特征向量來檢測視頻中對象的異常行為。
【專利說明】檢測設(shè)備和方法、檢測器生成設(shè)備和方法及監(jiān)控系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及模式識別領(lǐng)域，尤其涉及檢測視頻中對象的異常行為的設(shè)備和方法，生成用于檢測視頻中對象的異常行為的檢測器的設(shè)備和方法，以及包括檢測視頻中對象的異常行為的設(shè)備的監(jiān)控系統(tǒng)。
【背景技術(shù)】
[0002]隨著技術(shù)的發(fā)展以及硬件設(shè)備價格的逐漸降低，大量的監(jiān)控攝像頭被安裝到各種場合，特別是那些對安全要求敏感的場合，如機場、社區(qū)、銀行、停車場、軍事基地等。動態(tài)場景的視覺監(jiān)控是近年來備受關(guān)注的前沿研究方向。視覺監(jiān)控是從攝像機捕捉的圖像序列中分析和理解運動對象的行為，并對異常行為進行報警的技術(shù)。異常行為檢測是智能視覺監(jiān)控的重要功能。因此，對異常行為檢測的研究具有重要的意義。

【發(fā)明內(nèi)容】

[0003]本發(fā)明旨在提供一種檢測視頻中對象的異常行為的設(shè)備和方法，生成用于檢測視頻中對象的異常行為的檢測器的設(shè)備和方法，以及包括檢測視頻中對象的異常行為的設(shè)備的監(jiān)控系統(tǒng)，以改進異常行為檢測。
[0004]根據(jù)本發(fā)明的一個實施例，提供了一種檢測視頻中對象的異常行為的設(shè)備，包括:提取裝置，被配置為從待檢測的視頻中提取包含前景目標(biāo)的前景圖像，以得到包含前景圖像的具有預(yù)定長度的圖像序列；特征計算裝置，被配置為計算方向特征向量和幅度特征向量，其中，方向特征向量包含圖像序列的所有前景圖像的運動向量方向直方圖，幅度特征向量包含圖像序列的所有前景圖像的運動向量幅度直方圖；匹配裝置，被配置為比較所計算的方向特征向量與對應(yīng)于不同運動方向的多個預(yù)定方向特征向量中的每個之間的相似度，其中預(yù)定方向特征向量與所計算的方向特征向量具有相同或不同數(shù)目的運動向量方向直方圖；以及檢測裝置，被配置為使用與具有最高相似度的預(yù)定方向特征向量相關(guān)聯(lián)的檢測器，根據(jù)所計算的幅度特征向量來檢測視頻中對象的異常行為。
[0005]在上述檢測視頻中對象的異常行為的設(shè)備的進一步實施例中，提取裝置可以包括:連通區(qū)域分析裝置，被配置為檢測前景圖像中的獨立連通區(qū)域；以及覆蓋區(qū)域提取裝置，被配置為將覆蓋獨立連通區(qū)域的區(qū)域提取為獨立運動區(qū)域。
[0006]在上述檢測視頻中對象的異常行為的設(shè)備的進一步實施例中，檢測器可以為一類支持向量機。
[0007]在上述檢測視頻中對象的異常行為的設(shè)備的進一步實施例中，檢測器可以為串聯(lián)的兩級或更多級的一類支持向量機。
[0008]根據(jù)本發(fā)明的又一實施例，提供了一種檢測視頻中對象的異常行為的方法，包括:從待檢測的視頻中提取包含前景目標(biāo)的前景圖像，以得到包含前景圖像的具有預(yù)定長度的圖像序列；計算方向特征向量和幅度特征向量，其中，方向特征向量包含圖像序列的所有前景圖像的運動向量方向直方圖，幅度特征向量包含圖像序列的所有前景圖像的運動向量幅度直方圖；比較所計算的方向特征向量與對應(yīng)于不同運動方向的多個預(yù)定方向特征向量中的每個之間的相似度，其中預(yù)定方向特征向量與所計算的方向特征向量具有相同或不同數(shù)目的運動向量方向直方圖；以及使用與具有最高相似度的預(yù)定方向特征向量相關(guān)聯(lián)的檢測器，根據(jù)所計算的幅度特征向量來檢測視頻中對象的異常行為。
[0009]在上述檢測視頻中對象的異常行為的方法的進一步實施例中，從待檢測的視頻中提取包含前景目標(biāo)的前景圖像可以包括:檢測前景圖像中的獨立連通區(qū)域；以及將覆蓋獨立連通區(qū)域的區(qū)域提取為獨立運動區(qū)域。
[0010]在上述檢測視頻中對象的異常行為的方法的進一步實施例中，檢測器可以為一類支持向量機。
[0011]在上述檢測視頻中對象的異常行為的方法的進一步實施例中，檢測器可以為串聯(lián)的兩級或更多級的一類支持向量機。
[0012]根據(jù)本發(fā)明的又一實施例，提供了一種生成用于檢測視頻中對象的異常行為的檢測器的設(shè)備，包括:提取裝置，被配置為分別從多個視頻樣本中的每個視頻樣本中提取包含前景目標(biāo)的前景圖像，以得到包含前景圖像的具有預(yù)定長度的圖像序列，其中序列中包含的對象的行為類型已被標(biāo)記；特征計算裝置，被配置為分別計算方向特征向量和幅度特征向量，其中方向特征向量包含圖像序列的所有前景圖像的運動向量方向直方圖，幅度特征向量包含圖像序列的所有前景圖像的運動向量幅度直方圖；聚類裝置，被配置為將計算出的方向特征向量聚類為多個方向特征向量組，并且分別計算多個方向特征向量組中的每個方向特征向量組的中心方向特征向量；以及訓(xùn)練裝置，被配置為根據(jù)方向特征向量組中的每個方向特征向量所對應(yīng)的圖像序列的幅度特征向量和所標(biāo)記的行為類型來訓(xùn)練檢測器。
[0013]在上述生成用于檢測視頻中對象的異常行為的檢測器的設(shè)備的進一步實施例中，方向特征向量組的中心方向特征向量是方向特征向量組中的所有方向特征向量的平均值。
[0014]在上述生成用于檢測視頻中對象的異常行為的檢測器的設(shè)備的進一步實施例中，提取裝置包括:連通區(qū)域分析裝置，被配置為檢測前景圖像中的獨立連通區(qū)域；以及覆蓋區(qū)域提取裝置，被配置為將覆蓋獨立連通區(qū)域的區(qū)域提取為獨立運動區(qū)域。
[0015]在上述生成用于檢測視頻中對象的異常行為的檢測器的設(shè)備的進一步實施例中，檢測器可以為一類支持向量機。
[0016]在上述生成用于檢測視頻中對象的異常行為的檢測器的設(shè)備的進一步實施例中，檢測器可以為串聯(lián)的兩級或更多級的一類支持向量機。
[0017]在根據(jù)本發(fā)明的又一實施例中，提供了一種生成用于檢測視頻中對象的異常行為的檢測器的方法，包括:分別從多個視頻樣本中的每個視頻樣本中提取包括前景目標(biāo)的前景圖像，以得到包含前景區(qū)域的具有預(yù)定長度的圖像序列，其中圖像序列中包含的對象的行為類型已被標(biāo)記；分別計算方向特征向量和幅度特征向量，其中方向特征向量包含圖像序列的所有前景圖像的運動向量方向直方圖，幅度特征向量包含圖像序列的所有前景圖像的運動向量幅度直方圖；將計算出的方向特征向量聚類為多個方向特征向量組，并且分別計算多個方向特征向量組中的每個方向特征向量組的中心方向特征向量；以及根據(jù)方向特征向量組中的每個方向特征向量所對應(yīng)的圖像序列的幅度特征向量和所標(biāo)記的行為類型來訓(xùn)練檢測器。
[0018]在上述生成用于檢測視頻中對象的異常行為的檢測器的方法的進一步實施例中，方向特征向量組的中心方向特征向量是方向特征向量組中的所有方向特征向量的平均值。
[0019]在上述生成用于檢測視頻中對象的異常行為的檢測器的方法的進一步實施例中，從多個視頻樣本中的每個視頻樣本中提取包含前景目標(biāo)的前景圖像可以包括:檢測前景圖像中的獨立連通區(qū)域；以及將覆蓋獨立連通區(qū)域的區(qū)域提取為獨立運動區(qū)域。
[0020]在上述生成用于檢測視頻中對象的異常行為的檢測器的方法的進一步實施例中，檢測器可以為一類支持向量機。
[0021]在上述生成用于檢測視頻中對象的異常行為的檢測器的方法的進一步實施例中，檢測器可以為串聯(lián)的兩級或更多級的一類支持向量機。
[0022]根據(jù)本發(fā)明的又一實施例，提供了一種監(jiān)控系統(tǒng)，包括上述檢測視頻中對象的異常行為的設(shè)備。
[0023]本發(fā)明可以將正常行為按照運動方向進行聚類，并且分別針對正常行為的不同運動方向，根據(jù)相應(yīng)的運動幅度來對檢測器進行訓(xùn)練，因此可以有效地避免不同運動方向的正常行為所導(dǎo)致的誤報，并且可以處理正常行為在不同運動方向上體現(xiàn)出的不同幅度特性，從而提高了檢測視頻中對象的異常行為的魯棒性。
【專利附圖】

【附圖說明】
[0024]參照下面結(jié)合附圖對本發(fā)明實施例的說明，會更加容易地理解本發(fā)明的以上和其它目的、特點和優(yōu)點。在附圖中，相同的或?qū)?yīng)的技術(shù)特征或部件將采用相同或?qū)?yīng)的附圖標(biāo)記來表示。在附圖中不必依照比例繪制出單元的尺寸和相對位置。在附圖中:
[0025]圖1是示出根據(jù)本發(fā)明實施例的生成用于檢測視頻中對象的異常行為的檢測器的設(shè)備的框圖；
[0026]圖2A是示出生成方向特征向量的過程的示例的示意圖；
[0027]圖2B是示出生成幅度特征向量的過程的示例的示意圖；
[0028]圖3是示出圖1中的提取裝置的一個示例的框圖；
[0029]圖4是示出從視頻樣本中提取圖像序列的一個示例的示意圖；
[0030]圖5是示出根據(jù)本公開一個實施例的用于檢測視頻中對象的異常行為的檢測器的示意性框圖；
[0031]圖6是示出根據(jù)本發(fā)明實施例的生成用于檢測視頻中對象的異常行為的檢測器的方法的流程圖；
[0032]圖7是示出圖6所示的方法中的從視頻樣本中提取包含前景目標(biāo)的前景圖像的步驟的一個示例的流程圖；
[0033]圖8是示出根據(jù)本發(fā)明實施例的檢測視頻中對象的異常行為的設(shè)備的框圖；
[0034]圖9是示出圖8中的提取裝置的一個示例的框圖；
[0035]圖10是示出根據(jù)本發(fā)明實施例的檢測視頻中對象的異常行為的方法的流程圖；
[0036]圖11是示出圖10所示的方法中的從待檢測視頻中提取包含前景目標(biāo)的前景圖像的步驟的一個示例的流程圖；
[0037]圖12是示出其中實現(xiàn)本發(fā)明的計算機的示例性結(jié)構(gòu)的框圖。
【具體實施方式】[0038]下面參照附圖來說明本發(fā)明的實施例。應(yīng)當(dāng)注意，為了清楚的目的，附圖和說明中省略了與本發(fā)明無關(guān)的、本領(lǐng)域普通技術(shù)人員已知的部件和處理的表示和描述。
[0039]圖1是示出根據(jù)本發(fā)明實施例的生成用于檢測視頻中對象的異常行為的檢測器的設(shè)備的框圖。
[0040]如圖1所示，設(shè)備100包括提取裝置101、特征計算裝置102、聚類裝置103和訓(xùn)練裝置104。
[0041]為生成用于檢測視頻中對象的異常行為的檢測器，通常準(zhǔn)備樣本視頻段。每個視頻段中包含有特定行為類型的對象(例如人、動物、車輛等等)的行為，例如正常行走、聊天、打架、病倒等等。根據(jù)具體應(yīng)用的檢測目的，可以將這些行為類型中的一或多個類型劃分為正常行為類型，而將其余行為類型劃分為異常行為類型。對于包含正常行為類型的行為的視頻段，將其標(biāo)記為正常行為類型。對于包含異常行為類型的行為的視頻段，將其標(biāo)記為異常行為類型。
[0042]針對每個這樣的視頻段，從中提取出行為描述特征，從而獲得視頻段的行為描述特征和相應(yīng)行為類型。所有視頻段的行為描述特征和相應(yīng)行為類型形成訓(xùn)練數(shù)據(jù)集。于是，能夠使用相應(yīng)訓(xùn)練方法根據(jù)訓(xùn)練數(shù)據(jù)集訓(xùn)練出檢測器。
[0043]在圖1所示的實施例中，提取裝置101分別從多個視頻樣本中的每個視頻樣本中提取包含前景目標(biāo)的前景圖像，以得到包含前景圖像的具有預(yù)定長度的圖像序列，其中圖像序列中包含的對象的行為類型已被標(biāo)記。
[0044]可以分別從多個視頻樣本中的每個視頻樣本的每個圖像幀中檢測前景圖像，以構(gòu)建視頻的運動歷史圖像(Motion History Image, MHI )。
[0045]下面，結(jié)合圖4來描 述從視頻樣本中提取圖像序列的一個示例。圖4是示出從視頻樣本中提取圖像序列的一個示例的示意圖。
[0046]首先，檢測視頻圖像中的前景區(qū)域。在視頻監(jiān)控場景中，圖像獲取設(shè)備(如攝像機)通常是固定的，因此背景是靜止的，而對象(例如人)是運動的?？梢圆捎萌魏芜m當(dāng)?shù)姆椒▉頇z測視頻圖像的運動區(qū)域(前景)，作為一個示例，可以采用高斯混合模型(Gaussianmixture model, GMM)方法來進行背景建模并檢測每幀圖像的前景(運動區(qū)域)。在其他示例中，還可以采用核密度估計法(Kernel Density Estimation)等其他適當(dāng)?shù)姆椒▉頇z測前景，這里不作詳述。
[0047]圖4 (A)示出了視頻圖像的一個示例，其中包含對象(人)的行走、摔倒的行為。圖4(B)示出了利用GMM方法對圖4(A)的視頻圖像進行前景檢測后得到的前景圖像序列。
[0048]可以利用多幀圖像的前景圖像(如最近η幀的前景圖像，η>1)、采用下列公式來構(gòu)建 MHI:
[0049]
【權(quán)利要求】
1.一種檢測視頻中對象的異常行為的設(shè)備，包括: 提取裝置，被配置為從待檢測的視頻中提取包含前景目標(biāo)的前景圖像，以得到包含所述前景圖像的具有預(yù)定長度的圖像序列； 特征計算裝置，被配置為計算方向特征向量和幅度特征向量，其中，所述方向特征向量包含所述圖像序列的所有前景圖像的運動向量方向直方圖，所述幅度特征向量包含所述圖像序列的所有前景圖像的運動向量幅度直方圖； 匹配裝置，被配置為比較所計算的方向特征向量與對應(yīng)于不同運動方向的多個預(yù)定方向特征向量中的每個之間的相似度，其中所述預(yù)定方向特征向量與所計算的方向特征向量具有相同或不同數(shù)目的運動向量方向直方圖；以及 檢測裝置，被配置為使用與具有最高相似度的預(yù)定方向特征向量相關(guān)聯(lián)的檢測器，根據(jù)所計算的幅度特征向量來檢測視頻中對象的異常行為。
2.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述提取裝置包括: 連通區(qū)域分析裝置，被配置為檢測所述前景圖像中的獨立連通區(qū)域；以及 覆蓋區(qū)域提取裝置，被配置為將覆蓋所述獨立連通區(qū)域的區(qū)域提取為獨立運動區(qū)域。
3.根據(jù)權(quán)利要求1或2所述的設(shè)備，其中，所述檢測器為一類支持向量機。
4.根據(jù)權(quán)利要求1或2所述的設(shè)備，其中，所述檢測器為串聯(lián)的兩級或更多級的一類支持向量機。
5.一種檢測視頻中對象的異常行為的方法，包括: 從待檢測的視頻中提取包含前景目標(biāo)的前景圖像，以得到包含所述前景圖像的具有預(yù)定長度的圖像序列； 計算方向特征向量和幅度特征向量，其中，所述方向特征向量包含所述圖像序列的所有前景圖像的運動向量方向直方圖，所述幅度特征向量包含所述圖像序列的所有前景圖像的運動向量幅度直方圖； 比較所計算的方向特征向量與對應(yīng)于不同運動方向的多個預(yù)定方向特征向量中的每個之間的相似度，其中所述預(yù)定方向特征向量與所計算的方向特征向量具有相同或不同數(shù)目的運動向量方向直方圖；以及 使用與具有最高相似度的預(yù)定方向特征向量相關(guān)聯(lián)的檢測器，根據(jù)所計算的幅度特征向量來檢測視頻中對象的異常行為。
6.根據(jù)權(quán)利要求5所述的方法，其中，從待檢測的視頻中提取包含前景目標(biāo)的前景圖像包括: 檢測所述前景圖像中的獨立連通區(qū)域；以及 將覆蓋所述獨立連通區(qū)域的區(qū)域提取為獨立運動區(qū)域。
7.根據(jù)權(quán)利要求5或6所述的方法，其中，所述檢測器為一類支持向量機。
8.根據(jù)權(quán)利要求5或6所述的方法，其中，所述檢測器為串聯(lián)的兩級或更多級的一類支持向量機。
9.一種生成用于檢測視頻中對象的異常行為的檢測器的設(shè)備，包括: 提取裝置 ，被配置為分別從多個視頻樣本中的每個視頻樣本中提取包含前景目標(biāo)的前景圖像，以得到包含所述前景圖像的具有預(yù)定長度的圖像序列，其中所述圖像序列中包含的對象的行為類型已被標(biāo)記；特征計算裝置，被配置為分別計算方向特征向量和幅度特征向量，其中所述方向特征向量包含所述圖像序列的所有前景圖像的運動向量方向直方圖，所述幅度特征向量包含所述圖像序列的所有前景圖像的運動向量幅度直方圖； 聚類裝置，被配置為將計算出的方向特征向量聚類為多個方向特征向量組，并且分別計算所述多個方向特征向量組中的每個方向特征向量組的中心方向特征向量；以及 訓(xùn)練裝置，被配置為根據(jù)所述方向特征向量組中的每個方向特征向量所對應(yīng)的圖像序列的所述幅度特征向量和所標(biāo)記的行為類型來訓(xùn)練所述檢測器。
10.根據(jù)權(quán)利要求9所述的設(shè)備，其中，所述方向特征向量組的中心方向特征向量是所述方向特征向量組中的所有方向特征向量的平均值。
11.根據(jù)權(quán)利要求9所述的設(shè)備，其中，所述提取裝置包括: 連通區(qū)域分析裝置，被配置為檢測所述前景圖像中的獨立連通區(qū)域；以及 覆蓋區(qū)域提取裝置，被配置為將覆蓋所述獨立連通區(qū)域的區(qū)域提取為獨立運動區(qū)域。
12.根據(jù)權(quán)利要求9-11中任一項所述的設(shè)備，其中，所述檢測器為一類支持向量機。
13.根據(jù)權(quán)利要求9-11中任一項所述的設(shè)備，其中，所述檢測器為串聯(lián)的兩級或更多級的一類支持向量機。
14.一種生成用于檢測視頻中對象的異常行為的檢測器的方法，包括: 分別從多個視頻樣本中的每個視頻樣本中提取包括前景目標(biāo)的前景圖像，以得到包含所述前景區(qū)域的具有預(yù)定長度的圖像序列，其中所述圖像序列中包含的對象的行為類型已被標(biāo)記； 分別計算方向特征向量和幅度特征向量，其中所述方向特征向量包含所述圖像序列的所有前景圖像的運動向量方向直方圖，所述幅度特征向量包含所述圖像序列的所有前景圖像的運動向量幅度直方圖； 將計算出的方向特征向量聚類為多個方向特征向量組，并且分別計算所述多個方向特征向量組中的每個方向特征向量組的中心方向特征向量；以及 根據(jù)所述方向特征向量組中的每個方向特征向量所對應(yīng)的圖像序列的所述幅度特征向量和所標(biāo)記的行為類型來訓(xùn)練所述檢測器。
15.根據(jù)權(quán)利要求14所述的方法，其中，所述方向特征向量組的中心方向特征向量是所述方向特征向量組中的所有方向特征向量的平均值。
16.根據(jù)權(quán)利要求14所述的方法，其中，分別從所述多個視頻樣本中的每個視頻樣本中提取包含前景目標(biāo)的前景圖像包括: 檢測所述前景圖像中的獨立連通區(qū)域；以及 將覆蓋所述獨立連通區(qū)域的區(qū)域提取為獨立運動區(qū)域。
17.根據(jù)權(quán)利要求14-16中任一項所述的方法，其中，所述檢測器為一類支持向量機。
18.根據(jù)權(quán)利要求14-16中任一項所述的方法，其中，所述檢測器為串聯(lián)的兩級或更多級的一類支持向量機。
19.一種監(jiān)控系統(tǒng)，包括根據(jù)權(quán)利要求1-4中任一項所述的檢測視頻中對象的異常行為的設(shè)備。
【文檔編號】G06K9/62GK103577795SQ201210269232
【公開日】2014年2月12日 申請日期:2012年7月30日 優(yōu)先權(quán)日:2012年7月30日
【發(fā)明者】劉舟 申請人:索尼公司