本發(fā)明涉及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，尤其涉及一種擁擠場(chǎng)景監(jiān)控視頻中人群流異常事件的檢測(cè)方法。

背景技術(shù)：

隨著我國(guó)經(jīng)濟(jì)的持續(xù)發(fā)展，城市化水平得到了顯著提高，很多大型公共場(chǎng)所，如：大型商場(chǎng)、影劇院、體育場(chǎng)館、展覽館等隨之建設(shè)。相應(yīng)的文化、體育等方面的大型社會(huì)活動(dòng)也日益增多，帶來(lái)了擁堵、踩踏等公共安全事故在大型活動(dòng)中頻頻發(fā)生。

從人群擁擠踩踏事故的發(fā)生過(guò)程可以看出，人流量大的場(chǎng)所和活動(dòng)的安全管理除了需要對(duì)人群的密度和流量進(jìn)行監(jiān)控以外，還需要對(duì)人群的流向和對(duì)沖情況做出分析判斷，及時(shí)合理地采取限流、分流、單向通行等管控措施，減少堵塞、預(yù)防踩踏等惡性事故的發(fā)生。檢測(cè)異常的人群流，即不規(guī)則涌動(dòng)的人群流(包括對(duì)流和亂流等)，其目的就是自動(dòng)地發(fā)現(xiàn)踩踏等安全事故的前兆，以便提前采取應(yīng)對(duì)措施、防止事態(tài)進(jìn)一步惡化。然而，目前尚未檢索到用于異常事件預(yù)警的與人群流異常檢測(cè)相關(guān)的文獻(xiàn)報(bào)道。這里要檢測(cè)的異常人群流并不一定與正在發(fā)生的安全事故相對(duì)應(yīng)，但是其中卻蘊(yùn)藏著潛在的危險(xiǎn)，極有可能會(huì)發(fā)展成災(zāi)難性事件。在人員密集的擁擠場(chǎng)景中，個(gè)體的運(yùn)動(dòng)通常是不可預(yù)測(cè)的，此外擁擠還會(huì)帶來(lái)嚴(yán)重的動(dòng)態(tài)遮擋，因此人群流的異常檢測(cè)具有一定的挑戰(zhàn)性，亟需一種方法解決上述問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)的缺陷，本發(fā)明提供一種擁擠場(chǎng)景監(jiān)控視頻中人群流異常事件的檢測(cè)方法。該方法基于由粗到精部分形狀匹配的人群流異常檢測(cè)，粒子軌跡片段的聚類(lèi)使單條不可靠的粒子軌跡能夠與周?chē)嗨频牧Ｗ榆壽E一起用于人群流運(yùn)動(dòng)描述，提高了運(yùn)動(dòng)描述的穩(wěn)定性。

一種擁擠場(chǎng)景監(jiān)控視頻中人群流異常事件的檢測(cè)方法，包括如下步驟：

步驟1：提取監(jiān)控視頻中的軌跡片段，一個(gè)視頻片段W×H×T中粒子的運(yùn)動(dòng)軌跡表示為：

{(x(t)，y(t))|x∈[1，W]，y∈[1，H]，t∈[1，T]} (1)

其中，W表示視頻的寬，H表示視頻的高，T表示視頻片段連續(xù)幀的個(gè)數(shù)，矢量(x(t)，y(t))表示粒子(x，y)在t時(shí)刻的位置。

粒子(x，y)的位置的衍化方程為：

其中，round(·)表示取整運(yùn)算，u和v分別表示水平方向和垂直方向的運(yùn)動(dòng)速率，即粒子在相鄰幀間位移的水平和垂直分量。

步驟2：采用由粗到精的部分形狀匹配策略度量軌跡片段之間的相似性，包括以下步驟：

從兩條待匹配的軌跡片段中提取可能對(duì)應(yīng)的候選軌跡片段對(duì)；

采用粗匹配過(guò)程中的精簡(jiǎn)步驟去除明顯不相似的候選軌跡片段對(duì)；

采用精匹配過(guò)程對(duì)精簡(jiǎn)后的每對(duì)候選軌跡片段對(duì)提取特征并計(jì)算匹配代價(jià)，其中最小的匹配代價(jià)作為這兩條待匹配軌跡片段的相似度。

精匹配過(guò)程中提取的特征為形狀上下文描述子，即將極坐標(biāo)的極角和極徑劃分為b_ρ×b_θ個(gè)格子，將軌跡片段的起點(diǎn)平移至極坐標(biāo)的原點(diǎn)，統(tǒng)計(jì)每個(gè)格子中的粒子個(gè)數(shù)，獲得一個(gè)直方圖{h(n)|n∈[1，N]}，其中h(n)表示落在第n個(gè)格子中的粒子個(gè)數(shù)，N＝b_ρ×b_θ，表示直方圖格子的總數(shù)。

步驟3：對(duì)軌跡片段進(jìn)行層次聚類(lèi)；

利用層次聚類(lèi)算法對(duì)粒子軌跡片段進(jìn)行聚類(lèi)，得到若干運(yùn)動(dòng)基本一致的小區(qū)域patch(m)，m為小區(qū)域的編號(hào)，保證相鄰且相似的軌跡片段能歸為一類(lèi)。

步驟4：提取運(yùn)動(dòng)特征；

對(duì)聚類(lèi)后形成的小區(qū)域patch(m)提取具有統(tǒng)計(jì)意義的運(yùn)動(dòng)特征，所述運(yùn)動(dòng)特征包括粒子規(guī)模numel、粒子運(yùn)動(dòng)的平均速度和粒子運(yùn)動(dòng)的主方向H_dir。

步驟5：判斷人群流是否異常；

步驟5.1：根據(jù)粒子活動(dòng)范圍存在重疊的兩塊小區(qū)域主方向的合并方向是否大于90°來(lái)判斷是否存在對(duì)沖運(yùn)動(dòng)，如果合并方向大于90°，則存在對(duì)沖運(yùn)動(dòng)，執(zhí)行步驟5.2，否則不存在對(duì)沖運(yùn)動(dòng)，進(jìn)行下一視頻片段的檢測(cè)；

步驟5.2：根據(jù)對(duì)沖小區(qū)域的粒子個(gè)數(shù)之和與總的粒子個(gè)數(shù)之比來(lái)判斷人群流的狀態(tài)，如果比值大于預(yù)設(shè)門(mén)限τ_R，則判定為人群流異常，即存在不規(guī)則涌動(dòng)的人群流，否則為正常，進(jìn)行下一視頻幀的檢測(cè)。

進(jìn)一步地，所述步驟4中運(yùn)動(dòng)特征粒子規(guī)模numel、粒子運(yùn)動(dòng)的平均速度和粒子運(yùn)動(dòng)的主方向H_dir的計(jì)算公式分別如下：

numel(m)＝#{(x_p(t)，y_p(t))|(x_p，y_p)∈patch(m)，t∈[1，T]} (3)

H_dir＝{h_dir(n)|n∈[1，N]} (5)

其中，#表示集合中元素的個(gè)數(shù)；(x_p，y_p)表示小區(qū)域中粒子的位置；(x_p(t)，y_p(t))表示小區(qū)域中粒子(x_p，y_p)在t時(shí)刻的位置；粒子運(yùn)動(dòng)的主方向H_dir為包含至少80％粒子的連續(xù)最少格子，h_dir(n)＝true or false，表示極坐標(biāo)上角度等間隔的N個(gè)格子中第n個(gè)格子是否含有粒子。

由上述技術(shù)方案可知，本發(fā)明的有益效果在于：本發(fā)明提供的一種擁擠場(chǎng)景監(jiān)控視頻中人群流異常事件的檢測(cè)方法，采用由粗到精的部分形狀匹配策略來(lái)度量軌跡片段的相似性，然后根據(jù)相似度的排序?qū)壽E片段進(jìn)行層次聚類(lèi)，使相似的粒子軌跡片段聚集在一起用于從統(tǒng)計(jì)意義上描述聚類(lèi)得到的小區(qū)域的運(yùn)動(dòng)特征，進(jìn)而檢測(cè)人群流異常。粒子軌跡片段的聚類(lèi)使單條不可靠的粒子軌跡能夠與周?chē)嗨频牧Ｗ榆壽E一起用于人群流運(yùn)動(dòng)描述，提高了運(yùn)動(dòng)描述的穩(wěn)定性。

附圖說(shuō)明

圖1為本發(fā)明第一實(shí)施例提供的原始的人群流視頻幀；

圖2為本發(fā)明第一實(shí)施例提供的擁擠場(chǎng)景監(jiān)控視頻中人群流異常事件的檢測(cè)方法流程圖；

圖3為圖1中人群流運(yùn)動(dòng)的光流場(chǎng)示意圖；

圖4為圖1中人群流的粒子運(yùn)動(dòng)軌跡示意圖；

圖5為本發(fā)明第一實(shí)施例提供的直方圖格子的劃分示意圖；

圖6為圖5中粒子分布的直方圖示意圖；

圖7為對(duì)圖4中的軌跡片段聚類(lèi)得到的不同類(lèi)別示意圖；

圖8為本發(fā)明第一實(shí)施例提供的小區(qū)域中粒子運(yùn)動(dòng)的主方向示意圖；

圖9為本發(fā)明第一實(shí)施例提供的人群流發(fā)生異常的區(qū)域示意圖；

圖10為本發(fā)明第二實(shí)施例提供的10段不同場(chǎng)景測(cè)試視頻幀示意圖；

圖11為圖10中測(cè)試視頻幀上粒子軌跡片段的聚類(lèi)結(jié)果示意圖；

圖12為圖10中檢測(cè)到的異常人群流區(qū)域示意圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明的具體實(shí)施方式作進(jìn)一步詳細(xì)描述。以下實(shí)施例用于說(shuō)明本發(fā)明，但不用來(lái)限制本發(fā)明的范圍。

本發(fā)明檢測(cè)異常的人群流，即不規(guī)則涌動(dòng)的人群流(包括對(duì)流和亂流等)，其目的就是自動(dòng)地發(fā)現(xiàn)踩踏等安全事故的前兆，以便提前采取應(yīng)對(duì)措施、防止事態(tài)進(jìn)一步惡化。

本發(fā)明提出一種基于由粗到精部分形狀匹配的人群流異常檢測(cè)方法。首先，通過(guò)關(guān)聯(lián)連續(xù)多幀間的光流，得到粒子運(yùn)動(dòng)的短時(shí)軌跡片段。然后，采用層次聚類(lèi)算法對(duì)不穩(wěn)定的光流軌跡片段進(jìn)行聚類(lèi)，使相鄰且相似的軌跡片段聚成具有統(tǒng)計(jì)意義的小區(qū)域，提高運(yùn)動(dòng)描述的可靠性。最后，通過(guò)計(jì)算小區(qū)域中粒子運(yùn)動(dòng)的主方向和活動(dòng)范圍來(lái)檢測(cè)人群流異常。

實(shí)施例1

以一段記錄不規(guī)則涌動(dòng)的擁擠人群的視頻為例，其中的某視頻幀如圖1所示，詳細(xì)闡述一種擁擠場(chǎng)景監(jiān)控視頻中人群流異常事件的檢測(cè)方法，其流程如圖2所示，具體過(guò)程如下所述。

步驟1：提取監(jiān)控視頻中的軌跡片段。一個(gè)視頻片段480×360×600中粒子的運(yùn)動(dòng)軌跡表示為{(x(t)，y(t))|x∈[1，480]，y∈[1，360]，t∈[1，600]}；

其中，矢量(x(t)，y(t))表示粒子(x，y)在t時(shí)刻的位置。圖3為圖1所示的人群流視頻的光流場(chǎng)，圖4為視頻片段的粒子運(yùn)動(dòng)軌跡，人群流的軌跡片段從深色逐漸運(yùn)動(dòng)到淺色。由圖可見(jiàn)，粒子運(yùn)動(dòng)軌跡展示出了人群流在時(shí)間和空間上的運(yùn)動(dòng)變化，即人群流運(yùn)動(dòng)的趨勢(shì)，比光流包含了更豐富的時(shí)空運(yùn)動(dòng)信息。

粒子(x，y)的位置的衍化方程為：

其中，round(·)表示取整運(yùn)算，u和v分別表示水平方向和垂直方向的運(yùn)動(dòng)速率，即粒子在相鄰幀間位移的水平和垂直分量。

步驟2：采用由粗到精的部分形狀匹配策略度量軌跡片段之間的相似性。主要步驟包括：從兩條待匹配的軌跡片段中提取可能對(duì)應(yīng)的候選軌跡片段對(duì)；

采用粗匹配過(guò)程中的精簡(jiǎn)步驟去除那些明顯不相似的候選軌跡片段對(duì)；

采用精匹配過(guò)程對(duì)精簡(jiǎn)后的每對(duì)候選軌跡片段對(duì)提取特征并計(jì)算匹配代價(jià)，其中最小的匹配代價(jià)作為這兩條待匹配軌跡片段的相似度。

精匹配過(guò)程中提取的特征為形狀上下文描述子，即將極坐標(biāo)的極角和極徑劃分為b_ρ×b_θ＝4×8個(gè)格子，如圖5所示，將軌跡片段的起點(diǎn)平移至極坐標(biāo)的原點(diǎn)，統(tǒng)計(jì)每個(gè)格子中的粒子個(gè)數(shù)，獲得一個(gè)直方圖{h(n)|n∈[1，32]}，如圖6所示，其中h(n)表示落在第n個(gè)格子中的粒子個(gè)數(shù)，N＝b_ρ×b_θ，表示直方圖格子的總數(shù)。

步驟3：對(duì)軌跡片段進(jìn)行層次聚類(lèi)。

將軌跡片段進(jìn)行聚類(lèi)，得到一些運(yùn)動(dòng)基本一致的小區(qū)域patch(m)，m為小區(qū)域的編號(hào)，構(gòu)成具有統(tǒng)計(jì)意義的小單元，從而提高運(yùn)動(dòng)描述的可靠性。利用層次聚類(lèi)算法對(duì)粒子軌跡片段進(jìn)行聚類(lèi)，保證相鄰且相似的軌跡片段能歸為一類(lèi)。這里并不要求聚類(lèi)結(jié)果非常精確，過(guò)分割的聚類(lèi)結(jié)果同樣可以用于人群流的異常檢測(cè)。

對(duì)圖4中的粒子軌跡片段進(jìn)行層次聚類(lèi)得到的小區(qū)域如圖7所示，不同灰度的區(qū)域表示軌跡片段聚類(lèi)得到的不同類(lèi)別。由圖可見(jiàn)，軌跡片段聚類(lèi)將人群流進(jìn)行了過(guò)分割，聚為同類(lèi)的粒子運(yùn)動(dòng)軌跡都是很相似的，可以一起用于從統(tǒng)計(jì)意義上描述小區(qū)域的運(yùn)動(dòng)，進(jìn)一步用于人群流的異常檢測(cè)。

步驟4：提取運(yùn)動(dòng)特征。

對(duì)聚類(lèi)后形成的小區(qū)域patch(m)提取具有統(tǒng)計(jì)意義的運(yùn)動(dòng)特征，包括粒子規(guī)模numel、粒子運(yùn)動(dòng)的平均速度粒子運(yùn)動(dòng)的主方向H_dir。

運(yùn)動(dòng)特征粒子規(guī)模numel、粒子運(yùn)動(dòng)的平均速度和粒子運(yùn)動(dòng)的主方向H_dir的計(jì)算公式分別如下：

numel(m)＝#{(x_p(t)，y_p(t))|(x_p，y_p)∈patch(m)，t∈[1,600]}；

H_dir＝{h_dir(n)|n∈[1，32]}。

其中，#表示集合中元素的個(gè)數(shù)；(x_p，y_p)表示小區(qū)域中粒子的位置；(x_p(t)，y_p(t))表示小區(qū)域中粒子(x_p，y_p)在t時(shí)刻的位置；粒子運(yùn)動(dòng)的主方向H_dir為包含至少80％粒子的連續(xù)最少格子，h_dir(n)＝true or false，表示極坐標(biāo)上角度等間隔的32個(gè)格子中第n個(gè)格子是否含有粒子。

根據(jù)圖7所示的粒子軌跡片段的聚類(lèi)結(jié)果，計(jì)算每個(gè)小區(qū)域中粒子運(yùn)動(dòng)的主方向H_dir，如圖8所示，圓圈中深色的扇形表示小區(qū)域中粒子運(yùn)動(dòng)的主方向。對(duì)照?qǐng)D4，不難發(fā)現(xiàn)小區(qū)域內(nèi)粒子運(yùn)動(dòng)平穩(wěn)、一致的其主方向的角度較小，而運(yùn)動(dòng)發(fā)生偏轉(zhuǎn)的小區(qū)域的主方向角度較大。

步驟5：判斷人群流是否異常。

步驟5.1：根據(jù)粒子活動(dòng)范圍存在重疊的兩塊小區(qū)域的主方向的合并方向是否大于90°來(lái)判斷是否存在對(duì)沖運(yùn)動(dòng)，如果合并方向大于90°，則存在對(duì)沖運(yùn)動(dòng)，執(zhí)行步驟5.2，否則不存在對(duì)沖運(yùn)動(dòng)，進(jìn)行下一視頻片段的檢測(cè)；

步驟5.2：根據(jù)對(duì)沖小區(qū)域的粒子個(gè)數(shù)之和與總的粒子個(gè)數(shù)之比來(lái)判斷人群流的狀態(tài)，如果比值大于預(yù)設(shè)門(mén)限τ_R＝6，則判定為人群流異常，即存在不規(guī)則涌動(dòng)的人群流(如：對(duì)流和亂流等)，否則為正常，進(jìn)行下一視頻幀的檢測(cè)。

根據(jù)圖8中小塊區(qū)域內(nèi)粒子運(yùn)動(dòng)的主方向和活動(dòng)范圍，檢測(cè)到的人群流異常區(qū)域如圖9 所示，深色標(biāo)注的是人群流發(fā)生異常的區(qū)域。可見(jiàn)，提出的人群流異常檢測(cè)方法并不需要理想的粒子軌跡聚類(lèi)結(jié)果，在過(guò)分割的聚類(lèi)結(jié)果之上同樣可以實(shí)現(xiàn)人群流的異常檢測(cè)。

實(shí)施例2

一種擁擠場(chǎng)景監(jiān)控視頻中人群流異常事件的檢測(cè)方法，以10段不同場(chǎng)景的視頻為例，進(jìn)一步驗(yàn)證本發(fā)明方法的有效性。這些視頻的分辨率從480×360到720×480，幀率從10fps(frames per second)到25fps，包含正常和異常的人群流各5段，如圖10所示，左列為異常人群流視頻，右列為正常人群流視頻。圖10中左列異常組第一段視頻記錄的是不規(guī)則涌動(dòng)的擁擠人群；第二段視頻來(lái)自于人群流分割數(shù)據(jù)集，視頻中不同方向的人群流交織在了一起；第三段視頻中人行橫道兩端的行人相對(duì)而行穿過(guò)道路；第四段視頻記錄了參加麥加朝覲的穆斯林在圍著“天房”(Kabba)旋轉(zhuǎn)；第五段視頻記錄了由突發(fā)事件引起的人群慌亂逃離。可以看出，前四段視頻中并沒(méi)有發(fā)生安全事故，但是卻存在巨大的安全隱患，極有可能會(huì)發(fā)展成災(zāi)難性事件。而通常的異常檢測(cè)方法并未將這些情況定義為待檢測(cè)的異常。圖10中右列正常組的第一段視頻來(lái)自于人群流分割數(shù)據(jù)集，視頻中參加馬拉松賽跑的選手正在依次通過(guò)弧形的跑道；第二段視頻來(lái)自于人群流分割數(shù)據(jù)集，視頻中的隔離物隔開(kāi)了兩個(gè)方向上運(yùn)動(dòng)的人群流；第三段視頻中下班的工人正排隊(duì)通過(guò)工廠(chǎng)大門(mén)；第四段視頻是人行道上行走的人群；第五段視頻是公路上參加長(zhǎng)跑的人群。正常人群流的運(yùn)動(dòng)通常都是穩(wěn)定的，發(fā)生危險(xiǎn)的可能性非常低。

在測(cè)試視頻上，從每30幀中提取粒子運(yùn)動(dòng)的軌跡片段，然后利用層次聚類(lèi)算法對(duì)這些軌跡片段進(jìn)行聚類(lèi)，其中軌跡片段間的相似性采用由粗到精的部分形狀匹配方法進(jìn)行度量。10段不同場(chǎng)景視頻的聚類(lèi)結(jié)果如圖11所示，這里去除了少于200條軌跡片段的類(lèi)別，因?yàn)樾☆?lèi)別只包含一些易受干擾的細(xì)節(jié)信息。圖11中聚為同類(lèi)的軌跡片段一起用于從統(tǒng)計(jì)意義上提取聚類(lèi)得到的小區(qū)域的運(yùn)動(dòng)特征。圖11中同時(shí)展示了小區(qū)域內(nèi)粒子運(yùn)動(dòng)的主方向，可以看出異常人群流視頻中的運(yùn)動(dòng)不平穩(wěn)，相應(yīng)的粒子運(yùn)動(dòng)的主方向的角度范圍通常也較大；而正常人群流視頻中的運(yùn)動(dòng)相對(duì)平穩(wěn)、方向一致性強(qiáng)，粒子運(yùn)動(dòng)的主方向的角度范圍較小。這些聚類(lèi)結(jié)果顯然是過(guò)分割的，通過(guò)選取不同的參數(shù)聚類(lèi)結(jié)果可能會(huì)有所改善。但是，參數(shù)的選取是與視頻的分辨率、人群密度和個(gè)體速度相關(guān)的，所以對(duì)于不同場(chǎng)景的視頻無(wú)法同時(shí)獲得理想的聚類(lèi)結(jié)果。

人群流異常檢測(cè)就是要從監(jiān)控視頻中找出包含可能帶來(lái)災(zāi)難性后果的不穩(wěn)定狀態(tài)，以達(dá)到提前預(yù)警的目的。本實(shí)施例方法檢測(cè)到圖10中左列的異常人群流視頻中的異常人群流區(qū)域如圖12所示。結(jié)果表明提出的方法在非理想的聚類(lèi)結(jié)果之上同樣可以實(shí)現(xiàn)人群流的異常檢測(cè)，因此該方法是具有較強(qiáng)的適應(yīng)性。

本發(fā)明提供的一種擁擠場(chǎng)景監(jiān)控視頻中人群流異常事件的檢測(cè)方法，采用由粗到精的部分形狀匹配策略來(lái)度量軌跡片段的相似性，然后根據(jù)相似度的排序?qū)壽E片段進(jìn)行層次聚類(lèi)，使相似的粒子軌跡片段聚集在一起用于從統(tǒng)計(jì)意義上描述聚類(lèi)得到的小區(qū)域的運(yùn)動(dòng)特征，進(jìn)而檢測(cè)人群流異常。粒子軌跡片段的聚類(lèi)使單條不可靠的粒子軌跡能夠與周?chē)嗨频牧Ｗ榆壽E一起用于人群流運(yùn)動(dòng)描述，提高了運(yùn)動(dòng)描述的穩(wěn)定性。

最后應(yīng)說(shuō)明的是：以上各實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案，而非對(duì)其限制；盡管參照前述各實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分或者全部技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明權(quán)利要求所限定的范圍。