一種行為視頻無監(jiān)督時(shí)序分割方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種行為視頻無監(jiān)督時(shí)序分割方法，屬于智能視頻監(jiān)控的技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 視覺人體行為分析是實(shí)現(xiàn)智能視頻監(jiān)控、人機(jī)交互、醫(yī)療輔助、運(yùn)動(dòng)還原的關(guān)鍵技 術(shù)?，F(xiàn)有分析方法大多假設(shè):在觀測(cè)到的一段視頻片段中，只存在于一種行為類別。而實(shí)際 中，觀測(cè)到的行為視頻常包含多種連續(xù)行為類別;且在很多情況下，我們通常沒有先驗(yàn)知識(shí) 去判斷可能的種類以及每種行為的時(shí)間范圍等信息，因此導(dǎo)致視頻監(jiān)控和篩選的時(shí)效非常 低，耗費(fèi)大量的人力和物力。

【發(fā)明內(nèi)容】

[0003] 針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供一種行為視頻無監(jiān)督時(shí)序分割方法。該方法在 增量滑動(dòng)窗口（incremental sliding-window)技術(shù)框架下通過檢測(cè)視頻子序列的時(shí)序變 化點(diǎn)檢測(cè)來實(shí)現(xiàn)對(duì)不同行為的時(shí)序分割。
[0004] 本發(fā)明的技術(shù)方案如下：
[0005] -種行為視頻無監(jiān)督時(shí)序分割方法，所述方法中涉及行為視頻的滑動(dòng)窗口模型， 包括
[0006] (1-1)初始化視頻檢測(cè)的起始時(shí)間為m和相應(yīng)的滑動(dòng)窗口幀長度Lt;
[0007] (1-2)建立的視頻序列窗口內(nèi)做行為變化點(diǎn)的檢測(cè)；
[0008] (1 -3)若檢測(cè)到該視頻序列窗口內(nèi)有行為變化點(diǎn)c，則以時(shí)間點(diǎn)c為檢測(cè)起始時(shí)間 并重新初始化滑動(dòng)窗口幀長度繼續(xù)對(duì)后續(xù)視頻進(jìn)行檢測(cè)；否則，若在視頻序列窗口中未檢 測(cè)到行為變化點(diǎn)，則仍以初始化的m為檢測(cè)起始幀，即n t+1=nt，而滑動(dòng)窗口的幀長度更新為 Lt+1 = Lt+ Δ L，其中Δ L為滑動(dòng)窗長度增量步長；
[0009] (1-4)整個(gè)檢測(cè)過程直到所有視頻幀序列全部檢測(cè)完成或到達(dá)預(yù)先指定的截止時(shí) 間T0結(jié)束；
[0010] 所述行為視頻無監(jiān)督時(shí)序分割方法，包括，視頻子序列的行為變化點(diǎn)檢測(cè)，步驟如 下：
[0011] (2-1)在視頻上逐幀進(jìn)行特征提取并進(jìn)行PCA降維；
[0012] (2-2)按時(shí)序關(guān)系將幀特征向量重構(gòu)成多維時(shí)序數(shù)據(jù)；
[0013] (2-3)在時(shí)序數(shù)據(jù)每一維上利用偏差累積和，所述偏差累積和的英文為 cumulative sum，CUSUM，分別計(jì)算數(shù)據(jù)異常度并將計(jì)算得到的異常度信息進(jìn)行數(shù)據(jù)聚合；
[0014] (2-4)通過假設(shè)檢驗(yàn)來檢測(cè)行為的變化，若聚合后的異常度不小于設(shè)定的閾值λ， 則取異常度中的最大值對(duì)應(yīng)的時(shí)間點(diǎn)為行為的變化點(diǎn)，并以此對(duì)視頻進(jìn)行分割。
[0015] 根據(jù)本發(fā)明優(yōu)選的，所述行為視頻的滑動(dòng)窗口模型的建立方法，包括如下步驟： [0016]步驟（Η):
[0017]初始化視頻檢測(cè)的起始幀nt = m和相應(yīng)的滑動(dòng)窗口的幀長度Lt = U，其中，U設(shè)定 為2Lo，Lo為一類行為視頻的最小長度，應(yīng)用中設(shè)定為50;
[0018] 步驟(1-2)
[0019] 在建立的視頻序列滑動(dòng)窗口內(nèi)做行為變化點(diǎn)的檢測(cè)；
[0020] 步驟（1-3)
[0021] 若在該視頻序列窗口內(nèi)檢測(cè)到有行為變化點(diǎn)c，則以時(shí)間點(diǎn)c為后續(xù)檢測(cè)的起始幀 和滑動(dòng)窗口幀長度U繼續(xù)對(duì)后續(xù)視頻進(jìn)行檢測(cè)，即n t+1 = C、Lt+1 = L1;若在視頻序列窗口中未 檢測(cè)到行為變化點(diǎn)，則仍以初始化的m為檢測(cè)起始幀，而滑動(dòng)窗口的幀長度L t+1更新為(Lt+ A L)，其中Δ L為滑動(dòng)窗長度增量步長（Δ L = Lo/2)，即nt+1 = nt、Lt+1 = Lt+ Δ l;
[0022] 步驟（1-4)
[0023] 滑動(dòng)窗口的檢測(cè)直到所有視頻幀序列全部檢測(cè)完成或到達(dá)預(yù)先指定的截止時(shí)間 To結(jié)束，即nt+Lt>M or To,其中N為給定的完整行為視頻的圖像總幀數(shù)，To為預(yù)先指定的截 止時(shí)間；否則，t = t+l并返回步驟(1-2)。
[0024] 根據(jù)本發(fā)明優(yōu)選的，所述步驟（1-2)中所述在建立的視頻序列滑動(dòng)窗口內(nèi)做行為 變化點(diǎn)的檢測(cè)的方法，包括如下步驟：
[0025] 在上述增量滑動(dòng)窗下，通過檢測(cè)每個(gè)窗口內(nèi)視頻子序列的時(shí)序變化點(diǎn)檢測(cè)來實(shí)現(xiàn) 對(duì)不同行為的時(shí)序分割；
[0026] 步驟（2-1)
[0027] -段給定的視頻子序列Y，用y (t)表示第t幀的特征向量；
[0028] Y記作:Y= {y(t)}，t = l，2，···，N，其中N表示視頻的幀數(shù)，y(t)的維數(shù)用D表示;假 設(shè)Y(t)是給定的行為視頻Y中時(shí)間長度為L的一段視頻子序列，從時(shí)間t開始，至?xí)r間t+L-1 結(jié)束，并記作：
[0029] Y(t): = [y(t)T，y(t+l)T，…，y(t+L_l)T] ERDXL，其中T表示矩陣的轉(zhuǎn)置；
[0030] 對(duì)Y( t)進(jìn)行PCA自適應(yīng)降維處理:首先將特征向量向PCA子空間進(jìn)行投影并得到特 征值;依次計(jì)算前d (d=l，2，-_，D)個(gè)特征值的累積和，記作：,其中e (d)表示第d個(gè) 特征值，并按3_ = 1?.C/H sp)進(jìn)行數(shù)據(jù)歸一化;當(dāng)s(t)大于設(shè)定的閾值時(shí)，應(yīng)用 中設(shè)置為0.85,前d個(gè)PCA系數(shù)即作為特征降維后的特征，為了方便，在下文中仍用y(t)和D 表示降維后時(shí)間t的低維度特征序列和維數(shù)；
[0031] 步驟(2-2)
[0032] 將PCA降維后的Y(t)重構(gòu)成由D個(gè)一維特征時(shí)序數(shù)據(jù)組成的特征序列，記作：
[0033]
[0034]其中表示第d維上的一維特征時(shí)序數(shù)據(jù)，T表示矩陣的轉(zhuǎn)置；
[0035] 步驟(2-3)
[0036] 對(duì)于視頻子序列Y(t)，設(shè)Cl*Y(t)中存在的兩種行為的變化候選點(diǎn)，該變化候選 點(diǎn)將視頻分為兩部分，記作 ： ^t:i和利用偏差累積和計(jì)算兩部分視頻子序列的 數(shù)據(jù)分布變化，即對(duì)
3的每一維d e {丨，2，…，D}， 計(jì)算對(duì)應(yīng)的異常度:如下：
[0037]
[0038] 然后在所有維上對(duì)⑶SUM(所述偏差累積和的英文為cumulative sum，⑶SUM)計(jì)算 得到的異常度進(jìn)行數(shù)據(jù)聚合，用表示兩部分行為視頻鳥#4和 的異常度，計(jì)算公式如下：
[0041 ] _____________________ ..........-......關(guān)于異常度厶 iFWf.iJ. 的集合；[0042]步驟（2-4)[0043]對(duì)于視頻中行為變化點(diǎn)的檢測(cè)提出如下的假設(shè)檢驗(yàn)：[0044]
[0039]
[0040] ,；
[0045]
[0046] 對(duì)于步驟(2-3)中得到的集合，之為則接 受原假設(shè)Ho, 即Y(t)中存在兩種不同行為類別并取最大值對(duì)應(yīng)的時(shí)間點(diǎn)c為行為變化點(diǎn)，BP
中以此時(shí)間點(diǎn)對(duì)Y(t)進(jìn)行分割；否則拒絕原假設(shè)H〇,繼續(xù) 檢測(cè)。
[0047] 假設(shè)檢驗(yàn)中閾值λ根據(jù)經(jīng)驗(yàn)設(shè)定或交叉驗(yàn)證得到，應(yīng)用中可設(shè)置為6。
【附圖說明】
[0048] 圖1是本發(fā)明所述一種行為視頻無監(jiān)督時(shí)序分割方法的流程圖。
【具體實(shí)施方式】
[0049] 下面結(jié)合實(shí)施例和說明書附圖對(duì)本發(fā)明做詳細(xì)的說明，但不限于此。
[0050] 如圖1所示。
[0051 ] 實(shí)施例1、
[0052] -種行為視頻無監(jiān)督時(shí)序分割方法，所述方法中涉及行為視頻的滑動(dòng)窗口模型， 包括
[0053] (1-1)初始化視頻檢測(cè)的起始時(shí)間為m和相應(yīng)的滑動(dòng)窗口幀長度Lt;
[0054] (1-2)建立的視頻序列窗口內(nèi)做行為變化點(diǎn)的檢測(cè)；
[0055] (1-3)若檢測(cè)到該視頻序列窗口內(nèi)有行為變化點(diǎn)c，則以時(shí)間點(diǎn)c為檢測(cè)起始時(shí)間 并重新初始化滑動(dòng)窗口幀長度繼續(xù)對(duì)后續(xù)視頻進(jìn)行檢測(cè)；否則，若在視頻序列窗口中未檢 測(cè)到行為變化點(diǎn)，則仍以初始化的m為檢測(cè)起始幀，即n t+1=m，而滑動(dòng)窗口的幀長度更新為 nt+1 = Lt+ Δ L，其中Δ L為滑動(dòng)窗長度增量步長；
[0056] (1-4)整個(gè)檢測(cè)過程直到所有視頻幀序列全部檢測(cè)完成或到達(dá)預(yù)先指定的截止時(shí) 間T0結(jié)束；
[0057] 所述行為視頻無監(jiān)督時(shí)序分割方法，包括，視頻子序列的行為變化點(diǎn)檢測(cè)，步驟如 下：
[0058] (2-1)在視頻上逐幀進(jìn)行特征提取并進(jìn)行PCA降維；
[0059] (2-2)按時(shí)序關(guān)系將幀特征向量重構(gòu)成多維時(shí)序數(shù)據(jù)；
[0060] (2-3)在時(shí)序數(shù)據(jù)每一維上利用偏差累積和分別計(jì)算數(shù)據(jù)異常度并將計(jì)算得到的 異常度信息進(jìn)行數(shù)據(jù)聚合；
[0061] (2-4)通過假設(shè)檢驗(yàn)來檢測(cè)行為的變化，若聚合后的異常度不小于設(shè)定的閾值λ， 則取異常度中的最大值對(duì)應(yīng)的時(shí)間點(diǎn)為行為的變化點(diǎn)，并以此對(duì)視頻進(jìn)行分割。
[0062] 實(shí)施例2、
[0063] 如實(shí)施例1所述的一種行為視頻無監(jiān)督時(shí)序分割方法，其區(qū)別在于，所述行為視頻 的滑動(dòng)窗口模型的建立方法，包括如下步驟：
[0064] 步驟(1-1):
[0065]初始化視頻檢測(cè)的起始幀nt = m和相應(yīng)的滑動(dòng)窗口的幀長度LfU，其中山設(shè)定 為2Lo，Lo為一類行為視頻的最小長度，應(yīng)用中設(shè)定為50;
[0066] 步驟(1-2)
[0067] 在建立的視頻序列滑動(dòng)窗口內(nèi)做行為變化點(diǎn)的檢測(cè)；
[0068] 步驟(1-3)
[0069] 若在該視頻序列窗口內(nèi)檢測(cè)到有行為變化點(diǎn)c，則以時(shí)間點(diǎn)c為后續(xù)檢測(cè)的起始幀 和滑動(dòng)窗口幀長度U繼續(xù)對(duì)后續(xù)視頻進(jìn)行檢測(cè)，即n t+1 = C、Lt+1