一種基于在線學(xué)習(xí)跟蹤監(jiān)控視頻中多個(gè)運(yùn)動(dòng)目標(biāo)的方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于在線學(xué)習(xí)的監(jiān)控視頻中運(yùn)動(dòng)目標(biāo)跟蹤方法，其首先利用離線訓(xùn)練的特定類(lèi)別測(cè)器檢測(cè)出視頻序列中目標(biāo)區(qū)域；然后結(jié)合外觀特性，采用雙閾值保守關(guān)聯(lián)思路關(guān)聯(lián)相鄰兩幀之間的目標(biāo)，得到可靠保守的短跟蹤片；再在得到的跟蹤片上，利用時(shí)空域分布約束信息，定義正負(fù)樣本集，分別提取顏色、紋理外觀特征相似度以及運(yùn)動(dòng)信息，作為在線學(xué)習(xí)器訓(xùn)練特征集，通過(guò)機(jī)器學(xué)習(xí)在線學(xué)習(xí)算法的訓(xùn)練過(guò)程，得到軌跡片分布規(guī)律上基于運(yùn)動(dòng)和外觀特性的概率統(tǒng)計(jì)特性；最后將兩軌跡片關(guān)聯(lián)形式化為求解基于運(yùn)動(dòng)和外觀的聯(lián)合后驗(yàn)概率最大問(wèn)題。本發(fā)明緩解了近距離外觀相似的擁擠場(chǎng)景下多運(yùn)動(dòng)目標(biāo)跟蹤問(wèn)題出現(xiàn)的軌跡身份標(biāo)定誤切換問(wèn)題。
【專(zhuān)利說(shuō)明】一種基于在線學(xué)習(xí)跟蹤監(jiān)控視頻中多個(gè)運(yùn)動(dòng)目標(biāo)的方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于模式識(shí)別【技術(shù)領(lǐng)域】，更具體地，涉及一種基于在線學(xué)習(xí)跟蹤視頻監(jiān)控 中多個(gè)運(yùn)動(dòng)目標(biāo)的方法。

【背景技術(shù)】
[0002] 視頻目標(biāo)跟蹤一直是計(jì)算機(jī)視覺(jué)研究領(lǐng)域的熱點(diǎn)和難點(diǎn)問(wèn)題，目的是為了檢索出 視頻序列中運(yùn)動(dòng)目標(biāo)軌跡，進(jìn)而為后續(xù)計(jì)算機(jī)視覺(jué)系統(tǒng)更高級(jí)識(shí)別性能提供有效保障，對(duì) 加快基于目標(biāo)跟蹤技術(shù)的交通管理自動(dòng)化、智能化具有很高的實(shí)用價(jià)值。傳統(tǒng)的單目標(biāo)跟 蹤中面臨的問(wèn)題包括：運(yùn)動(dòng)目標(biāo)非剛性，視角、光照變化導(dǎo)致的形變問(wèn)題，目標(biāo)運(yùn)動(dòng)的隨意 性，目標(biāo)消失與重現(xiàn)，復(fù)雜背景中相似目標(biāo)干擾，背景遮擋，目標(biāo)自遮擋等，以上這些問(wèn)題使 得單目跟蹤算法研究具有很大的挑戰(zhàn)性。除了傳統(tǒng)的單目跟蹤所面臨的問(wèn)題之外（例如目 標(biāo)消失后重現(xiàn)后的檢測(cè)、復(fù)雜背景環(huán)境下的目標(biāo)干擾、遮擋問(wèn)題等），多目標(biāo)跟蹤處理的場(chǎng) 景更復(fù)雜，不確定性因素更多。多目跟蹤還需解決以下問(wèn)題：運(yùn)動(dòng)目標(biāo)個(gè)數(shù)不確定性、相同 目標(biāo)的相互干擾、同類(lèi)目標(biāo)之間遮擋、如何在復(fù)雜背景或者擁擠場(chǎng)景條件下分辨相似的小 目標(biāo)等。如擁擠街道場(chǎng)景下行人跟蹤應(yīng)用備受廣大學(xué)者關(guān)注。
[0003] 在擁擠街道的行人跟蹤問(wèn)題中，行人外觀特征很相似，且運(yùn)動(dòng)模式很相近，但是隨 意性特別大，人與人的遮擋將導(dǎo)致很容易出現(xiàn)錯(cuò)跟現(xiàn)象，而目前尚不存在有解決該錯(cuò)根現(xiàn) 象的目標(biāo)跟蹤方法。


【發(fā)明內(nèi)容】

[0004] 針對(duì)現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種基于在線學(xué)習(xí)跟蹤視頻 監(jiān)控中多個(gè)運(yùn)動(dòng)目標(biāo)的方法，其目的在于，解決現(xiàn)有交通擁擠條件下出現(xiàn)的軌跡標(biāo)定問(wèn)題， 如街景環(huán)境下?lián)頂D行人跟蹤問(wèn)題，交通路口車(chē)輛跟蹤問(wèn)題等，其將多目標(biāo)跟蹤問(wèn)題轉(zhuǎn)化為 最大后驗(yàn)概率準(zhǔn)則（Maximum Posterior Probability)問(wèn)題下軌跡片逐級(jí)關(guān)聯(lián)問(wèn)題。任何 已知類(lèi)別運(yùn)動(dòng)目標(biāo)和可行在線學(xué)習(xí)機(jī)制適用于本發(fā)明框架。
[0005] 為實(shí)現(xiàn)上述目的，按照本發(fā)明的一個(gè)方面，提供了一種基于在線學(xué)習(xí)跟蹤視頻監(jiān) 控中多個(gè)運(yùn)動(dòng)目標(biāo)的方法，包括以下步驟：
[0006] (1)接收輸入視頻序列，利用離線訓(xùn)練的行人檢測(cè)器并采用多尺度遍歷搜索框的 方法標(biāo)定輸入視頻序列中目標(biāo)的位置；
[0007] (2)采用基于顏色特性的保守關(guān)聯(lián)方法對(duì)輸入視頻序列中連續(xù)兩幀之間的檢測(cè)目 標(biāo)進(jìn)行數(shù)據(jù)關(guān)聯(lián)，以得到多個(gè)可靠保守的短時(shí)跟蹤軌跡片；
[0008] (3)根據(jù)短時(shí)跟蹤軌跡片并利用同一目標(biāo)的運(yùn)動(dòng)分布特性和顏色相似特性構(gòu)建 正、負(fù)樣本集，其中正樣本集均來(lái)自同一目標(biāo)的運(yùn)動(dòng)軌跡，負(fù)樣本集來(lái)自不同目標(biāo)的運(yùn)動(dòng)軌 跡；
[0009] (4)利用構(gòu)建的正、負(fù)樣本集訓(xùn)練霍夫隨機(jī)森林，該霍夫隨機(jī)森林種的葉子節(jié)點(diǎn)存 儲(chǔ)了正、負(fù)樣本集的類(lèi)別統(tǒng)計(jì)特性和軌跡運(yùn)動(dòng)特性；
[0010] (5)利用時(shí)域約束特性將短時(shí)跟蹤片中首尾間隔差小于閾值Tp的任意兩個(gè)短時(shí)跟 蹤片構(gòu)建成可能關(guān)聯(lián)軌跡對(duì)，所有的可能關(guān)聯(lián)軌跡對(duì)構(gòu)成可能關(guān)聯(lián)軌跡對(duì)集合，將每個(gè)可 能關(guān)聯(lián)軌跡對(duì)進(jìn)行特征描述，以生成檢測(cè)樣本的特征集，并將檢測(cè)樣本的特征集送入霍夫 森林中，以得到該特征集對(duì)應(yīng)的葉子節(jié)點(diǎn)；
[0011] (6)獲取葉子節(jié)點(diǎn)的類(lèi)別統(tǒng)計(jì)特性舛|i)和運(yùn)動(dòng)統(tǒng)計(jì)特性|i)，從而得 到所有關(guān)聯(lián)軌跡對(duì)的關(guān)聯(lián)概II勾，所有關(guān)聯(lián)概率構(gòu)成關(guān)聯(lián)概率 矩陣；
[0012] (7)判斷關(guān)聯(lián)概率矩陣中橫、縱最大的兩個(gè)元素是否大于一閾值，如果是則初步判 斷這兩個(gè)元素分別對(duì)應(yīng)的軌跡片屬于同一軌跡，然后轉(zhuǎn)入步驟（8)，否則表示不屬于同一軌 跡，然后轉(zhuǎn)入步驟（8);
[0013] (8)用匈牙利算法對(duì)兩個(gè)元素進(jìn)行再次判斷，以最終確定二者對(duì)應(yīng)的軌跡片屬于 同一軌跡；只有匈牙利算法判斷屬于同一軌跡且在步驟（7)中判定屬于同一軌跡的軌跡片 才認(rèn)為是真正的關(guān)聯(lián)軌跡對(duì)；
[0014] (9)對(duì)步驟⑶得到的屬于同一軌跡的兩個(gè)元素重復(fù)執(zhí)行步驟（3)，以得到新的訓(xùn) 練樣本集，并對(duì)該訓(xùn)練樣本集執(zhí)行步驟（4)的學(xué)習(xí)步驟；
[0015] (10)增加閾值τρ的值，并重復(fù)上述步驟（5)至（9)，直到不能再生成可關(guān)聯(lián)的軌 跡對(duì)為止。
[0016] 優(yōu)選地，步驟（3)包括以下子步驟：
[0017] (3-1)隨機(jī)提取短時(shí)跟蹤軌跡片上兩個(gè)檢測(cè)目標(biāo)的顏色信息和位置信息，用于生 成正樣本，多個(gè)正樣本構(gòu)成正樣本集；
[0018] (3-2)在不同的一對(duì)短時(shí)跟蹤軌跡片上分別提取一個(gè)檢測(cè)目標(biāo)的顏色信息和位置 信息，用于生成負(fù)樣本，多個(gè)負(fù)樣本構(gòu)成負(fù)樣本集。
[0019] 優(yōu)選地，步驟（4)包括以下子步驟：
[0020] (4-1)根據(jù)正、負(fù)樣本集生成輸入訓(xùn)練樣本的特征集A =的=(Xpy)，F(xiàn)2 = (χ2， y2)......Fn = (xn，yn)}，其中yi e 〇, 1，i = 1，2. . . n，n表示正、負(fù)樣本集中樣本的個(gè)數(shù)， Xi是第i個(gè)輸入訓(xùn)練樣本的特征向量，且Xi = ，fralM?，表示第i個(gè)輸入訓(xùn) 練樣本的顏色直方圖相似度，表示第i個(gè)輸入訓(xùn)練樣本的局部灰度熵局部二進(jìn)制相似 度，表示第i個(gè)輸入訓(xùn)練樣本的運(yùn)動(dòng)偏移量，且·

【權(quán)利要求】
1. 一種基于在線學(xué)習(xí)跟蹤視頻監(jiān)控中多個(gè)運(yùn)動(dòng)目標(biāo)的方法，其特征在于，包括以下步 驟： (1) 接收輸入視頻序列，利用離線訓(xùn)練的行人檢測(cè)器并采用多尺度遍歷搜索框的方法 標(biāo)定輸入視頻序列中目標(biāo)的位置； (2) 采用基于顏色特性的保守關(guān)聯(lián)方法對(duì)輸入視頻序列中連續(xù)兩幀之間的檢測(cè)目標(biāo)進(jìn) 行數(shù)據(jù)關(guān)聯(lián)，以得到多個(gè)可靠保守的短時(shí)跟蹤軌跡片； (3) 根據(jù)短時(shí)跟蹤軌跡片并利用同一目標(biāo)的運(yùn)動(dòng)分布特性和顏色相似特性構(gòu)建正、負(fù) 樣本集，其中正樣本集均來(lái)自同一目標(biāo)的運(yùn)動(dòng)軌跡，負(fù)樣本集來(lái)自不同目標(biāo)的運(yùn)動(dòng)軌跡； (4) 利用構(gòu)建的正、負(fù)樣本集訓(xùn)練霍夫隨機(jī)森林，該霍夫隨機(jī)森林種的葉子節(jié)點(diǎn)存儲(chǔ)了 正、負(fù)樣本集的類(lèi)別統(tǒng)計(jì)特性和軌跡運(yùn)動(dòng)特性； (5) 利用時(shí)域約束特性將短時(shí)跟蹤片中首尾間隔差小于閾值Tp的任意兩個(gè)短時(shí)跟蹤片 構(gòu)建成可能關(guān)聯(lián)軌跡對(duì)，所有的可能關(guān)聯(lián)軌跡對(duì)構(gòu)成可能關(guān)聯(lián)軌跡對(duì)集合，將每個(gè)可能關(guān) 聯(lián)軌跡對(duì)進(jìn)行特征描述，以生成檢測(cè)樣本的特征集，并將檢測(cè)樣本的特征集送入霍夫森林 中，以得到該特征集對(duì)應(yīng)的葉子節(jié)點(diǎn)； (6) 獲取葉子節(jié)點(diǎn)的類(lèi)別統(tǒng)計(jì)特性μ)和運(yùn)動(dòng)統(tǒng)計(jì)特性
從而得到所 有關(guān)聯(lián)軌跡對(duì)的關(guān)聯(lián)概_(tái)
，所有關(guān)聯(lián)概率構(gòu)成關(guān)聯(lián)概率矩 陣； (7) 判斷關(guān)聯(lián)概率矩陣中橫、縱最大的兩個(gè)元素是否大于一閾值，如果是則初步判斷這 兩個(gè)元素分別對(duì)應(yīng)的軌跡片屬于同一軌跡，然后轉(zhuǎn)入步驟（8)，否則表示不屬于同一軌跡， 然后轉(zhuǎn)入步驟（8); (8) 用匈牙利算法對(duì)兩個(gè)元素進(jìn)行再次判斷，以最終確定二者對(duì)應(yīng)的軌跡片屬于同一 軌跡；只有匈牙利算法判斷屬于同一軌跡且在步驟（7)中判定屬于同一軌跡的軌跡片才認(rèn) 為是真正的關(guān)聯(lián)軌跡對(duì)； (9) 對(duì)步驟（8)得到的屬于同一軌跡的兩個(gè)元素重復(fù)執(zhí)行步驟（3)，以得到新的訓(xùn)練樣 本集，并對(duì)該訓(xùn)練樣本集執(zhí)行步驟（4)的學(xué)習(xí)步驟； (10) 增加閾值!；的值，并重復(fù)上述步驟（5)至（9)，直到不能再生成可關(guān)聯(lián)的軌跡對(duì) 為止。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟（3)包括以下子步驟： (3-1)隨機(jī)提取短時(shí)跟蹤軌跡片上兩個(gè)檢測(cè)目標(biāo)的顏色信息和位置信息，用于生成正 樣本，多個(gè)正樣本構(gòu)成正樣本集； (3-2)在不同的一對(duì)短時(shí)跟蹤軌跡片上分別提取一個(gè)檢測(cè)目標(biāo)的顏色信息和位置信 息，用于生成負(fù)樣本，多個(gè)負(fù)樣本構(gòu)成負(fù)樣本集。
3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，步驟（4)包括以下子步驟： (4-1)根據(jù)正、負(fù)樣本集生成輸入訓(xùn)練樣本的特征集A =的=(x^ y)，F(xiàn)2 = (x2， y2)......Fn = (xn，yn)}，其中yi e 〇, 1，i = 1，2. . . n，n表示正、負(fù)樣本集中樣本的個(gè)數(shù)， Xi是第i個(gè)輸入訓(xùn)練樣本的特征向量，且Xi = ，fralM?，表示第i個(gè)輸入訓(xùn) 練樣本的顏色直方圖相似度，表示第i個(gè)輸入訓(xùn)練樣本的局部灰度熵局部二進(jìn)制相似 度，表示第i個(gè)輸入訓(xùn)練樣本的運(yùn)動(dòng)偏移量，且
，Pi 和P2分別表示第i個(gè)輸入訓(xùn)練樣本構(gòu)建時(shí)隨機(jī)抽取的兩個(gè)檢測(cè)目標(biāo)在其所在幀中的中心 點(diǎn)位置
其中vl和v2分別對(duì)應(yīng)第i個(gè)輸 入訓(xùn)練樣本構(gòu)建時(shí)對(duì)應(yīng)的兩個(gè)檢測(cè)目標(biāo)的速度，tl和t2分別對(duì)應(yīng)第i個(gè)輸入訓(xùn)練樣本構(gòu) 建時(shí)對(duì)應(yīng)的兩個(gè)檢測(cè)目標(biāo)的時(shí)間幀，yi是第i個(gè)輸入訓(xùn)練樣本的類(lèi)別標(biāo)量； (4-2)利用遞歸劃分法對(duì)輸入訓(xùn)練樣本的特征集A進(jìn)行不斷劃分，以生成霍夫隨機(jī)森 林，直到霍夫隨機(jī)森林的葉子節(jié)點(diǎn)滿足終止條件為止，最終獲得葉子節(jié)點(diǎn)的類(lèi)別統(tǒng)計(jì)特性 和運(yùn)動(dòng)統(tǒng)計(jì)特性。
4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，當(dāng)yi = 0時(shí)，表示該樣本是負(fù)樣本，即特 征向量Xi來(lái)自不同的軌跡片，當(dāng)yi = 1時(shí)，表示該樣本是正樣本，即特征向量Xi來(lái)自同一 軌跡片。
5. 根據(jù)權(quán)利要求3所述的方法，其特征在于，葉子節(jié)點(diǎn)的終止條件為：（1)葉子節(jié)點(diǎn)中 保存的樣本集數(shù)量小于第一閾值，該閾值的大小由正、負(fù)樣本集的類(lèi)別特性決定；（2)霍夫 隨機(jī)森林的深度小于第二閾值，該閾值的大小由輸入訓(xùn)練樣本的特征集信息決定。
6. 根據(jù)權(quán)利要求3所述的方法，其特征在于，到達(dá)某個(gè)節(jié)點(diǎn)k的樣本集S的劃分步驟如 下： (4-2-1)隨機(jī)挑選特征向量
并從中隨機(jī)挑選fMlOT，或fmt作為節(jié)點(diǎn)劃 分閾值，挑選的或fmt以及特征向量Xi構(gòu)成參數(shù)池{ τ J，以挑選的節(jié)點(diǎn)劃分閾值為 例，小于或等于該節(jié)點(diǎn)劃分閾值的訓(xùn)練樣本為左子節(jié)點(diǎn)，大于該節(jié)點(diǎn)劃分閾值的訓(xùn)練樣本 為右子節(jié)點(diǎn)，左、右子節(jié)點(diǎn)對(duì)應(yīng)的樣本集為S K :
(4-2-2)獲取類(lèi)別不確定測(cè)度UJS) = |S卜H(Y)或軌跡運(yùn)動(dòng)偏移一致性不確定測(cè)度
其中I S |表示到達(dá)節(jié)點(diǎn)k的樣本集S個(gè)數(shù)，S+表示S中 正樣本集個(gè)數(shù)
J節(jié)點(diǎn)k中所有正樣本對(duì)應(yīng)的運(yùn)動(dòng)偏移均值，Η(Y)為樣本集S的類(lèi)別 熵； (4-2-3)選擇使類(lèi)別不確定測(cè)度仏^或軌跡運(yùn)動(dòng)偏移一致性不確定測(cè)度U2(S)最大 的最優(yōu)參數(shù)τ k#，以使劃分后兩子節(jié)點(diǎn)較劃分前節(jié)點(diǎn)不確定度下降最大；
(4-2-4)在左、右子節(jié)點(diǎn)對(duì)應(yīng)的樣本集&，SK基礎(chǔ)上繼續(xù)劃分左、右子節(jié)點(diǎn)，并重復(fù)上述 步驟（4-2-1)至（4-2-3)以獲取最優(yōu)參數(shù)，直到滿足終止條件為止，最終得到的終止子節(jié)點(diǎn) 就是葉子節(jié)點(diǎn)； (4-2-5)計(jì)算葉子節(jié)點(diǎn)的類(lèi)別統(tǒng)計(jì)特t
和運(yùn)動(dòng)統(tǒng)計(jì)特性 ，其分別 為
其中隊(duì)表示葉子節(jié)點(diǎn)L中樣本集個(gè)數(shù)，表示葉子節(jié)點(diǎn)L中正樣本個(gè)數(shù)； 運(yùn)動(dòng)統(tǒng)計(jì)特性是采用基于高斯核-Parzen窗估計(jì)法得到：
其中σ為方差，其取值為5。
【文檔編號(hào)】G06T7/20GK104112282SQ201410333142
【公開(kāi)日】2014年10月22日 申請(qǐng)日期:2014年7月14日 優(yōu)先權(quán)日:2014年7月14日
【發(fā)明者】項(xiàng)俊, 桑農(nóng), 高常鑫, 陳飛飛, 況小琴, 王潤(rùn)民 申請(qǐng)人:華中科技大學(xué)