一種多運(yùn)動(dòng)目標(biāo)視頻監(jiān)控系統(tǒng)及其追蹤監(jiān)測方法
【專利摘要】本發(fā)明公開了一種多運(yùn)動(dòng)目標(biāo)視頻監(jiān)控系統(tǒng)及其追蹤監(jiān)測方法，涉及視頻監(jiān)控技術(shù)領(lǐng)域，包括若干攝像頭和視頻數(shù)據(jù)處理單元、中央控制單元、用戶顯示終端以及用于運(yùn)動(dòng)目標(biāo)定位的目標(biāo)定位模塊和用于控制云臺(tái)攝像頭偏轉(zhuǎn)方向和角度的攝像頭控制模塊，所述視頻數(shù)據(jù)處理單元通過以太網(wǎng)絡(luò)連接所述中央控制單元；所述攝像頭為云臺(tái)攝像頭，每個(gè)攝像頭經(jīng)過定標(biāo)處理，所述攝像頭控制模塊連接所述攝像頭。每個(gè)云臺(tái)攝像頭配備視頻數(shù)據(jù)處理單元，對(duì)其圖像序列進(jìn)行處理，減輕中央控制單元的負(fù)擔(dān)，且易于擴(kuò)展，單獨(dú)配備目標(biāo)定位模塊和攝像頭控制模塊，實(shí)現(xiàn)目標(biāo)精準(zhǔn)定位和攝像頭及時(shí)控制。
【專利說明】
一種多運(yùn)動(dòng)目標(biāo)視頻監(jiān)控系統(tǒng)及其追蹤監(jiān)測方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明涉及視頻監(jiān)控技術(shù)領(lǐng)域，尤其是一種多運(yùn)動(dòng)目標(biāo)視頻監(jiān)控系統(tǒng)及其追蹤監(jiān) 測方法。
【背景技術(shù)】
[0002] 隨著信息獲取技術(shù)的發(fā)展，視頻監(jiān)控系統(tǒng)已經(jīng)廣泛運(yùn)用于各個(gè)領(lǐng)域，能夠幫助人 們實(shí)時(shí)獲取監(jiān)控場景內(nèi)的信息，例如，家長在家里或者工作單位通過視頻監(jiān)控就可以了解 孩子在幼兒園的活動(dòng)情況。在現(xiàn)實(shí)的視頻監(jiān)控系統(tǒng)中，一個(gè)固定攝像頭監(jiān)控一個(gè)場景，尤其 是范圍較大的場景幾乎是不可能的。一個(gè)好的解決方案是通過多個(gè)可以轉(zhuǎn)動(dòng)的攝像頭形成 一個(gè)視頻監(jiān)控網(wǎng)絡(luò)，協(xié)同地進(jìn)行連續(xù)無縫監(jiān)控;但是這對(duì)多個(gè)攝像頭信息的融合，攝像頭任 務(wù)的分配，運(yùn)動(dòng)目標(biāo)被障礙物遮擋時(shí)候的數(shù)據(jù)處理，都有著一定的要求?，F(xiàn)有技術(shù)或多或少 存在多個(gè)攝像頭信息不同步，攝像頭控制信息滯后甚至錯(cuò)亂，目標(biāo)定位不精確，遮擋處理不 適當(dāng)?shù)葐栴}。

【發(fā)明內(nèi)容】

[0003] 針對(duì)上述問題，本發(fā)明提供一種多運(yùn)動(dòng)目標(biāo)視頻監(jiān)控系統(tǒng)及其追蹤監(jiān)測方法，攝 像頭控制實(shí)時(shí)、精準(zhǔn)，易于擴(kuò)展。
[0004] 為了解決上述技術(shù)問題，本發(fā)明的技術(shù)方案為：
[0005] -種多運(yùn)動(dòng)目標(biāo)視頻監(jiān)控系統(tǒng)，包括若干攝像頭和視頻數(shù)據(jù)處理單元、中央控制 單元、用戶顯示終端，每個(gè)攝像頭連接其對(duì)應(yīng)的視頻數(shù)據(jù)處理單元，所述視頻數(shù)據(jù)處理單元 連接所述中央控制單元，所述中央控制單元與所述用戶顯示終端連接;還包括用于運(yùn)動(dòng)目 標(biāo)定位的目標(biāo)定位模塊和用于控制云臺(tái)攝像頭偏轉(zhuǎn)方向和角度的攝像頭控制模塊，所述視 頻數(shù)據(jù)處理單元通過以太網(wǎng)絡(luò)連接所述中央控制單元;所述攝像頭為云臺(tái)攝像頭，每個(gè)攝 像頭經(jīng)過定標(biāo)處理，所述攝像頭控制模塊連接所述攝像頭;所述視頻數(shù)據(jù)處理單元包括用 于提取運(yùn)動(dòng)目標(biāo)特征的目標(biāo)檢測模塊，用于尋找與運(yùn)動(dòng)目標(biāo)最相似候選目標(biāo)的目標(biāo)跟蹤模 塊，以及用于與所述中央控制單元進(jìn)行數(shù)據(jù)傳輸?shù)耐ㄓ嵶幽K;所述攝像頭連接所述目標(biāo) 檢測模塊，所述目標(biāo)檢測模塊連接所述目標(biāo)跟蹤模塊，所述通訊子模塊分別與所述目標(biāo)跟 蹤模塊、目標(biāo)定位模塊、攝像頭控制模塊雙向連接;所述中央控制單元包括用于與所述通訊 子模塊連接的通訊模塊，用于對(duì)接收到的數(shù)據(jù)進(jìn)行同步處理的虛擬同步模塊，用于整合各 個(gè)攝像頭獲取的局部信息的數(shù)據(jù)關(guān)聯(lián)模塊，用于判斷攝像頭跟蹤運(yùn)動(dòng)目標(biāo)所需偏轉(zhuǎn)方向和 角度的攝像頭管理模塊;所述通訊模塊連接各個(gè)視頻數(shù)據(jù)處理單元的通訊子模塊，所述虛 擬同步模塊、數(shù)據(jù)關(guān)聯(lián)模塊、攝像頭管理模塊與所述通訊模塊雙向連接;所述用戶顯示終端 用于對(duì)運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)航跡進(jìn)行顯示。
[0006] 進(jìn)一步的，所述中央控制單元為級(jí)聯(lián)結(jié)構(gòu)，包括初級(jí)控制單元和終級(jí)控制單元，所 述初級(jí)控制單元與各自區(qū)域內(nèi)的視頻數(shù)據(jù)處理單元相連接，不同區(qū)域內(nèi)的初級(jí)控制單元通 過終級(jí)控制單元連接在一起，所述用戶顯示終端與所述終級(jí)控制單元連接。
[0007] 進(jìn)一步的，所述虛擬同步模塊包括時(shí)間同步模塊和特征同步模塊;所述時(shí)間同步 模塊通過串口與所述視頻數(shù)據(jù)處理單元連接，以一定的頻率向各個(gè)視頻數(shù)據(jù)處理單元發(fā)送 時(shí)間同步信號(hào);所述特征同步模塊將接收到的目標(biāo)信息臨時(shí)存儲(chǔ)，當(dāng)一個(gè)數(shù)據(jù)包到達(dá)時(shí)，解 析該數(shù)據(jù)包中的目標(biāo)信息和打包時(shí)間，根據(jù)臨時(shí)存儲(chǔ)的目標(biāo)信息來估計(jì)該時(shí)間點(diǎn)上其他視 頻數(shù)據(jù)處理單元傳輸來的目標(biāo)信息來進(jìn)行同步。
[0008] -種多運(yùn)動(dòng)目標(biāo)追蹤監(jiān)測方法，包括以下步驟：
[0009] 步驟1:攝像頭定標(biāo)處理；
[0010] 步驟2:攝像頭實(shí)時(shí)獲取監(jiān)控區(qū)域內(nèi)的視頻信息，并傳送給各自的視頻數(shù)據(jù)處理單 元；
[0011] 步驟3:視頻數(shù)據(jù)處理單元對(duì)圖像序列進(jìn)行三幀差分檢測，獲取運(yùn)動(dòng)目標(biāo)的特征信 息；
[0012] 步驟4:視頻數(shù)據(jù)處理單元將卡爾曼濾波和均值偏移算法相結(jié)合跟蹤運(yùn)動(dòng)目標(biāo)，得 到候選目標(biāo)區(qū)域；
[0013] 步驟5:在候選目標(biāo)區(qū)域中進(jìn)行運(yùn)動(dòng)目標(biāo)的特征匹配，得出候選目標(biāo)；
[0014] 步驟6:目標(biāo)定位模塊根據(jù)結(jié)合DEM數(shù)據(jù)對(duì)候選目標(biāo)進(jìn)行位置確定；
[0015] 步驟7:中央控制單元對(duì)來自不同視頻數(shù)據(jù)處理單元的候選目標(biāo)信息進(jìn)行同步；
[0016] 步驟8:中央控制單元建立匹配模型，實(shí)現(xiàn)目標(biāo)關(guān)聯(lián)和航跡關(guān)聯(lián)；
[0017] 步驟9:攝像頭管理模塊根據(jù)虛擬目標(biāo)信息計(jì)算不同攝像頭的偏轉(zhuǎn)方向和角度，并 將數(shù)據(jù)一起傳送給各個(gè)攝像頭控制模塊；
[0018] 步驟10:攝像頭控制模塊接收不同攝像頭的控制信息，僅提取與自身匹配的控制 信息，并控制攝像頭偏轉(zhuǎn)；
[0019] 其中，所述步驟4采用擴(kuò)展的卡爾曼濾波和改進(jìn)的均值偏移算法，具體包括，
[0020] 步驟4.1:自動(dòng)初始化穩(wěn)定的新目標(biāo)，確定卡爾曼濾波器的初始狀態(tài)向量；
[0021] 步驟4.2:利用初始化后的卡爾曼濾波器預(yù)測當(dāng)前時(shí)刻當(dāng)前幀的候選目標(biāo)位置；
[0022] 步驟4.3:以卡爾曼濾波器預(yù)測的候選目標(biāo)位置為均值偏移算法的迭代起始點(diǎn)，開 始均值偏移迭代過程，直至收斂，得到預(yù)測的目標(biāo)位置；
[0023] 步驟4.4:將均值偏移算法得到的預(yù)測目標(biāo)位置作為卡爾曼濾波器的觀測向量，對(duì) 卡爾曼濾波進(jìn)行更新；
[0024] 步驟4.5:利用更新后的卡爾曼濾波器，重復(fù)步驟4.2至4.4,計(jì)算出下一幀的目標(biāo) 位置。
[0025] 進(jìn)一步的，所述步驟5中，若運(yùn)動(dòng)目標(biāo)在當(dāng)前幀圖像中被檢測到，則保留特征匹配 得到的候選目標(biāo)的位置值(X1， yi)，與均值偏移跟蹤預(yù)測的目標(biāo)位置(x2，y2)進(jìn)行加權(quán)平均 得到最終目標(biāo)位置(X，y )，最終目標(biāo)位置(X，y)進(jìn)行IIR濾波，得到目標(biāo)在當(dāng)前幀的狀態(tài)向量 作為卡爾曼濾波器的觀測向量;若運(yùn)動(dòng)目標(biāo)在當(dāng)前幀圖像中沒有被檢測到，則判斷運(yùn)動(dòng)目 標(biāo)連續(xù)消失的圖像幀數(shù)，超過設(shè)定閾值，則判定目標(biāo)消失，未超過設(shè)定閾值，則假定其被遮 掩，將均值偏移跟蹤預(yù)測的目標(biāo)位置作為遮掩時(shí)的運(yùn)動(dòng)目標(biāo)真實(shí)值保存下來，并作為下一 幀卡爾曼濾波的觀測向量。
[0026] 進(jìn)一步的，所述步驟7中的同步包括時(shí)間同步和特征同步;所述時(shí)間同步通過中央 控制單元以一定頻率向各個(gè)視頻數(shù)據(jù)處理單元發(fā)送時(shí)間同步信號(hào)，各個(gè)視頻數(shù)據(jù)處理單元 以中央控制單元的時(shí)間為準(zhǔn)來實(shí)現(xiàn);所述特征同步通過目標(biāo)緩沖池鏈來完成，所述目標(biāo)緩 沖池真實(shí)特征數(shù)據(jù)緩沖區(qū)和虛擬特征數(shù)據(jù)緩沖區(qū)構(gòu)成，真實(shí)特征數(shù)據(jù)緩沖區(qū)存儲(chǔ)中央控制 單元獲取的來自某一視頻數(shù)據(jù)處理單元的r個(gè)真實(shí)特征數(shù)據(jù)，分別表示為t、t+ki、. . .、t+kt， 虛擬特征數(shù)據(jù)緩沖區(qū)累計(jì)插值或預(yù)測后的s個(gè)結(jié)果，分別表示為V .....V+k、，屬 于該視頻數(shù)據(jù)處理單元的η個(gè)目標(biāo)緩沖池組成鏈?zhǔn)浇Y(jié)構(gòu)，具體實(shí)現(xiàn)包括以下步驟，
[0027] SlOl:中央控制單元接收到任一視頻數(shù)據(jù)處理單元的真實(shí)特征數(shù)據(jù)后，遍歷與其 連接的所有視頻數(shù)據(jù)處理單元，對(duì)于與本次數(shù)據(jù)來源相匹配的視頻數(shù)據(jù)處理單元，執(zhí)行 S102,否則執(zhí)行S103,所有與其連接的視頻數(shù)據(jù)處理單元都執(zhí)行完畢，則繼續(xù)下一輪的數(shù)據(jù) 接收；
[0028] S102:遍歷真實(shí)特征數(shù)據(jù)鏈，找到目標(biāo)緩沖池鏈中與之相同的目標(biāo)編號(hào)，以先進(jìn)先 出的方式更新真實(shí)特征數(shù)據(jù)緩沖區(qū)和虛擬特征緩沖區(qū)，如果目標(biāo)緩沖池鏈中沒有與之相同 的目標(biāo)編號(hào)，則在鏈中添加該目標(biāo)的緩沖池并初始化，執(zhí)行完畢返回S101;
[0029] S103:遍歷目標(biāo)緩沖池鏈，以本次數(shù)據(jù)的感知時(shí)間為插值自變量，以真實(shí)特征緩沖 區(qū)中的數(shù)據(jù)為插值節(jié)點(diǎn)，執(zhí)行預(yù)測算法得到虛擬特征數(shù)據(jù)，以先進(jìn)先出的方式更新虛擬特 征數(shù)據(jù)緩沖區(qū)，執(zhí)行完畢返回SlOl。
[0030] 本發(fā)明的有益效果:每個(gè)云臺(tái)攝像頭配備視頻數(shù)據(jù)處理單元，對(duì)其圖像序列進(jìn)行 處理，減輕中央控制單元的負(fù)擔(dān)，且易于擴(kuò)展，單獨(dú)配備目標(biāo)定位模塊和攝像頭控制模塊， 實(shí)現(xiàn)目標(biāo)精準(zhǔn)定位和攝像頭及時(shí)控制;對(duì)來自不同攝像頭的信息進(jìn)行同步處理，解決不同 步的問題;對(duì)運(yùn)動(dòng)目標(biāo)被遮擋的情況進(jìn)行了適當(dāng)處理，保證運(yùn)動(dòng)目標(biāo)航跡的連續(xù)性。
【附圖說明】
[0031 ]圖1是本發(fā)明的結(jié)構(gòu)示意圖；
[0032]圖2是中央控制單元的級(jí)聯(lián)結(jié)構(gòu)示意圖；
[0033]圖3是目標(biāo)跟蹤算法流程圖；
[0034] 圖4是運(yùn)動(dòng)目標(biāo)匹配處理流程圖。
【具體實(shí)施方式】
[0035]下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說明。本發(fā)明的實(shí)施例是 為了示例和描述起見而給出的，而并不是無遺漏的或者將本發(fā)明限于所公開的形式。很多 修改和變化對(duì)于本領(lǐng)域的普通技術(shù)人員而言是顯而易見的。選擇和描述實(shí)施例是為了更好 說明本發(fā)明的原理和實(shí)際應(yīng)用，并且使本領(lǐng)域的普通技術(shù)人員能夠理解本發(fā)明從而設(shè)計(jì)適 于特定用途的帶有各種修改的各種實(shí)施例。
[0036] 實(shí)施例
[0037]本發(fā)明保護(hù)一種多運(yùn)動(dòng)目標(biāo)視頻監(jiān)控系統(tǒng)，如圖1所示，包括若干攝像頭10和視頻 數(shù)據(jù)處理單元20、中央控制單元30、用戶顯示終端40,每個(gè)攝像頭10連接其對(duì)應(yīng)的視頻數(shù)據(jù) 處理單元20,所述視頻數(shù)據(jù)處理單元20連接所述中央控制單元30,所述中央控制單元30與 所述用戶顯示終端40連接;還包括用于運(yùn)動(dòng)目標(biāo)定位的目標(biāo)定位模塊50和用于控制云臺(tái)攝 像頭偏轉(zhuǎn)方向和角度的攝像頭控制模塊60,所述視頻數(shù)據(jù)處理單元20通過以太網(wǎng)絡(luò)連接所 述中央控制單元30;所述攝像頭10為云臺(tái)攝像頭，每個(gè)攝像頭經(jīng)過定標(biāo)處理，所述攝像頭控 制模塊60連接所述攝像頭10;所述視頻數(shù)據(jù)處理單元20包括用于提取運(yùn)動(dòng)目標(biāo)特征的目標(biāo) 檢測模塊201，用于尋找與運(yùn)動(dòng)目標(biāo)最相似候選目標(biāo)的目標(biāo)跟蹤模塊202，以及用于與所述 中央控制單元進(jìn)行數(shù)據(jù)傳輸?shù)耐ㄓ嵶幽K203;所述攝像頭10連接所述目標(biāo)檢測模塊201， 所述目標(biāo)檢測模塊201連接所述目標(biāo)跟蹤模塊202，所述通訊子模塊203分別與所述目標(biāo)跟 蹤模塊202、目標(biāo)定位模塊50、攝像頭控制模塊60雙向連接;所述中央控制單元30包括用于 與所述通訊子模塊連接的通訊模塊301，用于對(duì)接收到的數(shù)據(jù)進(jìn)行同步處理的虛擬同步模 塊302,用于整合各個(gè)攝像頭獲取的局部信息的數(shù)據(jù)關(guān)聯(lián)模塊303,用于判斷攝像頭跟蹤運(yùn) 動(dòng)目標(biāo)所需偏轉(zhuǎn)方向和角度的攝像頭管理模塊304;所述通訊模塊301連接各個(gè)視頻數(shù)據(jù)處 理單元的通訊子模塊203,所述虛擬同步模塊302、數(shù)據(jù)關(guān)聯(lián)模塊303、攝像頭管理模塊304與 所述通訊模塊301雙向連接，所述用戶顯示終端40用于對(duì)運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)航跡進(jìn)行顯示。
[0038]所述虛擬同步模塊302包括時(shí)間同步模塊和特征同步模塊;所述時(shí)間同步模塊通 過串口與所述視頻數(shù)據(jù)處理單元連接，以一定的頻率向各個(gè)視頻數(shù)據(jù)處理單元發(fā)送時(shí)間同 步信號(hào);所述特征同步模塊將接收到的目標(biāo)信息臨時(shí)存儲(chǔ)，當(dāng)一個(gè)數(shù)據(jù)包到達(dá)時(shí)，解析該數(shù) 據(jù)包中的目標(biāo)信息和打包時(shí)間，根據(jù)臨時(shí)存儲(chǔ)的目標(biāo)信息來估計(jì)該時(shí)間點(diǎn)上其他視頻數(shù)據(jù) 處理單元傳輸來的目標(biāo)信息來進(jìn)行同步。
[0039] 所述中央控制單元也可以為級(jí)聯(lián)結(jié)構(gòu)，如圖2所示，包括初級(jí)控制單元30和終級(jí)控 制單元70，所述初級(jí)控制單元30與各自區(qū)域內(nèi)的視頻數(shù)據(jù)處理單元20相連接，不同區(qū)域內(nèi) 的初級(jí)控制單元30通過終級(jí)控制單元70連接在一起，所述用戶顯示終端40與所述終級(jí)控制 單元70連接，所述終級(jí)控制單元70與初級(jí)控制單元30結(jié)構(gòu)類似，包括用于與所述初級(jí)控制 單元連接的終級(jí)通訊模塊701，用于對(duì)接收到的數(shù)據(jù)進(jìn)行同步處理的終級(jí)虛擬同步模塊 702,用于整合各個(gè)攝像頭獲取的局部信息的終級(jí)數(shù)據(jù)關(guān)聯(lián)模塊703;所述終級(jí)虛擬同步模 塊702、終級(jí)數(shù)據(jù)關(guān)聯(lián)模塊703與所述終級(jí)通訊模塊701雙向連接。終級(jí)控制單元70只需要對(duì) 區(qū)域間觀測到的重合場景進(jìn)行虛擬同步和數(shù)據(jù)關(guān)聯(lián)即可。
[0040] 本發(fā)明還保護(hù)一種多運(yùn)動(dòng)目標(biāo)追蹤監(jiān)測方法，包括以下步驟：
[0041]步驟1:攝像頭定標(biāo)處理；
[0042]步驟2:攝像頭實(shí)時(shí)獲取監(jiān)控區(qū)域內(nèi)的視頻信息，并傳送給各自的視頻數(shù)據(jù)處理單 元；
[0043]步驟3:視頻數(shù)據(jù)處理單元對(duì)圖像序列進(jìn)行三幀差分檢測，獲取運(yùn)動(dòng)目標(biāo)的特征信 息；
[0044]步驟4:視頻數(shù)據(jù)處理單元將卡爾曼濾波和均值偏移算法相結(jié)合跟蹤運(yùn)動(dòng)目標(biāo)，得 到候選目標(biāo)區(qū)域；
[0045] 步驟5:在候選目標(biāo)區(qū)域中進(jìn)行運(yùn)動(dòng)目標(biāo)的特征匹配，得出候選目標(biāo)；
[0046] 步驟6:目標(biāo)定位模塊根據(jù)結(jié)合DEM數(shù)據(jù)對(duì)候選目標(biāo)進(jìn)行位置確定；
[0047] 步驟7:中央控制單元對(duì)來自不同視頻數(shù)據(jù)處理單元的候選目標(biāo)信息進(jìn)行同步；
[0048] 步驟8:中央控制單元建立匹配模型，實(shí)現(xiàn)目標(biāo)關(guān)聯(lián)和航跡關(guān)聯(lián)；
[0049] 步驟9:攝像頭管理模塊根據(jù)虛擬目標(biāo)信息計(jì)算不同攝像頭的偏轉(zhuǎn)方向和角度，并 將數(shù)據(jù)一起傳送給各個(gè)攝像頭控制模塊；
[0050] 步驟10:攝像頭控制模塊接收不同攝像頭的控制信息，僅提取與自身匹配的控制 信息，并控制攝像頭偏轉(zhuǎn)；
[0051] 其中，所述步驟4采用擴(kuò)展的卡爾曼濾波和改進(jìn)的均值偏移算法，如圖3所示，具體 包括，
[0052] 步驟4.1:自動(dòng)初始化穩(wěn)定的新目標(biāo)，確定卡爾曼濾波器的初始狀態(tài)向量；
[0053]步驟4.2:利用初始化后的卡爾曼濾波器預(yù)測當(dāng)前時(shí)刻當(dāng)前幀的候選目標(biāo)位置；
[0054] 步驟4.3:以卡爾曼濾波器預(yù)測的候選目標(biāo)位置為均值偏移算法的迭代起始點(diǎn)，開 始均值偏移迭代過程，直至收斂，得到預(yù)測的目標(biāo)位置；
[0055] 步驟4.4:將均值偏移算法得到的預(yù)測目標(biāo)位置作為卡爾曼濾波器的觀測向量，對(duì) 卡爾曼濾波進(jìn)行更新；
[0056] 步驟4.5:利用更新后的卡爾曼濾波器，重復(fù)步驟4.2至4.4,計(jì)算出下一幀的目標(biāo) 位置。
[0057] 上述步驟5中，若運(yùn)動(dòng)目標(biāo)在當(dāng)前幀圖像中被檢測到，則保留特征匹配得到的候選 目標(biāo)的位置值(X1， yi)，與均值偏移跟蹤預(yù)測的目標(biāo)位置(x2，y2)進(jìn)行加權(quán)平均得到最終目 標(biāo)位置(x，y)，
[0058] 加權(quán)平均公?!
_為權(quán)值因子，取值在0-1之間；
[0059] 最終目標(biāo)位置(X，y)進(jìn)行IIR濾波，得到目標(biāo)在當(dāng)前幀的狀態(tài)向量作為卡爾曼濾波 器的觀測向量，
[0060] IIR濾波公式
〖其中β、γ為更新因子，β>〇, γ > I，角標(biāo)k-1表示目標(biāo)在前一幀的狀態(tài)值，角標(biāo)k表示目標(biāo)在當(dāng)前幀的狀態(tài)值，{x，y}表示目標(biāo) 位置，III為目標(biāo)速度，Illl為目標(biāo)加速度；
[0061 ]若運(yùn)動(dòng)目標(biāo)在當(dāng)前幀圖像中沒有被檢測到，則判斷運(yùn)動(dòng)目標(biāo)連續(xù)消失的圖像幀 數(shù)，超過設(shè)定閾值，則判定目標(biāo)消失，未超過設(shè)定閾值，則假定其被遮掩，將均值偏移跟蹤預(yù) 測的目標(biāo)位置作為遮掩時(shí)的運(yùn)動(dòng)目標(biāo)真實(shí)值保存下來，并作為下一幀卡爾曼濾波的觀測向 量，如圖4所示。
[0062]具體跟蹤匹配過程采用三層鏈表結(jié)構(gòu)，第一層鏈表的結(jié)點(diǎn)含有三幀差分檢測得到 的分割后運(yùn)動(dòng)區(qū)域的位置和大小參數(shù)的特征信息，第二層鏈表通過與第一層鏈表進(jìn)行一級(jí) 特征匹配得到新目標(biāo);第二層鏈表的結(jié)點(diǎn)含有第一層鏈表結(jié)點(diǎn)所包含的信息以及速度和目 標(biāo)穩(wěn)定性標(biāo)志，在第二層鏈表中達(dá)到穩(wěn)定跟蹤條件的目標(biāo)，傳送給第三層鏈表，若第二層鏈 表中目標(biāo)被判定為消失，則刪除此目標(biāo);第三層鏈表與第一層鏈表進(jìn)行二級(jí)特征匹配，不能 與第三層鏈表任何結(jié)點(diǎn)匹配的第一層鏈表結(jié)點(diǎn)為新的候選目標(biāo)，加入第二層鏈表中，能與 第三層鏈表結(jié)點(diǎn)匹配的第一層鏈表結(jié)點(diǎn)作為此結(jié)點(diǎn)的狀態(tài)更新;所述一級(jí)特征匹配為目標(biāo) 件質(zhì)心位置的最近鄰匹配和區(qū)域色彩特征匹配的加權(quán)和，所述二級(jí)特征匹配為目標(biāo)間色彩 特征匹配與形狀特征匹配的加權(quán)和。
[0063] 上述步驟7中的同步包括時(shí)間同步和特征同步;所述時(shí)間同步通過中央控制單元 以一定頻率向各個(gè)視頻數(shù)據(jù)處理單元發(fā)送時(shí)間同步信號(hào)，各個(gè)視頻數(shù)據(jù)處理單元以中央控 制單元的時(shí)間為準(zhǔn)來實(shí)現(xiàn);所述特征同步通過目標(biāo)緩沖池鏈來完成，所述目標(biāo)緩沖池真實(shí) 特征數(shù)據(jù)緩沖區(qū)和虛擬特征數(shù)據(jù)緩沖區(qū)構(gòu)成，真實(shí)特征數(shù)據(jù)緩沖區(qū)存儲(chǔ)中央控制單元獲取 的來自某一視頻數(shù)據(jù)處理單元的r個(gè)真實(shí)特征數(shù)據(jù)，分別表示為t、t+ki、. . .、t+kt，虛擬特征 數(shù)據(jù)緩沖區(qū)累計(jì)插值或預(yù)測后的s個(gè)結(jié)果，分別表示為V UhV1.....V+V t，屬于該視頻 數(shù)據(jù)處理單元的η個(gè)目標(biāo)緩沖池組成鏈?zhǔn)浇Y(jié)構(gòu)，具體實(shí)現(xiàn)包括以下步驟，
[0064] SlOl:中央控制單元接收到任一視頻數(shù)據(jù)處理單元的真實(shí)特征數(shù)據(jù)后，遍歷與其 連接的所有視頻數(shù)據(jù)處理單元，對(duì)于與本次數(shù)據(jù)來源相匹配的視頻數(shù)據(jù)處理單元，執(zhí)行 S102,否則執(zhí)行S103,所有與其連接的視頻數(shù)據(jù)處理單元都執(zhí)行完畢，則繼續(xù)下一輪的數(shù)據(jù) 接收；
[0065] S102:遍歷真實(shí)特征數(shù)據(jù)鏈，找到目標(biāo)緩沖池鏈中與之相同的目標(biāo)編號(hào)，以先進(jìn)先 出的方式更新真實(shí)特征數(shù)據(jù)緩沖區(qū)和虛擬特征緩沖區(qū)，如果目標(biāo)緩沖池鏈中沒有與之相同 的目標(biāo)編號(hào)，則在鏈中添加該目標(biāo)的緩沖池并初始化，執(zhí)行完畢返回S101;
[0066] S103:遍歷目標(biāo)緩沖池鏈，以本次數(shù)據(jù)的感知時(shí)間為插值自變量，以真實(shí)特征緩沖 區(qū)中的數(shù)據(jù)為插值節(jié)點(diǎn)，執(zhí)行預(yù)測算法得到虛擬特征數(shù)據(jù)，以先進(jìn)先出的方式更新虛擬特 征數(shù)據(jù)緩沖區(qū)，執(zhí)行完畢返回SlOl。
[0067] 顯然，所描述的實(shí)施例僅僅是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例?；?本發(fā)明中的實(shí)施例，本領(lǐng)域及相關(guān)領(lǐng)域的普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)的前提下所 獲得的所有其他實(shí)施例，都應(yīng)屬于本發(fā)明保護(hù)的范圍。
【主權(quán)項(xiàng)】
1. 一種多運(yùn)動(dòng)目標(biāo)視頻監(jiān)控系統(tǒng)，包括若干攝像頭和視頻數(shù)據(jù)處理單元、中央控制單 元、用戶顯示終端，每個(gè)攝像頭連接其對(duì)應(yīng)的視頻數(shù)據(jù)處理單元，所述視頻數(shù)據(jù)處理單元連 接所述中央控制單元，所述中央控制單元與所述用戶顯示終端連接，其特征在于： 還包括用于運(yùn)動(dòng)目標(biāo)定位的目標(biāo)定位模塊和用于控制云臺(tái)攝像頭偏轉(zhuǎn)方向和角度的 攝像頭控制模塊，所述視頻數(shù)據(jù)處理單元通過以太網(wǎng)絡(luò)連接所述中央控制單元;所述攝像 頭為云臺(tái)攝像頭，每個(gè)攝像頭經(jīng)過定標(biāo)處理，所述攝像頭控制模塊連接所述攝像頭； 所述視頻數(shù)據(jù)處理單元包括用于提取運(yùn)動(dòng)目標(biāo)特征的目標(biāo)檢測模塊，用于尋找與運(yùn)動(dòng) 目標(biāo)最相似候選目標(biāo)的目標(biāo)跟蹤模塊，以及用于與所述中央控制單元進(jìn)行數(shù)據(jù)傳輸?shù)耐ㄓ?子模塊;所述攝像頭連接所述目標(biāo)檢測模塊，所述目標(biāo)檢測模塊連接所述目標(biāo)跟蹤模塊，所 述通訊子模塊分別與所述目標(biāo)跟蹤模塊、目標(biāo)定位模塊、攝像頭控制模塊雙向連接； 所述中央控制單元包括用于與所述通訊子模塊連接的通訊模塊，用于對(duì)接收到的數(shù)據(jù) 進(jìn)行同步處理的虛擬同步模塊，用于整合各個(gè)攝像頭獲取的局部信息的數(shù)據(jù)關(guān)聯(lián)模塊，用 于判斷攝像頭跟蹤運(yùn)動(dòng)目標(biāo)所需偏轉(zhuǎn)方向和角度的攝像頭管理模塊;所述通訊模塊連接各 個(gè)視頻數(shù)據(jù)處理單元的通訊子模塊，所述虛擬同步模塊、數(shù)據(jù)關(guān)聯(lián)模塊、攝像頭管理模塊與 所述通訊模塊雙向連接； 所述用戶顯示終端用于對(duì)運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)航跡進(jìn)行顯示。2. 根據(jù)權(quán)利要求1所述的多運(yùn)動(dòng)目標(biāo)視頻監(jiān)控系統(tǒng)，其特征在于:所述中央控制單元為 級(jí)聯(lián)結(jié)構(gòu)，包括初級(jí)控制單元和終級(jí)控制單元，所述初級(jí)控制單元與各自區(qū)域內(nèi)的視頻數(shù) 據(jù)處理單元相連接，不同區(qū)域內(nèi)的初級(jí)控制單元通過終級(jí)控制單元連接在一起，所述用戶 顯示終端與所述終級(jí)控制單元連接。3. 根據(jù)權(quán)利要求1所述的多運(yùn)動(dòng)目標(biāo)視頻監(jiān)控系統(tǒng)，其特征在于:所述虛擬同步模塊包 括時(shí)間冋步t旲塊和特征冋步t旲塊； 所述時(shí)間同步模塊通過串口與所述視頻數(shù)據(jù)處理單元連接，以一定的頻率向各個(gè)視頻 數(shù)據(jù)處理單元發(fā)送時(shí)間同步信號(hào)； 所述特征同步模塊將接收到的目標(biāo)信息臨時(shí)存儲(chǔ)，當(dāng)一個(gè)數(shù)據(jù)包到達(dá)時(shí)，解析該數(shù)據(jù) 包中的目標(biāo)信息和打包時(shí)間，根據(jù)臨時(shí)存儲(chǔ)的目標(biāo)信息來估計(jì)該時(shí)間點(diǎn)上其他視頻數(shù)據(jù)處 理單元傳輸來的目標(biāo)信息來進(jìn)行同步。4. 一種多運(yùn)動(dòng)目標(biāo)追蹤監(jiān)測方法，其特征在于，包括以下步驟： 步驟1:攝像頭定標(biāo)處理； 步驟2:攝像頭實(shí)時(shí)獲取監(jiān)控區(qū)域內(nèi)的視頻信息，并傳送給各自的視頻數(shù)據(jù)處理單元； 步驟3:視頻數(shù)據(jù)處理單元對(duì)圖像序列進(jìn)行三幀差分檢測，獲取運(yùn)動(dòng)目標(biāo)的特征信息； 步驟4:視頻數(shù)據(jù)處理單元將卡爾曼濾波和均值偏移算法相結(jié)合跟蹤運(yùn)動(dòng)目標(biāo)，得到候 選目標(biāo)區(qū)域； 步驟5:在候選目標(biāo)區(qū)域中進(jìn)行運(yùn)動(dòng)目標(biāo)的特征匹配，得出候選目標(biāo)； 步驟6:目標(biāo)定位模塊根據(jù)結(jié)合DEM數(shù)據(jù)對(duì)候選目標(biāo)進(jìn)行位置確定； 步驟7:中央控制單元對(duì)來自不同視頻數(shù)據(jù)處理單元的候選目標(biāo)信息進(jìn)行同步； 步驟8:中央控制單元建立匹配模型，實(shí)現(xiàn)目標(biāo)關(guān)聯(lián)和航跡關(guān)聯(lián)； 步驟9:攝像頭管理模塊根據(jù)虛擬目標(biāo)信息計(jì)算不同攝像頭的偏轉(zhuǎn)方向和角度，并將數(shù) 據(jù)一起傳送給各個(gè)攝像頭控制模塊； 步驟10:攝像頭控制模塊接收不同攝像頭的控制信息，僅提取與自身匹配的控制信息， 并控制攝像頭偏轉(zhuǎn)； 其中，所述步驟4采用擴(kuò)展的卡爾曼濾波和改進(jìn)的均值偏移算法，具體包括， 步驟4.1:自動(dòng)初始化穩(wěn)定的新目標(biāo)，確定卡爾曼濾波器的初始狀態(tài)向量； 步驟4.2:利用初始化后的卡爾曼濾波器預(yù)測當(dāng)前時(shí)刻當(dāng)前幀的候選目標(biāo)位置； 步驟4.3:以卡爾曼濾波器預(yù)測的候選目標(biāo)位置為均值偏移算法的迭代起始點(diǎn)，開始均 值偏移迭代過程，直至收斂，得到預(yù)測的目標(biāo)位置； 步驟4.4:將均值偏移算法得到的預(yù)測目標(biāo)位置作為卡爾曼濾波器的觀測向量，對(duì)卡爾 曼濾波進(jìn)行更新； 步驟4.5:利用更新后的卡爾曼濾波器，重復(fù)步驟4.2至4.4,計(jì)算出下一幀的目標(biāo)位置。5. 根據(jù)權(quán)利要求4所述的多運(yùn)動(dòng)目標(biāo)追蹤監(jiān)測方法，其特征在于:所述步驟5中，若運(yùn)動(dòng) 目標(biāo)在當(dāng)前幀圖像中被檢測到，則保留特征匹配得到的候選目標(biāo)的位置值( X1，yi)，與均值 偏移跟蹤預(yù)測的目標(biāo)位置(x2，y2)進(jìn)行加權(quán)平均得到最終目標(biāo)位置(x，y)，最終目標(biāo)位置(X， y)進(jìn)行IIR濾波，得到目標(biāo)在當(dāng)前幀的狀態(tài)向量作為卡爾曼濾波器的觀測向量;若運(yùn)動(dòng)目標(biāo) 在當(dāng)前幀圖像中沒有被檢測到，則判斷運(yùn)動(dòng)目標(biāo)連續(xù)消失的圖像幀數(shù)，超過設(shè)定閾值，則判 定目標(biāo)消失，未超過設(shè)定閾值，則假定其被遮掩，將均值偏移跟蹤預(yù)測的目標(biāo)位置作為遮掩 時(shí)的運(yùn)動(dòng)目標(biāo)真實(shí)值保存下來，并作為下一幀卡爾曼濾波的觀測向量。6. 根據(jù)權(quán)利要求4所述的多運(yùn)動(dòng)目標(biāo)追蹤監(jiān)測方法，其特征在于:所述步驟7中的同步 包括時(shí)間同步和特征同步； 所述時(shí)間同步通過中央控制單元以一定頻率向各個(gè)視頻數(shù)據(jù)處理單元發(fā)送時(shí)間同步 信號(hào)，各個(gè)視頻數(shù)據(jù)處理單元以中央控制單元的時(shí)間為準(zhǔn)來實(shí)現(xiàn)； 所述特征同步通過目標(biāo)緩沖池鏈來完成，所述目標(biāo)緩沖池真實(shí)特征數(shù)據(jù)緩沖區(qū)和虛擬 特征數(shù)據(jù)緩沖區(qū)構(gòu)成，真實(shí)特征數(shù)據(jù)緩沖區(qū)存儲(chǔ)中央控制單元獲取的來自某一視頻數(shù)據(jù)處 理單元的r個(gè)真實(shí)特征數(shù)據(jù)，分別表示為t、t+h.....t+lu，虛擬特征數(shù)據(jù)緩沖區(qū)累計(jì)插值或 預(yù)測后的s個(gè)結(jié)果，分別表示為V、V+V i、…、V+V i，屬于該視頻數(shù)據(jù)處理單元的η個(gè)目標(biāo) 緩沖池組成鏈?zhǔn)浇Y(jié)構(gòu)，具體實(shí)現(xiàn)包括以下步驟， S101:中央控制單元接收到任一視頻數(shù)據(jù)處理單元的真實(shí)特征數(shù)據(jù)后，遍歷與其連接 的所有視頻數(shù)據(jù)處理單元，對(duì)于與本次數(shù)據(jù)來源相匹配的視頻數(shù)據(jù)處理單元，執(zhí)行S102,否 則執(zhí)行S103，所有與其連接的視頻數(shù)據(jù)處理單元都執(zhí)行完畢，則繼續(xù)下一輪的數(shù)據(jù)接收； S102:遍歷真實(shí)特征數(shù)據(jù)鏈，找到目標(biāo)緩沖池鏈中與之相同的目標(biāo)編號(hào)，以先進(jìn)先出的 方式更新真實(shí)特征數(shù)據(jù)緩沖區(qū)和虛擬特征緩沖區(qū)，如果目標(biāo)緩沖池鏈中沒有與之相同的目 標(biāo)編號(hào)，則在鏈中添加該目標(biāo)的緩沖池并初始化，執(zhí)行完畢返回S101; S103:遍歷目標(biāo)緩沖池鏈，以本次數(shù)據(jù)的感知時(shí)間為插值自變量，以真實(shí)特征緩沖區(qū)中 的數(shù)據(jù)為插值節(jié)點(diǎn)，執(zhí)行預(yù)測算法得到虛擬特征數(shù)據(jù)，以先進(jìn)先出的方式更新虛擬特征數(shù) 據(jù)緩沖區(qū)，執(zhí)行完畢返回S101。
【文檔編號(hào)】G06T7/20GK105844634SQ201610160824
【公開日】2016年8月10日
【申請(qǐng)日】2016年3月18日
【發(fā)明人】馮瑩瑩
【申請(qǐng)人】阜陽師范學(xué)院