專利名稱：基于立體視頻動態(tài)跟蹤的多攝像機監(jiān)控系統(tǒng)及其跟蹤方法
技術領域：
本發(fā)明涉及視頻監(jiān)控及跟蹤技術，特別是涉及一種采用雙鏡頭攝像機或兩個攝像機獲得其視野范圍內(nèi)監(jiān)控目標的三維立體信息，在全景監(jiān)控的同時，能夠智能判斷檢測多個異?；蜻\動目標并動態(tài)地控制跟蹤攝像機對目標分別進行跟蹤及自適應縮放的監(jiān)控系統(tǒng)技術。
背景技術：
隨著技術進步和國際形勢變化，監(jiān)控系統(tǒng)智能化成為必然發(fā)展趨勢。安防監(jiān)控系統(tǒng)在安全、交通、金融、能源、通訊等重要場所是必不可少的，其中視頻監(jiān)控系統(tǒng)的目的就是為了及時發(fā)現(xiàn)和報告監(jiān)控場景中出現(xiàn)的異常情況或運動目標并將其記錄保存為相應的視頻圖像，以便于進行實時處理及事后查證。但是傳統(tǒng)的視頻監(jiān)控系統(tǒng)缺乏對異常情況的響應及運動目標的跟蹤功能，只能依賴人為判斷和手動跟蹤，對于全天實時監(jiān)控或監(jiān)控場景較多的情況，僅采用人為控制監(jiān)控系統(tǒng)的方式顯然是不能滿足要求的。因而，需要開發(fā)出能夠?qū)崟r動態(tài)響應并跟蹤異?；蜻\動目標的智能監(jiān)控系統(tǒng)。
劉成剛、蘇劍波和馬紅雨的名為《異常目標自動發(fā)現(xiàn)及跟蹤攝像機系統(tǒng)》(專利號03116154.5)的中國發(fā)明專利中提出了一種能夠自動發(fā)現(xiàn)視野中的異常目標、對其自動跟蹤、攝像機鏡頭自動改變放大倍數(shù)的保安監(jiān)控系統(tǒng)。在跟蹤精度要求不高的條件下，這套系統(tǒng)能夠初步實現(xiàn)對單一異?；蜻\動目標的自動跟蹤。該系統(tǒng)主要存在三個缺陷一、從原理的角度分析，系統(tǒng)采用單一的全景攝像機，僅能獲得異?；蜻\動目標中心點在攝像機投影平面的二維位置信息，無法確定目標相對于攝像機的距離信息，即深度位置信息，該系統(tǒng)實質(zhì)上跟蹤的是目標在攝像機投影平面的二維投影，而非三維空間中目標本身。計算可知，當目標與攝像機距離越近，該系統(tǒng)對目標位置的跟蹤偏差就越大，而當偏差超過一定范圍，跟蹤攝像機的圖像中將失去所跟蹤的目標存在而使跟蹤失去意義。這個缺陷屬于系統(tǒng)的原理性缺陷，實用過程中無法避免。二、由該專利的權力要求書中的第3點可大體知道，該系統(tǒng)的異常和運動檢測算法采用了簡單序列幀間差分，然后對差分圖像進行二值化和去噪聲處理，從而獲得相關運動信息。這種算法實時性強，但是對于某些不連貫運動區(qū)域和孤立運動區(qū)域的檢測存在一定偏差，造成運動目標投影的中心位置坐標出現(xiàn)誤差。三、從實用性的角度，該系統(tǒng)僅能對單一異常或運動目標進行檢測跟蹤，在出現(xiàn)多個運動目標的情況下，專利中并未提及系統(tǒng)將如何處理并如何跟蹤。而實際應用中經(jīng)常會遇到多個運動目標同時出現(xiàn)在監(jiān)控視野中的情況。
與上面提到的發(fā)明專利在底層技術構(gòu)架方面相比，曾文斌的中國發(fā)明專利申請《具有多攝像機的智能跟蹤監(jiān)控系統(tǒng)》(專利申請?zhí)?00410016455.9)雖然提出了解決多個運動目標檢測與跟蹤的技術構(gòu)想，但是在其他底層技術構(gòu)架上兩者大致相同。同時，在該專利申請書中，只能了解到采用多個攝像機對多個運動目標進行跟蹤的技術解決構(gòu)想，而并未提及實現(xiàn)該專利必須使用的運動檢測算法、多運動目標分割方法以及跟蹤攝像機的控制方法等具體實施辦法，因而無法得知該申請具體的優(yōu)勢和缺點。但是從原理上說，該專利申請亦無法避免上一段提及的第一個缺陷。
監(jiān)控場景中經(jīng)常會有同時出現(xiàn)多個運動目標或某個單一目標分裂為多個目標的情況，為了及時處理和事后查證，監(jiān)控系統(tǒng)不僅需要掌握全景視頻信息，而且需要對各個目標進行實時跟蹤監(jiān)控，同時根據(jù)目標的大小智能調(diào)整跟蹤攝像機鏡頭放大倍數(shù)，獲得更加清晰的目標圖像?，F(xiàn)有的監(jiān)控系統(tǒng)還無法實現(xiàn)，在全景監(jiān)控的同時，兼顧對多個異?；蜻\動目標分別實時并精確定位跟蹤監(jiān)控的功能。

發(fā)明內(nèi)容
針對上述現(xiàn)有技術中存在的缺陷，本發(fā)明所要解決的技術問題是提供一種能實現(xiàn)分別跟蹤監(jiān)控多個不同目標的，對目標位置的跟蹤偏差小的，能得到清晰完整的跟蹤目標圖像的基于立體視頻動態(tài)跟蹤的多攝像機監(jiān)控系統(tǒng)及其跟蹤方法。
為了解決上述技術問題，本發(fā)明所提供的一種基于立體視頻動態(tài)跟蹤的多攝像機監(jiān)控系統(tǒng)，包括立體視頻全景攝像機模塊、圖像采集模塊、圖像處理模塊、數(shù)據(jù)通信與控制模塊、跟蹤攝像機模塊，其特征在于立體視頻全景攝像機模塊輸出端分別連接視頻監(jiān)控設備和圖像采集模塊，設有至少二個以上全景攝像頭，將拍攝到的監(jiān)控場景生成視頻數(shù)據(jù)信號分別輸出至視頻監(jiān)控設備和圖像采集模塊；圖像采集模塊輸出端連接圖像處理模塊，用于對視頻數(shù)據(jù)信號進行相應處理形成數(shù)字圖像序列并輸出至圖像處理模塊；圖像處理模塊連接數(shù)據(jù)通信與控制模塊，用于對數(shù)字圖像序列進行包括運動目標檢測與分割算法、目標三維位置信息融合算法的運算處理，生成各目標的包含三維運動與位置信息的下行控制信號用以控制跟蹤攝像機模塊；并根據(jù)數(shù)據(jù)通信與控制模塊輸入的上行反饋信號對下行控制信號進行校正，而后將經(jīng)過校正的下行控制信號傳送至數(shù)據(jù)通信與控制模塊；數(shù)據(jù)通信與控制模塊分別連接跟蹤攝像機模塊、手動控制器、監(jiān)控中心，根據(jù)相應的通信標準和協(xié)議分別接收和發(fā)送下行控制信號與上行反饋信號，即分別接收由圖像處理模塊發(fā)來的下行控制信號和由跟蹤攝像機模塊發(fā)送的上行反饋信號，并根據(jù)相應的通信標準和協(xié)議，分別將下行控制信號發(fā)送至跟蹤攝像機模塊以及將上行反饋信號發(fā)送至圖像處理模塊；跟蹤攝像機模塊，設有一個以上的跟蹤攝像機，用于根據(jù)下行控制信號的要求對相應的異?；蜻\動目標進行動態(tài)跟蹤監(jiān)控，并將跟蹤監(jiān)控視頻數(shù)據(jù)直接輸出至視頻監(jiān)控設備，同時將跟蹤攝像機的位置信息形成上行反饋信號發(fā)送至數(shù)據(jù)通信與控制模塊；
圖像處理模塊、數(shù)據(jù)通信與控制模塊和跟蹤攝像機模塊構(gòu)成一個閉環(huán)控制系統(tǒng)。
進一步地，所述立體視頻全景攝像機模塊的基本設備包括雙鏡頭攝像機或兩個攝像機，其中一個鏡頭或攝像機為主鏡頭或主攝像機，另一個鏡頭或攝像機為輔助鏡頭或輔助攝像機；兩個鏡頭或兩個攝像機的視頻數(shù)據(jù)信號需同步傳送至圖像采集模塊，主鏡頭或主攝像機的視頻數(shù)據(jù)信號需直接輸出，而輔助鏡頭或輔助攝像機的視頻數(shù)據(jù)信號可根據(jù)實際需要選擇是否直接輸出。主鏡頭或主攝像機的視頻數(shù)據(jù)經(jīng)采集和處理后形成的視頻信息，以輔助鏡頭或輔助攝像機提供的相對視頻信息為條件，可獲得全景的相應立體視頻信息，即獲得異?；蜻\動目標在監(jiān)控場景中精確的三維位置坐標。
進一步地，所述立體視頻全景攝像機模塊中加入視頻數(shù)據(jù)壓縮、傳輸、解壓設備以及紅外設備等外圍設備，以便實現(xiàn)遠程監(jiān)控或其他特定條件的監(jiān)控。
進一步地，所述數(shù)據(jù)通信與控制模塊設有手動控制信號優(yōu)先的功能；本發(fā)明與手動控制跟蹤攝像機的監(jiān)控系統(tǒng)可以智能兼容；即當發(fā)現(xiàn)有手動控制跟蹤攝像機的控制信號發(fā)出時，數(shù)據(jù)通信與控制模塊自動阻斷與圖像處理模塊之間的下行控制信號，將跟蹤攝像機的控制權交由手動控制；當手動控制終止后，跟蹤攝像機自動回至初始預置位置，數(shù)據(jù)通信與控制模塊自動恢復下行控制信號的通信狀態(tài)，跟蹤攝像機接受下行控制信號的控制。
進一步地，所述跟蹤攝像機模塊根據(jù)下行控制信號的要求，各個跟蹤攝像機分別跟蹤在監(jiān)控全景中不同的異?；蜻\動目標并根據(jù)目標大小自適應調(diào)節(jié)鏡頭的縮放倍數(shù)，將跟蹤監(jiān)控視頻數(shù)據(jù)直接輸出至監(jiān)視器、視頻存儲設備等相應的視頻監(jiān)控設備，同時將跟蹤攝像機的位置信息形成上行反饋信號發(fā)送至數(shù)據(jù)通信與控制模塊；當異?；蜻\動目標移動出全景監(jiān)控范圍，或者異常或運動目標一定時間間隔內(nèi)在全景監(jiān)控范圍沒有變化或運動，跟蹤攝像機將自動回至初始預置位置等待下行控制信號。
進一步地，所述視頻監(jiān)控設備包括監(jiān)視器、視頻存儲設備等視頻監(jiān)控設備；立體全景視頻數(shù)據(jù)信號、跟蹤監(jiān)控視頻數(shù)據(jù)信號分別輸出至監(jiān)視器、視頻存儲設備等相應的視頻監(jiān)控設備。
進一步地，所述數(shù)據(jù)通信與控制模塊可向監(jiān)控中心發(fā)送相應的控制信號用以實時觸發(fā)或控制報警系統(tǒng)、視頻存儲系統(tǒng)以及其他相關系統(tǒng)，并接收手動控制跟蹤攝像機的控制信號。
進一步地，所述跟蹤攝像機模塊能根據(jù)手動控制信號的要求進行相應的動作。
圖像采集模塊、圖像處理模塊與數(shù)據(jù)通信與控制模塊的具體技術架構(gòu)和具體實施方式
可以是多樣的、多途徑的，但是所實現(xiàn)的基本功能同上述的各個模塊基本功能是相同的、一致的。
為了解決上述技術問題，本發(fā)明所提供的一種基于立體視頻動態(tài)跟蹤的方法，其特征在于，方法的流程如下1)讀取緩沖區(qū)中主攝像機的灰度圖像序列，通過運動目標檢測與分割算法獲取各個運動目標在圖像中的運動區(qū)域；轉(zhuǎn)向3)；2)讀取緩沖區(qū)中輔助攝像機的灰度圖像序列，通過運動目標檢測與分割算法獲取各個運動目標在圖像中的運動區(qū)域；3)根據(jù)主攝像機和輔助攝像機中的各個目標在圖像中的運動區(qū)域采用目標三維位置信息融合算法計算出各個運動目標在監(jiān)控場景中的立體三維坐標；4)結(jié)合由數(shù)據(jù)通信與控制模塊發(fā)送的上行反饋信號計算出對應的跟蹤攝像機的運動參數(shù)；5)根據(jù)跟蹤攝像機的控制協(xié)議生成下行控制控制信號經(jīng)串口發(fā)送至數(shù)據(jù)通信與控制模塊。
進一步地，所述步驟1)、2)中運動目標檢測與分割算法的基本流程
a)取實時采集的灰度圖像序列中時間上相關的連續(xù)兩幀，對當前幀圖像與上一幀圖像進行幀間差分運算；b)然后將生成的灰度差分圖像進行二值化處理，將包含異常或運動目標的區(qū)域中的各象素點標記為1，其余標記為0，并去除孤立點噪聲；c)根據(jù)二值圖像中是否存在包含標記為1的區(qū)域檢測是否存在需要跟蹤的目標；若沒有包含標記為1的區(qū)域則流程返回至算法起始點a)進行循環(huán)檢測；若存在包含標記為1的區(qū)域則表明監(jiān)控場景內(nèi)有異常或運動目標存在；d)采用尺寸濾波器去除小區(qū)域或運動干擾噪聲；e)從二值圖像中分割出包含標記為1的區(qū)域作為投影圖像中相應目標的運動區(qū)域。其中二值化處理中的灰度閾值決定了運動檢測的靈敏度，設置的灰度閾值過小則對于差分圖像中的噪聲敏感，過大則運動檢測比較遲鈍，故具體設置值需根據(jù)實際監(jiān)控場景而定。
進一步地，所述步驟1)、2)中完成運動目標檢測與分割算法后，再采用多運動目標提取算法合并提取完整的運動區(qū)域以及獲得各個運動區(qū)域在投影片面內(nèi)的相應投影坐標。
進一步地，所述步驟1)、2)中多運動目標提取算法的基本流程a)對分割出來的運動區(qū)域采用區(qū)域生長算法；b)對生成的獨立矩形區(qū)域采用自適應吸引域合并算法；c)根據(jù)最終生成的各個矩形位置次序與大小標定并映射各個運動目標，各個矩形的邊長與鏡頭縮放的倍數(shù)成反比；d)計算所標定目標在相應投影平面內(nèi)的二維位置信息即可獲得各個運動目標的二維投影坐標。
進一步地，所述步驟3)中目標三維位置信息融合算法的基本流程a)形成主攝像機中的投影目標與輔助攝像機中的投影目標一一對應的關系；
b)經(jīng)計算獲得各個異?；蜻\動目標在監(jiān)控場景中的立體三維坐標；c)根據(jù)跟蹤攝像機與兩個攝像機組成的立體視頻全景攝像機之間的位置關系，以及跟蹤攝像機的運動性能參數(shù)，可計算出跟蹤攝像機為了跟蹤異?；蜻\動目標所需的運動參數(shù)；d)根據(jù)收到的包含跟蹤攝像機實時位置信息的上行反饋信號，對計算出的運動參數(shù)進行實時校正，生成經(jīng)反饋的運動參數(shù)校正后的下行控制信號發(fā)送至數(shù)據(jù)通信與控制模塊。
本發(fā)明的基于立體視頻動態(tài)跟蹤的多攝像機監(jiān)控系統(tǒng)及其跟蹤方法的有益效果是能夠?qū)崟r響應監(jiān)控場景中的異?；蜻\動，解決了傳統(tǒng)視頻監(jiān)控系統(tǒng)存在的相應問題。在兼顧全景監(jiān)控的同時，可根據(jù)多個異?；蜻\動目標的三維立體信息對其進行智能化的實時跟蹤與縮放，并能夠增強異常或運動目標的視頻圖像信息，極大地提高了監(jiān)控系統(tǒng)的功效和性能。由于采用的是目標的三維立體信息，因而可對目標精確定位，克服了采用二維投影信息進行目標跟蹤所產(chǎn)生的系統(tǒng)誤差，從根本上提高了對目標跟蹤的精確性。所使用的多攝像機系統(tǒng)可同時對多個異?；蜻\動目標進行跟蹤，解決了以往系統(tǒng)僅能對單一目標而無法對多個目標進行跟蹤的問題。同時，開創(chuàng)性地提出了對多個異?；蜻\動目標進行跟蹤的相應具體解決方法，對視頻監(jiān)控系統(tǒng)中多目標跟蹤的問題具有指導性的意義。本發(fā)明技術先進方法新穎，但對實施設備并無苛刻要求，因此具有廣泛的應用前景。


圖1為本發(fā)明實施例的邏輯模塊和系統(tǒng)構(gòu)架示意圖；圖2為本發(fā)明實施例的設備和工作原理示意圖；圖3為本發(fā)明實施例中兩個攝像機獲得立體視頻信息的工作原理示意圖；圖4為本發(fā)明實施例中實現(xiàn)圖像采集模塊的邏輯流程圖；圖5為本發(fā)明實施例中實現(xiàn)圖像處理模塊功能的算法結(jié)構(gòu)流程圖；
圖5a為本發(fā)明實施例中圖像處理模塊的運動目標檢測與分割算法流程圖；圖5b為本發(fā)明實施例中圖像處理模塊的多運動目標提取算法流程圖；圖5c為本發(fā)明實施例中圖像處理模塊的目標三維位置信息融合算法流程圖；圖6為本發(fā)明實施例中實現(xiàn)數(shù)據(jù)通信與控制模塊功能的邏輯電路圖；圖7為本發(fā)明實施例中采用高速球形攝像機作為跟蹤攝像機的結(jié)構(gòu)示意圖。
具體實施例方式
以下結(jié)合

對本發(fā)明的實施例作進一步詳細描述，但本實施例并不用于限制本發(fā)明，凡是采用本發(fā)明的相似結(jié)構(gòu)、方法及其相似變化，均應列入本發(fā)明的保護范圍。
實現(xiàn)本發(fā)明基于立體視頻動態(tài)跟蹤的多攝像機監(jiān)控系統(tǒng)的具體方式方法可以是多樣的、多途徑的，例如，可采用基于視頻服務器系統(tǒng)的方式實現(xiàn)本發(fā)明，也可采用基于嵌入式系統(tǒng)的方式來實現(xiàn)，各具體實施方法都有其自身的優(yōu)勢和特點，而具體采用何種實施方法需要根據(jù)監(jiān)控系統(tǒng)的實際情況和要求來確定。
本發(fā)明實施例提供了采用基于視頻服務器系統(tǒng)的方式實現(xiàn)本發(fā)明的，其對于相應的嵌入式系統(tǒng)實施方法也有一定的借鑒價值。以下結(jié)合附圖對本發(fā)明提出的具體實施例作進一步描述。
參見圖1所示，本發(fā)明實施例的基于立體視頻動態(tài)跟蹤的多攝像機監(jiān)控系統(tǒng)的系統(tǒng)架構(gòu)由立體視頻全景攝像機模塊、圖像采集模塊、圖像處理模塊、數(shù)據(jù)通信與控制模塊、跟蹤攝像機模塊構(gòu)成；立體視頻全景攝像機模塊輸出端分別連接監(jiān)視器、視頻存儲設備等相應的視頻監(jiān)控設備和圖像采集模塊，設有至少二個以上全景攝像頭，將拍攝到的監(jiān)控場景生成視頻數(shù)據(jù)信號分別輸出至監(jiān)視器、視頻存儲設備等相應的視頻監(jiān)控設備和圖像采集模塊；圖像采集模塊輸出端連接圖像處理模塊，用于對視頻數(shù)據(jù)信號進行相應處理形成數(shù)字圖像序列并輸出至圖像處理模塊；圖像處理模塊連接數(shù)據(jù)通信與控制模塊，通過對數(shù)字圖像序列進行一系列的運算處理生成包含三維運動與位置信息的下行控制信號用以控制跟蹤攝像機模塊；并根據(jù)數(shù)據(jù)通信與控制模塊輸入的上行反饋信號對下行控制信號進行校正，而后將經(jīng)過校正的下行控制信號傳送至數(shù)據(jù)通信與控制模塊；數(shù)據(jù)通信與控制模塊分別連接跟蹤攝像機模塊、手動控制器、監(jiān)控中心，根據(jù)相應的通信標準和協(xié)議接收和發(fā)送下行控制信號與上行反饋信號，同時可向監(jiān)控中心發(fā)送相應的控制信號用以實時觸發(fā)或控制報警系統(tǒng)、視頻存儲系統(tǒng)以及其他相關系統(tǒng)，并接收手動控制跟蹤攝像機的控制信號；跟蹤攝像機模塊根據(jù)下行控制信號的要求對相應的異?；蜻\動目標進行動態(tài)跟蹤監(jiān)控，并將跟蹤監(jiān)控視頻數(shù)據(jù)直接輸出至監(jiān)視器、視頻存儲設備等相應的視頻監(jiān)控設備，同時將跟蹤攝像機的位置信息形成上行反饋信號發(fā)送至數(shù)據(jù)通信與控制模塊，或根據(jù)手動控制信號的要求進行相應的動作；圖像處理模塊、數(shù)據(jù)通信與控制模塊和跟蹤攝像機模塊構(gòu)成一個閉環(huán)控制系統(tǒng)。
參見圖2所示，本發(fā)明實施例的基于立體視頻動態(tài)跟蹤的多攝像機監(jiān)控系統(tǒng)的設備和工作原理立體視頻全景攝像機模塊采用了兩個型號相同的具有廣角鏡頭的模擬攝像機，輸出為PAL制式標準電視信號。其中一個攝像機作為主攝像機，不僅需要將監(jiān)控的視頻數(shù)據(jù)信號輸出至圖像采集模塊，而且要直接輸出至監(jiān)視器、視頻存儲設備等相應的視頻監(jiān)控設備。另一個攝像機作為輔助攝像機，只需要將監(jiān)控的視頻數(shù)據(jù)信號送至圖像采集模塊。根據(jù)立體成像原理，在主攝像機和輔助攝像機的共同作用下，可獲得立體視頻全景監(jiān)控區(qū)域內(nèi)相關目標的立體三維位置信息。本發(fā)明具體實施方法采用基于視頻服務器系統(tǒng)的方式，所謂視頻服務器系統(tǒng)是指能夠?qū)崟r高效運算和處理大量視頻圖像數(shù)據(jù)，并具有相應輸入輸出功能的PC機或服務器。圖像采集模塊采用了兩塊大恒公司生產(chǎn)的DH-CG300圖像采集卡，該圖像采集卡為帶有SDK開發(fā)包的PCI卡，可直接插入視頻服務器中使用。圖像采集卡將主攝像機和輔助攝像機輸入的標準電視信號進行采集轉(zhuǎn)化為8bit灰度數(shù)字圖像序列，將該數(shù)字圖像序列送入圖像處理模塊。圖像處理模塊的功能由Intel Pentium4為核心處理器的視頻服務器完成，其操作系統(tǒng)采用Windows XP，模塊中的圖像處理算法主要使用C語言編寫。圖像處理模塊中的具體算法包括運動目標檢測與分割算法、多運動目標提取算法、目標三維位置信息融合算法。經(jīng)過以上算法的處理和計算可獲得各目標的三維位置信息并生成相應的下行控制信號，同時，作為圖像處理模塊的視頻服務器通過串口接收數(shù)據(jù)通信與控制模塊發(fā)來的上行反饋信號，對生成的下行控制信號進行校正，最終通過串口將經(jīng)過校正的下行控制信號發(fā)送到數(shù)據(jù)通信與控制模塊。數(shù)據(jù)通信與控制模塊是控制信號處理與交換的中心，采用單片機配合相應的RS485轉(zhuǎn)換芯片來完成各個控制信號的發(fā)送與接收。跟蹤攝像機模塊由多個跟蹤攝像機組成，跟蹤攝像機采用具有PTZ功能的高速球形攝像機，型號為艾立克公司生成的DR-E588型高速球形攝像機，其RS485端口分別接收和發(fā)送相應的下行控制信號和上行反饋信號，下行控制信號控制高速球形攝像機實時跟蹤異常或運動目標，根據(jù)高速球形攝像機中水平步進電機和垂直步進電機的脈沖計數(shù)可獲得攝像機實時的運動與位置信息并形成上行反饋信號。這樣，通過數(shù)據(jù)通信與控制模塊的作用，就可以實現(xiàn)上行反饋信號中高速球形攝像機實時的運動與位置信息對下行控制信號中目標三維位置信息的反饋控制，從而精確跟蹤異常或運動目標。
參見圖3所示，本發(fā)明實施例的基于立體視頻動態(tài)跟蹤的多攝像機監(jiān)控系統(tǒng)中兩個攝像機獲得目標立體視頻信息的原理方法在系統(tǒng)安裝過程中，主攝像機與輔助攝像機須平行且在同一水平面上，兩攝像機之間的距離B根據(jù)安裝位置確定，投影平面的位置可根據(jù)實際情況預先設定，故投影平面與攝像機的距離D是可知的。當目標模型點A位于監(jiān)控場景內(nèi)時，主攝像機投影距離xl和輔助攝像機投影距離xr可由相應圖像中目標投影位置獲得。根據(jù)以上已知量和平面幾何方法，可以求得目標模型點A的相應空間位置坐標(x，y，z)。因此，可通過兩個攝像機立體成像的方式，獲得異常或運動目標在監(jiān)控場景中的立體三維位置信息。
參見圖4所示，本發(fā)明實施例的基于立體視頻動態(tài)跟蹤的多攝像機監(jiān)控系統(tǒng)中采用圖像采集卡實現(xiàn)圖像采集模塊功能的具體方法本發(fā)明具體實施方法采用了基于視頻服務器的方式，因而圖像采集模塊使用了直接插入視頻服務器的兩塊PCI圖像采集卡來實現(xiàn)該功能，主攝像機的PAL制式標準電視信號經(jīng)圖像采集卡(型號為DH-CG300)轉(zhuǎn)換為8bit灰度圖像序列，并輸入視頻服務器的內(nèi)存緩沖區(qū)中以供后端處理，輔助攝像機的PAL制式標準電視信號經(jīng)圖像采集卡(型號為DH-CG300)轉(zhuǎn)換為8bit灰度圖像序列，并輸入視頻服務器。圖像采集卡DH-CG300提供了SDK開發(fā)包，可通過調(diào)用相應函數(shù)實現(xiàn)實時圖像采集功能。
參見圖5所示本發(fā)明實施例的基于立體視頻動態(tài)跟蹤的多攝像機監(jiān)控系統(tǒng)中圖像處理模塊功能的算法流程。圖像處理模塊是本發(fā)明的技術核心部分，具體實施方法采用視頻服務器實現(xiàn)該模塊的功能。視頻服務器CPU為Intel Pentium4，主頻為3.3G，I/O端具有兩個串口，操作系統(tǒng)采用Windows XP系統(tǒng)，算法軟件采用C語言編程實現(xiàn)。算法流程如下1)讀取緩沖區(qū)中主攝像機的灰度圖像序列，通過運動目標檢測與分割算法獲取各個運動目標在圖像中的運動區(qū)域；2)采用多運動目標提取算法合并提取完整的運動區(qū)域以及獲得各個運動區(qū)域在投影片面內(nèi)的中心點坐標；轉(zhuǎn)向5)；3)讀取緩沖區(qū)中輔助攝像機的灰度圖像序列，通過運動目標檢測與分割算法獲取各個運動目標在圖像中的運動區(qū)域；4)采用多運動目標提取算法合并提取完整的運動區(qū)域以及獲得各個運動區(qū)域在投影片面內(nèi)的中心點坐標；5)根據(jù)主攝像機和輔助攝像機中的各個中心點投影坐標采用目標三維位置信息融合算法計算出各個運動目標中心點在監(jiān)控場景中的立體三維坐標，6)結(jié)合由數(shù)據(jù)通信與控制模塊發(fā)送的上行反饋信號計算出對應的高速球形攝像機的水平、俯仰和鏡頭縮放等運動參數(shù)，
7)根據(jù)高速球形攝像機的控制協(xié)議生成下行控制控制信號經(jīng)串口發(fā)送至數(shù)據(jù)通信與控制模塊。
圖5a是運動目標檢測與分割算法的基本流程圖。運動目標檢測與分割算法的目的是檢測監(jiān)控圖像中是否含有異?；蜻\動目標并將相關的區(qū)域從圖像中分割出來1)讀取實時采集的灰度圖像序列中時間上相關的連續(xù)兩幀，對當前幀圖像與上一幀圖像進行幀間差分運算；2)然后將生成的灰度差分圖像進行二值化處理，將包含異常或運動目標的區(qū)域中的各象素點標記為1，其余標記為0，并去除孤立點噪聲；3)根據(jù)二值圖像中是否存在包含標記為1的區(qū)域檢測是否存在需要跟蹤的目標；若沒有包含標記為1的區(qū)域則流程返回至算法起始點1)進行循環(huán)檢測；若存在包含標記為1的區(qū)域則表明監(jiān)控場景內(nèi)有異?；蜻\動目標存在；4)算法采用尺寸濾波器去除小區(qū)域或運動干擾噪聲；5)從二值圖像中分割出包含標記為1的區(qū)域作為投影圖像中相應目標的運動區(qū)域。其中二值化處理中的灰度閾值決定了運動檢測的靈敏度，設置的灰度閾值過小則對于差分圖像中的噪聲敏感，過大則運動檢測比較遲鈍，故具體設置值需根據(jù)實際監(jiān)控場景而定。
圖5b是多運動目標提取算法的基本流程圖。多運動目標提取算法的目的是提取并獲得各個目標在投影平面內(nèi)投影的位置信息和中心點坐標。一般情況下，由運動目標檢測與分割算法獲得的目標運動區(qū)域是不規(guī)則不完善的，故不能完全包含相應的運動目標，無法取得運動目標的位置信息，需通過多運動目標提取算法才能獲得相應的位置信息和中心點坐標。1)對分割出來的運動區(qū)域采用區(qū)域生長算法；區(qū)域生長法就是a1)對獨立的連通區(qū)域進行標記；a2)獲取各獨立的連通區(qū)域的坐標值，以矩形方式進行區(qū)域生長與填充從而形成矩形區(qū)域，并將該矩形區(qū)域作為新的獨立的連通區(qū)域；a3)重復步驟a1)，直到標記數(shù)不再變化。2)然后，對生成的獨立矩形區(qū)域采用自適應吸引域合并算法。自適應吸引域合并算法就是b1)計算各獨立矩形區(qū)域的邊長；b2)設置吸引力參數(shù)k，在原來的各獨立矩形區(qū)域的基礎上建立包含吸引域的獨立矩形區(qū)域，包含吸引域的矩形的邊長由吸引力參數(shù)k與原來的各獨立矩形邊長共同確定，當包含吸引域的矩形與鄰接包含吸引域的矩形存在區(qū)域重合時，將相應的各原來的矩形區(qū)域合并為一個新的矩形區(qū)域并取代原來的矩形區(qū)域；b3)重復步驟b1)，直到?jīng)]有原來的矩形區(qū)域可被新的矩形區(qū)域取代。其中吸引力參數(shù)k需根據(jù)實際監(jiān)控情況確定。3)最后，根據(jù)最終生成的各個矩形中心點坐標大小次序標定并映射各個運動目標，各個矩形的邊長與鏡頭縮放的倍數(shù)成反比；4)中心點坐標即為目標中心在相應投影平面內(nèi)的二維位置信息。
圖5c為目標三維位置信息融合算法的基本流程圖。目標三維位置信息融合算法的目的是根據(jù)由主攝像機和輔助攝像機獲得的目標中心在相應投影平面內(nèi)的二維位置信息計算出目標中心在監(jiān)控場景中相對的立體三維位置信息。1)首先，根據(jù)空間投影的知識可知，主攝像機獲得的目標在投影平面上的空間位置與次序同輔助攝像機中的相比具有相似性，因而通過空間位置比對方法，可形成主攝像機中的投影目標與輔助攝像機中的投影目標一一對應的關系；2)然后，將各對應投影目標的中心點位置通過平面幾何運算，計算出目標的空間中心點位置信息；圖3為該計算方法的基本原理；其中D、B、xl和xr為已知量，求解未知量x和z可通過簡單的相似三角形方法計算出來，同理，對于目標在y軸上的坐標可采用相同計算方法。最終，可計算獲得各個異?；蜻\動目標的中心點在監(jiān)控場景中的立體三維坐標；3)在獲得異?；蜻\動目標中心點的立體三維坐標后，根據(jù)高速球形攝像機與兩個攝像機組成的立體視頻全景攝像機之間的位置關系，以及高速球形攝像機的運動性能參數(shù)，可計算出高速球形攝像機為了跟蹤異?；蜻\動目標中心點所需的水平運動參數(shù)與俯仰運動參數(shù)；4)根據(jù)收到的包含高速球形攝像機實時位置信息的上行反饋信號，對計算出的運動參數(shù)進行實時校正；再按照高速球形攝像機的通信控制協(xié)議，將校正后的運動參數(shù)生成下行控制信號發(fā)送至數(shù)據(jù)通信與控制模塊。
圖6為本發(fā)明實施例中實現(xiàn)數(shù)據(jù)通信與控制模塊功能的邏輯電路圖。采用了兩個MCS-51單片機系統(tǒng)分別處理下行控制信號和上行反饋信號，其中處理下行控制信號的單片機系統(tǒng)還負責處理手動控制信號。兩個單片機系統(tǒng)的主要作用是對上下行信號進行時序邏輯控制以配合圖像處理模塊對跟蹤攝像機模塊閉環(huán)控制的有效性與實時性，以及判斷信號的優(yōu)先級并根據(jù)優(yōu)先級的順序發(fā)送相應信號。圖6中空心箭頭為RS232信號，實心箭頭為RS485信號；圖6中所示單片機系統(tǒng)包含外部RAM、供電電源等部分，屬于單片機基本控制單元，這里不再詳述。對于考慮到高速球形攝像機的通信協(xié)議傳輸為RS485模式以及相關控制信號的有效傳輸距離，對于輸入和輸出到數(shù)據(jù)通信與控制模塊的信號都采用RS485傳輸模式，而其內(nèi)部數(shù)據(jù)傳輸采用RS232模式。因而，使用了5個RS485轉(zhuǎn)RS232芯片，即MAX485芯片，來完成各種控制信號傳輸模式的轉(zhuǎn)換。下行控制信號單片機系統(tǒng)控制算法為首先，判斷輸入信號的優(yōu)先級，手動控制信號優(yōu)先級大于下行控制信號。檢測手動控制信號，若發(fā)現(xiàn)有手動控制信號輸入，則掛起下行控制信號輸入通道并終止正在執(zhí)行的延時等待程序，將手動控制信號直接輸出至跟蹤攝像機，此時跟蹤攝像機只接收手動控制而不受圖像處理模塊的自動控制，當手動控制信號結(jié)束，執(zhí)行延時等待程序并檢測手動控制信號，延時時間由用戶預先設置，下行控制信號輸出通道仍處于掛起狀態(tài)，當延時等待程序結(jié)束，發(fā)送跟蹤攝像機復位控制信號并打開下行控制信號輸入通道接收下行控制信號輸入，返回到檢測手動控制信號。其次，若無手動控制信號，檢測下行控制信號輸出通道，若下行控制信號輸出通道忙，則掛起下行控制信號輸入通道，直到下行控制信號輸出通道空閑再打開下行控制信號輸入通道接收輸入信號，并將該輸入信號放入下行控制信號輸出通道，若下行控制信號輸出通道在一定時間內(nèi)處于空閑狀態(tài)，則對跟蹤攝像機發(fā)送復位控制信號使其返回預置位置。上行反饋信號單片機系統(tǒng)控制算法為檢測信號輸出通道，若信號輸出通道忙，則掛起輸入通道，直到信號輸出通道空閑才打開輸入通道接收輸入信號，并將該輸入信號放入輸出通道。需要說明的是，輸出到跟蹤攝像機的下行控制信號被分為兩路，一路進入跟蹤攝像機，另一路送至控制中心用以實時觸發(fā)或控制報警系統(tǒng)、視頻存儲系統(tǒng)以及其他相關系統(tǒng)。
圖7為本發(fā)明實施例中采用高速球形攝像機作為跟蹤攝像機的結(jié)構(gòu)示意圖。高速球形攝像機采用水平步進電機和俯仰步進電機控制其攝像機的姿態(tài)，同時其攝像機為一體化攝像機，根據(jù)控制協(xié)議輸入相應的運動參數(shù)信息就可實現(xiàn)對高速球形攝像機水平與俯仰運動及鏡頭縮放的精確控制，同時根據(jù)兩個步進電機的脈沖計數(shù)和相應的傳動比，可獲得當前時刻高速球形攝像機相對于起始點的水平與俯仰位置信息。因此，可通過下行控制信號控制高速球形攝像機運動，實現(xiàn)對異常與運動目標的自動實時跟蹤，并將當前時刻高速球形攝像機的相應位置信息作為上行反饋信號，對下行控制信號進行反饋控制，實現(xiàn)對跟蹤目標的精確定位。另外，下行控制信號中包含由圖像處理模塊所獲得的目標大小，根據(jù)目標大小可自動調(diào)節(jié)一體化攝像機鏡頭的縮放，達到獲得目標詳細圖像特征與運動狀態(tài)的目的。
本發(fā)明的監(jiān)控系統(tǒng)各模塊的計算機硬件可以用臺式計算機、服務器，也可以用單板機、單片機以及可編程微處理器等，是本領域技術人員都知道的常識，本說明書不再一一描述。
權利要求
1.一種基于立體視頻動態(tài)跟蹤的多攝像機監(jiān)控系統(tǒng)，包括立體視頻全景攝像機模塊、圖像采集模塊、圖像處理模塊、數(shù)據(jù)通信與控制模塊、跟蹤攝像機模塊，其特征在于立體視頻全景攝像機模塊輸出端分別連接視頻監(jiān)控設備和圖像采集模塊，設有至少二個以上全景攝像頭，將拍攝到的監(jiān)控場景生成視頻數(shù)據(jù)信號分別輸出至監(jiān)視器、視頻存儲設備等相應的視頻監(jiān)控設備和圖像采集模塊；圖像采集模塊輸出端連接圖像處理模塊，用于對視頻數(shù)據(jù)信號進行相應處理形成數(shù)字圖像序列并輸出至圖像處理模塊；圖像處理模塊連接數(shù)據(jù)通信與控制模塊，用于對數(shù)字圖像序列進行包括運動目標檢測與分割算法、目標三維位置信息融合算法的運算處理，生成各目標的包含三維運動與位置信息的下行控制信號用以控制跟蹤攝像機模塊；并根據(jù)數(shù)據(jù)通信與控制模塊輸入的上行反饋信號對下行控制信號進行校正，而后將經(jīng)過校正的下行控制信號傳送至數(shù)據(jù)通信與控制模塊；數(shù)據(jù)通信與控制模塊分別連接跟蹤攝像機模塊、手動控制器、監(jiān)控中心，根據(jù)相應的通信標準和協(xié)議分別接收和發(fā)送下行控制信號與上行反饋信號；跟蹤攝像機模塊，設有一個以上的跟蹤攝像機，用于根據(jù)下行控制信號的要求對相應的異?；蜻\動目標進行動態(tài)跟蹤監(jiān)控，并將跟蹤監(jiān)控視頻數(shù)據(jù)直接輸出至視頻監(jiān)控設備，同時將跟蹤攝像機的位置信息形成上行反饋信號發(fā)送至數(shù)據(jù)通信與控制模塊；圖像處理模塊、數(shù)據(jù)通信與控制模塊和跟蹤攝像機模塊構(gòu)成一個閉環(huán)控制系統(tǒng)。
2.根據(jù)權利要求1所述的多攝像機監(jiān)控系統(tǒng)，其特征在于，所述立體視頻全景攝像機模塊的基本設備包括雙鏡頭攝像機或兩個攝像機，其中一個鏡頭或攝像機為主鏡頭或主攝像機，另一個鏡頭或攝像機為輔助鏡頭或輔助攝像機；兩個鏡頭或兩個攝像機的視頻數(shù)據(jù)信號需同步傳送至圖像采集模塊，主鏡頭或主攝像機的視頻數(shù)據(jù)信號需直接輸出，而輔助鏡頭或輔助攝像機的視頻數(shù)據(jù)信號可根據(jù)實際需要選擇是否直接輸出。
3.根據(jù)權利要求1所述的多攝像機監(jiān)控系統(tǒng)，其特征在于，所述立體視頻全景攝像機模塊中加入視頻數(shù)據(jù)壓縮、傳輸、解壓設備以及紅外設備等外圍設備，以便實現(xiàn)遠程監(jiān)控或其他特定條件的監(jiān)控。
4.根據(jù)權利要求1所述的多攝像機監(jiān)控系統(tǒng)，其特征在于，所述數(shù)據(jù)通信與控制模塊設有手動控制信號優(yōu)先的功能。
5.根據(jù)權利要求1所述的多攝像機監(jiān)控系統(tǒng)，其特征在于，所述跟蹤攝像機模塊根據(jù)下行控制信號的要求，各個跟蹤攝像機分別跟蹤在監(jiān)控全景中不同的異?；蜻\動目標并根據(jù)目標大小自適應調(diào)節(jié)鏡頭的縮放倍數(shù)，將跟蹤監(jiān)控視頻數(shù)據(jù)直接輸出至視頻監(jiān)控設備，同時將跟蹤攝像機的位置信息形成上行反饋信號發(fā)送至數(shù)據(jù)通信與控制模塊；當異?；蜻\動目標移動出全景監(jiān)控范圍，或者異常或運動目標一定時間間隔內(nèi)在全景監(jiān)控范圍沒有變化或運動，跟蹤攝像機將自動回至初始預置位置等待下行控制信號。
6.根據(jù)權利要求1所述的多攝像機監(jiān)控系統(tǒng)，其特征在于，所述跟蹤攝像機模塊能根據(jù)手動控制信號的要求進行動作。
7.根據(jù)權利要求1所述的多攝像機監(jiān)控系統(tǒng)，其特征在于，所述視頻監(jiān)控設備包括監(jiān)視器、視頻存儲設備；立體全景視頻數(shù)據(jù)信號、跟蹤監(jiān)控視頻數(shù)據(jù)信號分別輸出至監(jiān)視器、視頻存儲設備。
8.根據(jù)權利要求1所述的多攝像機監(jiān)控系統(tǒng)，其特征在于，所述數(shù)據(jù)通信與控制模塊可向監(jiān)控中心發(fā)送相應的控制信號用以實時觸發(fā)或控制報警系統(tǒng)、視頻存儲系統(tǒng)以及其他相關系統(tǒng)，并接收手動控制跟蹤攝像機的控制信號。
9.一種權利要求1所述的多攝像機監(jiān)控系統(tǒng)的跟蹤方法，其特征在于，方法的流程如下1)讀取緩沖區(qū)中主攝像機的灰度圖像序列，通過運動目標檢測與分割算法獲取各個運動目標在圖像中的運動區(qū)域；轉(zhuǎn)向3)；2)讀取緩沖區(qū)中輔助攝像機的灰度圖像序列，通過運動目標檢測與分割算法獲取各個運動目標在圖像中的運動區(qū)域；3)根據(jù)主攝像機和輔助攝像機中的各個目標在圖像中的運動區(qū)域采用目標三維位置信息融合算法計算出各個運動目標在監(jiān)控場景中的立體三維坐標；4)結(jié)合由數(shù)據(jù)通信與控制模塊發(fā)送的上行反饋信號計算出對應的跟蹤攝像機的運動參數(shù)；5)根據(jù)跟蹤攝像機的控制協(xié)議生成下行控制控制信號經(jīng)串口發(fā)送至數(shù)據(jù)通信與控制模塊。
10.根據(jù)權利要求9所述的跟蹤方法，其特征在于，所述步驟1)、2)中運動目標檢測與分割算法的基本流程1)讀取實時采集的灰度圖像序列中時間上相關的連續(xù)兩幀，對當前幀圖像與上一幀圖像進行幀間差分運算；2)然后將生成的灰度差分圖像進行二值化處理，將包含異?；蜻\動目標的區(qū)域中的各象素點標記為1，其余標記為0，并去除孤立點噪聲；3)根據(jù)二值圖像中是否存在包含標記為1的區(qū)域檢測是否存在需要跟蹤的目標；若沒有包含標記為1的區(qū)域則流程返回至本算法起始點1)進行循環(huán)檢測；若存在包含標記為1的區(qū)域則表明監(jiān)控場景內(nèi)有異常或運動目標存在；4)采用尺寸濾波器去除小區(qū)域或運動干擾噪聲；5)從二值圖像中分割出包含標記為1的區(qū)域作為投影圖像中相應目標的運動區(qū)域。其中二值化處理中的灰度閾值決定了運動檢測的靈敏度，設置的灰度閾值過小則對于差分圖像中的噪聲敏感，過大則運動檢測比較遲鈍，故具體設置值需根據(jù)實際監(jiān)控場景而定。
11.根據(jù)權利要求9所述的跟蹤方法，其特征在于，所述步驟1)、2)中完成運動目標檢測與分割算法后，再采用多運動目標提取算法合并提取完整的運動區(qū)域以及獲得各個運動區(qū)域在投影片面內(nèi)的相應投影坐標。
12.根據(jù)權利要求11所述的跟蹤方法，其特征在于，所述步驟1)、2)中多運動目標提取算法的基本流程1)對分割出來的運動區(qū)域采用區(qū)域生長算法；2)對生成的獨立矩形區(qū)域采用自適應吸引域合并算法；3)根據(jù)最終生成的各個矩形位置次序與大小標定并映射各個運動目標，各個矩形的邊長與鏡頭縮放的倍數(shù)成反比；4)計算所標定目標在相應投影平面內(nèi)的二維位置信息即可獲得各個運動目標的二維投影坐標。
13.根據(jù)權利要求9所述的跟蹤方法，其特征在于，所述步驟3)中目標三維位置信息融合算法的基本流程1)形成主攝像機中的投影目標與輔助攝像機中的投影目標一一對應的關系；2)經(jīng)計算獲得各個異?；蜻\動目標在監(jiān)控場景中的立體三維坐標；3)根據(jù)跟蹤攝像機與兩個攝像機組成的立體視頻全景攝像機之間的位置關系，以及跟蹤攝像機的運動性能參數(shù)，可計算出跟蹤攝像機為了跟蹤異常或運動目標所需的運動參數(shù)；4)根據(jù)收到的包含跟蹤攝像機實時位置信息的上行反饋信號，對計算出的運動參數(shù)進行實時校正，生成經(jīng)反饋的運動參數(shù)校正后的下行控制信號發(fā)送至數(shù)據(jù)通信與控制模塊。
全文摘要
一種基于立體視頻動態(tài)跟蹤的多攝像機監(jiān)控系統(tǒng)及其跟蹤方法，涉及視頻監(jiān)控及跟蹤技術領域；該系統(tǒng)包括設有至少二個以上全景攝像頭的立體視頻全景攝像機模塊，用于形成數(shù)字圖像序列的圖像采集模塊，用于進行運算處理生成各目標的三維控制信號的圖像處理模塊，分別連接跟蹤攝像機模塊、手動控制器、監(jiān)控中心的數(shù)據(jù)通信與控制模塊，設有一個以上跟蹤攝像機的用于分別監(jiān)控跟蹤各異?；蜻\動目標的跟蹤攝像機模塊；其跟蹤方法包括對數(shù)字圖像序列進行運動目標檢測與分割算法、多運動目標提取算法和目標三維位置信息融合算法；本發(fā)明能實現(xiàn)分別跟蹤監(jiān)控多個不同目標，能縮小對目標位置的跟蹤偏差，能得到清晰完整的跟蹤目標圖像。
文檔編號H04N5/14GK1976445SQ20061014731
公開日2007年6月6日 申請日期2006年12月15日 優(yōu)先權日2006年12月15日
發(fā)明者孟蜀鍇 申請人:上海鼎業(yè)電子科技有限公司