專(zhuān)利名稱(chēng)：自動(dòng)視角配置的全景視頻監(jiān)控系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明屬于信息與通信技術(shù)領(lǐng)域，具體涉及一種多鏡頭視頻監(jiān)控中的運(yùn)動(dòng)攝像機(jī)的視 角與變焦度的自動(dòng)配置系統(tǒng)和方法。
背景技術(shù)：
隨著社會(huì)經(jīng)濟(jì)的快速發(fā)展，社會(huì)公共安全受到政府及其普通百姓的FI益關(guān)注。社會(huì)公 共安全包括人們?cè)诠矆?chǎng)合及私有場(chǎng)合中的生命財(cái)產(chǎn)安全。人們需要對(duì)這些場(chǎng)合中所發(fā)生 的情況進(jìn)行實(shí)時(shí)的了解。視頻監(jiān)控技術(shù)為人們提供了對(duì)所關(guān)注的場(chǎng)合進(jìn)行遠(yuǎn)距離的實(shí)時(shí)圖 像監(jiān)控。視頻監(jiān)控技術(shù)的具體實(shí)現(xiàn)稱(chēng)為視頻監(jiān)控系統(tǒng)。
最基本的視頻監(jiān)控系統(tǒng)由三部分組成1、視頻攝像機(jī)；2、傳輸網(wǎng)絡(luò)；3、視頻監(jiān)視器。
如圖1所示。視頻監(jiān)控的基本原理是視頻攝像機(jī)把拍攝到的場(chǎng)景，轉(zhuǎn)換成電學(xué)視頻 信號(hào)，通過(guò)傳輸網(wǎng)絡(luò)把視頻信號(hào)傳輸?shù)揭曨l監(jiān)視器，而視頻監(jiān)視器把視頻信號(hào)還原成一連 串的圖像，呈現(xiàn)在視頻監(jiān)視器的顯示屏上，在視覺(jué)上感覺(jué)到現(xiàn)場(chǎng)活動(dòng)場(chǎng)景，從而達(dá)到在異 地監(jiān)視現(xiàn)場(chǎng)的目的。
視頻監(jiān)控系統(tǒng)的另一功能是控制，從監(jiān)控設(shè)備發(fā)出指令，通過(guò)傳輸網(wǎng)絡(luò)，指令到達(dá)攝 像機(jī)，控制攝像機(jī)運(yùn)動(dòng)，從而獲取所關(guān)心的場(chǎng)景，達(dá)到監(jiān)控的目的。
隨著電子及通訊技術(shù)的進(jìn)歩，視頻監(jiān)控技術(shù)從最初的模擬閉路電視逐歩發(fā)展到目前的 數(shù)字網(wǎng)絡(luò)監(jiān)控系統(tǒng)。數(shù)字網(wǎng)絡(luò)監(jiān)控系統(tǒng)如圖2所示。數(shù)字網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的基本原理為 攝像機(jī)把場(chǎng)景轉(zhuǎn)化為視頻信號(hào)，并傳輸入視頻數(shù)字編碼器，數(shù)字編碼器則把模擬的視頻信 號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，并以一種指定的編碼方式進(jìn)行編碼，指定的編碼方式通常為MPEG-4， H.264等，通過(guò)這種方式編碼后，視頻信號(hào)的數(shù)據(jù)量就大為壓縮，被編碼壓縮后的數(shù)字信 號(hào)通過(guò)網(wǎng)絡(luò)接入設(shè)備以一定的方式接到傳輸網(wǎng)絡(luò)，傳輸網(wǎng)絡(luò)通常為局域網(wǎng)/廣域網(wǎng)或無(wú)線(xiàn)網(wǎng) 絡(luò)或兩者并用。與傳輸網(wǎng)絡(luò)聯(lián)結(jié)的監(jiān)控設(shè)備通常為專(zhuān)用監(jiān)視器、電腦或無(wú)線(xiàn)手持設(shè)備，監(jiān) 控設(shè)備則把編碼壓縮后的數(shù)字信號(hào)還原成視頻信號(hào)并顯示出來(lái)。
數(shù)字傳輸網(wǎng)絡(luò)的速度通常受網(wǎng)絡(luò)的帶寬制約，當(dāng)網(wǎng)絡(luò)中的信息流量超過(guò)網(wǎng)絡(luò)帶寬時(shí)， 信息流速度就要降低，造成視頻信息流的延遲。在傳輸網(wǎng)絡(luò)嚴(yán)重延遲的情況下，在監(jiān)控端 要追蹤運(yùn)動(dòng)目標(biāo)變得很困難。發(fā)明專(zhuān)利"低速移動(dòng)網(wǎng)絡(luò)中追蹤運(yùn)動(dòng)目標(biāo)的視頻監(jiān)控系統(tǒng)和方法(中國(guó)專(zhuān)利申請(qǐng)受理號(hào)200710039401.8)"提供了一種采用二個(gè)攝像機(jī)的方法，使得
在傳輸網(wǎng)絡(luò)延遲情況下能夠有效地追蹤運(yùn)動(dòng)目標(biāo)。該方法采用雙攝像機(jī)分區(qū)方法，使得一 個(gè)攝像機(jī)監(jiān)視全景，而另一個(gè)攝像機(jī)能夠快速指向一個(gè)指定的區(qū)域，對(duì)目標(biāo)進(jìn)行清晰的監(jiān)
視。發(fā)明專(zhuān)利"雙鏡頭視頻監(jiān)控中的視角自動(dòng)配置系統(tǒng)和方法(中國(guó)專(zhuān)利申請(qǐng)受理號(hào) 200710093810.6)"提供了一種自動(dòng)設(shè)置攝像機(jī)快速指向一個(gè)指定區(qū)域的轉(zhuǎn)角及其參數(shù)的方 法。這兩個(gè)專(zhuān)利都只是局限在一定視覺(jué)范圍內(nèi)的監(jiān)控，而且同一時(shí)刻只有--個(gè)鏡頭可以切 換到監(jiān)控中心。
本專(zhuān)利提出一種在由多個(gè)攝像頭組成的全景監(jiān)控系統(tǒng)中進(jìn)行自動(dòng)視角配置的方法，使 得用戶(hù)在監(jiān)看全景畫(huà)面的同時(shí)，可以通過(guò)一個(gè)獨(dú)立的攝像機(jī)對(duì)局部畫(huà)面進(jìn)行自動(dòng)放大顯 示，該方法采用了云臺(tái)預(yù)置位與命令觸發(fā)的持續(xù)時(shí)間來(lái)保證視角和放大倍數(shù)的自動(dòng)化。

發(fā)明內(nèi)容
本發(fā)明提供了一種在全景視頻監(jiān)控系統(tǒng)中對(duì)攝像機(jī)的轉(zhuǎn)角和焦距進(jìn)行自動(dòng)配置的系
統(tǒng)和方法，技術(shù)實(shí)現(xiàn)方案如下
如圖3所示，本發(fā)明技術(shù)實(shí)現(xiàn)方案由以下部分組成。攝像機(jī)CAMl-CAMn (論l)和 攝像機(jī)CAMO，攝像機(jī)CAMO為帶有云臺(tái)的可以左右0-360° 、上下大于0°小于180°運(yùn) 動(dòng)，并且，攝像頭具備一定倍數(shù)的放大/縮小(變焦)功能。攝像機(jī)CAMl-CAMn為不帶云臺(tái) 的攝像機(jī)，用戶(hù)可以根據(jù)需要為這些攝像機(jī)配置不同的視角，原則上CAMl-CAMn的場(chǎng)景 必須是CAMO可以完全覆蓋的區(qū)域，但不局限于此。
視頻服務(wù)器VS1和VS2的功能是把一路或多路攝像機(jī)傳輸來(lái)的模擬圖像信號(hào)轉(zhuǎn)化為 數(shù)字信號(hào)，并壓縮編碼成某種數(shù)據(jù)格式，然后傳輸入傳輸網(wǎng)絡(luò)。視頻服務(wù)器VS1和VS2 也能夠直接從傳輸網(wǎng)絡(luò)獲取信息，即視頻服務(wù)器VS1和VS2可以接收監(jiān)控端的控制信號(hào)。
視頻服務(wù)器VS1和VS2的硬件和軟件結(jié)構(gòu)如圖4 (A)禾B圖4 (C)所示。硬件結(jié)構(gòu)中 的CPU為中央處理單元，其功能與一般計(jì)算機(jī)中的CPU相同，存儲(chǔ)單元用來(lái)存儲(chǔ)計(jì)算機(jī) 程序及CPU執(zhí)行過(guò)程中的指令及數(shù)據(jù)；網(wǎng)絡(luò)設(shè)備是用來(lái)連接網(wǎng)絡(luò)的設(shè)備，即與網(wǎng)絡(luò)進(jìn)行信 息通信的軟件與硬件設(shè)備；視頻服務(wù)器VS2帶有云臺(tái)控制接口，可以通過(guò)該接口驅(qū)動(dòng)云臺(tái) 按要求轉(zhuǎn)動(dòng)及變焦等功能；視頻服務(wù)器的軟件部分則由操作系統(tǒng)0S、設(shè)備驅(qū)動(dòng)機(jī)程序、 應(yīng)用程序及本發(fā)明中的視角自動(dòng)配置模塊VACS組成。
視頻服務(wù)器VS1是一個(gè)具備同時(shí)接入多路攝像機(jī)的設(shè)備， 一般情況下是4路或8路， 但不限于此，視頻服務(wù)器VS1接攝像機(jī)CAMl-CAMn以及攝像機(jī)CAMO;視頻服務(wù)器也 可以采用一個(gè)多路視頻服務(wù)器VS1和一個(gè)單路視頻服務(wù)器VS2的組合，即視頻服務(wù)器VS1接攝像機(jī)CAMl-CAMn，視頻服務(wù)器VS2接攝像機(jī)CAM0，云臺(tái)接口可以在視頻服務(wù)器 VS1或VS2上。
傳輸網(wǎng)絡(luò)NET用來(lái)傳輸信號(hào)，包括有線(xiàn)網(wǎng)絡(luò)和無(wú)線(xiàn)網(wǎng)絡(luò)，但不局限于此。 監(jiān)控設(shè)備MTR為監(jiān)控設(shè)備，為一臺(tái)帶網(wǎng)絡(luò)功能顯示終端及鼠標(biāo)的PC機(jī)但不局限于此， 如圖4 (B)所示。監(jiān)控設(shè)備MTR需要安裝本發(fā)明中的視角自動(dòng)配置客戶(hù)端軟件VACC， 包含客戶(hù)端軟件VACC的監(jiān)控設(shè)備VACC中的監(jiān)控軟件系統(tǒng)稱(chēng)為監(jiān)控中心，監(jiān)控中心軟件 結(jié)構(gòu)如圖4 (D)所示。
1.全景視頻監(jiān)控系統(tǒng)的實(shí)現(xiàn)方法
為描述方便，下面的敘述中假定視頻服務(wù)器VS1接攝像機(jī)CAM1-CAM8，視頻服務(wù)器 VS2接CAM0以及云臺(tái)。系統(tǒng)可以實(shí)現(xiàn)的功能描述如下如圖5所示，場(chǎng)景l(fā)-8為攝像頭 CAM1-CAM8傳輸?shù)組TR上的圖像，場(chǎng)景0將由CAMO產(chǎn)生；用戶(hù)在實(shí)際操作時(shí)只需用 鼠標(biāo)在場(chǎng)景1-8中選擇一個(gè)矩形框(區(qū)域)或指定一個(gè)點(diǎn)(實(shí)際操作過(guò)程為客戶(hù)端軟件VACC 給定一個(gè)預(yù)先設(shè)定以該點(diǎn)為中心的矩形區(qū)域)，客戶(hù)端軟件VACC會(huì)計(jì)算出云臺(tái)YT從當(dāng) 前位置轉(zhuǎn)向該區(qū)域中心點(diǎn)的轉(zhuǎn)角，并計(jì)算該區(qū)域矩形框最大限度地顯示在場(chǎng)景0中的 CAMO的焦距度數(shù)，然后發(fā)出指令給云臺(tái)YT和CAMO，驅(qū)動(dòng)云臺(tái)YT轉(zhuǎn)向該區(qū)域的中心 點(diǎn)，并驅(qū)動(dòng)CAMO改變相應(yīng)的焦距，使得該矩形框最大限度地顯示在場(chǎng)景O中，該矩形邊 框也可以由某種算法自動(dòng)生成并實(shí)時(shí)更新，這特別適合于對(duì)某個(gè)目標(biāo)進(jìn)行動(dòng)態(tài)跟蹤。以下 先定義一個(gè)概念
概念l---選擇區(qū)域指在場(chǎng)景l(fā)-8中需要査看的區(qū)域，表示為(x,y,w，h),其中，x， y為矩形區(qū)域的左上角相對(duì)于待選區(qū)域的坐標(biāo)值，w， h為矩形區(qū)域的寬度和高度；
整個(gè)系統(tǒng)的實(shí)現(xiàn)方法分三個(gè)主要部分，分別描述如下
l丄全景視頻監(jiān)控系統(tǒng)的手動(dòng)初始化
l丄l攝像機(jī)角度預(yù)置調(diào)整攝像機(jī)CAM1-CAM8的方向與角度，使之能夠按照用戶(hù) 的需要將視圖全景地顯示在監(jiān)控設(shè)備MTR上，如圖5所示，場(chǎng)景1-8為攝像頭CAM1-CAM8 傳輸?shù)組TR上的圖像，場(chǎng)景O將由CAMO產(chǎn)生；
l丄2 CAMO的預(yù)置位記錄圖6所示為場(chǎng)景1的兩個(gè)角頭UL1和UR1，類(lèi)似把場(chǎng)景
n中的兩個(gè)角頭記為ULn和URn，其中0￡n58。將攝像頭CAMO的變焦倍數(shù)(或稱(chēng)放大倍
數(shù))設(shè)為最小，調(diào)整攝像機(jī)CAMO的云臺(tái)的轉(zhuǎn)角，使得場(chǎng)景1的左上邊角點(diǎn)UL1位于CAMO
場(chǎng)景的中心位置(如圖7所示)，存下此時(shí)云臺(tái)的轉(zhuǎn)角位置記為YT-UL1，并設(shè)為預(yù)置位l;
重復(fù)以上歩驟，依次記錄2-8場(chǎng)景的左上云臺(tái)位置YT-ULn (2Sn^8)，并設(shè)成云臺(tái)的預(yù)置
位2-8。調(diào)整攝像機(jī)CAMO的云臺(tái)的轉(zhuǎn)角，使得場(chǎng)景l(fā)的右上邊角點(diǎn)(UR1)位于CAMO場(chǎng)景的中心位置(如圖8所示)，存下此時(shí)云臺(tái)的位置YT-UR1，設(shè)為預(yù)置位9;
l丄3將攝像頭CAMO的變焦倍數(shù)設(shè)為最大，調(diào)整攝像機(jī)CAMO的云臺(tái)的轉(zhuǎn)角，并使 得場(chǎng)景1的左上邊角點(diǎn)UL1與場(chǎng)景0的左上邊角點(diǎn)UL0重合，如圖10所示。記下此時(shí)場(chǎng) 景0上的右上邊角點(diǎn)(UR0)在場(chǎng)景1中的位置，記為UZ1，圖9所示為場(chǎng)景0中UZ1所 處的位置。然后縮小CAMO的變焦倍數(shù)為最小，調(diào)整攝像機(jī)CAM0的云臺(tái)使得UZ1位于 場(chǎng)景0的中央位置，將該位置設(shè)成云臺(tái)的預(yù)置位IO，如圖11所示。
1.2全景視頻監(jiān)控系統(tǒng)的自動(dòng)初始化
該歩驟將根據(jù)手動(dòng)初始化時(shí)存下的云臺(tái)預(yù)置位自動(dòng)計(jì)算出云臺(tái)在各個(gè)預(yù)置位之間移 動(dòng)所需的時(shí)間。
1.2.1 VS1服務(wù)器中的自動(dòng)配置模塊VACS發(fā)送命令觸發(fā)云臺(tái)從預(yù)置位1移動(dòng)到預(yù)置位 9，并記錄所需的時(shí)間Ht，再將云臺(tái)設(shè)置預(yù)置位1，觸發(fā)云臺(tái)從預(yù)置位1移動(dòng)到預(yù)置位10， 并記錄所需時(shí)間Zt;
1.2.2 VACS模塊發(fā)送命令驅(qū)動(dòng)云臺(tái)從最小變焦到最大變焦，并記錄所需時(shí)間Ft;
1.2.3 VACS系統(tǒng)復(fù)位VACS模塊發(fā)送指令將攝像機(jī)CAM0置于預(yù)置位1，并將變焦 倍數(shù)置為最??；
1.3全景視頻監(jiān)控系統(tǒng)的自動(dòng)視角移動(dòng)實(shí)現(xiàn)方法
假設(shè)上一次選擇區(qū)域?yàn)閳?chǎng)景n (l《n^8)中的區(qū)域l (rxl,ryl，rwl,rhl)，如圖12 (A) 所示，本次選擇區(qū)域?yàn)閳?chǎng)景m (12mS8)中的區(qū)域2 (rx2,ry2,rw2,rh2)，如圖12 (B)所示。
初始狀態(tài)下，由于CAMO位于預(yù)置位1，而且變焦倍數(shù)為最小，所以相當(dāng)于初次的選 擇區(qū)域?yàn)閳?chǎng)景l(fā)中的區(qū)域(0， 0， 0， 0)，即11=1， rxl=ryl=rwl=rhl=0。
當(dāng)選擇了場(chǎng)景m (BmS8)中的區(qū)域2 (rx2， ry2， rw2， rh2)時(shí)，監(jiān)控中心將把該參數(shù) 以及圖像的大小參數(shù)(vw， vh)發(fā)送給視頻服務(wù)器的VACS模塊，VACS模塊將驅(qū)動(dòng)云臺(tái) 轉(zhuǎn)動(dòng)和變焦，分兩種情況
1.3.1情況l: m與n相同，即選擇的區(qū)域在同一場(chǎng)景中，
VACS模塊將驅(qū)動(dòng)CAMO執(zhí)行以下歩驟
1.3丄1水平移動(dòng)
如果(rx2+rw2+2) > (rxl+rwl+2), VACS模塊發(fā)送水平右移指令，驅(qū)動(dòng)CAMO向右移
動(dòng)，指令持續(xù)時(shí)間tl通過(guò)如下算法得出-
tl =HtX(rx2+rw2+2-rxl-rwl+2)+vw (公式1)
否則，VACS模塊發(fā)送水平右移指令，驅(qū)動(dòng)CAMO向左移動(dòng)，指令持續(xù)時(shí)間tl通過(guò)如下算法得出
<formula>formula see original document page 10</formula> (公式2)
1.3.1.2垂直移動(dòng)
如果(ry2+rh2+2) > (ryl+rhl+2), VACS模塊發(fā)送垂直下移指令，驅(qū)動(dòng)CAM0向下移 動(dòng)，指令持續(xù)時(shí)間t2通過(guò)如下算法得出<formula>formula see original document page 10</formula> (公式3)
否則，VACS模塊發(fā)送垂直上移指令，驅(qū)動(dòng)CAM0向上移動(dòng)，指令持續(xù)時(shí)間t2通過(guò)如 下算法得出
<formula>formula see original document page 10</formula> (公式4) 1.3丄3放大至全屏
由于自動(dòng)縮放的算法比較復(fù)雜，為描述方便，這里我們僅給出在初始狀態(tài)下第一次使 用(即n-l， rxl=ryl=rwl=rhl=0)時(shí)的方法，其他情況下的方法與之類(lèi)似。
VACS模塊發(fā)送變焦放大指令驅(qū)動(dòng)CAM0變焦，指令持續(xù)時(shí)間t3通過(guò)以下算法得出 如果rh2 X (vw+vh)>rw2,那么
<formula>formula see original document page 10</formula> (公式5)
否則
<formula>formula see original document page 10</formula> (公式6)
該動(dòng)作完成后，用戶(hù)選擇區(qū)域?qū)⒈槐M可能的放大至CAMO的場(chǎng)景中，如圖16所示； 如果實(shí)際應(yīng)用中，選擇區(qū)域的大小不發(fā)生變化，即rh和rw值是固定的，那么歩驟1.3丄3 只需在第一次選擇時(shí)執(zhí)行一次，以后將不用再執(zhí)行。
1.3.2情況二 m與n不同，即選擇的區(qū)域不在同一場(chǎng)景中， VACS模塊將驅(qū)動(dòng)CAM0執(zhí)行以下歩驟
1.3.2.1場(chǎng)景m復(fù)位VACS模塊發(fā)送指令將攝像機(jī)CAMO置于預(yù)置位m; 1.3.2.2剩下的步驟與1.3.1中描述的情況1相同。
圖13至圖16示例了第一次選擇一個(gè)區(qū)域時(shí)的過(guò)程，圖13為場(chǎng)景m復(fù)位的示意圖， 圖14為水平移動(dòng)的示意圖，圖15為垂直移動(dòng)的示意圖，圖16為自動(dòng)縮放的示意圖。 2.視角自動(dòng)配置模塊VACS和視角自動(dòng)配置客戶(hù)端VACC的軟件運(yùn)行流程 視角自動(dòng)配置系統(tǒng)VACS存于圖4 (A)所示的存儲(chǔ)單元中。當(dāng)服務(wù)器啟動(dòng)時(shí)，該視 角自動(dòng)配置系統(tǒng)VACS載入CPU及相應(yīng)的存儲(chǔ)單元，操作系統(tǒng)OS則分配所需的資源，如 存儲(chǔ)單元大小、接口設(shè)備及其他設(shè)備。視角自動(dòng)配置客戶(hù)端VACC運(yùn)行在監(jiān)控中心MTR 上，如圖4 (B)和4 (D)所示。2丄VACC軟件的使用和運(yùn)行流程
VACC模塊的使用和運(yùn)行流程如圖17所示，具體使用和運(yùn)行過(guò)程如下
2丄1.軟件初始使用，用戶(hù)需按照1.1中的歩驟進(jìn)行手動(dòng)初始化，設(shè)置云臺(tái)的預(yù)置位 1-10。 VACC軟件接收用戶(hù)的預(yù)置位設(shè)置請(qǐng)求，并將預(yù)置位設(shè)置命令發(fā)送到VACS上；
2丄2.程序運(yùn)行中，當(dāng)用戶(hù)在場(chǎng)景上選擇需要査看的區(qū)域時(shí)，VACC計(jì)算用戶(hù)選擇的 區(qū)域信息，將場(chǎng)景序號(hào)m，區(qū)域信息(rx2,ry2，rw2，rh2)和圖像大小(vw, vh)這三個(gè)信息發(fā) 送到VACS上；
2丄3場(chǎng)景O中的圖像將被實(shí)時(shí)更新，最大限度地顯示用戶(hù)選擇的區(qū)域； 2丄4歩驟2丄2和2丄3—直重復(fù)，直到VACS程序退出。 2.2. VACS模塊的運(yùn)行流程
VACS模塊的運(yùn)行流程如圖18所示，具體歩驟如下
2.2.1 VACS模塊啟動(dòng)；
2.2.2 VACS模塊等待接收用戶(hù)的預(yù)置位信息，當(dāng)全部收到并存儲(chǔ)下這些預(yù)置位信息后， 進(jìn)入自動(dòng)初始化歩驟2.2.3;
2.2.3 VACS模塊按照1.2的方法進(jìn)行初始化，并存儲(chǔ)初始化結(jié)果，即Ht， Zt和Ft，之 后VACS模塊復(fù)位到場(chǎng)景1，即驅(qū)動(dòng)CAM0轉(zhuǎn)至預(yù)置位1，并將變焦倍數(shù)設(shè)到最?。?br> 2.2.4 VACS模塊進(jìn)入運(yùn)行狀態(tài)，將n值設(shè)為l， rxl， ryl， rhl， rwl設(shè)為0，等待接收 從VACC發(fā)來(lái)的場(chǎng)景序號(hào)，用戶(hù)選擇區(qū)域和圖像大小信息；
2.2.5當(dāng)接收到VACC發(fā)來(lái)的信息(包括場(chǎng)景的序號(hào)m，選擇區(qū)域rx2, ry2, rh2, rw2, 以及圖像大小vw，vh)后，VACS模塊判斷場(chǎng)景m是否與n相同，如果不同，將首先復(fù)位 到場(chǎng)景m;
2.2.6 VACS模塊將按以下次序給CAMO發(fā)送云臺(tái)控制指令(l)水平移動(dòng)，(2)垂直 移動(dòng)，(3)變焦，前兩步的指令和持續(xù)時(shí)間將分別由公式l， 2和公式3,4給出。 2.2.7將m值賦給n，并將rx2, ry2， rh2, rw2的值分別賦給rxl, ryl， rhl, rwl 。 2.2.6 VACS模塊返回到歩驟2.2.5， 一直循環(huán)運(yùn)行。 3.補(bǔ)充說(shuō)明
3.1為了突出敘述視角自動(dòng)配置的方法和過(guò)程，1和2的描述中省略了很多網(wǎng)絡(luò)視頻 監(jiān)控系統(tǒng)的過(guò)程，比如視頻服務(wù)器與監(jiān)控中心MTR端的通信RTSP協(xié)議的交互，視頻數(shù) 據(jù)的編碼和傳輸?shù)龋?br> 3.2圖像大小信息(vw， vh)可以從VACC發(fā)送到VACS上，也可以在初始化時(shí)直接 配置到VACS上；3.3本方法也適合于不帶變焦功能的攝像機(jī)，只是在運(yùn)行過(guò)程中，歩驟1.3.4將被省略;
3.4本方法中用戶(hù)選擇區(qū)域可以是用戶(hù)手動(dòng)在場(chǎng)景1-8上選擇產(chǎn)生，也可以是由某個(gè)
算法自動(dòng)產(chǎn)生，比如動(dòng)態(tài)目標(biāo)追蹤算法生成的一個(gè)移動(dòng)中的區(qū)域，選擇區(qū)域的動(dòng)態(tài)產(chǎn)生方 法不屬于本專(zhuān)利所述方法的范圍。
3.5本方法可以適用于移動(dòng)目標(biāo)的連續(xù)跟蹤，即選擇區(qū)域在短時(shí)間內(nèi)不斷進(jìn)行更新。 3.6本方法中歩驟1.1中所述的標(biāo)記方法目的在于為下一歩自動(dòng)計(jì)算云臺(tái)轉(zhuǎn)動(dòng)時(shí)間，
可以采用其他的類(lèi)似方法進(jìn)行標(biāo)記或直接測(cè)量云臺(tái)命令的持續(xù)時(shí)間。歩驟1.3中敘述的根
據(jù)云臺(tái)命令持續(xù)時(shí)間的初值和圖像大小，以及區(qū)域選擇的大小來(lái)推算區(qū)域選擇后云臺(tái)命令
持續(xù)時(shí)間的方法仍然有效。
3.7本方法假設(shè)云臺(tái)垂直轉(zhuǎn)動(dòng)的時(shí)間和水平轉(zhuǎn)動(dòng)的時(shí)間是一致的，對(duì)于這兩則不一致
的情況仍然適用，需要再測(cè)量云臺(tái)垂直轉(zhuǎn)動(dòng)的時(shí)間。


圖l視頻監(jiān)控系統(tǒng)基本構(gòu)成示意圖。
圖2數(shù)字網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)基本構(gòu)成示意圖。
圖3自動(dòng)視角配置的全景監(jiān)控系統(tǒng)示意圖。
圖4 (A)視頻服務(wù)器硬件結(jié)構(gòu)示意圖。
圖4 (B)監(jiān)控設(shè)備MTR硬件結(jié)構(gòu)示意圖。
圖4 (C)視頻服務(wù)器軟件結(jié)構(gòu)示意圖。
圖4 (D)監(jiān)控設(shè)備MTR上監(jiān)控中心軟件結(jié)構(gòu)示意圖。
圖5監(jiān)視器中看到的全景視頻監(jiān)控系統(tǒng)的場(chǎng)景示意圖。
圖6場(chǎng)景l(fā)中標(biāo)記左上邊角點(diǎn)(UL1)和右上邊角點(diǎn)(UR1)示意圖。
圖7場(chǎng)景1中標(biāo)記(UL1)正好落在場(chǎng)景0的中心示意圖。
圖8場(chǎng)景1中標(biāo)記(UR1)正好落在場(chǎng)景0的中心示意圖。
圖9場(chǎng)景O變焦至最大倍數(shù)的示意圖。
圖10場(chǎng)景O變焦至最大倍數(shù)時(shí)所顯示的區(qū)域在場(chǎng)景1中的位置示意圖。 圖11場(chǎng)景1中的UZ1標(biāo)記位于場(chǎng)景0中心位置示意圖。 圖12 (A)用戶(hù)在場(chǎng)景n中選擇某個(gè)區(qū)域的示意圖。 圖12 (B)用戶(hù)在場(chǎng)景m中選擇某個(gè)區(qū)域的示意圖。 圖13場(chǎng)景m復(fù)位示意圖。
圖14根據(jù)公式1 (公式2)計(jì)算出的時(shí)間進(jìn)行水平移動(dòng)后，場(chǎng)景m在場(chǎng)景0中的顯示示意圖。
圖15根據(jù)公式3 (公式4)計(jì)算出的時(shí)間進(jìn)行垂直移動(dòng)后，場(chǎng)景m在場(chǎng)景0中的顯 示示意圖。
圖16根據(jù)公式5 (公式6)計(jì)算出的時(shí)間進(jìn)行變焦放大后，用戶(hù)選擇區(qū)域在場(chǎng)景0中 的顯示示意圖。
圖17 VACC運(yùn)行流程示意圖。 圖18 VACS運(yùn)行流程示意圖。
具體實(shí)施例方式
(1) 選擇攝像機(jī)CAMO:該攝像機(jī)必須為帶有云臺(tái)YT并具有一定倍數(shù)的放大/縮小 功能。本示范中使用的為長(zhǎng)春佶達(dá)實(shí)業(yè)有限公司生產(chǎn)的球機(jī)，型號(hào)為SK-12X520C6QZ。
(2) 選擇攝像機(jī)CAM1-CAM8:這些攝像機(jī)為普通攝像機(jī)。
(3) 視頻服務(wù)器VS:服務(wù)器VS1具有八個(gè)視頻輸入接口，服務(wù)器VS2具有1個(gè)視 頻輸入接口和一個(gè)云臺(tái)控制信號(hào)輸出端口，兩個(gè)服務(wù)器均帶有網(wǎng)絡(luò)端口。本示范中使用上 海天衛(wèi)通信科技有限公司生產(chǎn)的視頻服務(wù)器，型號(hào)為SkyeweCH08 vl.O以及SkyeweCHO
VI.1。視頻服務(wù)器采用Linux操作系統(tǒng)，版本2.4。
(4) 監(jiān)控設(shè)備本示范中采用運(yùn)行WindowsXP操作系統(tǒng)的PC機(jī)，上面安裝上海天 衛(wèi)監(jiān)控中心軟件CameraStation vl.l ，該軟件包含視角自動(dòng)配置系統(tǒng)軟件VACC。
(5) 服務(wù)器軟件為本發(fā)明中所述的視角自動(dòng)配置系統(tǒng)VACS。
(6) 安裝按圖4 (A)和4 (C)所示，連接CAM1、 CAM2、及視頻服務(wù)器，裝置 本發(fā)明的視角自動(dòng)配置系統(tǒng)VACS系統(tǒng)至視頻服務(wù)器。
(7) 使用在PC機(jī)上運(yùn)行CameraStation,即可演示本發(fā)明所述的全部功能。
權(quán)利要求
1. 一種全景視頻監(jiān)控中的視角自動(dòng)配置系統(tǒng)和方法，其特征在于由多個(gè)攝像機(jī)(CAM1-CAMn)、另一攝像機(jī)(CAM0)、視頻服務(wù)器1(VS1)、視頻服務(wù)器2(VS2)、傳輸網(wǎng)絡(luò)(NET)和監(jiān)視設(shè)備(MTR)組成；其中，攝像機(jī)(CAM0)為帶有可以水平0-360°(但不局限于此)、垂直0-180°(但不局限于此)轉(zhuǎn)動(dòng)的云臺(tái)(YT)；視頻服務(wù)器(VS1)可以同時(shí)接入多路攝像機(jī)信號(hào)，攝像機(jī)(CAM1-CAMn)的視頻信號(hào)分別接入視頻服務(wù)器(VS1)的端口(C1)至端口(Cn)，攝像機(jī)(CAM0)的視頻信號(hào)接入視頻服務(wù)器2(VS2)的端口(C0)，攝像機(jī)(CAM0)的云臺(tái)(YT)接入視頻服務(wù)器2(VS2)的端口(K1)，端口(K1)的輸出信號(hào)控制云臺(tái)(YT)的運(yùn)動(dòng)；視頻服務(wù)器1(VS1)和視頻服務(wù)器2(VS2)把攝像機(jī)傳輸來(lái)的模擬圖像信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)，并壓縮成某種數(shù)據(jù)格式，然后傳輸入傳輸網(wǎng)絡(luò)(NET)，傳輸網(wǎng)絡(luò)(NET)用于傳輸信號(hào)給監(jiān)控設(shè)備(MTR)；視頻服務(wù)器(VS1)和(VS2)由硬件和軟件組成，硬件包括中央處理單元CPU、存儲(chǔ)單元、及接口模塊；視頻服務(wù)器的軟件部分則由操作系統(tǒng)OS、設(shè)備驅(qū)動(dòng)軟件、應(yīng)用軟件及視角自動(dòng)配置系統(tǒng)(VACS)組成；監(jiān)控設(shè)備(MTR)由硬件和軟件組成，硬件包括中央處理單元CPU、存儲(chǔ)單元、及接口模塊，監(jiān)控設(shè)備(MTR)上運(yùn)行全景多攝像機(jī)監(jiān)控中心軟件，軟件包含視角自動(dòng)配置客戶(hù)端模塊(VACC)；
2、 根據(jù)權(quán)利要求1所述的全景視頻監(jiān)控中的視角自動(dòng)配置系統(tǒng)，其特征在于所述攝 像機(jī)(CAMl-CAMn)所拍攝到的場(chǎng)景的左上角標(biāo)記為(UL)，右上角標(biāo)記為(UR)，設(shè) 置標(biāo)記的方法不限。
3、 根據(jù)權(quán)利要求1所述的全景視頻監(jiān)控中的視角自動(dòng)配置系統(tǒng)和方法，其特征在于 所述視角自動(dòng)配置系統(tǒng)(VACS)為視頻服務(wù)器的視角自動(dòng)配置系統(tǒng)。
4、 全景視頻監(jiān)控中的視角自動(dòng)配置系統(tǒng)和方法，使用如權(quán)利要求3所述的視角自動(dòng) 配置系統(tǒng)和方法，其特征在于具體歩驟如下(l)手動(dòng)初始化歩驟(1.1) 調(diào)整攝像機(jī)CAMl-CAMn的方向與角度，使之能夠按照用戶(hù)的需要將視圖全 景地顯示在監(jiān)控設(shè)備MTR上；(1.2) 將攝像頭CAMO的變焦倍數(shù)設(shè)為最小，手動(dòng)調(diào)整攝像機(jī)CAMO的云臺(tái)，使得 場(chǎng)景1的左上邊角點(diǎn)(UL1)位于CAMO場(chǎng)景的中心位置，存下此時(shí)云臺(tái)的位置YT-UL1， 設(shè)為預(yù)置位l;重復(fù)以上歩驟，依次記錄2-n場(chǎng)景的左上云臺(tái)位置YT-ULn，并設(shè)成云臺(tái)的 預(yù)置位2-n。調(diào)整攝像機(jī)CAMO的云臺(tái)，使得場(chǎng)景l(fā)的右上邊角點(diǎn)(UR1)位于CAM0場(chǎng) 景的中心位置，存下此時(shí)云臺(tái)的位置YT-UR1，設(shè)為預(yù)置位n+l。(1.3)將攝像頭CAMO的變焦倍數(shù)設(shè)為最大，并使得場(chǎng)景l(fā)的左上邊角點(diǎn)(UL1)與 場(chǎng)景0的左上邊角點(diǎn)(UL0)重合。記下此時(shí)場(chǎng)景O上的右上邊角點(diǎn)(UR0)在場(chǎng)景l(fā)中 的位置，比如為UZ1，然后縮小CAMO的變焦倍數(shù)為最小，調(diào)整云臺(tái)使得UZ1位于場(chǎng)景0 的中央位置，將該位置設(shè)成云臺(tái)的預(yù)置位n+2。(2) 自動(dòng)初始化歩驟(2.1) VS1服務(wù)器中的自動(dòng)配置模塊VACS發(fā)送命令觸發(fā)云臺(tái)從預(yù)置位1移動(dòng)到預(yù)置 位n+l，并記錄所需的時(shí)間Ht，再觸發(fā)云臺(tái)從預(yù)置位l移動(dòng)到預(yù)置位n+2，并記錄所需時(shí) 間Zt;(2.2) VACS模塊發(fā)送命令驅(qū)動(dòng)云臺(tái)從最小變焦到最大變焦，并記錄所需時(shí)間Ft;(3) 自動(dòng)視角移動(dòng)實(shí)現(xiàn)方法假設(shè)上一次選擇區(qū)域?yàn)閳?chǎng)景n (1《nS8)中的區(qū)域l (rxl，ryl,rwl，rhl)，這次選擇區(qū)域 為場(chǎng)景m (1SmS8)中的區(qū)域2 (rx2，ry2,rw2,rh2)。初始狀態(tài)下，由于CAM0位于預(yù)置位1，而且變焦倍數(shù)為最小，所以相當(dāng)于初次的選 擇區(qū)域?yàn)閳?chǎng)景l(fā)中的區(qū)域(0， 0， 0， 0)，即！1=1， rxl=ryl=rwl=rhl=0。當(dāng)選擇了場(chǎng)景m (1SmS8)中的區(qū)域2 (rx2，ry2，rw2，rh2)時(shí)，監(jiān)控中心將把該參數(shù)以 及圖像的大小參數(shù)(vw， vh)發(fā)送給視頻服務(wù)器的VACS模塊，VACS模塊將驅(qū)動(dòng)云臺(tái)轉(zhuǎn) 動(dòng)和變焦，分兩種情況情況l: m與n相同，即選擇的區(qū)域在同一場(chǎng)景中，VACS模塊將驅(qū)動(dòng)CAMO執(zhí)行以 下歩驟(3.1) 水平移動(dòng)如果(rx2+rw2+2) > (rxl+rwl+2), VACS模塊發(fā)送水平右移指令，驅(qū)動(dòng)CAM0向右移 動(dòng)，指令持續(xù)時(shí)間tl通過(guò)如下算法得出tl = HtX(rx2+rw2+2-rxl-rwl +2)+vw否則，VACS模塊發(fā)送水平右移指令，驅(qū)動(dòng)CAMO向左移動(dòng)，指令持續(xù)時(shí)間tl通過(guò)如 下算法得出tl =HtX(rxl+rwl+2-rx2-rw2+2)+vw(3.2) 如果(ry2+rh2+2) > (ryl+rhl+2), VACS模塊發(fā)送垂直下移指令，驅(qū)動(dòng)CAM0 向下移動(dòng)，指令持續(xù)時(shí)間t2通過(guò)如下算法得出t2 = Ht+ (vw+vh) X(ry2+rh2+2-ryl-rhl+2)+vh 否則，VACS模塊發(fā)送垂直上移指令，驅(qū)動(dòng)CAMO向上移動(dòng)，指令持續(xù)時(shí)間t2通過(guò)如 下算法得出t2 = Ht+ (vw + vh) X(ryl+rhl+2-ry2-rh2 + 2) + vh該動(dòng)作完成后，用戶(hù)選擇區(qū)域的中心點(diǎn)將居于CAM0的場(chǎng)景中心； G.3)放大至全屏VACS模塊發(fā)送變焦指令驅(qū)動(dòng)CAMO變焦，初始狀態(tài)下(g卩，n=l， rxl=ryl=rwl=rhl=0)，指令持續(xù)時(shí)間t3通過(guò)如下算法得出 如果rh2X (vw + vh)>rw2，那么t3=FtX (vh + rh2-1) + (Ht + Zt-1)否則t3= FtX (vw + rw2-1) + (Ht + Zt-1) 該動(dòng)作完成后，用戶(hù)選擇區(qū)域?qū)⒈槐M可能的放大至CAMO的場(chǎng)景中
5、根據(jù)權(quán)利要求4所述的全景視頻監(jiān)控中的視角自動(dòng)配置系統(tǒng)和方法，其特征在于所述的視角自動(dòng)配置系統(tǒng)(VACS)運(yùn)行在視頻服務(wù)器中，視角自動(dòng)配置系統(tǒng)客戶(hù)端(VACC)運(yùn)行在監(jiān)控中心MTR上。^根據(jù)權(quán)利要求4所述的全景視頻監(jiān)控中的視角自動(dòng)配置系統(tǒng)和方法，其特征在于圖像大小信息(vw， vh)可以從VACC發(fā)送到VACS上，也可以在初始化時(shí)直接配置到VACS上。,根據(jù)權(quán)利要求4所述的全景視頻監(jiān)控中的視角自動(dòng)配置系統(tǒng)和方法，其特征在于 本方法也適合于不帶變焦功能的攝像機(jī)，只是在運(yùn)行過(guò)程中，歩驟3.3將被省略。
6、根據(jù)權(quán)利要求4所述的全景視頻監(jiān)控中的視角自動(dòng)配置系統(tǒng)和方法，其特征在于 選擇區(qū)域可以是用戶(hù)手動(dòng)在場(chǎng)景上選擇產(chǎn)生，也可以是由某個(gè)算法自動(dòng)產(chǎn)生，比如動(dòng)態(tài)目 標(biāo)追蹤算法生成的一個(gè)移動(dòng)中的區(qū)域。
7、根據(jù)權(quán)利要求4所述的全景視頻監(jiān)控中的視角自動(dòng)配置系統(tǒng)和方法，其特征在于 歩驟l中所述的標(biāo)記方法目的在于為下一歩自動(dòng)計(jì)算云臺(tái)轉(zhuǎn)動(dòng)時(shí)間，可以采用其他的類(lèi)似 方法進(jìn)行標(biāo)記或直接測(cè)量云臺(tái)命令的持續(xù)時(shí)間。歩驟3中敘述的根據(jù)云臺(tái)命令持續(xù)時(shí)間的 初值和圖像大小，以及區(qū)域選擇的大小來(lái)推算區(qū)域選擇后云臺(tái)命令持續(xù)時(shí)間的方法仍然有 效。
8、根據(jù)權(quán)利要求4所述的全景視頻監(jiān)控中的視角自動(dòng)配置系統(tǒng)和方法，其特征在于 云臺(tái)垂直轉(zhuǎn)動(dòng)的時(shí)間和水平轉(zhuǎn)動(dòng)的時(shí)間不一致的情況仍然適用，需要再測(cè)量云臺(tái)垂直轉(zhuǎn)動(dòng) 的時(shí)間。
9、根據(jù)權(quán)利要求l所述的全景視頻監(jiān)控中的視角自動(dòng)配置系統(tǒng)和方法，其特征在于 所述的視頻服務(wù)器l (VS1)與視頻服務(wù)器2 (VS2)可以是同一個(gè)視頻服務(wù)器。
10.根據(jù)權(quán)利要求l所述的全景視頻監(jiān)控中的視角自動(dòng)配置系統(tǒng)和方法，其特征在于所述的視頻服務(wù)器l (VS1)可以由更多的視頻服務(wù)器組成的復(fù)合視頻服務(wù)器。
11.<image>image see original document page 5</image>
12.<image>image see original document page 5</image>
13.根據(jù)權(quán)利要求l所述的全景視頻監(jiān)控中的視角自動(dòng)配置系統(tǒng)和方法，其特征在于 所述的視頻服務(wù)器l (VS1)可以為由具有相似主要功能的其他設(shè)備。
14.根據(jù)權(quán)利要求l所述的全景視頻監(jiān)控中的視角自動(dòng)配置系統(tǒng)和方法，其特征在于 所述的監(jiān)控設(shè)備是一臺(tái)電腦，也可以是具備相似功能的其他設(shè)備如手機(jī)。
15.根據(jù)權(quán)利要求l所述的全景視頻監(jiān)控中的視角自動(dòng)配置系統(tǒng)和方法，其特征在于 所述的攝像機(jī)CAMl-CAMn中的攝像機(jī)個(gè)數(shù)最小為1個(gè)。
16.根據(jù)權(quán)利要求l所述的全景視頻監(jiān)控中的視角自動(dòng)配置系統(tǒng)和方法，其特征在于 所述的攝像機(jī)CAMl-CAMn中的攝像機(jī)個(gè)數(shù)最大不限。
17.根據(jù)權(quán)利要求l所述的全景視頻監(jiān)控中的視角自動(dòng)配置系統(tǒng)和方^i，其特征在于 所述的攝像機(jī)CAM0與云臺(tái)YT可以是2個(gè)獨(dú)立的設(shè)備。
18.根據(jù)權(quán)利要求l所述的全景視頻監(jiān)控中的視角自動(dòng)配置系統(tǒng)和方法，其特征在于 所述的攝像機(jī)CAM0與云臺(tái)YT可以是1個(gè)合成的設(shè)備。
19.根據(jù)權(quán)利要求6所述的全景視頻監(jiān)控中的視角自動(dòng)配置系統(tǒng)和方法，其特征在于 所述的視角自動(dòng)配置系統(tǒng)(VACS)在收到視角配置的指令時(shí)，根據(jù)權(quán)利要求4所述的歩 驟3中所述的方法實(shí)現(xiàn)視角自動(dòng)配置。
全文摘要
本發(fā)明屬于信息與通信技術(shù)領(lǐng)域，具體涉及一種全景視頻監(jiān)控中的視角自動(dòng)配置系統(tǒng)和方法。該系統(tǒng)由多臺(tái)攝像機(jī)、和一臺(tái)帶云臺(tái)控制的目標(biāo)監(jiān)控?cái)z像機(jī)、視頻服務(wù)器、傳輸網(wǎng)絡(luò)和監(jiān)控中心組成，其中視頻服務(wù)器把攝像機(jī)傳輸來(lái)的模擬圖像信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)，傳輸給傳輸網(wǎng)絡(luò)，由監(jiān)控設(shè)備接收并顯示。本發(fā)明在服務(wù)器中將多臺(tái)攝像機(jī)組合用作全景監(jiān)視，通過(guò)在監(jiān)控設(shè)備上對(duì)這些攝像機(jī)場(chǎng)景的選擇，可以實(shí)現(xiàn)將某個(gè)選擇區(qū)域最大限度地自動(dòng)通過(guò)帶云臺(tái)的攝像機(jī)顯示到監(jiān)控設(shè)備上。該發(fā)明采用了目標(biāo)監(jiān)控?cái)z像機(jī)轉(zhuǎn)角與變焦度能夠直接對(duì)準(zhǔn)并放大全景圖中任意區(qū)域的自動(dòng)化配置方法，并以云臺(tái)預(yù)置位與命令觸發(fā)的持續(xù)時(shí)間來(lái)保證視角和放大倍數(shù)的自動(dòng)化，特別適合在國(guó)家與公共安全系統(tǒng)中有效地追蹤和定位運(yùn)動(dòng)目標(biāo)。
文檔編號(hào)H04N7/18GK101291428SQ200810043430
公開(kāi)日2008年10月22日 申請(qǐng)日期2008年5月30日 優(yōu)先權(quán)日2008年5月30日
發(fā)明者余建春, 兵 李, 震 蔡, 鄢仁祥 申請(qǐng)人:上海天衛(wèi)通信科技有限公司