本發(fā)明涉及圖像處理領(lǐng)域，具體涉及一種基于魚眼鏡頭攝像機(jī)的智能全景三維位置監(jiān)測裝置及監(jiān)控系統(tǒng)。

背景技術(shù)：

隨著信息技術(shù)、數(shù)據(jù)通信傳輸技術(shù)、電子傳感技術(shù)、計算機(jī)技術(shù)等技術(shù)的發(fā)展，智能交通系統(tǒng)日益受到各國重視，智能交通系統(tǒng)的發(fā)展，已不限于解決交通擁堵、交通事故、交通污染等問題。智能交通系統(tǒng)能有效地利用現(xiàn)有交通設(shè)施去減少交通負(fù)荷，保證交通安全，提高運(yùn)輸效率，為交通參與者提供多樣性服務(wù)，使人、車、路之間的相互作用關(guān)系以全新的方式呈現(xiàn)，智能交通系統(tǒng)是建立在完善的信息網(wǎng)絡(luò)基礎(chǔ)上的，通過傳感器、檢測器和傳輸設(shè)備等向交通信息中心傳遞道路上的實(shí)時交通信息，交通信息中心對傳輸進(jìn)來的數(shù)據(jù)進(jìn)行處理，根據(jù)處理后的信息對道路交通進(jìn)行測量、控制、勘測等。

在民航領(lǐng)域，隨著國民經(jīng)濟(jì)的快速發(fā)展，各大機(jī)場航空器的起降架次不斷增多，甚至達(dá)到或超出了設(shè)計的最大允許起降次數(shù)，造成跑道侵入事件等安全隱患時有發(fā)生，對航空安全帶來重大威脅。所以同樣需要一種可以在不改變原有設(shè)備的前提下可以對跑道上飛機(jī)行為進(jìn)行智能全方位監(jiān)測和預(yù)警的系統(tǒng)。

基于視頻檢測技術(shù)的智能交通系統(tǒng)，可以通過將攝像機(jī)安裝在路燈上或另外架設(shè)在道路或機(jī)場跑道上的攝像機(jī)來獲取道路交通視頻圖像。但是傳統(tǒng)的一般鏡頭，視場較小，使用較少的鏡頭難以拍攝得到大面積的視頻，而使用魚眼鏡頭攝像機(jī)，雖然可以獲得較大的視場，但是標(biāo)定難度較高，同時較為不便。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的第一目的在于，提供一種基于魚眼鏡頭攝像機(jī)的監(jiān)測裝置，安裝時就可以建立魚眼鏡頭與地面坐標(biāo)系的位姿關(guān)系，減少標(biāo)定成本，解決以上技術(shù)問題；

本發(fā)明的第二目的在于，提供一種基于魚眼鏡頭攝像機(jī)的智能全景三維監(jiān)測系統(tǒng)，安裝后可以直接標(biāo)定相鄰檢測裝置上魚眼鏡頭攝像機(jī)的相對位姿關(guān)系。

本發(fā)明所解決的技術(shù)問題可以采用以下技術(shù)方案來實(shí)現(xiàn)：

為了實(shí)現(xiàn)本發(fā)明的第一目的，提供一種基于魚眼鏡頭攝像機(jī)的智能全景三維監(jiān)測系統(tǒng)，包括殼體以及魚眼鏡頭攝像機(jī)，

所述殼體內(nèi)部設(shè)置有慣性傳感器以及核心處理模塊、無線傳輸模塊，所述慣性傳感器包括所述三軸陀螺模塊、所述磁力計模塊、所述三軸加速度計模塊，所述慣性傳感器固定于所述殼體內(nèi)部，所述慣性傳感器模塊與所述魚眼鏡頭攝像機(jī)之間有第一相對位姿關(guān)系，

所述三軸陀螺模塊用于確定所述慣性傳感器于大地坐標(biāo)系中的第一絕對姿態(tài)；

所述磁力計模塊用于確定所述慣性傳感器于大地坐標(biāo)系北向的第一方向關(guān)系；

所述三軸加速度計模塊用于確定所述慣性傳感器與大地坐標(biāo)系的水平面的第一傾斜關(guān)系；

所述處理模塊配置有第一策略，所述第一策略根據(jù)所述第一絕對位姿、所述第一方向關(guān)系以及所述第一傾斜關(guān)系得到所述慣性傳感器與所述大地坐標(biāo)系中的第二相對位姿關(guān)系；

所述處理模塊配置有第二策略，所述第二策略根據(jù)所述第一相對位姿關(guān)系以及第二相對位姿關(guān)系得到所述魚眼鏡頭攝像機(jī)于大地坐標(biāo)系中的第三位姿關(guān)系；

每一所述監(jiān)測裝置的所述殼體內(nèi)部分別設(shè)置有GPS模塊，所述GPS模塊用于接收GPS位置信息和GPS時間信息；

所述監(jiān)測裝置根據(jù)其接收的GPS位置信息確立對應(yīng)的絕對位置；

所述監(jiān)測裝置根據(jù)其接收的GPS時間信息建立對應(yīng)的時間基準(zhǔn)。

為了實(shí)現(xiàn)本發(fā)明的第二目的，提供一種基于魚眼鏡頭攝像機(jī)的智能全景三維監(jiān)測系統(tǒng)，其特征在于，包括有至少兩個相鄰設(shè)置的上述的基于魚眼鏡頭攝像機(jī)的監(jiān)測裝置，所述智能全景三維監(jiān)測系統(tǒng)配置有第三策略，所述第三策略分別根據(jù)每一所述魚眼鏡頭攝像機(jī)與地面坐標(biāo)系中的第三位姿關(guān)系，得到相鄰的所述魚眼鏡頭攝像機(jī)的相對位姿關(guān)系。

進(jìn)一步地，所述監(jiān)測裝置還包括無線模塊，相鄰的所述監(jiān)測裝置通過所述無線模塊完成組網(wǎng)。

進(jìn)一步地，還包括一校驗(yàn)車，所述校驗(yàn)車設(shè)置有一預(yù)標(biāo)定校驗(yàn)圖形；所述智能全景三維監(jiān)測系統(tǒng)配置有第四策略，所述第四策略包括當(dāng)所述校驗(yàn)車運(yùn)動時，相鄰的所述監(jiān)測裝置同步采集預(yù)標(biāo)定校驗(yàn)圖形以修正對應(yīng)的所述相對位姿關(guān)系。

進(jìn)一步地，還包括一校驗(yàn)車，所述校驗(yàn)車設(shè)置有一預(yù)標(biāo)定校驗(yàn)圖形；所述智能全景三維監(jiān)測系統(tǒng)配置有第五策略，所述第五策略包括當(dāng)所述校驗(yàn)車運(yùn)動時，所述監(jiān)測裝置采集預(yù)標(biāo)定校驗(yàn)圖形以修正對應(yīng)的所述預(yù)標(biāo)定內(nèi)參數(shù)。

進(jìn)一步地，還包括處理中心，每一監(jiān)測裝置通過無線模塊與所述處理中心通訊以傳輸所述監(jiān)測裝置采集的圖像數(shù)據(jù)；所述處理中心接收圖像數(shù)據(jù)并根據(jù)所述相對位姿關(guān)系拼接對應(yīng)的相鄰監(jiān)測裝置采集的圖像數(shù)據(jù)形成第一圖像數(shù)據(jù)。

進(jìn)一步地，所述處理中心配置有第六策略，所述第六策略根據(jù)所述相對位姿關(guān)系計算獲得所述第一圖像數(shù)據(jù)中任一特征點(diǎn)的深度值。

進(jìn)一步地，所述監(jiān)測裝置還設(shè)置有結(jié)構(gòu)光投射器。

進(jìn)一步地，當(dāng)目標(biāo)同時位于多個相鄰監(jiān)測裝置視場中時，所述處理中心配置有第七策略，所述第七策略根據(jù)多個監(jiān)測裝置的三角定位結(jié)果進(jìn)行平差。

進(jìn)一步地，當(dāng)用于平面道路監(jiān)測時，所述處理中心配置有第七策略，所述第七策略利用道路的平面約束。

有益效果：由于采用以上技術(shù)方案，系統(tǒng)主體由多個獨(dú)立的監(jiān)測裝置和專用的標(biāo)校車組成。與傳統(tǒng)的圖像監(jiān)測系統(tǒng)在安裝完成后需要進(jìn)行標(biāo)定的方式不同，本發(fā)明中設(shè)計的監(jiān)測裝置只需安裝并固定在普通的路燈或直接固定在機(jī)場跑道上即可，而無需進(jìn)行復(fù)雜的專業(yè)的標(biāo)定工作，從而大大提高了系統(tǒng)的便捷性和實(shí)用性。

附圖說明

圖1為本發(fā)明實(shí)施例1的監(jiān)測裝置結(jié)構(gòu)示意圖；

圖2為本發(fā)明實(shí)施例2中的小車標(biāo)定場景圖；

圖3為本發(fā)明實(shí)施例3中的小車標(biāo)定場景圖；

圖4為本發(fā)明實(shí)施流程圖。

附圖標(biāo)記：1、魚眼鏡頭攝像機(jī)；2、差分GPS模塊；3、三軸陀螺模塊；4、磁力計模塊；5、加速度計模塊；6、無線通訊模塊；7、電源模塊；8、結(jié)構(gòu)光投射器；9、處理模塊；10、殼體。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動的前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。需要說明的是，在不沖突的情況下，本發(fā)明中的實(shí)施例及實(shí)施例中的特征可以相互組合。

下面結(jié)合附圖和具體實(shí)施例對本發(fā)明作進(jìn)一步說明，但不作為本發(fā)明的限定。

實(shí)施例1為監(jiān)控裝置，首先，參照圖1所述，一種基于魚眼鏡頭攝像機(jī)1的智能全景三維監(jiān)測系統(tǒng)，包括殼體10以及魚眼鏡頭攝像機(jī)1。

所述殼體10內(nèi)部設(shè)置有慣性傳感器以及核心處理模塊9、無線傳輸模塊，所述慣性傳感器包括所述三軸陀螺模塊3、所述磁力計模塊4、所述三軸加速度計模塊5，所述慣性傳感器固定于所述殼體10內(nèi)部，所述慣性傳感器模塊與所述魚眼鏡頭攝像機(jī)1之間有第一相對位姿關(guān)系，

所述三軸陀螺模塊3配置有表示所述慣性傳感器所在位置的第一絕對位姿；

所述磁力計模塊4用于確定所述慣性傳感器于大地坐標(biāo)系的水平面上的第一方向關(guān)系；

所述三軸加速度計模塊5用于確定所述慣性傳感器與大地坐標(biāo)系的水平面的第一傾斜關(guān)系；

所述處理模塊9配置有第一策略，所述第一策略根據(jù)所述三軸陀螺模塊3的所述第一絕對位姿、所述第一方向關(guān)系以及所述第一傾斜關(guān)系得到所述慣性傳感器于一地面與所述大地坐標(biāo)系中的第二相對位姿關(guān)系；

所述處理模塊9配置有第二策略，所述第二策略根據(jù)所述第一相對位姿關(guān)系以及第二相對位姿關(guān)系得到所述魚眼鏡頭攝像機(jī)1于地面坐標(biāo)系中的第三位姿關(guān)系。

所述監(jiān)測裝置設(shè)置有溫控器、散熱裝置以及散熱孔，所述溫控器根據(jù)環(huán)境溫度驅(qū)動散熱裝置工作。每一所述監(jiān)測裝置的所述殼體10內(nèi)部分別設(shè)置有差分GPS模塊2，所述差分GPS模塊2用于接收GPS時間信息；所述監(jiān)測裝置根據(jù)其接收的GPS時間信息建立對應(yīng)的時間基準(zhǔn)。所述監(jiān)測裝置還設(shè)置有結(jié)構(gòu)光投射器。

參照圖1所示，智能全景三維監(jiān)測單元的組成結(jié)構(gòu)如圖2所示，單個監(jiān)測裝置主要包括魚眼鏡頭攝像機(jī)1、差分GPS模塊2、三軸陀螺模塊3、磁力計模塊4、加速度計模塊5、無線通訊模塊6、電源模塊7、結(jié)構(gòu)光投射器8、處理模塊9，殼體10。其中，殼體10是上述各個模塊的，它的外部固定魚眼鏡頭攝像機(jī)1，殼體10內(nèi)部固定有差分GPS模塊2、三軸陀螺模塊3、磁力計模塊4、加速度計模塊5、無線通訊模塊6、電源模塊7、結(jié)構(gòu)光投射器8、智能核心處理器模塊。如圖1所示，魚眼攝像頭向下設(shè)置并安裝，用來拍攝路面。由于本裝置需要長期暴露在室外，因此需要添加特別的防護(hù)單元，防護(hù)單元包含一個防護(hù)外殼以及溫控器，防護(hù)外殼安裝在三維重建成像系統(tǒng)外殼外面，作為優(yōu)選的，在防護(hù)外殼的一側(cè)安裝一個溫控器，在右側(cè)開設(shè)散熱裝置以及散熱孔。由于魚眼攝像頭具有較廣闊的實(shí)業(yè)，本發(fā)明優(yōu)選視場角為210度的魚眼攝像頭，可以用來獲取大視場范圍內(nèi)的監(jiān)測視頻信息，大大降低智能交通系統(tǒng)的成本。

而接下來對監(jiān)測裝置的功能原理進(jìn)行解釋，魚眼鏡頭攝像機(jī)1用來拍攝道路或機(jī)場跑道視頻圖像，差分GPS模塊2用來測量基線長度以及提供相鄰像機(jī)間的時間同步，三軸陀螺模塊3、磁力計模塊4、加速度計模塊5用來標(biāo)定相鄰魚眼像機(jī)的位姿關(guān)系，無線通訊模塊6用來傳輸視頻圖像至交通信息中心，方便交通信息中心對視頻圖像的監(jiān)管，電源模塊7用來提供系統(tǒng)裝置電源；結(jié)構(gòu)光投射器8為優(yōu)選方式，用于對精度要求高的場合，結(jié)構(gòu)光投射器8作為專門的光源可以提供目標(biāo)物體周圍的照明，在沒有外界光源或外界光源不足的條件下，魚眼攝像機(jī)也能工作，在有外界光源的條件下，結(jié)構(gòu)光能增強(qiáng)立體信息，從而使魚眼攝像機(jī)獲得的三維深度圖像更加精確，因此，在實(shí)際應(yīng)用當(dāng)中，可以根據(jù)具體的環(huán)境，來選擇是否使用結(jié)構(gòu)光投射器8。處理模塊9，用來實(shí)現(xiàn)所有模塊的控制和數(shù)據(jù)的處理。

本發(fā)明的優(yōu)勢即為只需將本發(fā)明裝置固定安裝在路燈上即可完成測量任務(wù)，固定安裝之后各監(jiān)測裝置的排列關(guān)系以及內(nèi)外部參數(shù)為固定的，其中，各監(jiān)測裝置的內(nèi)參與實(shí)際使用時的安裝操作無關(guān)，需要在出廠時進(jìn)行統(tǒng)一的初標(biāo)，或者當(dāng)設(shè)計條件優(yōu)良時也可統(tǒng)一采用理論值，也就是說，每一監(jiān)測裝置的預(yù)標(biāo)定內(nèi)參數(shù)已知，而監(jiān)測裝置的外參由于與實(shí)際的安裝相關(guān)，所以無法事先確定，需要利用特定的技術(shù)手段進(jìn)行自動標(biāo)定。這樣，在后續(xù)對拍攝的視頻圖像進(jìn)行處理時，就可以地將不同魚眼像機(jī)獲得的目標(biāo)信息投影到共同坐標(biāo)系下，而這個共同坐標(biāo)系，在本發(fā)明中選為地面坐標(biāo)系，無論安裝位置如何變化，地面坐標(biāo)系是不會發(fā)生改變的，從而實(shí)現(xiàn)三維測量的目的。

預(yù)標(biāo)定內(nèi)參數(shù)的獲得，在監(jiān)測裝置安裝前，需要首先分別對每個監(jiān)測裝置的內(nèi)參進(jìn)行標(biāo)定，尤其是監(jiān)測裝置中魚眼攝像機(jī)的標(biāo)定。魚眼攝像機(jī)的內(nèi)參標(biāo)定方法有多種，比如模型法，Ocam法等，在此不做贅述。其中模型法首先需要標(biāo)定出魚眼鏡頭的投影方法，幾種常見投影方法有體視投影、等距投影、等立體角投影、正交投影等，此外，還需要標(biāo)定出成像半徑以及成像中心坐標(biāo)(c_x,c_y)。而對于Ocam標(biāo)定法，則需要標(biāo)定出擬合假想曲面的多項式系數(shù)，成像中心坐標(biāo)(c_x,c_y)以及仿射變換系數(shù)獲得預(yù)先標(biāo)定內(nèi)參數(shù)。

為了對監(jiān)測裝置的外參進(jìn)行自動標(biāo)定，本發(fā)明通過借助GPS模塊、陀螺模塊、磁力計模塊4以及加速度計模塊5來間接的對監(jiān)測裝置的外參進(jìn)行標(biāo)定，這就需要事先標(biāo)定出這些模塊自身坐標(biāo)系與魚眼攝像機(jī)坐標(biāo)系之間的關(guān)系?？梢酝ㄟ^采用類似于機(jī)器人手眼標(biāo)定的方法，通過多次轉(zhuǎn)動監(jiān)測裝置裝置(并靜置一段時間，以通過取平均值來消除測量噪聲的影響)的方法，標(biāo)定出魚眼攝像機(jī)坐標(biāo)系與陀螺組坐標(biāo)系之間的關(guān)系，也就是第一相對位姿，再通過陀螺組與磁力計的數(shù)據(jù)獲得三軸陀螺模塊3與磁北極的位姿關(guān)系，通過三軸陀螺模塊3與重力加速度計數(shù)據(jù)獲得三軸陀螺模塊3與水平面的位姿關(guān)系，即可以獲得陀螺儀坐標(biāo)系與大地坐標(biāo)系之間的關(guān)系，也就是第二相對位姿，將大地坐標(biāo)系作為基準(zhǔn)坐標(biāo)系，就可以得到魚眼鏡頭攝像機(jī)1相對于大地坐標(biāo)系的第三相對位姿，就可以間接計算出相鄰監(jiān)測裝置的陀螺組之間的位姿關(guān)系，從而可以獲得相鄰兩個魚眼攝像機(jī)的相對位姿關(guān)系。

另，GPS實(shí)現(xiàn)相鄰監(jiān)測裝置之間的時間同步，從而達(dá)到所有檢測裝置時間同步的目的。同步控制模塊通過定期與接收的GPS時間對比進(jìn)行校正，在每一個PPS脈沖邊沿，把接收到的定位數(shù)據(jù)(包括時間)和交通信息中心的系統(tǒng)時間對應(yīng)起來。這樣，交通信息中心的系統(tǒng)時間就可以和GPS的UTC時間對應(yīng)，每個三維重建成像系統(tǒng)都和GPS的基準(zhǔn)時間對應(yīng)，則整個系統(tǒng)的時間就可以對應(yīng)起來，即可完成不同魚眼攝像機(jī)之間的同步。

在實(shí)施例2中，一種基于魚眼鏡頭攝像機(jī)1的智能全景三維監(jiān)測系統(tǒng)，其特征在于，包括有至少兩個相鄰設(shè)置的上述的基于魚眼鏡頭攝像機(jī)1的監(jiān)測裝置，所述智能全景三維監(jiān)測系統(tǒng)配置有第三策略，所述第三策略分別根據(jù)每一所述魚眼鏡頭攝像機(jī)1于地面坐標(biāo)系中的第三位姿關(guān)系，得到相鄰的所述魚眼鏡頭攝像機(jī)1的相對位姿關(guān)系。差分GPS模塊2可以確定相鄰的魚眼鏡頭攝像機(jī)1的相對位置。所述監(jiān)測裝置還包括無線模塊，相鄰的所述裝置通過所述無線模塊完成組網(wǎng)。還包括處理中心，每一監(jiān)測裝置通過無線模塊與所述處理中心通訊以傳輸所述監(jiān)測裝置采集的圖像數(shù)據(jù)；所述處理中心接收圖像數(shù)據(jù)并根據(jù)所述相對位姿關(guān)系拼接對應(yīng)的相鄰監(jiān)測裝置采集的圖像數(shù)據(jù)形成第一圖像數(shù)據(jù)。安裝本系統(tǒng)裝置，保證監(jiān)測區(qū)域中的點(diǎn)能同時被兩個魚眼鏡頭攝像機(jī)拍攝到，并獲取道路或機(jī)場跑道視頻圖像。

處理中心配置算法用于深度學(xué)習(xí)，深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個新的研究領(lǐng)域，它試圖通過讓計算機(jī)模擬人腦感知視覺信號的機(jī)制，進(jìn)而設(shè)計深層的網(wǎng)絡(luò)來實(shí)現(xiàn)視覺的功能。深度學(xué)習(xí)可以無監(jiān)督地從數(shù)據(jù)中學(xué)習(xí)到特征，因此，當(dāng)樣本足夠大時，通過深度網(wǎng)絡(luò)學(xué)習(xí)到的特征往往具有一定的語義特征，適合用于目標(biāo)的識別、跟蹤，行為分析等等。深度學(xué)習(xí)的優(yōu)點(diǎn)在于模型的表達(dá)能力強(qiáng)，能更好地處理目標(biāo)識別、行為分析等比較復(fù)雜的問題，學(xué)習(xí)到更加復(fù)雜的函數(shù)關(guān)系。本發(fā)明基于深度學(xué)習(xí)的目標(biāo)識別系統(tǒng)，通過采集和利用大量道路或機(jī)場跑道上的樣本(比如行人、車輛、飛機(jī)等)，訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，然后對無線傳輸模塊傳回的視頻圖像進(jìn)行目標(biāo)識別、跟蹤。

以下對第六策略進(jìn)行解釋說明，處理中心配置有第六策略，所述第六策略根據(jù)所述相對位姿關(guān)系計算獲得所述第一圖像數(shù)據(jù)中任一特征點(diǎn)的深度值。通過深度學(xué)習(xí)網(wǎng)絡(luò)對道路或機(jī)場跑道上的目標(biāo)進(jìn)行識別分類，然后提取我們感興趣的目標(biāo)進(jìn)行三維重建。獲得行人、車輛的三維信息或深度信息具有重要意義，比如用來檢測、勘測交通事故、違規(guī)現(xiàn)象等。

本發(fā)明根據(jù)三角測量法來推斷出目標(biāo)的每個特征點(diǎn)的深度。魚眼攝像機(jī)標(biāo)定之后，我們可以得到每個攝像機(jī)的投影矩陣P，設(shè)一對特征點(diǎn)匹配對的坐標(biāo)分別為(x_i,y_i)、(x_j,y_j)，根據(jù)三角測量法有：

同理，X為橫坐標(biāo)值，Y為縱坐標(biāo)值，而p_ij(i,j為1-3)則代表對應(yīng)標(biāo)號的投影矩陣，坐標(biāo)點(diǎn)(x_j,y_j)也可以得到一組方程，令W＝1，用常規(guī)的最小二乘法求解即可計算出特征點(diǎn)的三維坐標(biāo)值，其中Z值即為該特征點(diǎn)的深度值，最終我們可以獲得感興趣目標(biāo)的三維信息。

當(dāng)內(nèi)參的事先標(biāo)定和外參的自動標(biāo)定完成后，為了進(jìn)一步提高測量精度，也為了對標(biāo)定結(jié)果定期修正，可以在三維監(jiān)測裝置安裝完成后，通過在路面上開行特定的標(biāo)定檢校車來對所標(biāo)定的結(jié)果進(jìn)行檢校修正，檢校車的頂部為已知幾何物理關(guān)系的平面或立體標(biāo)志物，如圖2-3所示。所述系統(tǒng)還包括一校驗(yàn)車，所述校驗(yàn)車設(shè)置有一預(yù)標(biāo)定校驗(yàn)圖形；所述智能全景三維監(jiān)測系統(tǒng)配置有第四策略，所述第四策略包括當(dāng)所述校驗(yàn)車運(yùn)動時，相鄰的所述監(jiān)測裝置同步采集預(yù)標(biāo)定校驗(yàn)圖形以修正對應(yīng)的所述相對位姿關(guān)系。還包括一校驗(yàn)車，所述校驗(yàn)車設(shè)置有一預(yù)標(biāo)定校驗(yàn)圖形；所述智能全景三維監(jiān)測系統(tǒng)配置有第五策略，所述第五策略包括當(dāng)所述校驗(yàn)車運(yùn)動時，所述監(jiān)測裝置采集預(yù)標(biāo)定校驗(yàn)圖形以修正對應(yīng)的所述預(yù)標(biāo)定內(nèi)參數(shù)。

還包括處理中心，每一監(jiān)測裝置通過無線傳輸模塊與所述處理中心通信以傳輸所述監(jiān)測裝置采集的圖像數(shù)據(jù)、位置數(shù)據(jù)、姿態(tài)數(shù)據(jù)；所述處理中心接收各監(jiān)測裝置的圖像數(shù)據(jù)、位置數(shù)據(jù)、姿態(tài)數(shù)據(jù)、監(jiān)測裝置ID數(shù)據(jù)并根據(jù)所述相鄰監(jiān)測裝置間的相對位姿關(guān)系利用三角定位方法求解公共視場內(nèi)同名目標(biāo)的三維空間位置。當(dāng)目標(biāo)同時位于多個(大于2個)相鄰監(jiān)測裝置視場中時，所述處理中心配置有第六策略，所述第六策略根據(jù)多個監(jiān)測裝置的三角定位結(jié)果進(jìn)行平差，從而提高測量精度。當(dāng)用于平面道路監(jiān)測時，所述處理中心配置有第七策略，所述第七策略利用道路的平面約束，進(jìn)一步提高測量精度。

以下對小車標(biāo)定的原理進(jìn)行說明，通過上述過程獲得的相鄰魚眼攝像機(jī)的位姿關(guān)系可能存在一定誤差，或者標(biāo)定數(shù)據(jù)由于外界環(huán)境的影響有了緩慢的變化(例如由于四季變換而產(chǎn)生的溫度變化引起的熱脹冷縮等)，因此需要對監(jiān)測裝置進(jìn)行進(jìn)一步的修正。

在校驗(yàn)車上搭載一塊平面標(biāo)定板，通過同步控制模塊對處于相鄰魚眼攝像機(jī)公共視場內(nèi)的校驗(yàn)車進(jìn)行成像，則兩個相鄰魚眼攝像頭的位姿關(guān)系可以通過以下方法進(jìn)行修正：

假設(shè)P＝[X Y 0 1]^T為平面目標(biāo)的齊次世界坐標(biāo),p＝[u v 1]^T為對應(yīng)的目標(biāo)像點(diǎn)齊次坐標(biāo)，為魚眼攝像機(jī)內(nèi)參數(shù)矩陣，R為像機(jī)坐標(biāo)系相對于世界坐標(biāo)系的旋轉(zhuǎn)矩陣，t為像機(jī)坐標(biāo)系相對于世界坐標(biāo)系的平移向量，由透視投影模型可知：

sp＝K[R t]P

(1)

進(jìn)一步可以得到：

其中，K為事先標(biāo)定的魚眼攝像機(jī)內(nèi)參矩陣，對于每個特征點(diǎn)都可以獲得上述等式，因此多個特征點(diǎn)就可以獲得多個等式，最終，根據(jù)校驗(yàn)車上的平面標(biāo)定板的特征點(diǎn)，可以求出[r₁ r₂ t]，即可達(dá)到對R和t進(jìn)行修正的目的，多個相鄰監(jiān)測裝置之間還可以通過聯(lián)合平差的方法進(jìn)一步提高修正的精度。

實(shí)施例2應(yīng)用于安裝在高速公路兩旁，用來勘測該地區(qū)的交通狀況。將本發(fā)明系統(tǒng)固定在高速公路兩旁的路燈上，并對魚眼攝像機(jī)進(jìn)行標(biāo)定。拍攝高速公路的視頻圖像，并通過無線傳輸模塊實(shí)時傳回交通信息處理中心。用本專利方法對傳輸回來的視頻圖像進(jìn)行處理和分析。輸出處理結(jié)果，實(shí)現(xiàn)對道路交通進(jìn)行勘測、監(jiān)測，對交通個體識別、跟蹤以及行為分析等目的。

實(shí)施例3應(yīng)用于安裝在機(jī)場跑道兩旁的指示燈上，用來監(jiān)測機(jī)場區(qū)域的各類飛行器起降、機(jī)場跑道非正常目標(biāo)的侵入等。將本發(fā)明系統(tǒng)固定在機(jī)場跑道兩旁的指示燈或其他合適的地方，并對魚眼攝像機(jī)進(jìn)行標(biāo)定。拍攝機(jī)場區(qū)域的視頻圖像，并通過無線傳輸模塊實(shí)時傳回交通信息處理中心。對傳輸回來的視頻圖像進(jìn)行處理和分析。輸出處理結(jié)果，實(shí)現(xiàn)對機(jī)場起降區(qū)域進(jìn)行勘測、監(jiān)測，對各類飛行器、人員、車輛等相關(guān)個體的識別、跟蹤以及行為分析等目的。

參照圖4所示，對本發(fā)明的監(jiān)測系統(tǒng)實(shí)施流程進(jìn)行介紹，

1、根據(jù)實(shí)際情況選擇對應(yīng)的功能模塊以及在交通信息處理中心以及檢測裝置內(nèi)通過程序預(yù)置算法；

2、對監(jiān)測裝置進(jìn)行內(nèi)參標(biāo)定工作，優(yōu)選采用Ocam法標(biāo)定出每個魚眼攝像機(jī)的內(nèi)參數(shù)；

3、將本裝置安裝在選定道路或機(jī)場跑道兩旁的路燈或桿體上；其中，用于道路交通監(jiān)測時攝像頭朝下安裝，用于機(jī)場跑道飛行器監(jiān)測時攝像頭朝上安裝；

4、利用無線通信的方式進(jìn)行相鄰監(jiān)測裝置連接組網(wǎng)；利用稀疏信號處理技術(shù)對各測量單元進(jìn)行智能休眠調(diào)度，達(dá)到節(jié)能、延長使用壽命的目的；

5、進(jìn)行外參標(biāo)定，標(biāo)定出魚眼攝像機(jī)和對應(yīng)的陀螺組的位姿關(guān)系，然后標(biāo)定出陀螺組與大地坐標(biāo)系之間的關(guān)系，從而可以間接獲得相鄰?fù)勇萁M坐標(biāo)系之間的關(guān)系，最終獲得相鄰魚眼攝像機(jī)之間的位姿關(guān)系；

6、利用校驗(yàn)車(車頂搭載一塊特定的平面標(biāo)定板)在道路或機(jī)場跑道上行駛一趟或多趟，各相鄰監(jiān)測裝置通過同步控制模塊對相鄰魚眼攝像機(jī)公共視場內(nèi)的校驗(yàn)車進(jìn)行成像，從而對前面標(biāo)定得到的內(nèi)參和外參進(jìn)行修正；

7、采集道路或機(jī)場跑道視頻圖像，通過無線傳輸模塊傳回交通信息處理中心，利用分析處理軟件對視頻圖像進(jìn)行分析；

8、對視頻圖像中的目標(biāo)進(jìn)行識別、分類、跟蹤算法；

9、對感興趣的目標(biāo)進(jìn)行特征提取并獲得相應(yīng)的特征點(diǎn)匹配對集合，三角測量法，獲得每個特征點(diǎn)的深度值，最終可以獲得感興趣目標(biāo)的三維信息。

以上所述僅為本發(fā)明較佳的實(shí)施例，并非因此限制本發(fā)明的實(shí)施方式及保護(hù)范圍，對于本領(lǐng)域技術(shù)人員而言，應(yīng)當(dāng)能夠意識到凡運(yùn)用本發(fā)明說明書及圖示內(nèi)容所作出的等同替換和顯而易見的變化所得到的方案，均應(yīng)當(dāng)包含在本發(fā)明的保護(hù)范圍內(nèi)。