本發(fā)明涉及一種多攝像頭拼接的全方位視覺裝置以及基于多傳感器的車載環(huán)境識別系統(tǒng)，屬于傳感器技術(shù)領(lǐng)域。

背景技術(shù)：

單目視覺可以進(jìn)行簡單的目標(biāo)跟蹤、目標(biāo)識別，但是并不能提供環(huán)境的深度信息。雙目視覺在單目視覺的基礎(chǔ)上實(shí)現(xiàn)了對深度信息的獲取，但是不能實(shí)時(shí)地進(jìn)行全方位的信息獲取。相對于傳統(tǒng)視覺傳感器在視場受限方面的不足，全方位視覺裝置可以實(shí)時(shí)獲取全方位的環(huán)境信息，在軍事應(yīng)用、公共安全、視頻會議以及位置環(huán)境的探測等方面發(fā)揮著積極的作用。多部成像裝置多角度同時(shí)拍攝是最容易想到的全方位圖像獲取的技術(shù)，相對于普通攝像機(jī)加旋轉(zhuǎn)云臺的方法存在延時(shí)、魚眼技術(shù)和折反射技術(shù)存在高畸變，多攝像頭拼接的全方位視覺裝置更加簡單可靠。目前多攝像頭拼接的全方位視覺裝置在多攝像頭的精確安裝、多幅圖像的無縫拼接等方面均存在不足，此外該裝置在垂直方向的視角受限也對全方位環(huán)境信息的獲取存在一定的影響。

隨著工作環(huán)境與任務(wù)的日益復(fù)雜，人們對智能系統(tǒng)的性能提出了更高的要求。單個(gè)傳感器在某一采樣時(shí)刻只能獲取一組數(shù)據(jù)，經(jīng)過處理得到的信息只能用來描述環(huán)境的局部特征，因此單靠一個(gè)傳感器往往無法滿足某些系統(tǒng)對魯棒性的要求。采用多傳感器融合可以對環(huán)境進(jìn)行更加全面準(zhǔn)確的描述，但是信息的冗余在提高系統(tǒng)魯棒性的同時(shí)伴隨著大量數(shù)據(jù)的產(chǎn)生，大量的數(shù)據(jù)計(jì)算處理無疑嚴(yán)重影響著系統(tǒng)的實(shí)時(shí)性，此外系統(tǒng)的功耗、資源占用率等都是需要考慮的問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供了一種全方位視覺模塊，其為多攝像頭拼接的全方位視覺裝置，解決了傳統(tǒng)視覺傳感器不能實(shí)時(shí)獲取全方位環(huán)境信息的問題。

以上目的是通過以下技術(shù)方案實(shí)現(xiàn)的：

一種全方位視覺模塊，包括：基座，圖像處理模塊，多組雙目攝像頭，與雙目攝像頭數(shù)量一致的攝像頭支架、步進(jìn)電機(jī)、俯仰電機(jī)支架；多組雙目攝像頭在水平方向均勻布置，每組雙目攝像頭通過一個(gè)攝像頭支架固定在基座外周上，每個(gè)步進(jìn)電機(jī)通過對應(yīng)的俯仰電機(jī)支架固定在基座上，每個(gè)攝像頭支架與對應(yīng)的步進(jìn)電機(jī)輸出軸固定連接，通過各個(gè)步進(jìn)電機(jī)控制對應(yīng)的雙目攝像頭進(jìn)行俯仰運(yùn)動獲取所觀測環(huán)境的全方位場景圖像；圖像處理模塊固定安裝在基座上，實(shí)時(shí)采集并處理各組雙目攝像頭獲取的場景圖像。

進(jìn)一步地，所述圖像處理模塊包括圖像采集單元、圖像拼接單元、雙目匹配單元、目標(biāo)識別單元；圖像采集單元實(shí)時(shí)采集所述各組雙目攝像頭獲取的各個(gè)方向的場景圖像并將圖像信息同時(shí)傳輸給圖像拼接單元、雙目匹配單元和目標(biāo)識別單元；圖像拼接單元將各個(gè)方向的場景圖像進(jìn)行一系列圖像預(yù)處理后拼接成一幅全景圖像；雙目匹配單元計(jì)算雙目攝像頭每幀獲取的兩幅圖像的視差，結(jié)合雙目視覺中的三角測量原理得到對應(yīng)的深度圖像；目標(biāo)識別單元通過訓(xùn)練樣本對分類器進(jìn)行訓(xùn)練，再利用訓(xùn)練好的分類器檢測所觀測場景中的樣本目標(biāo)。

進(jìn)一步地，所述圖像拼接單元的工作過程包括：

攝像頭標(biāo)定：預(yù)先校準(zhǔn)由于安裝設(shè)計(jì)產(chǎn)生的物理差異及攝相頭之間的物理差異，得到一致性好的圖像；圖像畸變校正：對導(dǎo)致圖像內(nèi)直線變彎曲的徑向畸變進(jìn)行校正操作；圖像投影變換：將不同角度拍攝的圖像進(jìn)行投影變換至同一投影面以便于拼接；匹配點(diǎn)選?。涸趫D像序列中尋找具有縮放不變性的SIFT特征點(diǎn)；圖像拼接：包括配準(zhǔn)與融合，將各個(gè)方向的場景圖像按一定規(guī)則拼接為一幅展開的全景圖；后處理：進(jìn)行圖像對亮度與顏色的均衡處理，以保證全景圖在整體上達(dá)到亮度與顏色的一致性。

進(jìn)一步地，所述雙目匹配單元的工作過程包括：

攝像頭標(biāo)定：通過攝像頭標(biāo)定獲取攝像頭的內(nèi)部參數(shù)與外部參數(shù)；代價(jià)計(jì)算以及圖像分割：通過互信息計(jì)算初始匹配代價(jià)，解決了由于光照變化引起的誤匹配現(xiàn)象；圖像分割使同一分割塊內(nèi)的視差具有平滑變化的特點(diǎn)，改善弱紋理區(qū)域和深度不連續(xù)區(qū)域出現(xiàn)的匹配精度問題；構(gòu)造全局能量函數(shù)：將代價(jià)計(jì)算以及圖像分割的信息融合起來提出全局能量函數(shù)E(d)＝E_data(d)+λE_smooth(d)；多方向代價(jià)聚合：從8或16個(gè)方向的一維路徑進(jìn)行動態(tài)規(guī)劃得到總的匹配代價(jià)；視差選擇：通過選擇使總的匹配代價(jià)最小的視差為每個(gè)像素點(diǎn)的視差，從而得到整幅圖像的初步視差圖。視差優(yōu)化：通過亞像素插值、中值濾波、左右一致性檢驗(yàn)進(jìn)行優(yōu)化處理得到視差圖，再經(jīng)過雙目視覺中的三角測量原理得到深度圖像。

進(jìn)一步地，所述目標(biāo)識別單元的工作過程包括：

通過訓(xùn)練樣本來訓(xùn)練分類器：對正樣本和負(fù)樣本進(jìn)行特征選擇和提取從而對原始數(shù)據(jù)進(jìn)行變換得到最能反映分類本質(zhì)的特征，進(jìn)而得到訓(xùn)練好的分類器；利用訓(xùn)練好的分類器進(jìn)行目標(biāo)檢測：用一個(gè)掃描子窗口在待檢測的圖像中不斷的移位滑動計(jì)算窗口區(qū)域的特征，并且通過訓(xùn)練好的分類器對該特征進(jìn)行篩選，最終得到所要的分類結(jié)果。

本發(fā)明同時(shí)提供一種基于多傳感器的車載環(huán)境識別系統(tǒng)，能夠獲取多種傳感數(shù)據(jù)信息，并通過硬件處理器并行計(jì)算處理數(shù)據(jù)信息，解決了單個(gè)傳感器獲取信息少、系統(tǒng)魯棒性低、實(shí)時(shí)性差等問題。

以上目的是通過以下技術(shù)方案實(shí)現(xiàn)的：

一種基于多傳感器的車載環(huán)境識別系統(tǒng)，包括全方位視覺模塊、IMU模塊、GPS模塊、雷達(dá)模塊和數(shù)據(jù)融合模塊，全方位視覺模塊、IMU模塊、GPS模塊、雷達(dá)模塊分別與數(shù)據(jù)融合模塊通訊連接；全方位視覺模塊用于獲取車輛周圍360度范圍內(nèi)的環(huán)境三維信息；IMU模塊用于獲取車輛的加速度與角速度信息；GPS模塊與IMU模塊聯(lián)合工作，獲取車輛的位置和姿態(tài)信息；雷達(dá)模塊用于獲取車輛前方的目標(biāo)位置信息，并且具有全天候、全天時(shí)的特點(diǎn)；數(shù)據(jù)融合模塊用于對各傳感器模塊所獲取的環(huán)境信息進(jìn)行融合，實(shí)現(xiàn)對車輛行駛環(huán)境更加準(zhǔn)確的識別。

進(jìn)一步地，所述數(shù)據(jù)融合模塊包括數(shù)據(jù)采集單元、數(shù)據(jù)存儲單元、硬件處理器，數(shù)據(jù)采集單元采集上述各個(gè)傳感器模塊傳輸過來的數(shù)據(jù)并傳輸給數(shù)據(jù)存儲單元；數(shù)據(jù)存儲單元對數(shù)據(jù)進(jìn)行存儲并將數(shù)據(jù)實(shí)時(shí)傳輸給硬件處理器；硬件處理器以并行的方式計(jì)算處理傳輸過來的數(shù)據(jù)信息，以保證系統(tǒng)的實(shí)時(shí)性。

本發(fā)明的有益效果是：

1本發(fā)明提供了一種多攝像頭拼接的全方位視覺裝置，通過電機(jī)控制水平均置的多組雙目攝像頭進(jìn)行俯仰運(yùn)動，能夠獲取環(huán)境的全方位信息；并且該裝置提供了圖像拼接、雙目匹配以及目標(biāo)識別多種圖像處理單元。

2本發(fā)明提供了一種基于多傳感器的車載環(huán)境識別系統(tǒng)，能夠獲取多種傳感數(shù)據(jù)信息，經(jīng)過融合處理能夠?qū)Νh(huán)境進(jìn)行更加全面的描述，提高對環(huán)境特征描述的準(zhǔn)確性，同時(shí)信息的冗余可以提高系統(tǒng)魯棒性。

3本發(fā)明通過硬件處理器以并行的方式處理數(shù)據(jù)，滿足了實(shí)時(shí)性的要求。

附圖說明

圖1是基于多傳感器的車載環(huán)境識別系統(tǒng)結(jié)構(gòu)框圖

圖2是全方位視覺模塊的結(jié)構(gòu)示意圖

圖3是圖像處理模塊的結(jié)構(gòu)框圖

圖4是圖像拼接單元的原理框圖

圖5是雙目匹配單元的原理框圖

圖6是目標(biāo)識別單元的原理框圖

具體實(shí)施方式

以下結(jié)合附圖詳細(xì)介紹本發(fā)明的技術(shù)方案：

如圖1所示，一種基于多傳感器的車載環(huán)境識別系統(tǒng)，包括全方位視覺模塊1、IMU模塊2、GPS模塊3、雷達(dá)模塊4和數(shù)據(jù)融合模塊5，全方位視覺模塊1、IMU模塊2、GPS模塊3、雷達(dá)模塊4分別與數(shù)據(jù)融合模塊5通訊連接。全方位視覺模塊1是一種多攝像頭拼接的全方位視覺裝置，能夠獲取車輛周圍360度范圍內(nèi)的環(huán)境三維信息；IMU模塊2包括加速度計(jì)和陀螺儀，能夠獲取車輛的加速度與角速度信息；GPS模塊3與IMU模塊2聯(lián)合工作，能夠獲取車輛的位置和姿態(tài)信息；雷達(dá)模塊4能夠獲取車輛前方的目標(biāo)位置信息，并且具有全天候、全天時(shí)的特點(diǎn)；上述各個(gè)傳感器模塊相互配合、聯(lián)合工作，能夠給系統(tǒng)提供外界環(huán)境的全景圖、深度圖、姿態(tài)、距離等多種信息，以保證系統(tǒng)的魯棒性與準(zhǔn)確性。

數(shù)據(jù)融合模塊5包括數(shù)據(jù)采集單元51、數(shù)據(jù)存儲單元52、硬件處理器53。首先通過數(shù)據(jù)采集單元51采集上述各個(gè)傳感器模塊傳輸過來的數(shù)據(jù)并傳輸給數(shù)據(jù)存儲單元52；其次數(shù)據(jù)存儲單元52對數(shù)據(jù)進(jìn)行存儲并將數(shù)據(jù)實(shí)時(shí)傳輸給硬件處理器53；最后硬件處理器53以并行的方式計(jì)算處理傳輸過來的數(shù)據(jù)信息，以保證系統(tǒng)的實(shí)時(shí)性。

圖2是全方位視覺模塊的結(jié)構(gòu)示意圖。作為優(yōu)選實(shí)施例之一：全方位視覺模塊1包括五組雙目攝像頭11、五個(gè)攝像頭支架12、五個(gè)步進(jìn)電機(jī)13、五個(gè)俯仰電機(jī)支架14、基座15以及圖像處理模塊16。每組雙目攝像頭11固定安裝在對應(yīng)的攝像頭支架12上；每個(gè)步進(jìn)電機(jī)13固定安裝在對應(yīng)的俯仰電機(jī)支架14上；每個(gè)攝像頭支架12與對應(yīng)的步進(jìn)電機(jī)13輸出軸通過緊固螺釘連接；五個(gè)俯仰電機(jī)支架14及圖像處理模塊16均固定安裝在基座15上。此外，五組雙目攝像頭11在水平方向均勻布置并且所選的攝像頭的視場需要大于72度以保證所述全方位視覺模塊1能夠?qū)崟r(shí)獲取在水平方向上360度范圍內(nèi)的環(huán)境信息。其工作原理是：通過各個(gè)步進(jìn)電機(jī)13控制對應(yīng)的雙目攝像頭11進(jìn)行俯仰運(yùn)動獲取所觀測環(huán)境的全方位場景圖像，然后圖像處理模塊16實(shí)時(shí)采集并處理各組攝像頭11獲取的場景圖像。

圖3是全方位視覺模塊的圖像處理模塊16的結(jié)構(gòu)框圖。圖像處理模塊16包括圖像采集單元161、圖像拼接單元162、雙目匹配單元163、目標(biāo)識別單元164。其工作原理是：圖像采集單元161實(shí)時(shí)采集各組攝像頭獲取的各個(gè)方向的場景圖像并將圖像信息同時(shí)傳輸給圖像拼接單元162、雙目匹配單元163和目標(biāo)識別單元164；圖像拼接單元162將各個(gè)方向的場景圖像進(jìn)行一系列圖像預(yù)處理后拼接成一幅全景圖像；雙目匹配單元163計(jì)算雙目攝像頭每幀獲取的兩幅圖像的視差，結(jié)合雙目視覺中的三角測量原理得到對應(yīng)的深度圖像；目標(biāo)識別單元164通過訓(xùn)練樣本對分類器進(jìn)行訓(xùn)練，再利用訓(xùn)練好的分類器檢測所觀測場景中的樣本目標(biāo)。

圖4是圖像拼接單元的原理框圖。圖像拼接單元的工作過程包括：第一步，攝像頭標(biāo)定：由于安裝設(shè)計(jì)及攝相頭之間的差異，會造成視頻圖像之間有縮放(鏡頭焦距不一致造成)、傾斜(垂直旋轉(zhuǎn))、方位角差異(水平旋轉(zhuǎn))，需要通過攝像頭標(biāo)定預(yù)先校準(zhǔn)這些物理差異，得到一致性好的圖像，便于后續(xù)圖像拼接。第二步，圖像畸變校正：由于制造、安裝、工藝等原因，鏡頭存在著各種畸變，徑向畸變導(dǎo)致圖像內(nèi)直線成彎曲的像并且越靠近邊緣這種現(xiàn)象越明顯，是導(dǎo)致圖像畸變的主要因素，因此為了提高攝像機(jī)拼接的精度，需要通過圖像畸變校正對這種畸變進(jìn)行校正操作。第三步，圖像投影變換：由于每幅圖像是相機(jī)在不同角度下拍攝得到的，所以他們并不在同一投影平面上，如果對重疊的圖像直接進(jìn)行無縫拼接，會破壞實(shí)際景物的視覺一致性，所以需要通過圖像投影變換進(jìn)行平面投影，即以序列圖像中的一幅圖像的坐標(biāo)系為基準(zhǔn)，將其圖像都投影變換到這個(gè)基準(zhǔn)坐標(biāo)系中，使相鄰圖像的重疊區(qū)對齊，再進(jìn)行拼接。第四步，匹配點(diǎn)選?。焊鶕?jù)具有縮放不變性的SIFT特征點(diǎn)，在圖像序列中找到有效的特征匹配點(diǎn)。第五步，圖像拼接：根據(jù)幾何運(yùn)動模型，將圖像注冊到同一個(gè)坐標(biāo)系中后再拼接為一幅全圖圖像。第六步，后處理：由于攝像頭和光照強(qiáng)度的差異，會造成一幅圖像內(nèi)部，以及圖像之間亮度的不均勻，拼接后的圖像會出現(xiàn)明暗交替，不利于環(huán)境的識別。所以需要通過后處理對亮度與顏色的均衡處理，即通過相機(jī)的光照模型，校正一幅圖像內(nèi)部的光照不均勻性，然后通過相鄰兩幅圖像重疊區(qū)域之間的關(guān)系，建立相鄰兩幅圖像之間直方圖映射表，通過映射表對兩幅圖像做整體的映射變換，最終達(dá)到整體的亮度和顏色的一致性。

圖5是雙目匹配單元的原理框圖。雙目匹配單元的工作過程包括：第一步，攝像頭標(biāo)定：通過攝像頭標(biāo)定獲取攝像頭的內(nèi)部參數(shù)與外部參數(shù)，其中內(nèi)部參數(shù)是為了得到鏡頭的信息并消除畸變，使得到的圖像更為準(zhǔn)確；外部參數(shù)是為了得到攝像頭相對于世界坐標(biāo)的聯(lián)系。第二步，代價(jià)計(jì)算以及圖像分割：通過互信息計(jì)算初始匹配代價(jià)，解決了由于光照變化引起的誤匹配現(xiàn)象；圖像分割使同一分割塊內(nèi)的視差具有平滑變化的特點(diǎn)，改善了弱紋理區(qū)域和深度不連續(xù)區(qū)域出現(xiàn)的匹配精度問題；第三步，構(gòu)造全局能量函數(shù)：將代價(jià)計(jì)算以及圖像分割的信息融合起來提出全局能量函數(shù)E(d)＝E_data(d)+λE_smooth(d)。第四步，多方向代價(jià)聚合：從8或16個(gè)方向的一維路徑進(jìn)行動態(tài)規(guī)劃得到總的匹配代價(jià)。第五步，視差選擇：選擇使總的匹配代價(jià)最小的視差為每個(gè)像素點(diǎn)的視差，從而得到整幅圖像的初步視差圖。第六步，視差優(yōu)化：通過亞像素插值、中值濾波、左右一致性檢驗(yàn)進(jìn)行優(yōu)化處理得到視差圖，再經(jīng)過雙目視覺中的三角測量原理得到深度圖像。

圖6是目標(biāo)識別單元的原理框圖。目標(biāo)識別單元的工作過程包括：第一步，通過訓(xùn)練樣本來訓(xùn)練分類器，其主要原理是：訓(xùn)練樣本包括正樣本和負(fù)樣本，其中正樣本是指待檢測目標(biāo)樣本，負(fù)樣本是指其他不包含目標(biāo)的任意圖片，所有的樣本圖片都被歸一化為同樣的尺寸；由于圖像或波形所獲得的數(shù)據(jù)量是相當(dāng)大的，為了有效地實(shí)現(xiàn)分類識別，需要通過特征選擇和提取對原始數(shù)據(jù)進(jìn)行變換得到最能反映分類本質(zhì)的特征，進(jìn)而得到訓(xùn)練好的分類器。第二步，利用訓(xùn)練好的分類器進(jìn)行目標(biāo)檢測，其主要原理是：首先用一個(gè)掃描子窗口在待檢測的圖像中不斷的移位滑動，子窗口每到一個(gè)位置，就會計(jì)算出該區(qū)域的特征；其次用第二步得到的訓(xùn)練好的分類器對該特征進(jìn)行篩選，判定該區(qū)域是否為目標(biāo)；然后因?yàn)槟繕?biāo)在圖像的大小可能和訓(xùn)練分類器時(shí)使用的樣本圖片大小不一樣，所以就需要對這個(gè)掃描的子窗口變大或者變小(或者將圖像變小)，再在圖像中滑動，再匹配一遍；最終得到分類結(jié)果。