本發(fā)明涉及一種自動(dòng)駕駛障礙物視覺檢測(cè)方法與系統(tǒng)，屬于無人駕駛汽車環(huán)境感知技術(shù)領(lǐng)域。

背景技術(shù)：

障礙物檢測(cè)技術(shù)是智能汽車自動(dòng)駕駛系統(tǒng)中的諸多關(guān)鍵技術(shù)之一，其可靠性、快速性和準(zhǔn)確性是衡量智能汽車自動(dòng)駕駛系統(tǒng)中的重要指標(biāo)?；谝曈X的障礙物檢測(cè)系統(tǒng)通常工作于被動(dòng)工作方式，具有仿生學(xué)、結(jié)構(gòu)簡(jiǎn)單、成本低廉、經(jīng)濟(jì)性好、應(yīng)用范圍廣等特點(diǎn)。

相比于基于超聲波、激光雷達(dá)等主動(dòng)傳感器的避障系統(tǒng)，視覺避障系統(tǒng)響應(yīng)速度更快，精度更高，可以提供如顏色、紋理、幾何形狀等更加豐富的信息，與人類觀察感知環(huán)境的原理一致，因此得到了越來越多的關(guān)注。

雙目視覺與單目視覺相比，可以獲得與攝像頭垂直的距離信息，能更加有效的判斷出障礙物與車輛的相對(duì)位置，也有助于將障礙物從復(fù)雜背景中快速、準(zhǔn)確的進(jìn)行分割；目前雙目視覺已經(jīng)廣泛應(yīng)用在機(jī)器人導(dǎo)航、自動(dòng)駕駛等多個(gè)領(lǐng)域。但與單目視覺一樣，雙目視覺受光照影響較大，在光照條件不好的情況下其使用效果將大大降低。

紅外成像系統(tǒng)可以在煙霧、微光、黑暗等特殊環(huán)境下對(duì)目標(biāo)物體進(jìn)行成像，已被廣泛運(yùn)用于安防、監(jiān)控等諸多領(lǐng)域。但紅外圖像無法獲得目標(biāo)物體的紋理、顏色以及深度信息，且成像對(duì)比度低，檢測(cè)距離有限，因此無法單獨(dú)對(duì)車輛行駛過程中的障礙物進(jìn)行識(shí)別。

申請(qǐng)?zhí)枮镃N201510040849.6的《一種雙雙目紅外與可見光融合立體成像系統(tǒng)》通過“雙雙目”紅外與可見光圖像融合技術(shù)的設(shè)計(jì)，彌補(bǔ)了單一波段立體成像系統(tǒng)的不足，解決了因系統(tǒng)間配合而降低所獲取圖像精度的問題。但該系統(tǒng)結(jié)構(gòu)復(fù)雜，對(duì)設(shè)備要求高，且沒有配套的軟件算法對(duì)障礙物進(jìn)行分割，難以在自動(dòng)駕駛中得到運(yùn)用。

申請(qǐng)?zhí)枮镃N201310373949.1的《基于雙目立體視覺的駕駛輔助障礙物檢測(cè)方法》，主要提出了一種不需人為干涉的障礙物檢測(cè)方法，它使用兩個(gè)經(jīng)過標(biāo)定的CCD攝像機(jī)，同步采集車輛在靜止或行駛過程中正前方路面的環(huán)境圖像數(shù)據(jù)，并自主通過同一時(shí)刻采集的兩幅圖像進(jìn)行基于三維重構(gòu)的一系列圖像處理和相應(yīng)的計(jì)算后，精確獲取車輛前方場(chǎng)景中障礙物的位置、尺寸、與本車的距離等信息，使智能車輛可以實(shí)時(shí)的進(jìn)行車輛前方場(chǎng)景中障礙物的檢測(cè)，從而實(shí)現(xiàn)障礙物告警。該方法雖然在白天有較好的效果，但在夜間容易因光照強(qiáng)度弱造成漏識(shí)別，無法全天候使用。且該方法需要計(jì)算出視場(chǎng)中全部像素點(diǎn)的三維坐標(biāo)，對(duì)處理器運(yùn)算性能和存儲(chǔ)器的容量都有很高的要求，不適用于小型嵌入式機(jī)載設(shè)備。

申請(qǐng)?zhí)枮镃N201210365530.7的《一種雙目遠(yuǎn)紅外智能輔助安全駕駛系統(tǒng)》，通過安裝在車輛前端兩個(gè)特殊可實(shí)時(shí)進(jìn)行動(dòng)態(tài)姿態(tài)調(diào)整的遠(yuǎn)紅外傳感器和內(nèi)嵌入車內(nèi)駕駛儀表板內(nèi)的無線網(wǎng)絡(luò)移動(dòng)綜合信息交互平臺(tái)，對(duì)行車前方縱深坐標(biāo)不同動(dòng)態(tài)或靜態(tài)目標(biāo)的縱向距離、速度、加速度和危險(xiǎn)性進(jìn)行智能判斷和動(dòng)態(tài)跟蹤，同時(shí)提醒駕車人減速或采取制動(dòng)措施。該方法未考慮到道路或地面對(duì)障礙物深度值獲取的影響，極容易導(dǎo)致誤判。

綜上所述，雖然國(guó)內(nèi)外在利用雙目視覺或紅外圖像進(jìn)行自動(dòng)駕駛領(lǐng)域有較多的研究，但大多方法無法全天候、快速、準(zhǔn)確地對(duì)障礙物進(jìn)行識(shí)別，故大多難以應(yīng)用到實(shí)際自動(dòng)駕駛領(lǐng)域。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是：提供一種自動(dòng)駕駛障礙物視覺檢測(cè)方法與系統(tǒng)，通過將深度信息與紅外信息進(jìn)行融合，能全天候識(shí)別車輛前方的障礙物、行人或其他車輛，對(duì)駕駛?cè)税l(fā)出警告，并在障礙物將要與車輛發(fā)生碰撞時(shí)對(duì)車輛發(fā)出緊急制動(dòng)指令。

本發(fā)明為解決上述技術(shù)問題采用以下技術(shù)方案：

一種自動(dòng)駕駛障礙物視覺檢測(cè)方法，包括如下步驟：

步驟1，利用雙目攝像機(jī)實(shí)時(shí)獲取車輛前進(jìn)方向上的圖像，并利用立體匹配算法計(jì)算出車輛前進(jìn)方向上的視差圖；同時(shí)，利用紅外攝像機(jī)實(shí)時(shí)獲取車輛前進(jìn)方向上的紅外圖像；

步驟2，通過視差圖將包含障礙物的區(qū)域利用自適應(yīng)閾值分割方法進(jìn)行分割；

步驟3，提取分割后圖像中的所有輪廓，并用矩形對(duì)最大輪廓進(jìn)行擬合，根據(jù)矩形的面積大小判斷視差圖中是否出現(xiàn)障礙物；

步驟4，在進(jìn)行步驟3的同時(shí)，對(duì)紅外圖像的亮度進(jìn)行閾值分割，將小于預(yù)設(shè)閾值的亮度置0，提取分割后圖像中的所有輪廓，并用矩形對(duì)最大輪廓進(jìn)行擬合，根據(jù)矩形的面積大小判斷紅外圖像中是否出現(xiàn)障礙物；

步驟5，若視差圖和紅外圖像中均無障礙物，則判定為無障礙物并返回步驟1；

步驟6，若視差圖中有障礙物而紅外圖像中無障礙物，則將視差圖中分割出的矩形區(qū)域作為障礙物區(qū)域，并計(jì)算出其與車輛的距離信息；

步驟7，若視差圖中無障礙物而紅外圖像中有障礙物，則將紅外圖像中分割出的矩形區(qū)域作為障礙物區(qū)域，并計(jì)算出其與車輛的距離信息；

步驟8，若視差圖和紅外圖像中均存在障礙物，則分別按照步驟6、7分別得到障礙物區(qū)域，利用色調(diào)直方圖判斷二者是否重合；

步驟9，若判斷為重合，則將兩區(qū)域合并計(jì)算其與車輛的距離；若判斷為不重合，則將兩區(qū)域分開計(jì)算其與車輛的距離；并提醒駕駛?cè)苏系K物的距離，當(dāng)障礙物的距離小于預(yù)設(shè)參考值且駕駛?cè)宋醋龀龇磻?yīng)時(shí)，對(duì)車輛發(fā)出緊急制動(dòng)指令。

作為本發(fā)明的一種優(yōu)選方案，步驟1所述利用雙目攝像機(jī)實(shí)時(shí)獲取車輛前進(jìn)方向上的圖像的具體做法為：將雙目攝像機(jī)對(duì)稱安裝在車輛頭部左右兩側(cè)，且雙目攝像機(jī)的朝向與車輛前進(jìn)方向平行，通過預(yù)先標(biāo)定得到的雙目攝像機(jī)內(nèi)外參數(shù)矩陣將實(shí)時(shí)獲取到的左右兩幅圖像矯正為無畸變且行對(duì)準(zhǔn)的兩幅圖像。

作為本發(fā)明的一種優(yōu)選方案，步驟1所述利用紅外攝像機(jī)實(shí)時(shí)獲取車輛前進(jìn)方向上的紅外圖像的具體做法為：將紅外攝像機(jī)安裝在雙目攝像機(jī)的正中位置，并向上揚(yáng)起，與車輛前進(jìn)方向的夾角為10°。

作為本發(fā)明的一種優(yōu)選方案，所述步驟2的具體做法為：將視差圖的最左邊和最右邊各裁剪掉原圖像的1/5，得到裁剪后的視差圖，將裁剪后的視差圖最下邊裁掉自身的1/5，得到新的視差圖，設(shè)定分割閾值t，將視差值大于等于t的歸類為屬于障礙物的視差值，將視差值小于t的歸類為屬于背景的視差值，閾值t的求解方式為：設(shè)定N₀,N₁,…,N₂₅₅分別為新的視差圖中視差值等于0,1,…,255的像素點(diǎn)的數(shù)目，閾值t通過最大化G的值可以得到，其中，G的計(jì)算公式為：

G＝[Mean(N₁₀,N_t)-Mean(N_t+1,N₂₃₆)]+a×[Std(N₁₀,N_t)-Std(N_t+1,N₂₃₆)]

其中，Mean(N_p,N_q)為N_p,N_p+1,…,N_q的均值，Std(N_p,N_q)為N_p,N_p+1,…,N_q的標(biāo)準(zhǔn)差，a為比例系數(shù)；若計(jì)算出的閾值t>200，則重新計(jì)算t，通過最大化G′的值得到，其中，G′的計(jì)算公式為：G′＝Mean(N₁₀,N_t)-Mean(N_t+1,N₂₃₆)。

作為本發(fā)明的一種優(yōu)選方案，所述距離信息的計(jì)算方法為：設(shè)定D₀,D₁,…,D₂₅₅分別為障礙物區(qū)域中視差值等于0,1,…,255的像素點(diǎn)的數(shù)目，若存在至少一個(gè)則障礙物區(qū)域與車輛距離D為：其中，f_c為攝像機(jī)的焦距，T為雙目攝像機(jī)的基線距離，d_max為大于的D_k對(duì)應(yīng)的視差值中的最大視差值；若所有的D₀,D₁,…,D₂₅₅均小于則障礙物區(qū)域與車輛距離D為：其中，d_m為障礙物區(qū)域內(nèi)所有視差值的平均值。

作為本發(fā)明的一種優(yōu)選方案，步驟8所述利用色調(diào)直方圖判斷二者是否重合的方法為：首先將雙目攝像機(jī)中左攝像機(jī)獲取的圖像從RGB空間轉(zhuǎn)換為HSV空間并提取其色調(diào)通道圖像，然后將視差圖和紅外圖像得到的障礙物區(qū)域平移至左攝像機(jī)參考系下，設(shè)定H₁(0),H₁(1),…,H₁(255)分別為視差圖分割出的障礙物區(qū)域內(nèi)色調(diào)值等于0,1,…,255的像素點(diǎn)的數(shù)目，H₂(0),H₂(1),…,H₂(255)分別為紅外圖像分割出的障礙物區(qū)域內(nèi)色調(diào)值等于0,1,…,255的像素點(diǎn)的數(shù)目，若二者的巴氏距離d_B(H₁,H₂)小于設(shè)定閾值，則判定二者重合，d_B(H₁,H₂)的計(jì)算公式為：

一種自動(dòng)駕駛障礙物視覺檢測(cè)系統(tǒng)，包括搭載在車輛上的雙目攝像機(jī)、紅外攝像機(jī)、圖像處理模塊和車輛控制器，所述圖像處理模塊包括CPU模塊和GPU模塊；所述雙目攝像機(jī)用于實(shí)時(shí)獲取車輛前進(jìn)方向上的圖像同步傳入圖像處理模塊，紅外攝像機(jī)用于實(shí)時(shí)獲取車輛前進(jìn)方向上的紅外圖像同步傳入圖像處理模塊；GPU模塊根據(jù)雙目攝像機(jī)同步采集到的圖像并行計(jì)算視差圖，CPU模塊用于分割障礙物區(qū)域，并計(jì)算障礙物距車輛的距離信息；車輛控制器用于檢測(cè)車輛的運(yùn)行信息，并在障礙物距車輛的距離小于預(yù)設(shè)參考值且駕駛?cè)宋醋龀龇磻?yīng)時(shí)，對(duì)車輛發(fā)出緊急制動(dòng)指令。

本發(fā)明采用以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下技術(shù)效果：

1、本發(fā)明通過將雙目視覺得到的視差圖和紅外圖像進(jìn)行有效融合，相比于單一使用雙目視覺或紅外圖像的障礙物檢測(cè)系統(tǒng)，檢測(cè)精度更高、適用范圍更廣。

2、本發(fā)明提出了一種新的自適應(yīng)閾值分割方法，該方法能快速準(zhǔn)確地將道路上的障礙物從道路背景中進(jìn)行分割，具有較高的實(shí)用價(jià)值。

3、本發(fā)明利用色調(diào)直方圖判斷雙目和紅外檢測(cè)出障礙物的重合程度，對(duì)兩個(gè)測(cè)量系統(tǒng)進(jìn)行了有效融合，解決了兩個(gè)測(cè)量系統(tǒng)測(cè)量重復(fù)的問題，為自動(dòng)駕駛提供了簡(jiǎn)潔、準(zhǔn)確的障礙物信息。

附圖說明

圖1是本發(fā)明自動(dòng)駕駛障礙物視覺檢測(cè)方法的算法流程圖。

圖2是本發(fā)明自動(dòng)駕駛障礙物視覺檢測(cè)系統(tǒng)的硬件結(jié)構(gòu)圖。

具體實(shí)施方式

下面詳細(xì)描述本發(fā)明的實(shí)施方式，所述實(shí)施方式的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施方式是示例性的，僅用于解釋本發(fā)明，而不能解釋為對(duì)本發(fā)明的限制。

如圖2所示，本發(fā)明一種自動(dòng)駕駛障礙物視覺檢測(cè)系統(tǒng)的硬件結(jié)構(gòu)圖，系統(tǒng)包括左攝像機(jī)1、右攝像機(jī)2、紅外攝像機(jī)3、圖像處理模塊4和車輛控制器5，其中，圖像處理模塊包括CPU模塊和GPU模塊，紅外攝像機(jī)安裝位置在左右攝像機(jī)正中位置并向上揚(yáng)起10°；車輛控制器與車輛的剎車系統(tǒng)相連接，在緊急狀態(tài)下對(duì)車輛進(jìn)行緊急制動(dòng)。

左右攝像機(jī)和紅外攝像機(jī)分別負(fù)責(zé)將左右圖像和紅外圖像同步傳入嵌入式圖像處理計(jì)算機(jī)；GPU模塊負(fù)責(zé)根據(jù)左右相機(jī)同步采集到的圖像并行計(jì)算視差圖，CPU模塊負(fù)責(zé)分割障礙物區(qū)域，計(jì)算障礙物距離；車輛控制器負(fù)責(zé)檢測(cè)車輛運(yùn)行的速度、加速度、姿態(tài)等信息，在障礙物的距離小于一定閾值且駕駛?cè)宋醋龀龇磻?yīng)時(shí)，對(duì)車輛發(fā)出緊急制動(dòng)指令。

本實(shí)例中左右攝像機(jī)采用完全相同的高清可見光數(shù)字?jǐn)z像機(jī)，分辨率640*480或800*600等，可用幀率20到30fps，基線距離120cm，基線距離與焦距均可調(diào)；本實(shí)例中的紅外攝像機(jī)采用陣列式LED紅外發(fā)射器作為信號(hào)源以擴(kuò)大紅外攝像機(jī)的可視角度；左右攝像機(jī)和紅外攝像機(jī)均通過USB或其它高速接口直接與嵌入式圖像處理計(jì)算機(jī)相連接。

如圖1所示，本發(fā)明一種自動(dòng)駕駛障礙物視覺檢測(cè)方法的流程如下：首先將雙目攝像機(jī)安裝在車頭的左右兩邊，朝向與車輛前進(jìn)方向平行，通過事先標(biāo)定得到的攝像機(jī)內(nèi)外參數(shù)矩陣將左右圖像矯正為無畸變且行對(duì)準(zhǔn)的兩幅圖像；同時(shí)利用紅外攝像機(jī)實(shí)時(shí)獲取前進(jìn)方向上的紅外信息。

同步讀入紅外、左右攝像機(jī)的圖像，利用GPU計(jì)算視差圖，每一個(gè)像素點(diǎn)的視差值迭代計(jì)算由一個(gè)GPU單元單獨(dú)完成。

通過視差圖將包含障礙物的區(qū)域利用自適應(yīng)閾值進(jìn)行分割，分割方為：將視差圖分為屬于障礙物的區(qū)域和屬于地面的區(qū)域，首先將視差圖左、右、下部各去掉一定范圍的面積，設(shè)定分割閾值t，將視差值大于等于t的歸類為屬于障礙物的視差值，將深度值小于t的歸類為屬于背景的深度值，t的求解方法為：

假設(shè)N₀,N₁,…,N₂₅₅分別是視差值等于0,1,…,255的像素點(diǎn)的數(shù)目，閾值t通過最大化G的值可以得到；其中，G的計(jì)算公式為：

G＝[Mean(N₁₀,N_t)-Mean(N_t+1,N₂₃₆)]+a×[Std(N₁₀,N_t)-Std(N_t+1,N₂₃₆)]

其中，Mean(N_p,N_q)為N_p,N_p+1,…,N_q的均值，Std(N_p,N_q)為N_p,N_p+1,…,N_q的標(biāo)準(zhǔn)差，a為前后兩個(gè)[]的比例系數(shù)。如果計(jì)算出的閾值t>200，則需要重新計(jì)算t的值，t通過最大化G′得到，其中，G′的計(jì)算公式為：

G′＝Mean(N₁₀,N_t)-Mean(N_t+1,N₂₃₆)

提取分割后圖像中的所有輪廓，并用矩形對(duì)最大輪廓進(jìn)行擬合，根據(jù)矩形的面積大小判斷視差圖中是否出現(xiàn)障礙物；于此同時(shí)對(duì)紅外圖像進(jìn)行閾值分割，將小于一定閾值(本例中取的閾值為56)的亮度置0，提取分割后圖像中的所有輪廓并用矩形對(duì)最大輪廓進(jìn)行擬合，根據(jù)矩形的面積大小判斷紅外圖像中是否出現(xiàn)障礙物。

若視差圖和紅外圖像中均無障礙物，則判定為無障礙物并讀入下一幀圖像；若視差圖中有障礙物而紅外圖像中無障礙物，則將視差圖中分割出的矩形區(qū)域作為障礙物區(qū)域，并計(jì)算出其與車輛的距離信息；若視差圖中無障礙物而紅外圖像中有障礙物，則將紅外圖像中分割出的矩形區(qū)域作為障礙物區(qū)域，將障礙物區(qū)域?qū)?yīng)到視差圖上相應(yīng)區(qū)域，根據(jù)視差圖上相應(yīng)區(qū)域的視差值計(jì)算出其與車輛的距離信息。

計(jì)算障礙物區(qū)域與車輛距離的方法為：假設(shè)D₀,D₁,…,D₂₅₅為障礙物區(qū)域內(nèi)視差值等于0,1,…,255的像素點(diǎn)的數(shù)目，若存在至少一個(gè)則障礙物區(qū)域與車輛距離為：其中f_c為攝像機(jī)的焦距，T為左右攝像機(jī)的基線距離，d_max為大于的D_k對(duì)應(yīng)的視差值中的最大視差值；若所有的D₀,D₁,…,D₂₅₅均小于則障礙物區(qū)域與車輛距離為其中d_m為障礙物區(qū)域內(nèi)所有視差值的平均值。

若視差圖和紅外圖像中均存在障礙物，則利用色調(diào)直方圖判斷二者是否重合，判斷方法為：首先將左攝像機(jī)采集到的圖像從RGB空間轉(zhuǎn)換為HSV空間并提取其色調(diào)通道圖像；之后將視差圖與紅外圖像計(jì)算出的障礙物區(qū)域進(jìn)行平移，使之以左攝像機(jī)為基準(zhǔn)；假設(shè)H₁(0),H₁(1),…,H₁(255)為視差圖分割出的障礙物區(qū)域內(nèi)色調(diào)值等于0,1,…,255的像素點(diǎn)的數(shù)目，H₂(0),H₂(1),…,H₂(255)為紅外圖像分割出的障礙物區(qū)域內(nèi)色調(diào)值等于0,1,…,255的像素點(diǎn)的數(shù)目，若二者的巴氏距離d_B(H₁,H₂)小于一定閾值(本例中閾值取為0.7)，則判定二者重合，d_B(H₁,H₂)的計(jì)算公式為：

若判斷為重合，則將兩區(qū)域合并計(jì)算其與車輛的距離；若判斷為不重合，則將兩區(qū)域分開計(jì)其與車輛的距離；計(jì)算障礙物區(qū)域與車輛距離的方法同上。

使用語音、屏幕顯示等方式提醒駕駛?cè)苏系K物的位置和距離；當(dāng)障礙物的距離小于一定閾值(本例中閾值取為2m)且駕駛?cè)宋醋龀龇磻?yīng)時(shí)，對(duì)車輛發(fā)出緊急制動(dòng)指令。

本發(fā)明將雙目視覺得到的視差圖和紅外圖像進(jìn)行有效融合，相比于單一使用雙目視覺或紅外圖像的障礙物檢測(cè)系統(tǒng)，檢測(cè)精度更高、適用范圍更廣。其中提出了一種新的自適應(yīng)閾值分割方法，該方法能快速準(zhǔn)確地將道路上的障礙物從道路背景中進(jìn)行分割，具有較高的實(shí)用價(jià)值。本發(fā)明還利用色調(diào)直方圖判斷雙目相機(jī)和紅外相機(jī)檢測(cè)出障礙物的重合程度，對(duì)兩個(gè)測(cè)量系統(tǒng)進(jìn)行了有效融合，有效的解決了兩個(gè)測(cè)量系統(tǒng)測(cè)量重復(fù)的問題，為自動(dòng)駕駛提供了簡(jiǎn)潔、準(zhǔn)確的障礙物信息。

以上實(shí)施例僅為說明本發(fā)明的技術(shù)思想，不能以此限定本發(fā)明的保護(hù)范圍，凡是按照本發(fā)明提出的技術(shù)思想，在技術(shù)方案基礎(chǔ)上所做的任何改動(dòng)，均落入本發(fā)明保護(hù)范圍之內(nèi)。