專利名稱：一種創(chuàng)建基于單目機(jī)器視覺(jué)距離圖的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及車載輔助駕駛系統(tǒng)圖像處理技術(shù)領(lǐng)域，尤其涉及一種創(chuàng)建基于單目機(jī)
器視覺(jué)距離圖的方法。
背景技術(shù)：
當(dāng)前駕駛員輔助駕駛系統(tǒng)的研究多集中在晴好天氣下的車輛自動(dòng)駕駛方面，對(duì)于惡劣天氣下的場(chǎng)景恢復(fù)的研究還很少；國(guó)內(nèi)外的圖像去霧研究主要集中在以下幾種方式1、直方圖均衡算法；2、基于色彩恒常理論對(duì)圖像進(jìn)行去霧處理進(jìn)行顏色及對(duì)比度恢復(fù)；3、基于大氣散射模型的復(fù)原方法。 其中，直方圖均衡算法是一種常用的簡(jiǎn)單而有效的增強(qiáng)方法，它以概率論為基礎(chǔ)，通過(guò)灰度的映射來(lái)修正圖像的直方圖，使之具有平坦的分布。薄塵霧退化圖像一般對(duì)比度較低，可以通過(guò)直方圖均衡擴(kuò)展動(dòng)態(tài)范圍。增加對(duì)比度的直方圖增強(qiáng)方法可以說(shuō)是經(jīng)典的圖像處理方法，該方法簡(jiǎn)單有效，很多情況下，圖像通過(guò)直方圖增強(qiáng)就可以達(dá)到較滿意的效果，并且算法實(shí)現(xiàn)比較容易，但因?yàn)橥嘶瘓D像的退化程度與場(chǎng)景的景深成指數(shù)關(guān)系，故直方圖處理的效果不夠理想。 基于色彩恒常理論對(duì)圖像進(jìn)行去霧處理進(jìn)行顏色及對(duì)比度恢復(fù)。色彩恒常理論對(duì)圖像去霧算法也可以在一定程度上提高霧天圖像的對(duì)比度，但霧天圖像中景物影像對(duì)比度的降低與物體至相機(jī)的距離呈非線性遞增的關(guān)系，場(chǎng)景點(diǎn)的景深不同，對(duì)應(yīng)像點(diǎn)的退化程度也不同。因此，在實(shí)際處理中存在圖像局部處理過(guò)度或處理不足等缺陷，無(wú)法對(duì)一幅圖像中不同場(chǎng)景距離的景物進(jìn)行相應(yīng)的恢復(fù)。 基于大氣散射模型的復(fù)原方法。基于模型的方法處理圖像稱之為圖像恢復(fù)，這類
算法從圖像退化的物理機(jī)理著手，通過(guò)對(duì)不同距離下景物不同程度衰減量的恢復(fù)可以真正
得到恢復(fù)后的真實(shí)圖像?；诖髿馍⑸淠Ｐ腿レF的方法存在一個(gè)關(guān)鍵問(wèn)題就是景物距離信
息的獲取困難。目前已有的方法是借助昂貴的雷達(dá)等測(cè)距設(shè)備，因此在系統(tǒng)普及性上存在
很大的局限性，因此景物深度信息的獲得方式成為霧天圖像恢復(fù)的關(guān)鍵因素。 此外，在夜間主動(dòng)照明條件下，氣溶膠粒子后向散射對(duì)成像產(chǎn)生嚴(yán)重的影響，晝間
大氣散射模型不再適用于夜間情況。

發(fā)明內(nèi)容
( — )要解決的技術(shù)問(wèn)題 針對(duì)汽車道路的特殊結(jié)構(gòu)，本發(fā)明提出了一種基于單目機(jī)器視覺(jué)的距離圖創(chuàng)建方法，通過(guò)對(duì)車載攝像機(jī)的標(biāo)定，建立場(chǎng)景與CCD靶面的對(duì)應(yīng)關(guān)系，解決模型去霧時(shí)距離圖創(chuàng)建困難，距離測(cè)量設(shè)備昂貴的問(wèn)題。
( 二 )技術(shù)方案 為達(dá)到上述目的，本發(fā)明采用的技術(shù)方案如下 —種創(chuàng)建基于單目機(jī)器視覺(jué)距離圖的方法，該方法包括
對(duì)車載攝相機(jī)采集的圖像進(jìn)行紅色分量提取，得到基于單目機(jī)器視覺(jué)距離圖的基準(zhǔn)圖像； 利用邊緣檢測(cè)算子對(duì)該基準(zhǔn)圖像進(jìn)行邊界檢測(cè)，再對(duì)邊界中的間斷點(diǎn)作Hough變換檢測(cè)出邊界線； 對(duì)上述邊界檢測(cè)的結(jié)果進(jìn)行Hough變換找到圖像中存在的直線，然后對(duì)接近消失點(diǎn)的多條直線的端點(diǎn)進(jìn)行統(tǒng)計(jì)加權(quán)，將檢測(cè)到的一組直線的列坐標(biāo)平均值作為攝像機(jī)光軸消失點(diǎn)列坐標(biāo)，行坐標(biāo)平均值作為消失線的行坐標(biāo)位置； 分別從光軸投影線開(kāi)始向兩側(cè)邊界填充距離信息，對(duì)消失線以遠(yuǎn)的景物進(jìn)行近似處理，排除遠(yuǎn)距離誤差對(duì)去霧處理的影響，得到場(chǎng)景距離深度圖。 上述方案中，所述利用邊緣檢測(cè)算子對(duì)該基準(zhǔn)圖像進(jìn)行邊界檢測(cè)的步驟之前，進(jìn)一步包括對(duì)該基準(zhǔn)圖像進(jìn)行平滑濾波處理來(lái)消除噪聲。 上述方案中，所述利用邊緣檢測(cè)算子對(duì)該基準(zhǔn)圖像進(jìn)行邊界檢測(cè)的過(guò)程是將原始圖像與平滑濾波脈沖響應(yīng)一階微分巻積運(yùn)算的過(guò)程。 上述方案中，所述對(duì)邊界中的間斷點(diǎn)作Hough變換檢測(cè)出邊界線的步驟中，邊界線的位置決定了感興趣區(qū)域的大小。 上述方案中，所述對(duì)接近消失點(diǎn)的多條直線的端點(diǎn)進(jìn)行統(tǒng)計(jì)加權(quán)的步驟中，越接近圖像中心的行坐標(biāo)與列坐標(biāo)的權(quán)值越大。 上述方案中，所述分別從光軸投影線開(kāi)始向兩側(cè)邊界填充距離信息的步驟中，假設(shè)車輛前方的區(qū)域?yàn)榈缆穮^(qū)域，從圖像的底部中間開(kāi)始，向左右兩邊分別搜索，將最先遇到的邊界區(qū)域作為道路邊界區(qū)域。
(三)有益效果 從上述技術(shù)方案可以看出，本發(fā)明具有以下有益效果 1、本發(fā)明提供的創(chuàng)建基于單目機(jī)器視覺(jué)距離圖的方法，通過(guò)對(duì)車載攝像機(jī)的標(biāo)定，建立了場(chǎng)景與CCD靶面的對(duì)應(yīng)關(guān)系，解決了模型去霧時(shí)距離圖創(chuàng)建困難，距離測(cè)量設(shè)備昂貴的問(wèn)題。 2、本文公路距離模型如果結(jié)合車輛識(shí)別技術(shù)可以估計(jì)前車距離，提示駕駛員保持安全車距。


圖1是本發(fā)明提供的創(chuàng)建基于單目機(jī)器視覺(jué)距離圖的方法流程 圖2是圖像坐標(biāo)，攝像機(jī)坐標(biāo)，世界坐標(biāo)系之間的對(duì)應(yīng)關(guān)系；
圖3是攝像機(jī)標(biāo)定用模板； 圖4是小孔成像模型，其中，H為攝像機(jī)安裝高度，f為攝像機(jī)焦距，y， z分別表示路面距離為z時(shí)對(duì)應(yīng)的CCD面上距離為y ; 圖5是生成的場(chǎng)景深度圖，x， y軸表示圖像像素坐標(biāo)，z軸表示對(duì)應(yīng)距離值。
具體實(shí)施例方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。
4
本發(fā)明提供的基于單目機(jī)器視覺(jué)的距離圖創(chuàng)建方法，通過(guò)單目機(jī)器視覺(jué)原理完成對(duì)公路場(chǎng)景距離深度圖的構(gòu)建，解決了大氣散射模型去霧的關(guān)鍵問(wèn)題。為獲得目標(biāo)場(chǎng)景的深度信息，首先對(duì)實(shí)驗(yàn)用攝像機(jī)進(jìn)行標(biāo)定獲得標(biāo)定參數(shù)，然后應(yīng)用線性成像模型建立場(chǎng)景深度圖，對(duì)于駕駛路面，攝像機(jī)中軸線位置處x值為零，投影方程簡(jiǎn)化為z與y之間的關(guān)系，如圖4所示 <formula>formula see original document page 5</formula>
如圖1所示，圖1是本發(fā)明提供的創(chuàng)建基于單目機(jī)器視覺(jué)距離圖的方法流程圖，該方法具體包括以下步驟 步驟1 :圖像預(yù)處理霧天情況下，由于氣溶膠粒子對(duì)波長(zhǎng)的選擇性吸收，不同通道的圖像質(zhì)量差別很大。紅色分量的圖像特征保存最好，有利于后續(xù)檢測(cè)處理，所以利用紅色分量灰度圖像進(jìn)行邊界提取運(yùn)算。對(duì)車載攝相機(jī)采集到的圖像進(jìn)行紅色分量提取，作為步驟2等處理步驟的基準(zhǔn)圖像。 步驟2 :邊界線檢測(cè)邊緣檢測(cè)算子在應(yīng)用時(shí)會(huì)涉及到一個(gè)問(wèn)題，即如果直接采用邊緣檢測(cè)(Ca皿y)算子，獲得的邊緣就會(huì)包括噪聲引起的偽邊緣點(diǎn)，解決這一問(wèn)題的辦法是先對(duì)圖像進(jìn)行平滑濾波處理來(lái)消除噪聲，然后用Ca皿y算子來(lái)檢測(cè)。而Ca皿y算子的檢測(cè)過(guò)程就是原始圖像與平滑濾波脈沖響應(yīng)一階微分巻積運(yùn)算的過(guò)程。利用Ca皿y算子對(duì)步驟1中得到的圖像進(jìn)行邊界檢測(cè)，再對(duì)邊界中的間斷點(diǎn)作Hough變換檢測(cè)出邊界線。邊界線的位置決定了后面步驟中感興趣區(qū)域的大小。 步驟3 :感興趣區(qū)域提取為了提高算法的準(zhǔn)確性和實(shí)時(shí)性，只對(duì)感興趣區(qū)域進(jìn)行處理。根據(jù)投影理論可知，當(dāng)攝像機(jī)光軸與地面平行時(shí)，消失點(diǎn)位于圖像平面的中心，即路面區(qū)域位于圖像的下半平面。為了減小運(yùn)算量，盡可能避免道路背景中復(fù)雜的自然景物對(duì)車道線檢測(cè)的影響，將道路遠(yuǎn)處消失線和兩側(cè)道路邊界圍成的區(qū)域作為感興趣區(qū)域，這樣既可以提高檢測(cè)的魯棒性，又可以大大減少計(jì)算量，提高系統(tǒng)的實(shí)時(shí)性。實(shí)際情況下，越接近消失點(diǎn)，路邊線越模糊，直線檢測(cè)有很大困難，延長(zhǎng)后獲得的消失點(diǎn)與人眼習(xí)慣的消失線有一定偏差。距離圖創(chuàng)建過(guò)程中不需要找到消失點(diǎn)的精確位置，只根據(jù)檢測(cè)到的直線信息統(tǒng)計(jì)出消失線位置即可。利用步驟2中的邊界檢測(cè)結(jié)果進(jìn)行Hough變換找到圖像中存在的直線，然后將接近消失點(diǎn)的多條直線的端點(diǎn)進(jìn)行統(tǒng)計(jì)加權(quán)，越接近圖像中心的行坐標(biāo)與列坐標(biāo)的權(quán)值越大。將檢測(cè)到的一組直線的列坐標(biāo)平均值作為攝像機(jī)光軸消失點(diǎn)列坐標(biāo)，行坐標(biāo)平均值作為消失線的行坐標(biāo)位置。 步驟4 :距離參數(shù)填充道路距離模型構(gòu)建的最后需要將具體的距離信息填充到步驟3得到的結(jié)果中。由于霧天圖像的恢復(fù)對(duì)距離信息精度要求相對(duì)較低，公路兩側(cè)景物單一，因此，在理論建模時(shí)提出兩點(diǎn)假設(shè)一、以車道線為邊緣分界線，二、兩側(cè)景物與道路邊界距離相等，根據(jù)小孔成像模型的映射關(guān)系，得出近似U型的場(chǎng)景距離模型。圖像獲取
時(shí)，z方向上變化量與x，y方向的變化量相差一個(gè)數(shù)量級(jí)，而霧天圖像恢復(fù)對(duì)距離精度要求不高，因此，每一點(diǎn)距離近似為<formula>formula see original document page 5</formula>步驟3完成后，需要分別從光軸投影
線開(kāi)始向兩側(cè)邊界填充距離信息。假設(shè)車輛前方的區(qū)域?yàn)榈缆穮^(qū)域，從圖像的底部中間開(kāi)始，向左右兩邊分別搜索，將最先遇到的邊界區(qū)域作為道路邊界區(qū)域。對(duì)消失線以遠(yuǎn)的景物進(jìn)行近似處理，排除了遠(yuǎn)距離誤差對(duì)去霧處理的影響。最后得到的場(chǎng)景距離深度圖為圖5。
單目視覺(jué)系統(tǒng)存在4個(gè)典型坐標(biāo)系客觀世界坐標(biāo)系、攝像機(jī)坐標(biāo)系、圖像平面坐標(biāo)系和幀存坐標(biāo)系。真實(shí)世界的目標(biāo)位置依次通過(guò)攝像機(jī)外參矩陣旋轉(zhuǎn)變換和一次平移變換、小孔成像投影變換、內(nèi)參方程變換得到圖像中的幀存坐標(biāo)，這一系列變換主要應(yīng)用在離線標(biāo)定時(shí)，基于攝像機(jī)標(biāo)定，可以利用反映射建立路面模型。系統(tǒng)使用時(shí)，首先獲取的是計(jì)算機(jī)中的幀存坐標(biāo)，然后經(jīng)內(nèi)參逆變換、小孔成像反變換和外參逆變換得到幀存坐標(biāo)對(duì)應(yīng)的真實(shí)世界坐標(biāo)。 小孔成像模型中，空間任何一點(diǎn)P在圖像中的成像位置可以用小孔成像模型近似表示，即任何點(diǎn)P在圖像中的投影位置P為光心0與P點(diǎn)的連線0P與圖像平面的交點(diǎn)。這種關(guān)系也稱為中心射影或透視投影。如圖2，圖中xyz為攝像機(jī)坐標(biāo)系，XOY為圖像坐標(biāo)系，
XJwZw代表世界坐標(biāo)系。 實(shí)驗(yàn)用標(biāo)定模板使用如圖3所示的方格圖案，每個(gè)正方形格子的尺寸都是30mmX30mm。將標(biāo)定模板打印之后，粘貼在一個(gè)平面度很高的面板上。將標(biāo)定模板放在實(shí)驗(yàn)所用攝像機(jī)前面，變換模板平面與像平面之間的角度，依次采集一組圖像，用于后續(xù)的標(biāo)定。 根據(jù)以上分析可知對(duì)于任何空間點(diǎn)P，如果知道攝像機(jī)的內(nèi)外參數(shù)，即可確定該空間點(diǎn)對(duì)應(yīng)的像點(diǎn)位置，但是由于任何位于射線OP上的空間點(diǎn)的圖像點(diǎn)都是p點(diǎn)，因此，像點(diǎn)P的投影并不唯一。但對(duì)于駕駛路面，攝像機(jī)中軸線位置處X值為零，投影方程簡(jiǎn)化為Z
與y之間的關(guān)系，如圖4所示z =
w — w0 由于霧天圖像的恢復(fù)對(duì)距離信息精度要求相對(duì)較低，公路兩側(cè)景物單一，因此，在理論建模時(shí)假定一是以車道線為邊緣分界線，二是兩側(cè)距離與道路交點(diǎn)位置相等，根據(jù)小孔線性成像模型的映射關(guān)系，得出近似U型的場(chǎng)景距離模型。 圖像獲取時(shí)，攝像機(jī)離地面的高度為H = 1. 2m，相機(jī)的焦距f = 16mm，分辨率為640X480。攝像機(jī)視場(chǎng)角12。 ，z方向上變化量與x，y方向的變化量相差一個(gè)數(shù)量級(jí)，而霧天圖像的恢復(fù)對(duì)距離精度要求不高，因此，每一點(diǎn)距離近似為
" ^x2+_y2+z o 由于本文針對(duì)路面景物的霧天圖像進(jìn)行恢復(fù)，所以假設(shè)車道線邊緣以外的距離都與對(duì)應(yīng)的邊緣處相同，對(duì)應(yīng)的場(chǎng)景距離圖為圖5。 以上所述的具體實(shí)施例，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說(shuō)明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
一種創(chuàng)建基于單目機(jī)器視覺(jué)距離圖的方法，其特征在于，該方法包括對(duì)車載攝相機(jī)采集的圖像進(jìn)行紅色分量提取，得到基于單目機(jī)器視覺(jué)距離圖的基準(zhǔn)圖像；利用邊緣檢測(cè)算子對(duì)該基準(zhǔn)圖像進(jìn)行邊界檢測(cè)，再對(duì)邊界中的間斷點(diǎn)作Hough變換檢測(cè)出邊界線；對(duì)上述邊界檢測(cè)的結(jié)果進(jìn)行Hough變換找到圖像中存在的直線，然后對(duì)接近消失點(diǎn)的多條直線的端點(diǎn)進(jìn)行統(tǒng)計(jì)加權(quán)，將檢測(cè)到的一組直線的列坐標(biāo)平均值作為攝像機(jī)光軸消失點(diǎn)列坐標(biāo)，行坐標(biāo)平均值作為消失線的行坐標(biāo)位置；分別從光軸投影線開(kāi)始向兩側(cè)邊界填充距離信息，對(duì)消失線以遠(yuǎn)的景物進(jìn)行近似處理，排除遠(yuǎn)距離誤差對(duì)去霧處理的影響，得到場(chǎng)景距離深度圖。
2. 根據(jù)權(quán)利要求1所述的創(chuàng)建基于單目機(jī)器視覺(jué)距離圖的方法，其特征在于，所述利 用邊緣檢測(cè)算子對(duì)該基準(zhǔn)圖像進(jìn)行邊界檢測(cè)的步驟之前，進(jìn)一步包括對(duì)該基準(zhǔn)圖像進(jìn)行 平滑濾波處理來(lái)消除噪聲。
3. 根據(jù)權(quán)利要求1所述的創(chuàng)建基于單目機(jī)器視覺(jué)距離圖的方法，其特征在于，所述利 用邊緣檢測(cè)算子對(duì)該基準(zhǔn)圖像進(jìn)行邊界檢測(cè)的過(guò)程是將原始圖像與平滑濾波脈沖響應(yīng)一 階微分巻積運(yùn)算的過(guò)程。
4. 根據(jù)權(quán)利要求1所述的創(chuàng)建基于單目機(jī)器視覺(jué)距離圖的方法，其特征在于，所述對(duì) 邊界中的間斷點(diǎn)作Hough變換檢測(cè)出邊界線的步驟中，邊界線的位置決定了感興趣區(qū)域的 大小。
5. 根據(jù)權(quán)利要求1所述的創(chuàng)建基于單目機(jī)器視覺(jué)距離圖的方法，其特征在于，所述對(duì) 接近消失點(diǎn)的多條直線的端點(diǎn)進(jìn)行統(tǒng)計(jì)加權(quán)的步驟中，越接近圖像中心的行坐標(biāo)與列坐標(biāo) 的權(quán)值越大。
6. 根據(jù)權(quán)利要求1所述的創(chuàng)建基于單目機(jī)器視覺(jué)距離圖的方法，其特征在于，所述分 別從光軸投影線開(kāi)始向兩側(cè)邊界填充距離信息的步驟中，假設(shè)車輛前方的區(qū)域?yàn)榈缆穮^(qū) 域，從圖像的底部中間開(kāi)始，向左右兩邊分別搜索，將最先遇到的邊界區(qū)域作為道路邊界區(qū) 域。
全文摘要
本發(fā)明公開(kāi)了一種創(chuàng)建基于單目機(jī)器視覺(jué)距離圖的方法，包括對(duì)車載攝相機(jī)采集的圖像進(jìn)行紅色分量提取，得到基準(zhǔn)圖像；利用邊緣檢測(cè)算子對(duì)該基準(zhǔn)圖像進(jìn)行邊界檢測(cè)，再對(duì)邊界中的間斷點(diǎn)作Hough變換檢測(cè)出邊界線；對(duì)上述邊界檢測(cè)的結(jié)果進(jìn)行Hough變換找到圖像中存在的直線，然后對(duì)接近消失點(diǎn)的多條直線的端點(diǎn)進(jìn)行統(tǒng)計(jì)加權(quán)，將檢測(cè)到的一組直線的列坐標(biāo)平均值作為攝像機(jī)光軸消失點(diǎn)列坐標(biāo)，行坐標(biāo)平均值作為消失線的行坐標(biāo)位置；分別從光軸投影線開(kāi)始向兩側(cè)邊界填充距離信息，對(duì)消失線以遠(yuǎn)的景物進(jìn)行近似處理，排除遠(yuǎn)距離誤差對(duì)去霧處理的影響，得到場(chǎng)景距離深度圖。利用本發(fā)明，解決了模型去霧時(shí)距離圖創(chuàng)建困難，距離測(cè)量設(shè)備昂貴的問(wèn)題。
文檔編號(hào)G06T5/00GK101789123SQ201010102000
公開(kāi)日2010年7月28日 申請(qǐng)日期2010年1月27日 優(yōu)先權(quán)日2010年1月27日
發(fā)明者劉紅軍, 周燕, 王新偉 申請(qǐng)人:中國(guó)科學(xué)院半導(dǎo)體研究所