欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

多特征融合的車道線檢測系統(tǒng)、方法及高級駕駛輔助系統(tǒng)與流程

文檔序號:11951804閱讀:654來源:國知局
多特征融合的車道線檢測系統(tǒng)、方法及高級駕駛輔助系統(tǒng)與流程

本發(fā)明涉及圖像處理領(lǐng)域,特別涉及多特征融合的車道線檢測系統(tǒng)、方法以及高級駕駛輔助系統(tǒng)。



背景技術(shù):

基于視覺算法的高級駕駛輔助系統(tǒng)(ADAS),車道線檢測是關(guān)鍵技術(shù)之一。車道線檢測的方法一般可分為基于直線檢測的方法和基于關(guān)鍵點檢測的方法。

1)基于直線檢測的方法一般先通過邊緣檢測對灰度圖像進行預(yù)處理,得到邊緣增強圖。然后在此基礎(chǔ)上利用霍夫變換檢測直線,最后通過一定的規(guī)則拒識掉干擾直線。2)基于關(guān)鍵點檢測的方法一般也會通過邊緣檢測對灰度圖像進行濾波,然后提取若干邊緣點作為關(guān)鍵點。最后通過隨機抽樣一致的方法擬合出若干條線作為車道線。

上述傳統(tǒng)車道線檢測算法往往忽略顏色信息,直接利用灰度圖像進行處理。但是實際上,不同顏色的光線會對車道線檢測產(chǎn)生影響。尤其當夜間,車尾燈和交通燈的光線會影響車道線檢測的精度。單純的灰度圖像無法濾除這些干擾。

此外,無論是基于直線檢測的方法還是基于關(guān)鍵點檢測的方法,主要利用車道線的強邊緣特性進行檢測,利用的特征較為單一,缺乏對車道線在時域上的變化規(guī)律的利用,也缺乏將多種特征有機結(jié)合。同時,會造成較多誤檢測或者漏檢測的情況。



技術(shù)實現(xiàn)要素:

本發(fā)明要解決的技術(shù)問題是,融合了顏色特征、對比度特征和幾何變化特征的實時對車道線進行檢測。

同時,多特征融合的車道線檢測系統(tǒng),是實現(xiàn)高級駕駛輔助系統(tǒng)中的車道偏離預(yù)警功能的一個重要環(huán)節(jié)。

在本發(fā)明的多特征融合的車道線檢測方法中,首先通過逆透視變換得到俯視圖,將俯視圖通過顏色算子得到顏色特征圖,再通過對比度算子得到對比度特征圖。在對比度特征圖上通過投影累加的方法檢測直線,并通過車道線的幾何變化規(guī)律進行拒識。最終得到的直線即為車道線。

解決上述技術(shù)問題,本發(fā)明提供了多特征融合的車道線檢測方法,包括如下步驟:

抓取得到車道區(qū)域俯視圖;

根據(jù)車輛在行駛過程中車道線的顏色與道路干擾項,提取得到顏色特征圖;

將所述顏色特征圖中的像素,得到對比度特征圖;

在比度特征圖中按照投影檢測出直線,并通過車道線的幾何特征拒識去除直線中的干擾項;

檢測得到正確車道線。

更進一步,根據(jù)先驗信息,將車道區(qū)域俯視圖的RGB圖像中的像素按照如下顏色過濾算子計算得到顏色特征圖

<mrow> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <mo>&times;</mo> <msub> <mi>R</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>&times;</mo> <msub> <mi>G</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> </mrow> <mrow> <msub> <mi>R</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>G</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> </mrow> </mfrac> <mo>-</mo> <mo>|</mo> <msub> <mi>R</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>G</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>|</mo> </mrow>

其中,R代表紅色通道,G代表綠色通道,i和j表示像素點的橫坐標和縱坐標。

更進一步,所述先驗信息包括,車道線顏色、道路干擾項的顏色,所述車道線顏由白色和黃色組成;所述道路干擾項的顏色包括,紅色和綠色。

更進一步,所述道路干擾項包括,剎車燈的紅色炫光、交通燈的紅光和/或綠光在路面的倒影、夜間對面駛來的車輛的遠光燈造成的白色炫光、逆光時造成的炫光、路邊的白色欄桿中的一種或者多種。

更進一步,通過對比度算子將顏色特征圖中的像素經(jīng)過下面的公式,可得到對比度特征圖

<mrow> <msub> <mi>D</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>+</mo> <mfrac> <mrow> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mi>&epsiv;</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>-</mo> <mi>&epsiv;</mi> </mrow> </msub> </mrow> <mn>2</mn> </mfrac> <mo>-</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>-</mo> <mi>&epsiv;</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>+</mo> <mi>&epsiv;</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>-</mo> <mo>|</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>-</mo> <mi>&epsiv;</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>+</mo> <mi>&epsiv;</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>|</mo> </mrow>

其中,ε為預(yù)設(shè)的車道線在顏色特征圖中的像素寬度。

更進一步,所述ε值為5。

更進一步,在比度特征圖中按照投影檢測出直線的方法具體為:

設(shè)垂直方向為0度,取投影角度β從-15度到15度之間,分別計算出對比度特征圖在不同角度的y軸方向的累加值,得到在x軸上的一維數(shù)組;

若出現(xiàn)局部峰值點時,選擇數(shù)組局部峰值點的x坐標和對應(yīng)的投影角度β來標定直線Li。

更進一步,通過車道線的幾何特征拒識去除直線中的干擾項的方法具體為:

根據(jù)車道線在路面的相對固定位置,若檢測到的直線為干擾項,則在變換車道或者轉(zhuǎn)彎時,車道線中的x坐標和投影角度β的變化程度較大,則去除該干擾項。

本發(fā)明還提供了多特征融合的車道線檢測系統(tǒng),包括:

車道區(qū)域俯視圖檢測單元,用以抓取得到車道區(qū)域俯視圖;

顏色特征圖提取單元,用以根據(jù)車輛在行駛過程中車道線的顏色與道路干擾項,提取得到顏色特征圖;

對比度特征圖提取單元,用以將所述顏色特征圖中的像素,得到對比度特征圖;

檢測直線單元,用以在比度特征圖中按照投影檢測出直線;

幾何變化特征拒識單元,用以通過車道線的幾何特征拒識去除直線中的干擾項,檢測得到正確車道線。

另外,本發(fā)明還提供了高級駕駛輔助系統(tǒng),包括多特征融合的車道線檢測系統(tǒng)、安裝在車上的視覺傳感器以及預(yù)警單元,

所述視覺傳感器,用以采集視頻數(shù)據(jù);

所述多特征融合的車道線檢測系統(tǒng),用以檢測車道線的位置;

所述多特征融合的車道線檢測系統(tǒng),包括車道區(qū)域俯視圖檢測單元、顏色特征圖提取單元、對比度特征圖提取單元、檢測直線單元以及幾何變化特征拒識單元,

所述車道區(qū)域俯視圖檢測單元,用以在車輛駛?cè)胲嚨罆r,抓取得到車道區(qū)域俯視圖;

所述顏色特征圖提取單元,用以根據(jù)車輛在行駛過程中車道線的顏色與道路干擾項,提取得到顏色特征圖;

所述對比度特征圖提取單元,用以將所述顏色特征圖中的像素,得到對比度特征圖;

所述檢測直線單元,用以在比度特征圖中按照投影檢測出直線;

所述幾何變化特征拒識單元,用以通過車道線的幾何特征拒識去除直線中的干擾項,檢測得到正確的車道線;

所述預(yù)警單元,用以根據(jù)車道線的位置判斷車輛是否偏離了車道,并提示駕駛員。

本發(fā)明的有益效果:

1)由于本發(fā)明的多特征融合的車道線檢測方法,包括如下步驟:抓取得到車道區(qū)域俯視圖;根據(jù)車輛在行駛過程中車道線的顏色與道路干擾項,提取得到顏色特征圖;將所述顏色特征圖中的像素,得到對比度特征圖;在比度特征圖中按照投影檢測出直線,并通過車道線的幾何特征拒識去除直線中的干擾項;檢測得到正確車道線。在本發(fā)明中首次將顏色信息引入到車道線檢測,能夠加強對夜間燈光的抗干擾能力。另外,本發(fā)明還重新定義了一種基于路面對比度的車道線增強算子得到對比度特征圖。同時,本發(fā)明將車道線幾何變化規(guī)律作為車道線拒識的重要特征,通過車道線的幾何特征拒識去除直線中的干擾項。

2)本發(fā)明中的多特征融合的車道線檢測系統(tǒng),包括:車道區(qū)域俯視圖檢測單元,用以在車輛駛?cè)胲嚨罆r,抓取得到車道區(qū)域俯視圖;顏色特征圖提取單元,用以根據(jù)車輛在行駛過程中車道線的顏色與道路干擾項,提取得到顏色特征圖;對比度特征圖提取單元,用以將所述顏色特征圖中的像素,得到對比度特征圖;檢測直線單元,用以在比度特征圖中按照投影檢測出直線;幾何變化特征拒識單元,用以通過車道線的幾何特征拒識去除直線中的干擾項,檢測得到正確車道線。通過本發(fā)明中的車道線檢測系統(tǒng),建立了一個多種特征結(jié)合的魯棒性與實時性兼顧的車道線檢測框架。

3)由于根據(jù)車輛在行駛過程中車道線的顏色與道路干擾項,提取得到顏色特征圖,融合了顏色特征,根據(jù)先驗信息,提取顏色特征圖可概括為增強白色和黃色,抑制紅色和綠色。先驗信息中包括,比如對中國路況而言,車道線的顏色主要分為白色和黃色。干擾項主要是各種顏色的燈光,包括剎車燈的紅色炫光等等。

4)由于將所述顏色特征圖中的像素,得到對比度特征圖,考慮到車道線對應(yīng)的特征值要大于路面的特征值,且車道線的寬度是固定的。所以在本發(fā)明中增加了對比度特征。

5)由于通過車道線的幾何特征拒識去除直線中的干擾項,通過發(fā)現(xiàn)干擾直線的變化規(guī)律,增加了幾何變化特征的實時車道線檢因素。

附圖說明

圖1是本發(fā)明一實施例中的多特征融合的車道線檢測方法流程示意圖。

圖2是本發(fā)明一實施例中的多特征融合的車道線檢測系統(tǒng)結(jié)構(gòu)示意圖。

圖3是本發(fā)明一實施例中的高級駕駛輔助系統(tǒng)結(jié)構(gòu)示意圖。

圖4是本發(fā)明一實施例中的變換俯視圖示例。

圖5是本發(fā)明一實施例中的提取顏色特征圖示例圖。

圖6是本發(fā)明一實施例中的提取對比度特征圖示例圖。

圖7是本發(fā)明一實施例中的檢測直線示例圖。

圖8是本發(fā)明一實施例中的遠光燈的炫光造成的干擾直線的示例圖。

具體實施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白,以下結(jié)合具體實施例,并參照附圖,對本發(fā)明進一步詳細說明。

請參考圖1是本發(fā)明一實施例中的多特征融合的車道線檢測方法流程示意圖。

在本實施例中,多特征融合的車道線檢測方法,包括如下步驟:

步驟S100抓取得到車道區(qū)域俯視圖;在所述步驟S100中,在車輛駛?cè)胲嚨篮?,可以借助車?nèi)的高級駕駛輔助系統(tǒng)采集圖像。所述高級駕駛輔助系統(tǒng),簡稱ADAS。是利用安裝于車上的各式各樣的傳感器,在第一時間收集車內(nèi)外的環(huán)境數(shù)據(jù),進行靜、動態(tài)物體的辨識、偵測與追蹤等技術(shù)上的處理,從而能夠讓駕駛者在最快的時間察覺可能發(fā)生的危險,以引起注意和提高安全性的主動安全技術(shù)。一般而言,ADAS采用的傳感器主要有攝像頭、雷達、激光和超聲波等,可以探測光、熱、壓力或其它用于監(jiān)測汽車狀態(tài)的變量,通常位于車輛的前后保險杠、側(cè)視鏡、駕駛桿內(nèi)部或者擋風玻璃上。ADAS對駕駛員的提醒功能包括防前車碰撞預(yù)警,車道偏離預(yù)警,防行人碰撞預(yù)警等。

在一些實施例中,所述俯視圖是指模擬俯視視角的圖像,在俯視視角上車道線是平行的,更易于檢測。俯視圖的通常獲得方式是通過在原圖中選擇車道區(qū)域,再由逆透視變換獲得。

在一些實施例中,所述逆透視變換通過OPENCV中求解變換公式的函數(shù),輸入原始圖像和變換之后的圖像的對應(yīng)4個點得到變換矩陣。之后用求解得到的矩陣輸入perspective Transform對一組點進行變換:

在一些實施例中,所述逆透視是將采集的車道圖像投影到一個新的視平面,得到俯視圖。

在一些實施例中,俯視圖是指模擬俯視視角的圖像,在俯視視角上車道線是平行的,易于檢測。

在一些實施例中,在原圖中選擇車道區(qū)域時,選擇白色或者黃色的車道線。

上述步驟S100的作用及有益效果至少包括:俯視圖是指模擬俯視視角的圖像,在俯視視角上車道線是平行的,更易于檢測。

步驟S101根據(jù)車輛在行駛過程中車道線的顏色與道路干擾項,提取得到顏色特征圖;在步驟中還包括了預(yù)先獲得先驗信息的過程。

在一些實施例中,先驗信息包括但不限于,對中國路況而言,將車道線的顏色主要分為白色和黃色。

在一些實施例中,先驗信息包括但不限于,在車輛行駛?cè)牍泛?,各種顏色的燈光干擾。

在一些實施例中,顏色的燈光干擾包括但不限于,剎車燈的紅色炫光、交通燈的紅光和綠光在路面的倒影等,其主要的顏色成分是紅色和綠色。

作為本實施例中的優(yōu)選,所述先驗信息包括,車道線顏色、道路干擾項的顏色,所述車道線顏由白色和黃色組成;所述道路干擾項的顏色包括,紅色和綠色。

作為本實施例中的優(yōu)選,所述道路干擾項包括,剎車燈的紅色炫光、交通燈的紅光和/或綠光在路面的倒影、夜間對面駛來的車輛的遠光燈造成的白色炫光、逆光時造成的炫光、路邊的白色欄桿中的一種或者多種。

上述步驟S101的作用及有益效果至少包括:利用顏色信息,增強車道線,抑制干擾項。

根據(jù)以上先驗信息,提取顏色特征圖可概括為增強白色和黃色,抑制紅色和綠色。本實施例中經(jīng)過大量實驗,設(shè)計了一種非常簡單有效的顏色過濾算子,不會因處理RGB圖像而消耗更多計算資源。

作為本實施例中的優(yōu)選,根據(jù)先驗信息,將車道區(qū)域俯視圖的RGB圖像中的像素按照如下顏色過濾算子計算得到顏色特征圖

<mrow> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <mo>&times;</mo> <msub> <mi>R</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>&times;</mo> <msub> <mi>G</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> </mrow> <mrow> <msub> <mi>R</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>G</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> </mrow> </mfrac> <mo>-</mo> <mo>|</mo> <msub> <mi>R</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>G</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>|</mo> </mrow>

其中,R代表紅色通道,G代表綠色通道,i和j表示像素點的橫坐標和縱坐標。

步驟S102將所述顏色特征圖中的像素,得到對比度特征圖;由于在顏色特征圖上,車道線對應(yīng)的特征值要大于路面的特征值,且車道線的寬度是固定的。但是對于車道線的像素點,在其上下一定范圍內(nèi)均為車道線,左右一定寬度外不再是車道線。此外,路面的顏色特征值是相近的,不會有大的浮動。

在一些實施例中,通過對比度算子將顏色特征圖中的像素經(jīng)過下面的公式,可得到對比度特征圖

<mrow> <msub> <mi>D</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>+</mo> <mfrac> <mrow> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mi>&epsiv;</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>-</mo> <mi>&epsiv;</mi> </mrow> </msub> </mrow> <mn>2</mn> </mfrac> <mo>-</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>-</mo> <mi>&epsiv;</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>+</mo> <mi>&epsiv;</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>-</mo> <mo>|</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>-</mo> <mi>&epsiv;</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>+</mo> <mi>&epsiv;</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>|</mo> </mrow>

其中,ε為預(yù)設(shè)的車道線在顏色特征圖中的像素寬度。

優(yōu)選地,所述ε值為5。

上述步驟S102的作用及有益效果至少包括:由于:a、車道線對應(yīng)的特征值要大于路面的特征值,且車道線的寬度是固定的。b、對于車道線的像素點,在其上下一定范圍內(nèi)均為車道線,左右一定寬度外不再是車道線。c、路面的顏色特征值是相近的,不會有大的浮動。從而能夠得到準確的對比度特征圖。

步驟S103在比度特征圖中按照投影檢測出直線,并通過車道線的幾何特征拒識去除直線中的干擾項;

在一些實施例中,在比度特征圖中按照投影檢測出直線的方法具體為:

設(shè)垂直方向為0度,取投影角度β從-15度到15度之間,分別計算出對比度特征圖在不同角度的y軸方向的累加值,得到在x軸上的一維數(shù)組;

若出現(xiàn)局部峰值點時,選擇數(shù)組局部峰值點的x坐標和對應(yīng)的投影角度β來標定直線Li。

在一些實施例中,通過車道線的幾何特征拒識去除直線中的干擾項的方法具體為:

根據(jù)車道線在路面的相對固定位置,若檢測到的直線為干擾項,則在變換車道或者轉(zhuǎn)彎時,車道線中的x坐標和投影角度β的變化程度較大,則去除該干擾項。

上述步驟103的作用及有益效果至少包括:由于車道線在對比度特征圖上已經(jīng)非常凸顯,所以采用直線檢測可以選擇簡單高效的投影方法。

在一些實施例中,通過車道線的幾何特征拒識,由于車道線在路面的位置是相對固定的,即使是在切道和轉(zhuǎn)彎時,車道線的x坐標和角度β也是平穩(wěn)變化的。

在一些實施例中,若對面開來的車的遠光燈射出的光線,在相對運動過程中,其在圖像中的角度β會在短時間內(nèi)發(fā)生巨大變化,則可找出干擾直線

步驟S104檢測得到正確車道線。

請參考圖2是本發(fā)明一實施例中的多特征融合的車道線檢測系統(tǒng)結(jié)構(gòu)示意圖。

本實施例中的多特征融合的車道線檢測系統(tǒng),包括:

首先進行圖像信息的采集,可以通過安裝在車外的感應(yīng)器對圖像進行感應(yīng),得到的目標圖像輸入進入車道區(qū)域俯視圖檢測單元1,用以在車輛駛?cè)胲嚨罆r,抓取得到車道區(qū)域俯視圖;

顏色特征圖提取單元2,用以根據(jù)車輛在行駛過程中車道線的顏色與道路干擾項,提取得到顏色特征圖;

對比度特征圖提取單元3,用以將所述顏色特征圖中的像素,得到對比度特征圖;

檢測直線單元4,用以在比度特征圖中按照投影檢測出直線;

幾何變化特征拒識單元5,用以通過車道線的幾何特征拒識去除直線中的干擾項,檢測得到正確車道線,然后輸出車道線的檢測結(jié)果。

在一些實施例中,通過安裝在車輛前方的視覺傳感器(攝像頭)采集視頻數(shù)據(jù),然后檢測車道線的位置,再做出相應(yīng)的預(yù)警策略,最后通過聲音提示駕駛員本車是否偏離了車道。預(yù)警策略可以是,偏離車道預(yù)警、超出車道預(yù)警、壓車道預(yù)警。

在一些實施例中,在所述車道區(qū)域俯視圖檢測單元1中,

在一些實施例中,顏色特征圖提取單元2,根據(jù)先驗信息,將車道區(qū)域俯視圖的RGB圖像中的像素按照如下顏色過濾算子計算得到顏色特征圖

<mrow> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <mo>&times;</mo> <msub> <mi>R</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>&times;</mo> <msub> <mi>G</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> </mrow> <mrow> <msub> <mi>R</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>G</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> </mrow> </mfrac> <mo>-</mo> <mo>|</mo> <msub> <mi>R</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>G</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>|</mo> </mrow>

其中,R代表紅色通道,G代表綠色通道,i和j表示像素點的橫坐標和縱坐標。

其中,所述先驗信息包括,車道線顏色、道路干擾項的顏色,所述車道線顏由白色和黃色組成;所述道路干擾項的顏色包括,紅色和綠色。

其中,所述道路干擾項包括,剎車燈的紅色炫光、交通燈的紅光和/或綠光在路面的倒影、夜間對面駛來的車輛的遠光燈造成的白色炫光、逆光時造成的炫光、路邊的白色欄桿中的一種或者多種。

在一些實施例中,對比度特征圖提取單元3,通過對比度算子將顏色特征圖中的像素經(jīng)過下面的公式,可得到對比度特征圖

<mrow> <msub> <mi>D</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>+</mo> <mfrac> <mrow> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mi>&epsiv;</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>-</mo> <mi>&epsiv;</mi> </mrow> </msub> </mrow> <mn>2</mn> </mfrac> <mo>-</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>-</mo> <mi>&epsiv;</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>+</mo> <mi>&epsiv;</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>-</mo> <mo>|</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>-</mo> <mi>&epsiv;</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>+</mo> <mi>&epsiv;</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>|</mo> </mrow>

其中,ε為預(yù)設(shè)的車道線在顏色特征圖中的像素寬度,所述ε值為5。

在一些實施例中,檢測直線單元4,在比度特征圖中按照投影檢測出直線的方法具體為:設(shè)垂直方向為0度,取投影角度β從-15度到15度之間,分別計算出對比度特征圖在不同角度的y軸方向的累加值,得到在x軸上的一維數(shù)組;若出現(xiàn)局部峰值點時,選擇數(shù)組局部峰值點的x坐標和對應(yīng)的投影角度β來標定直線Li。

在一些實施例中,幾何變化特征拒識單元5,通過車道線的幾何特征拒識去除直線中的干擾項的方法具體為:根據(jù)車道線在路面的相對固定位置,若檢測到的直線為干擾項,則在變換車道或者轉(zhuǎn)彎時,車道線中的x坐標和投影角度β的變化程度較大,則去除該干擾項。

請參考圖3是本發(fā)明一實施例中的高級駕駛輔助系統(tǒng)結(jié)構(gòu)示意圖。

高級駕駛輔助系統(tǒng),其特征在于,包括多特征融合的車道線檢測系統(tǒng)10、安裝在車上的視覺傳感器11以及預(yù)警單元12,

所述視覺傳感器11,用以采集視頻數(shù)據(jù);

所述多特征融合的車道線檢測系統(tǒng)10,用以檢測車道線的位置;

所述多特征融合的車道線檢測系統(tǒng),包括車道區(qū)域俯視圖檢測單元、顏色特征圖提取單元、對比度特征圖提取單元、檢測直線單元以及幾何變化特征拒識單元,

所述車道區(qū)域俯視圖檢測單元,用以在車輛駛?cè)胲嚨罆r,抓取得到車道區(qū)域俯視圖;

所述顏色特征圖提取單元,用以根據(jù)車輛在行駛過程中車道線的顏色與道路干擾項,提取得到顏色特征圖;

所述對比度特征圖提取單元,用以將所述顏色特征圖中的像素,得到對比度特征圖;

所述檢測直線單元,用以在比度特征圖中按照投影檢測出直線;

所述幾何變化特征拒識單元,用以通過車道線的幾何特征拒識去除直線中的干擾項,檢測得到正確的車道線;

所述預(yù)警單元12,用以根據(jù)車道線的位置判斷車輛是否偏離了車道,并提示駕駛員。

本發(fā)明的原理:

本發(fā)明提出了一種融合了顏色特征、對比度特征和幾何變化特征的實時車道線檢測框架。首先通過逆透視變換得到俯視圖,將俯視圖通過顏色算子得到顏色特征圖,再通過對比度算子得到對比度特征圖。在對比度特征圖上通過投影累加的方法檢測直線,并通過車道線的幾何變化規(guī)律進行拒識。最終得到的直線即為車道線。

1).生成俯視圖

俯視圖是指模擬俯視視角的圖像,在俯視視角上車道線是平行的,更易于檢測。俯視圖的獲得是通過在原圖中選擇車道區(qū)域,再由逆透視變換獲得,計算逆透視變換矩陣的方法已經(jīng)非常成熟,不是本發(fā)明闡述的重點,故對此技術(shù)不再詳述,具體可參考OPENCV對應(yīng)函數(shù)。具體參考圖4是本發(fā)明一實施例中的變換俯視圖示例。

2).提取顏色特征圖

提取顏色特征圖的目的是利用顏色信息,增強車道線,抑制干擾項。對中國路況而言,車道線的顏色主要分為白色和黃色。干擾項主要是各種顏色的燈光,包括剎車燈的紅色炫光、交通燈的紅光和綠光在路面的倒影等,其主要的顏色成分是紅色和綠色。

根據(jù)以上先驗信息,提取顏色特征圖可概括為增強白色和黃色,抑制紅色和綠色。本發(fā)明經(jīng)過大量實驗,設(shè)計了一種非常簡單有效的顏色過濾算子,不會因處理RGB圖像而消耗更多計算資源。

將RGB圖像中的像素經(jīng)過下面的公式,可得到顏色特征圖C。

<mrow> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <mo>&times;</mo> <msub> <mi>R</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>&times;</mo> <msub> <mi>G</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> </mrow> <mrow> <msub> <mi>R</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>G</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> </mrow> </mfrac> <mo>-</mo> <mo>|</mo> <msub> <mi>R</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>G</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>|</mo> </mrow>

其中,R代表紅色通道,G代表綠色通道,i和j表示像素點的橫坐標和縱坐標。具體參考圖5是本發(fā)明一實施例中的提取顏色特征圖示例圖。

3).提取對比度特征圖

在顏色特征圖上,車道線對應(yīng)的特征值要大于路面的特征值,且車道線的寬度是固定的。對于車道線的像素點,在其上下一定范圍內(nèi)均為車道線,左右一定寬度外不再是車道線。此外,路面的顏色特征值是相近的,不會有大的浮動。

根據(jù)這些信息,本發(fā)明設(shè)計了一種對比度算子。將顏色特征圖C中的像素經(jīng)過下面的公式,可得到對比度特征圖D,

<mrow> <msub> <mi>D</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>+</mo> <mfrac> <mrow> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mi>&epsiv;</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>-</mo> <mi>&epsiv;</mi> </mrow> </msub> </mrow> <mn>2</mn> </mfrac> <mo>-</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>-</mo> <mi>&epsiv;</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>+</mo> <mi>&epsiv;</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>-</mo> <mo>|</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>-</mo> <mi>&epsiv;</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>C</mi> <mrow> <mi>i</mi> <mo>+</mo> <mi>&epsiv;</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>|</mo> </mrow>

經(jīng)過大量實驗,取ε=5。具體參考圖6是本發(fā)明一實施例中的提取對比度特征圖示例圖。

4).檢測直線

由于車道線在對比度特征圖上已經(jīng)非常凸顯,所以直線檢測可以選擇簡單高效的投影方法。設(shè)垂直方向為0度,取投影角度β從-15度到15度,分別計算對比度特征圖在不同角度的y軸方向的累加值,可得到在x軸上的一維數(shù)組。當出現(xiàn)局部峰值點時,選擇數(shù)組局部峰值點的x坐標和對應(yīng)的角度β來標定直線Li。具體參考圖7是本發(fā)明一實施例中的檢測直線示例圖。

5).幾何變化特征拒識

上一步檢測到的直線會存在少數(shù)干擾項,可通過車道線的幾何特征拒識。

經(jīng)過大量實驗發(fā)現(xiàn),在行車場景,車道線在路面的位置是相對固定的,即使是在切道和轉(zhuǎn)彎時,車道線的x坐標和角度β也是平穩(wěn)變化的。但是干擾直線一般不具備這一規(guī)律。例如對面開來的車的遠光燈射出的光線,在相對運動過程中,其在圖像中的角度β會在短時間內(nèi)發(fā)生巨大變化。

具體參考圖8是本發(fā)明一實施例中的遠光燈的炫光造成的干擾直線的示例圖。具體地,是一個由對面駛來的車輛的遠光燈的炫光造成的干擾直線的例子,直線已由箭頭標識。兩張俯視圖相隔僅5幀,假設(shè)攝像頭幀率是30fps,5幀對應(yīng)時間間隔僅為165ms。正常的車道線在5幀內(nèi)的變化不會超過3度。但炫光對應(yīng)的直線的β角卻變化了12度。根據(jù)車道線幾何變化規(guī)律,可以將兩幀之間車道線β的差值作為子特征,取最近5幀的差值組成5維特征。利用人工監(jiān)督的方法,選取車道線為正樣本,干擾直線為負樣本,通過SVM訓練得到分類器。然后利用訓練好的分類器拒識掉干擾直線。最后剩余的直線即為正確的車道線。SVM分類器相關(guān)技術(shù)非常成熟,可參考libsvm開源庫,本發(fā)明不再詳述。

所屬領(lǐng)域的普通技術(shù)人員應(yīng)當理解:以上,所述僅為本發(fā)明的具體實施例而已,并不用于限制本發(fā)明,凡在本發(fā)明的精神和原則之內(nèi),所做的任何修改、等同替換、改進等,均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。

當前第1頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
娄烦县| 漯河市| 若羌县| 石渠县| 梧州市| 苍梧县| 德江县| 安达市| 信宜市| 福清市| 益阳市| 当雄县| 额尔古纳市| 杭锦后旗| 富民县| 湾仔区| 汉中市| 武宣县| 正镶白旗| 宜兰县| 石狮市| 盐池县| 新源县| 承德县| 高尔夫| 民权县| 花莲县| 阳信县| 枝江市| 濮阳县| 绥德县| 仙桃市| 崇义县| 南平市| 辰溪县| 嘉义市| 峨山| 峨山| 贵州省| 富宁县| 隆子县|