專利名稱：道路分割物檢測方法和裝置的制作方法
技術領域：
本發(fā)明涉及道路檢測和對象檢測，更具體地涉及道路分割物檢測方法和裝置。
背景技術：
駕駛輔助系統(tǒng)的應用日漸普及。而道路或車道警告系統(tǒng)(Lane/Road detectionwarning,LDW/RDW)是駕駛輔助系統(tǒng)的子系統(tǒng)，可以避免碰撞，更準確地確定駕駛方向等。道路或車道檢測對于LDW/RDW系統(tǒng)非常關鍵，只有在知道了道路信息的基礎上才可能做進一步的處理，例如警告。一般通過檢測道路分割物來檢測道路或車道。道路分割物包括路肩石、白線、柵欄和其他能夠標識路的區(qū)域以及車道的物體。概括而言，有兩類檢測道路的方法:基于特征的方法和基于建模的方法?；谔卣鞯姆椒ㄍㄟ^組合一些道路特征來定位道路圖像中的道路或車道，道路特征例如有著色的線或者車道邊緣等?；诮５姆椒ㄊ紫却_定一個道路模型，例如是直線或者拋物線，然后用一些參數(shù)來代表道路。這兩類方法僅關注很少道路分割物的特定特征，因此不能靈活地檢測任意道路分割物的特征，例如，建模方法的一個模型僅適用于一種道路分割物，如僅適用于路肩石，而不適用于白線或柵欄，而為每種道路分割物專門建立特有的模型是低效的。在美國專利US7346190B2中，公開了一種道路檢測方法，該方法將三維坐標沿橫跨道路的方向投影到二維坐標，并生成沿橫跨道路的方向的直方圖，基于該直方圖來確定車道線。該方法不適用于道路高度不一致的情況，例如斜坡路。此外，當前的道路檢測大部分基于單色圖像或偏光圖像，在道路邊緣暗淡的圖像或者環(huán)境復雜例如存在傾斜道路的情況下，道路檢測效果不佳。

發(fā)明內容
鑒于現(xiàn)有技術中的上述問題，提出了本發(fā)明。根據(jù)本發(fā)明的一個方面，提供了一種道路分割物的檢測方法，可以包括:獲得包括道路區(qū)域的視差俯瞰圖；從視差俯瞰圖中檢測平行線作為道路分割物。該從視差俯瞰圖中檢測平行線的操作可以包括:以視差值為零的點作為基本點，針對各個基本點，計算由視差俯瞰圖中的每個非零點和該基本點確定的直線與等視差線之間的夾角的角度，由此得到關于該基本點的夾角的角度分布；以及基于各個基本點的夾角的角度分布來檢測平行線?；诟鱾€基本點的夾角的角度分布來檢測平行線可以包括:以基本點中夾角的角度分布聚合度按從高到低的順序排于前N位的基本點和/或聚合度的值大于預定聚合度閾值的基本點作為道路消失點，其中N是大于等于I的整數(shù)，道路消失點是平行的道路分割物在視差俯瞰圖中的交點，沿不同方向平行的道路分割物在視差俯瞰圖中的交點不同；以關于道路消失點的夾角的角度分布中角度的出現(xiàn)頻度大于預定閾值的夾角和道路消失點所確定的直線作為表示道路分割物所在的平行線。該道路分割物的檢測方法還可以包括:在確定視差俯瞰圖中的作為道路分割物的平行線后，根據(jù)如此找到的道路分割物在對應視差圖中的高度、位置或區(qū)域特征中的至少一種來對各個道路分割物進行進一步區(qū)分。獲得包括道路區(qū)域的視差俯瞰圖可以包括:獲得包括道路區(qū)域的視差圖；從視差圖中估計道路區(qū)域并且移除非道路區(qū)域；以及從移除了非道路區(qū)域的視差圖轉換得到該包括道路區(qū)域的視差俯瞰圖。根據(jù)本發(fā)明的另一方面，提供了一種道路分割物的檢測裝置，可以包括:視差俯瞰圖獲得部件，獲得包括道路區(qū)域的視差俯瞰圖；以及道路分割物檢測部件，從視差俯瞰圖中檢測平行線作為道路分割物。本發(fā)明的道路分割物檢測方法和裝置利用視差俯瞰圖檢測平行線作為道路分割物，可以消除道路分割物高度各異的影響，且可以一次性地檢測出多種形式的道路分割物。而且，本發(fā)明的道路分割物檢測方法和裝置同樣可以適用于檢測不平路面相關的道路分割物。本發(fā)明的道路分割物檢測方法和裝置充分利用了視差俯瞰圖中平行線相交于視差為零的點的特征，能同時檢測多個道路分割物，同時由于多個道路分割物相互約束，保證了檢測精度。


圖1是有助于理解本發(fā)明的、作為本發(fā)明應用環(huán)境的示例的車載系統(tǒng)示意圖；圖2是根據(jù)本發(fā)明一個實施例的道路分割物檢測方法的整體流程圖；圖3是根據(jù)本發(fā)明一個實施例的獲得包括道路區(qū)域的視差俯瞰圖的示例性方法的流程圖；圖4是在從視差圖中移除道路區(qū)域前后的對比示意圖；圖5是圖4中的視差圖以及轉換后得到的視差俯瞰圖的對比示意圖；圖6是從視差俯瞰圖中檢測平行線作為道路分割物的示例性方法的流程圖；圖7是示出基本點相關聯(lián)的夾角以及角度計算的示意圖；圖8是示出夾角角度的分布示例的示意圖；圖9是示出各個基本點的聚合度曲線的示意圖；圖10是示出根據(jù)本發(fā)明實施例的檢測出的視差俯瞰圖中的道路消失點和作為道路分割物的平行線的示意圖；以及圖11是示出根據(jù)本發(fā)明實施例的道路分割物檢測裝置的框圖。
具體實施例方式為了使本領域技術人員更好地理解本發(fā)明，下面結合附圖和具體實施方式
對本發(fā)明作進一步詳細說明。將按如下順序進行描述:1、發(fā)明思想概述和基本概念介紹2、實施例
2.1、道路分割物檢測的整體過程2.2、視差俯瞰圖的獲得2.3、視差俯瞰圖中平行線的檢測2.3.1、基本點相關聯(lián)的夾角的角度分布2.3.2、道路消失點的確定2.3.3、作為平行線的道路分割物的檢測2.3.4、道路分割物的進一步區(qū)分2.4、道路分割物檢測裝置3、總結〈 1、發(fā)明思想概述和基本概念介紹>在具體描述之前，首先總體介紹一下本發(fā)明的思想，以便本領域人員更好地理解本發(fā)明:考察各種道路分割物，例如，白線、路肩石、柵欄、道路邊緣，它們的共性是在一般情況下是平行的。它們的不同在于，高度和面積各異，例如柵欄最高，所占面積最大，路肩石次之，而白線最低，所占面積最小。U-視差圖(U-disparity)具有如下兩大特性:一是俯瞰圖或鳥視圖的特性(故下文中稱之為視差俯瞰圖)，即消除了高度這一維度的特征；二是在視差俯瞰圖中，各個平行線彼此相交于視差為零的視差點上。為此，本發(fā)明考慮利用視差俯瞰圖的此兩大特性，通過從視差俯瞰圖中檢測平行線來一次性檢測各種道路分割物。下面介紹一下基本概念，以便于理解。視差，實際指從某一基線兩端各引一直線到同一較遠物體時，其間所成的夾角。一般指從有一定距離的兩個點上觀察同一個目標所產生的方向差異。從目標看兩個點之間的夾角，叫做這兩個點的視差角，兩點之間的距離稱作基線。只要知道視差角度和基線長度，就可以計算出目標和觀測者之間的距離。視差圖(disparity map)是以任一幅圖像為基準,其大小為該基準圖像的大小,元素值為視差值的圖像。視差圖包含了場景的距離信息。視差圖可以從雙目相機拍攝的左圖像和右圖像中計算得到，或者通過立體視圖中的深度圖計算得到。普通二維視差圖中的某點坐標以(u,v)表示,其中u為橫坐標,V為縱坐標；點(u,V)處的像素的像素值用d(u，V)表示，表示該點(U，V)處的視差。視差俯敵圖或U-視差圖可以從視差圖中計算得到。U-視差圖中任意一點(u, d)的灰度值是對應視差圖的橫坐標為u的列中視差值等于d的點的個數(shù)。〈2、實施例〉<2.1道路分割物檢測的整體過程>圖1是有助于理解本發(fā)明的、作為本發(fā)明應用環(huán)境的示例的車載系統(tǒng)示意圖。本發(fā)明的軟件或者硬件實現(xiàn)可以作為其中的道路檢測部件。圖2是根據(jù)本發(fā)明一個實施例的道路分割物檢測方法200的整體流程圖。在步驟S210中，獲得包括道路區(qū)域的視差俯瞰圖。如前面所述，可以通過雙目相機、多目相機、立體相機拍攝并計算得到包括道路區(qū)域的視差圖，由視差圖變換得到視差俯瞰圖；或者從立體視圖中獲得深度圖，根據(jù)深度圖得到視差圖，由視差圖變換得到視差俯瞰圖。后面將參考圖3說明步驟S210實現(xiàn)的一個優(yōu)選實施例。在步驟S220中，從視差俯瞰圖中檢測平行線作為道路分割物。如前所述，在大多數(shù)情況下，諸如路肩石、柵欄、各種分道線等的道路分割物都是平行的。因此，可以通過檢測平行線來檢測道路分割物。關于從視差俯瞰圖中檢測平行線的方法，下文將參考圖6詳細描述。<2.2視差俯瞰圖的獲得>下面，參考圖3描述根據(jù)本發(fā)明一個實施例的圖2中步驟S210的獲得包括道路區(qū)域的視差俯瞰圖的方法。在步驟S310中，獲得包括道路區(qū)域的視差圖。具體地，例如，可以通過車載雙目相機來拍得左圖像和右圖像，基于左圖像和右圖像計算得到視差圖。在步驟S320中，從視差圖中估計道路區(qū)域并且移除非道路區(qū)域。關于估計道路區(qū)域，有以下方法:1)考慮到攝像機的角度不會頻繁變化，因此可以利用攝像機的參數(shù)例如角度和高度來估計；2)可以通過使用V-視差圖來進行，例如找到V 視差圖中的斜線；3)以及文獻“Road approximation in Euclidean and V-DisparitySpace:A Comparative Study^Angle D.Sappa等中介紹的方法。替代地，也可以由人工指定道路區(qū)域信息。在獲得道路區(qū)域信息后，從視差圖中移除非道路區(qū)域。另外，還可以采用預定高度閾值rh來將自路面起高度大于rh的所有點移除。因為，高度大于rh的點可能代表路上的車輛、騎自行車的人或者電線桿等噪聲。圖4是移除前后的對比示意圖。其中左邊的圖表示移除操作前的視差圖，右邊的圖表示移除操作后的視差圖。通過移除非道 路區(qū)域，降低了非目標對象的影響，提高了后續(xù)道路分割物檢測的準確率和速度。在步驟330中，從移除了非道路區(qū)域的視差圖轉換得到該包括道路區(qū)域的視差俯瞰圖。下面描述轉換操作。對于視差圖D，表示為:D = d(u, V)其中，u e
dmax是視差圖D中的視差最大值。視差俯瞰圖中的Pui(Updi) e U是視差俯瞰圖中的點(Ui，Vi)的灰度值，其等于對應視差圖D中所有滿足u = Ui且d = (Ii的點的個數(shù),也在橫坐標為Ui的列中視差為(Ii的點的個數(shù)。圖5示出了圖4中的移除后的視差圖以及轉換后得到的視差俯瞰圖。此外，這里還可以對如此得到的視差俯瞰圖進行一些后處理，例如去噪，其中一種實現(xiàn)方式是，將所有灰度值小于預定閾值的點都從視差俯瞰圖中去除，也即將所有灰度值小于預定閾值的點的灰度值改為零。這是因為，噪聲一般是離散點，在視差圖的各列中，不會存在很多視差一樣的噪聲點。另外，為了避免無意地去除諸如白線的分道線，優(yōu)選地，將預定閾值設置為較小值，例如設置為I?！?.3視差俯瞰圖中平行線的檢測>
下面參考圖6來具體描述從視差俯瞰圖中檢測平行線作為道路分割物的方法的示例600。如圖6所示，在步驟610中，計算各個基本點相關聯(lián)的夾角的角度分布。具體地，以視差值為零的點作為基本點，針對各個基本點，計算由視差俯瞰圖中的每個視差非零點和該基本點確定的直線與等視差線之間的夾角的角度，由此得到關于該基本點的夾角的角度分布。稍后將參考圖7詳細描述該步驟的操作。在步驟620中，基于各個基本點的夾角的角度分布來檢測平行線。稍后將參考圖8詳細描述該步驟的操作。〈2.3.1基本點相關聯(lián)的夾角的角度分布>如前文所述，在三維空間中，平行線是不相交的，或者可以認為是相交于無窮遠處。但是在視差俯瞰圖中，平行線相交于視差值等于零的一個點，我們將此交點稱為道路消失點，視差值等于零表示該點在左右眼看來是一樣的，該點應該在無窮遠處。在視差俯瞰圖中，視差值等于零的點位于一條橫線上，我們將視差值等于零的點統(tǒng)稱為基本點。因此，下一步的操作是，確定在若干基本點中哪個或哪些基本點是平行線的交點，也即是道路消失點。在各個道路分割物均彼此平行的情況下，則在視差俯瞰圖中只存在一個道路消失點，設為(xO，O)，所有道路分割物在視差俯瞰圖中都相交于此點。而對于一個道路分割物例如柵欄A而言，在視差俯瞰圖中，屬于柵欄A的點都在通過道路消失點(x0，0)的一條直線La上；而對于另一道路分割物例如柵欄B，在視差俯瞰圖中，屬于柵欄B的點都在通過道路消失點(x0，0)的另一條直線Lb上；類似地，對于另一道路分割物例如分道線C，在視差俯瞰圖中，屬于分道線C的點都在通過道路消失點(x0，0)的另一條直線Lc上。那么，如果考察由視差俯瞰圖中的每個視差非零點和基本點確定的直線與等視差線之間的夾角的角度分布，則相比于其他基本點，道路消失點(x0，0)的角度分布最集中，也即分散度最低。這是因為，對于同一道路分割物，其上的各點相關于道路消失點的夾角的角度都是一樣的，即角度分布會比較集中。而如果該基本點不是道路消失點，則即使同一道路分割物上的各點，它們相關于該基本點的夾角的角度也是不一樣的，也即角度分布會比較分散。因此可以通過確定基本點中夾角分布，來取其中分布較集中的點作為道路消失點。在確定了道路消失點后，可以確定各個相交于該道路消失點的直線，由此檢測出平行線作為道路分割物。下面參考圖7描述各個基本點相關聯(lián)的夾角以及角度分布的計算。如圖7所示,設基本點以b(x,0)表示,其中X e [O, w),各個基本點所在的視差線以m表示，視差俯瞰圖中任一視差非零點P (u，d) e U，以及通過基本點b和P的直線以η表示，直線m和η之間的夾角以Θ表示。則夾角Θ的正切為
權利要求
1.一種道路分割物的檢測方法，包括: 獲得包括道路區(qū)域的視差俯瞰圖； 從視差俯瞰圖中檢測平行線作為道路分割物。
2.根據(jù)權利要求1的方法，該從視差俯瞰圖中檢測平行線的操作包括: 以視差值為零的點作為基本點，針對各個基本點，計算由視差俯瞰圖中的每個視差非零點和該基本點確定的直線與等視差線之間的夾角的角度，由此得到關于該基本點的夾角的角度分布；以及 基于各個基本點的夾角的角度分布來檢測平行線。
3.根據(jù)權利要求2的方法，其中基于各個基本點的夾角的角度分布來檢測平行線包括: 以基本點中夾角的角度分布聚合度按從高到低的順序排于前N位的基本點和/或聚合度的值大于預定聚合度閾值的基本點作為道路消失點，其中N是大于等于I的整數(shù)，道路消失點是平行的道路分割物在視差俯瞰圖中的交點，沿不同方向平行的道路分割物在視差俯瞰圖中的交點不同； 以關于道路消失點的夾角的角度分布中角度的出現(xiàn)頻度大于預定閾值的夾角和道路消失點所確定的直線作為表示道路分割物所在的平行線。
4.根據(jù)權利要求2的方法，所述關于每個基本點X的夾角的角度分布按如下公式計算: Κι,,! =其中 θ e O 其中X表示基本點，N是視差俯瞰圖中視差非零點的數(shù)目，Θ是夾角的角度的取值集合； Ce是由基本點X和視差俯瞰圖中的每個視差非零點確定的直線和等視差線的夾角的角度等于θ的視差非零點的數(shù)目。
5.根據(jù)權利要求1和2中任一的方法，還包括: 在確定視差俯瞰圖中的作為道路分割物的平行線后，根據(jù)如此找到的道路分割物在對應視差圖中的高度、位置或區(qū)域特征中的至少一種來對各個道路分割物進行進一步區(qū)分。
6.根據(jù)權利要求1和2中任一的方法,還包括: 對于從視差圖轉換得到的視差俯瞰圖，視差俯瞰圖的橫坐標以u表示，縱坐標以d表不，d表不視差,各點的值pui (Ui, (Ii) ε U是視差圖中所有橫坐標為Ui視差為Cli的點的數(shù)目，將值Pui (Ui, (Ii)小于特定閾值的點的值Pui (Ui, (Ii)均設為零。
7.根據(jù)權利要求1和2中任一的方法，其中所述獲得包括道路區(qū)域的視差俯瞰圖包括: 獲得包括道路區(qū)域的視差圖； 從視差圖中估計道路區(qū)域并且移除非道路區(qū)域；以及 從移除了非道路區(qū)域的視差圖轉換得到該包括道路區(qū)域的視差俯瞰圖。
8.—種道路分割物的檢測裝置，包括: 視差俯瞰圖獲得部件，獲得包括道路區(qū)域的視差俯瞰圖；以及 道路分割物檢測部件，從視差俯瞰圖中檢測平行線作為道路分割物。
9.根據(jù)權利要求8的道路分割物的檢測裝置，其中，道路分割物檢測部件從視差俯瞰圖中檢測平行線的操作包括: 以視差值為零的點作為基本點，針對各個基本點，計算由視差俯瞰圖中的每個視差非零點和該基本點確定的直線與等視差線之間的夾角的角度，由此得到關于該基本點的夾角的角度分布；以及 基于各個基本點的夾角的角度分布來檢測平行線。
10.根據(jù)權利要求9的道路分割物的檢測裝置，其中基于各個基本點的夾角的角度分布來檢測平行線包括: 以基本點中夾角的角度分布聚合度按從高到低的順序排于前N位的基本點或者聚合度的值大于預定聚合度閾值的基本點作為道路消失點，其中N是大于等于I的整數(shù)，道路消失點是平行的道路分割物在視差俯瞰圖中的交點，沿不同方向平行的道路分割物在視差俯瞰圖中的交點不同；以及 以關于道路消失點的夾角的角度分布中角度的出現(xiàn)頻度大于預定閾值的夾角和道路消失點所確定的直線作為表示道路分割物所在的平行線。
全文摘要
公開了一種檢測道路分割物的方法和裝置，其中獲得包括道路區(qū)域的視差俯瞰圖；從視差俯瞰圖中檢測平行線作為道路分割物。利用視差俯瞰圖檢測道路分割物，可以消除道路分割物的高度的影響，使得可以一次同時檢測出多種形式的道路分割物。
文檔編號G06T7/00GK103164851SQ201110409269
公開日2013年6月19日 申請日期2011年12月9日 優(yōu)先權日2011年12月9日
發(fā)明者魯耀杰, 游贛梅, 鄭繼川 申請人:株式會社理光