專利名稱：側(cè)壁檢測裝置的制作方法
技術(shù)領(lǐng)域：
本實(shí)用新型涉及一種側(cè)壁檢測裝置，其對防護(hù)欄等成為道路邊界的作為連續(xù)立體物的側(cè)壁進(jìn)行檢測。
背景技術(shù)：
作為識別道路形狀和可行駛范圍的技術(shù)，開發(fā)了下述技術(shù)，其通過利用搭載于車輛上的照相機(jī)等拍攝裝置對車外的對象景象進(jìn)行拍攝，并對該拍攝到的圖像進(jìn)行圖像處理，從而檢測道路上的白線、其它車輛、道路周邊的物體，此外，開發(fā)了求出直至道路形狀或物體為止的距離的測量技術(shù)。

實(shí)用新型內(nèi)容但是，在實(shí)際的復(fù)雜狀況下，在實(shí)際的道路上的圖像中描繪各種物體，有時直至遠(yuǎn)·方的防護(hù)欄、樹叢、標(biāo)桿列等應(yīng)檢測的物體的一部分被位于前方的其它物體遮蔽。在這種狀況下，準(zhǔn)確地僅檢測作為目標(biāo)的側(cè)壁是極其困難的。本實(shí)用新型就是鑒于上述情況而提出的，其目的在于提供一種側(cè)壁檢測裝置，其可以可靠地檢測直至遠(yuǎn)方的防護(hù)欄、樹叢、標(biāo)桿列等成為道路邊界的作為連續(xù)立體物的側(cè)壁，并且，可以將側(cè)壁的有無、位置、方向以易于處理的數(shù)據(jù)形式進(jìn)行檢測。第I實(shí)用新型的特征在于，具有測量單元，其對車外的設(shè)定范圍的對象進(jìn)行檢測，并輸出相對于該對象的位置信息；側(cè)壁直線檢測單元，其基于來自上述測量單元的位置信息，對成為道路邊界的作為連續(xù)立體物的側(cè)壁的有無、和對與該側(cè)壁的位置近似的直線方程式進(jìn)行檢測；以及側(cè)壁范圍檢測單元，其在由上述側(cè)壁直線檢測單元檢測出的直線方程式的周圍設(shè)定空間區(qū)域，僅提取該空間區(qū)域內(nèi)的數(shù)據(jù)而檢測上述側(cè)壁所存在的范圍。第2實(shí)用新型的特征在于，具有測量單元，其對車外的設(shè)定范圍內(nèi)的對象進(jìn)行檢測，并輸出相對于上述對象的三維位置信息；道路檢測單元，其基于來自上述測量單元的三維位置信息，確定道路模型，檢測該道路模型而作為道路形狀；數(shù)據(jù)提取單元，其基于上述道路模型，從上述三維位置信息中僅提取位于道路表面上方的數(shù)據(jù)；側(cè)壁直線檢測單元，其根據(jù)由上述數(shù)據(jù)提取單元提取出的數(shù)據(jù)，對成為道路邊界的作為連續(xù)立體物的側(cè)壁的有無、和對與該側(cè)壁的位置近似的直線方程式進(jìn)行檢測；以及側(cè)壁范圍檢測單元，其在由上述側(cè)壁直線檢測單元檢測出的直線方程式的周圍設(shè)定空間區(qū)域，僅提取該空間區(qū)域內(nèi)的數(shù)據(jù)而檢測上述側(cè)壁所存在的范圍。第3實(shí)用新型的特征在于，在第2實(shí)用新型中，在上述道路檢測單元中具有道路形狀推定單元，其基于上述三維位置信息，推定道路的白線的位置及形狀；三維窗口設(shè)定單元，其將包圍由上述道路形狀推定單元所推定的道路的白線在內(nèi)的三維空間區(qū)域，設(shè)定作為三維窗口 ；直線要素檢測單元，其從上述三維位置信息中僅提取上述三維窗口內(nèi)的數(shù)據(jù)，對構(gòu)成上述道路模型的三維直線要素進(jìn)行檢測；以及道路形狀判定單元，其判定由上述直線要素檢測單元檢測出的直線要素的適當(dāng)性，在不符合判定基準(zhǔn)的情況下，對上述直線要素進(jìn)行修改或變更，確定上述道路模型。第4實(shí)用新型的特征在于，在第I實(shí)用新型或第2實(shí)用新型中，上述側(cè)壁范圍檢測單元，作成以上述空間區(qū)域內(nèi)的數(shù)據(jù)的個數(shù)為縱軸、以與本車輛的距離為橫軸的直方圖，根據(jù)該直方圖的頻度大小，檢測上述側(cè)壁所存在的范圍。第5實(shí)用新型的特征在于，在第I實(shí)用新型中，還具有遠(yuǎn)方側(cè)壁線檢測單元，其以由上述側(cè)壁直線檢測單元檢測出的側(cè)壁直線作為基準(zhǔn)，對更遠(yuǎn)處的直線狀或曲線狀的側(cè)壁線進(jìn)行檢測；以及側(cè)壁檢測單元，其將上述側(cè)壁直線及上述側(cè)壁線組合而檢測側(cè)壁的位置。第6實(shí)用新型的特征在于，在第5實(shí)用新型中，上述側(cè)壁檢測 單元，在檢測出的上述側(cè)壁沒有以大于或等于規(guī)定距離被連續(xù)檢測出的情況下，使檢測結(jié)果無效。第7實(shí)用新型的特征在于，在第5實(shí)用新型或第6實(shí)用新型中，上述側(cè)壁檢測單元，在檢測出的上述側(cè)壁具有大于或等于規(guī)定速度的移動速度的情況下，使檢測結(jié)果無效。實(shí)用新型的效果如上所述，根據(jù)本實(shí)用新型，由于基于針對車外的設(shè)定范圍的對象的位置信息，對防護(hù)欄、樹叢、標(biāo)桿列等成為道路邊界的作為連續(xù)立體物的側(cè)壁的有無、對與該側(cè)壁的位置近似的直線方程式、以及該側(cè)壁的存在范圍進(jìn)行檢測，所以得到下述優(yōu)異的效果，即，即使在沒有道路白線的情況下、或者在難以檢測白線的情況下，也可以可靠地檢測直至遠(yuǎn)方的側(cè)壁，并且可以將側(cè)壁的有無、位置、方向以易于處理的數(shù)據(jù)形式進(jìn)行檢測，因此，可以利用這些數(shù)據(jù)而實(shí)現(xiàn)程度更高的危險警報及避免事故的功能。

圖I是側(cè)壁檢測裝置的整體結(jié)構(gòu)圖。圖2是側(cè)壁檢測裝置的電路框圖。圖3是道路·側(cè)壁檢測單元的功能框圖。圖4是表示道路模型的例子的說明圖。圖5是表不二維窗口的形狀的說明圖。圖6是表示二維窗口的形狀的說明圖。圖7是表示直線要素和數(shù)據(jù)偏移量的說明圖。圖8至圖10表示側(cè)壁檢測部的動作的流程圖，圖8是立體物數(shù)據(jù)提取處理的流程圖。圖9是側(cè)壁直線檢測處理的流程圖。圖10是側(cè)壁范圍檢測處理的流程圖。
具體實(shí)施方式
下面，參照附圖說明本實(shí)用新型的實(shí)施例。圖I是側(cè)壁檢測裝置的整體結(jié)構(gòu)圖，圖2是側(cè)壁檢測裝置的電路框圖，圖3是道路·側(cè)壁檢測單元的功能框圖，圖4是表示道路模型的例子的說明圖，圖5是表示三維窗口的形狀的說明圖，圖6是表示二維窗口的形狀的說明圖，圖7是表示直線要素和數(shù)據(jù)偏移量的說明圖，圖8至圖10是表示側(cè)壁檢測部的動作的流程圖，圖8是立體物數(shù)據(jù)提取處理的流程圖，圖9是側(cè)壁直線檢測處理的流程圖，圖10是側(cè)壁范圍檢測處理的流程圖。[0025]在圖I中，標(biāo)號I是汽車等車輛，在該車輛I中搭載有側(cè)壁檢測裝置2，其對車外的設(shè)置范圍內(nèi)的對象進(jìn)行識別并進(jìn)行監(jiān)視。該側(cè)壁檢測裝置2具有立體光學(xué)系統(tǒng)10，其對車外的設(shè)定范圍內(nèi)的對象物進(jìn)行拍攝；立體圖像處理單元20，其對由該立體光學(xué)系統(tǒng)10拍攝到的圖像進(jìn)行處理，計算三維的距離分布信息；以及道路·側(cè)壁檢測單元100，其輸入來自該立體圖像處理單元20的距離信息，根據(jù)該距離信息，高速地檢測道路形狀、以及防護(hù)欄、樹叢、標(biāo)桿列等成為道路邊界的作為連續(xù)立體物的側(cè)壁的三維位置，例如通過連接對未圖示致動器類進(jìn)行控制的外部裝置，從而在車輛I存在與識別出的側(cè)壁碰撞或者接觸的危險的情況下，可以對駕駛員發(fā)出警告、進(jìn)行車身自動避免碰撞等動作。上述立體光學(xué)系統(tǒng)10，作為將拍攝到的圖像變換為電氣信號的拍攝裝置，例如使用具有電荷耦合元件(CCD)等固體拍攝元件的CCD照相機(jī)，作為遠(yuǎn)距離的左右圖像用的2臺CXD照相機(jī)11a、Ilb (有時也作為代表而表述為CXD照相機(jī)11)，隔著一定間隔而分別安裝在車室內(nèi)的車頂前方，并且，作為近距離的左右圖像用的2臺CXD照相機(jī)12a、12b (有時也作為代表而表述為CCD照相機(jī)12)，隔著一定間隔而分別安裝在遠(yuǎn)距離用的CCD照相機(jī) IlaUlb的內(nèi)側(cè)。另外，如圖2所示，上述立體圖像處理單元20由距離檢測電路20a和距離圖像存儲器20b等構(gòu)成，該距離檢測電路20a輸入來自上述立體光學(xué)系統(tǒng)10的左右2個圖像信號，針對每一個圖像的微小區(qū)域檢測由2個圖像描繪同一物體的部分，并在整個圖像中執(zhí)行根據(jù)該圖像上的位置的偏移量對直至物體為止的距離進(jìn)行計算的處理，該距離圖像存儲器20b存儲作為該距離檢測電路20a的輸出的距離信息，由上述立體光學(xué)系統(tǒng)10和上述立體圖像處理單元20構(gòu)成測量單元，檢測車外的設(shè)定范圍的對象，并輸出該對象的位置信肩、O另外，道路·側(cè)壁檢測單元100，以微處理器IOOa為中心，并由存儲控制程序的只讀存儲器(ROM) 100b、存儲計算處理過程中的各種參數(shù)的讀寫兩用存儲器(RAM) 100c、接口電路100d、存儲處理結(jié)果的參數(shù)的輸出用存儲器IOOe等構(gòu)成，該微處理器IOOa對寫入距離圖像存儲器20b中的距離信息進(jìn)行讀取而進(jìn)行各種計算處理，上述接口電路IOOd連接有安裝于車輛I上的車速傳感器3和對方向盤的轉(zhuǎn)向操縱角進(jìn)行檢測的轉(zhuǎn)向角傳感器4。上述微處理器IOOa從上述距離圖像存儲器20b輸入距離圖像并執(zhí)行計算處理，將處理結(jié)果即道路形狀及側(cè)壁的參數(shù)向輸出用存儲器IOOe輸出。與道路 側(cè)壁檢測單元100連接的外部設(shè)備從上述輸出用存儲器IOOe接收上述參數(shù)。上述道路·側(cè)壁檢測單元100的識別功能如圖3所示，大致分為道路檢測部110和側(cè)壁檢測部120，處理結(jié)果存儲在作為道路 側(cè)壁參數(shù)存儲部130的輸出存儲器IOOe中，由未圖示的外部裝置讀取。上述道路檢測部110具有作為道路檢測單元的功能，其基于包含在上述距離圖像中的距離分布的信息(三維位置信息)，確定道路模型，將該道路模型作為道路形狀進(jìn)行檢測，其由道路形狀推定部111、三維窗口生成部112、直線要素檢測部113以及道路形狀判定部114構(gòu)成。另外，上述側(cè)壁檢測部120由立體物數(shù)據(jù)提取部121、側(cè)壁直線檢測部122以及側(cè)壁范圍檢測部123構(gòu)成。道路形狀推定部111作為道路形狀推定單元起作用，其基于包含在上述距離圖像中的距離分布的信息，推定道路的白線位置以及形狀，三維窗口生成部112作為三維窗口設(shè)定單元起作用，其將包圍所推定的道路的白線在內(nèi)的三維空間區(qū)域設(shè)定為三維窗口。另外，直線要素檢測部113作為直線要素檢測單元起作用，其從上述距離分布信息中僅提取上述三維窗口內(nèi)的數(shù)據(jù)，對構(gòu)成上述道路模型的三維直線要素進(jìn)行檢測，道路形狀判定部114作為道路形狀判定單元起作用，其對檢測出的直線要素的適當(dāng)性進(jìn)行判定，在不符合判定基準(zhǔn)的情況下，對上述直線要素進(jìn)行修改或者變更，確定上述道路模型。另外，立體物數(shù)據(jù)提取部121作為數(shù)據(jù)提取單元起作用，其基于所確定的道路模型，從上述距離分布信息中僅提取位于道路表面上方的數(shù)據(jù)，側(cè)壁直線檢測部122作為側(cè)壁直線檢測單元起作用，其從提取出的立體物數(shù)據(jù)中，僅提取預(yù)先設(shè)定的側(cè)壁搜索區(qū)域內(nèi)的數(shù)據(jù)，檢測表示有無側(cè)壁和側(cè)壁位置的直線方程式。另外，側(cè)壁范圍檢測部123作為側(cè)壁范圍檢測單元起作用，其基于表示側(cè)壁位置的直線方程式，設(shè)定推定側(cè)壁存在的側(cè)壁候補(bǔ)區(qū)域，根據(jù)該側(cè)壁候補(bǔ)區(qū)域內(nèi)的立體物數(shù)據(jù)的分布狀態(tài)，檢測側(cè)壁的前后端的位置。另外，遠(yuǎn)方側(cè)壁線檢測單元124以由側(cè)壁直線檢測單元檢測出的側(cè)壁直線為基準(zhǔn)，檢測更遠(yuǎn)方的直線狀或曲線狀的側(cè)壁線。另外，側(cè)壁檢測單元125將由側(cè)壁直線檢測部122檢測出的表示側(cè)壁位置的直線方程式、以及由遠(yuǎn)方側(cè)壁線檢測單元124檢測出的側(cè)壁線組合而檢測側(cè)壁位置。此外，在所檢測出的側(cè)壁沒有以大于或等于規(guī)定距離被連續(xù)檢測出的情況下，使檢測結(jié)果無效。此外，在檢測出的側(cè)壁具有大于或等于規(guī)定速度的移動速度的情況下，使檢測結(jié)果無效。在上述道路檢測部110中，利用根據(jù)存儲在距離圖像存儲器20b中的距離圖像得到的三維位置信息，僅分離并提取實(shí)際道路上的白線，將內(nèi)置的道路模型的參數(shù)修改 變更至符合實(shí)際道路形狀，從而識別道路形狀。在實(shí)際的圖像中，前行車輛等是與道路上的白線重疊地顯現(xiàn)出來的，而在根據(jù)二維特征對顯現(xiàn)在圖像中的道路白線進(jìn)行檢測的現(xiàn)有的大多裝置中，基本難以根據(jù)二維特征分離白線和立體物，但在本實(shí)用新型中，通過利用白線的三維位置信息，可以可靠地分離白線和立體物。S卩，在三維空間中，白線位于道路的平面上，另一方面，前行車輛等立體物位于高于道路平面的位置。因此，根據(jù)距離道路表面的高度區(qū)分白線和立體物。此外，在道路檢測部110中內(nèi)置道路模型，該道路模型將至識別對象范圍為止的道路的本車線根據(jù)所設(shè)定的距離而劃分為多個區(qū)間，針對每個區(qū)間將左右白線利用后述的三維直線方程式近似并以折線狀連結(jié)，將由左右折線圍成的范圍判斷為本車輛的行駛車線。所謂道路形狀的識別，也可以稱為將三維直線方程式參數(shù)導(dǎo)出的過程。圖4是道路模型的例子，該模型例如將至前方84m為止的道路分為第O區(qū)間R0、第I區(qū)間R1、第2區(qū)間R2、…、第6區(qū)間R6這7個區(qū)間，近似表現(xiàn)出左彎道。在該道路模型中，通過用7個區(qū)間近似表現(xiàn)道路，從而可以以充分的精度表現(xiàn)直線道路甚至彎道及S字狀道路。另外，因?yàn)楦鱾€區(qū)間是以直線進(jìn)行表示的，所以計算處理及處理簡單。此外，如后所述，也可以將各個區(qū)間以水平方向以及垂直方向的直線方程式進(jìn)行表示，從而表現(xiàn)道路的上坡下坡及凹凸等道路上下方向的形狀。此外，上述道路模型的對各區(qū)間進(jìn)行劃分的距離的值需要與所行駛的道路的彎曲曲率對應(yīng)而變更。在通常的高速公路中，因?yàn)閺澋赖陌霃奖辉O(shè)計為至少230m左右，所以在這種情況下，如果將各個區(qū)間的分割距離設(shè)為10m、17m、25m、35m、48m、65m、84m,則可以得到
良好的結(jié)果。下面，詳細(xì)說明道路檢測部110的功能。在道路形狀推定部111中，基于上一次(Δ tsec前)的道路形狀的識別結(jié)果，使用來自車速傳感器3、轉(zhuǎn)向角傳感器4的輸出信號，計算At秒間的車輛的動作，推定從At秒后的車輛I的位置所觀察到的道路形狀。即，如果將車速傳感器3的輸出信號設(shè)為VOn/sec)，將安裝在轉(zhuǎn)向柱上的轉(zhuǎn)向角傳感器4的輸出信號(轉(zhuǎn)向操縱角)設(shè)為η (rad)，則At秒間的車輛I的前進(jìn)量AZOii)和旋轉(zhuǎn)角度(偏轉(zhuǎn)角)△ Θ (rad)通常可以根據(jù)下述算式進(jìn)行大概計算。AZ = VXAt(I)Δ Θ = Δ Z X tan ( η /rs) X 1/ffb (2)在這里，rs為方向盤和前輪的旋轉(zhuǎn)比，Wb為車輛的軸距。由此，通過將在上一次處理中檢測出的道路形狀以ΛΖ向前方移動，此外，以Λ Θ使道路形狀以與車輛I的轉(zhuǎn)動相反的方向進(jìn)行轉(zhuǎn)動，從而可以推定秒后的道路的大概位置和形狀。在三維窗口生成部112中，將表示所推定的道路形狀RD的左右折線內(nèi)的一個直線要素Ld作為中心，設(shè)定如圖5所示的長方體狀的三維空間區(qū)域即三維窗口 WD3A，計算該設(shè)定的三維窗口 WD3A在如圖6所示的二維圖像上是怎樣被觀察到的，將窗口輪廓線的內(nèi)側(cè)(圖6中的斜線部分)作為二維窗口 WD2A，僅將其中的數(shù)據(jù)作為檢測對象。在根據(jù)三維窗口 WD3A求出二維窗口 WD2A時，根據(jù)三維窗口 WD3A的8個頂點(diǎn)的各個坐標(biāo)(Xn, Yn, Zn),計算圖像上的坐標(biāo)(in, jn),計算包括這些點(diǎn)在內(nèi)的多邊形。該三維窗口 WD3A，使其長度與各區(qū)間的分割距離(例如，在第I區(qū)間Rl中為前方
10 17m)相等，另一方面，使高度和寬度與車速等狀況相應(yīng)地變化，但在預(yù)測道路形狀的推定存在誤差而與實(shí)際的白線位置存在偏移的情況下，要增加高度及寬度而擴(kuò)大進(jìn)行檢測的范圍。但是，如果窗口過大，則道路周邊的路緣石或樹木等也被檢測出，成為產(chǎn)生錯誤識別的原因，因此，適當(dāng)?shù)剡x擇窗口尺寸是很重要的。根據(jù)實(shí)驗(yàn)的結(jié)果，可知在通常的高速公路行駛中，使其在高度O. 4m O. 8m,寬度O. 4 I. 6m的范圍內(nèi)變化是優(yōu)選的。如上所示，即使在二維圖像上道路白線和立體物重疊，也可以通過設(shè)定三維窗口而僅提取道路表面附近的數(shù)據(jù)，從而區(qū)分地檢測白線和立體物。另外，在道路周邊也有路緣石及樹木等，但通過設(shè)定三維窗口，僅提取推定為白線的位置附近的數(shù)據(jù)，從而可以將道路上的白線與這些路緣石及樹木等區(qū)分而進(jìn)行檢測。此外，通過設(shè)定二維窗口，可以減少進(jìn)行搜索的區(qū)域以及數(shù)據(jù)量，縮短處理時間。在直線要素檢測部113中，對于此前推定出的道路形狀的直線要素Ld，計算被攝體的三維位置的X方向的偏移量ΛΧ、Υ方向的偏移量λ Y，與該偏移量Λ X、Λ Y對應(yīng)地，在各個數(shù)據(jù)中乘以設(shè)定的權(quán)重系數(shù)，利用最小二乘法導(dǎo)出水平方向(XZ方向)以及垂直方向(YZ)方向的直線方程式，求出參數(shù)。詳細(xì)地說，首先，依次測量二維窗口 WD2A內(nèi)的像素，對于具有距離數(shù)據(jù)的像素，計算被攝體的三維位置(X，Y，Ζ)，對于距離Z的值落在三維窗口 WD3A的長度范圍(例如，在第I區(qū)間Rl中為Z = 10 17m)之外的距離數(shù)據(jù)，從檢測對象中去除。g卩，由于位于三維窗口 WD3A的相對側(cè)或眼前側(cè)的物體的圖像，被寫入二維窗口WD2A內(nèi)，所以在二維窗口 WD2A內(nèi)，測量到的被攝體并不一定包含在三維窗口 WD3A內(nèi)。因此，計算各像素的被攝體的三維位置(X，Y，Z)，判定是否包含在三維窗口 WD3A內(nèi)。然后，將此前推定出的道路形狀的直線要素Ld和被攝體的三維位置進(jìn)行比較，計算如圖7所示的數(shù)據(jù)Di的X方向、Y方向的偏移量Λ Xi、Λ Yi，在僅選出落在三維窗口 WD3A的寬度、高度范圍內(nèi)的數(shù)據(jù)后，確定與X方向、Y方向的偏移量AXi、AYi相應(yīng)的數(shù)據(jù)Di的權(quán)重系數(shù)。作為上述權(quán)重系數(shù)，例如將在以中心為I. O、周邊為O. O的拋物線狀中，X方向的權(quán)重系數(shù)fx和Y方向的權(quán)重系數(shù)fy的積，作為該數(shù)據(jù)Di的權(quán)重系數(shù)。另外，權(quán)重系數(shù)大于或等于O. O的X方向、Y方向的范圍與三維窗口 WD3A的寬度、高度相同，或者與其相比較大。對于各數(shù)據(jù)Di，在乘以上述權(quán)重系數(shù)后，使用最小二乘法導(dǎo)出如下述(3)、(4)式所示的水平方向及垂直方向的直線方程式，求出參數(shù)a、b、C、d，將其作為新的直線要素Ld的候補(bǔ)。 水平方向X= aXZ+b (3)垂直方向Y= cXZ+d (4)同時，對于權(quán)重系數(shù)大于或等于設(shè)定值(例如為O. 05 O. I左右)的數(shù)據(jù)，調(diào)查其數(shù)量及它們的數(shù)據(jù)所分布的距離Z的范圍，在數(shù)據(jù)量小于或等于設(shè)定值(例如為10個左右)的情況下，另外距離Z的范圍小于或等于三維窗口 WD3A的長度(例如，在第I區(qū)間Rl中為Z= 10m 17m長度7m)的1/2的情況下，判斷為無法得到正確的直線要素Ld的候補(bǔ)，放棄上述求出的直線方程式，使其為無候補(bǔ)。將上述處理從左右以及眼前側(cè)向遠(yuǎn)方側(cè)的區(qū)間依次進(jìn)行，求出構(gòu)成道路模型的所有直線要素Ld的候補(bǔ)。在此情況下，如果三維窗口的寬度的設(shè)定過大，則有時在三維窗口的端部出現(xiàn)道路周邊的路緣石或樹木等，但在該直線要素檢測部113中，通過在各數(shù)據(jù)乘以權(quán)重系數(shù)而使三維窗口的周邊部的權(quán)重變小，從而在即使萬一出現(xiàn)路緣石或樹木等的情況下，也可以減小它們的影響，可以穩(wěn)定地導(dǎo)出白線的直線方程式。在道路形狀判定部114中，對于各區(qū)間，對于左右兩側(cè)的直線要素Ld的候補(bǔ)，根據(jù)水平方向及垂直方向的平行度判定適當(dāng)性。該判定的結(jié)果，在判定為適當(dāng)?shù)那闆r下，采用該兩側(cè)作為新的直線要素Ld的候補(bǔ)，另一方面，在判定為左右其中一個的直線要素Ld的候補(bǔ)不正確的情況下，進(jìn)行直線要素Ld的替換、補(bǔ)充。然后，向道路 側(cè)壁參數(shù)存儲部130輸出所求出的各直線要素Ld的參數(shù)。具體地說，首先，根據(jù)對左側(cè)的直線要素Ld的算式(3)的參數(shù)(以下，在各參數(shù)中附加表示左側(cè)的L、表示右側(cè)的R而示出)aL、和對右側(cè)的直線要素Ld的算式(3)的參數(shù)aR的差異，調(diào)查水平方向的平行度，在大于或等于設(shè)定值(例如5°左右)的情況下，判定為左右其中一個的直線要素Ld不正確。相同地，根據(jù)參數(shù)CL和參數(shù)CR的差異，調(diào)查垂直方向的平行度，在大于或等于設(shè)定值(例如1°左右)的情況下，判定為其中一個直線要素不正確。該判定的結(jié)果，在水平方向以及垂直方向任意一個的平行度都滿足條件的情況下，采用這兩者作為新的直線要素，但如果判定為左右其中一個直線要素Ld不正確，則將左右各自的直線要素Ld的候補(bǔ)與此前所推定的道路形狀的位置進(jìn)行比較，采用偏移量較少的一個作為新的直線要素Ld，將另一個放棄，使其為無候補(bǔ)。[0067]并且，在通過平行度的判定而形成為左右其中一個直線要素Ld無候補(bǔ)的情況下，或者在由于道路上的白線為虛線狀、被障礙物遮蔽而無法被觀察到所以導(dǎo)致數(shù)據(jù)不足，判定為左右其中一個直線要素Ld無候補(bǔ)的情況下，將所檢測一側(cè)的直線要素Ld以車線寬度平行地移動而進(jìn)行替代。此外，在左右兩者的直線要素Ld均無候補(bǔ)的情況下，替代為此前推定出的道路形狀的直線要素Ld。由此，即使產(chǎn)生部分直線要素的檢測失敗或錯誤檢測，也可以作為整體而得到穩(wěn)定的道路形狀。下面，說明側(cè)壁檢測部120。在該側(cè)壁檢測部120中，根據(jù)距離道路表面的高度而進(jìn)行側(cè)壁和道路之間的區(qū)分，根據(jù)前后方向和橫向方向的距離而進(jìn)行側(cè)壁和遠(yuǎn)方背景之間的區(qū)分，由此，如果存在側(cè)壁，則僅提取推定出的周邊數(shù)據(jù)，然后著眼于側(cè)壁的數(shù)據(jù)在水平方向上以直線并列的特征，利用霍夫變換(Hough transform)檢測側(cè)壁的數(shù)據(jù)，求出位置。詳細(xì)地說，因?yàn)閭?cè)壁是立體物的一種，所以，首先在立體物數(shù)據(jù)提取部121中讀入上述道路檢測部Iio中的檢測結(jié)果的參數(shù)，設(shè)定道路表面的高度H，從距離圖像中提取位于該道路表面的高度H上方的立體物數(shù)據(jù)。此外，在沒有白線的道路上，假定道路表面與車輛 I水平，設(shè)定道路表面的高度。距離圖像中的被攝體，根據(jù)圖像上的坐標(biāo)(i，j)和距離數(shù)據(jù)Z算出實(shí)際空間中的三維位置(X，Y，Z)，此外，使用此前檢測出的道路形狀的算式(4)，計算在距離Z處的道路表面的高度Yr。被攝體距離道路表面的高度H可以通過下述算(5)進(jìn)行計算。H = Y-Yr (5)由于高度H小于或等于O. Im程度被攝體可以認(rèn)為是道路上的白線或污潰、倒影等，所以放棄該被攝體的數(shù)據(jù)。另外，由于高于車輛高度的被攝體可以認(rèn)為是天橋或標(biāo)識等，所以也進(jìn)行放棄，僅選出道路上的立體物的數(shù)據(jù)。在上述立體物數(shù)據(jù)提取部121中，提取顯現(xiàn)在畫面上的寬廣范圍的立體物的數(shù)據(jù)。因?yàn)閷λ鼈內(nèi)窟M(jìn)行處理是不合理的，所以，在側(cè)壁直線檢測部122中，針對搜索側(cè)壁的區(qū)域設(shè)有限制。在此情況下，如果從上方觀察測量距離圖像的范圍，則其被限制在CXD照相機(jī)11的視野內(nèi)，在正常行駛在道路上的情況下，側(cè)壁在車輛的左側(cè)和右側(cè)與車輛I大致平行地存在。另一方面，對于遠(yuǎn)處的側(cè)壁，從距離數(shù)據(jù)的精度這一角度出發(fā)，難以進(jìn)行檢測，并且檢測的必要性也較小。因此，考慮到上述情況，設(shè)定左側(cè)和右側(cè)兩個搜索區(qū)域SL、SR，對左側(cè)和右側(cè)的側(cè)壁進(jìn)行分別檢測。S卩，在對包含在各搜索區(qū)域SL、SR中的立體物數(shù)據(jù)進(jìn)行提取時，計算由上述立體物數(shù)據(jù)提取部121提取出的各數(shù)據(jù)的被攝體的三維位置(X，Z坐標(biāo))，將該三維位置(X，Z)和各搜索區(qū)域SL、SR分別進(jìn)行比較后進(jìn)行判定。下面，對側(cè)壁檢測部120的動作進(jìn)行說明。圖8的程序中的步驟即步驟S301 S307是立體物數(shù)據(jù)提取處理，首先，如果在步驟S301中讀入道路形狀參數(shù)，則在步驟S302中，從距離圖像中讀入初始的距離數(shù)據(jù)。然后，前進(jìn)至步驟S303，計算被攝體的位置(X，Z坐標(biāo))和高度(Y坐標(biāo))，在步驟S304中，計算在距離Z處的道路表面的高度H (Y坐標(biāo))，在步驟S305中，將位于道路表面上方且小于或等于本車輛I高度的數(shù)據(jù)，提取為立體物數(shù)據(jù)。然后，前進(jìn)至步驟S306，調(diào)查是否為最終數(shù)據(jù)，在不是最終數(shù)據(jù)的情況下，在步驟S307中讀入下一個距離數(shù)據(jù)，然后返回上述步驟S303，重復(fù)進(jìn)行處理，在為最終數(shù)據(jù)的情況下，從步驟S306前進(jìn)至步驟S308。圖9的步驟S308 步驟S317是側(cè)壁直線檢測處理，在步驟S308中如果讀入初始的立體物數(shù)據(jù)，則在步驟S309中，計算被攝體的位置(X，Z坐標(biāo))，在步驟S310中，調(diào)查所計算出的位置(X，Z坐標(biāo))是否落在搜索區(qū)域內(nèi)。在計算出的位置(X，Z坐標(biāo))落在搜索區(qū)域外時，從上述步驟S310跳轉(zhuǎn)至步驟S312，在落在搜索區(qū)域內(nèi)時，從上述步驟S310前進(jìn)至步驟S311，放入?yún)?shù)空間，然后前進(jìn)至步驟S312。在步驟S312中，調(diào)查所處理的立體物數(shù)據(jù)是否為最終數(shù)據(jù)，在不是最終數(shù)據(jù)時，在步驟S313中讀入下一個立體物數(shù)據(jù)，重復(fù)從上述步驟S309開始的處理，在為最終數(shù)據(jù) 時，前進(jìn)至步驟S314，檢測參數(shù)空間上的局部極大值。然后，如果前進(jìn)至步驟S315，則調(diào)查所檢測出的局部極大值是否大于或等于判定值，在小于判定值時，在步驟S316中判定為不存在側(cè)壁，在大于或等于判定值時，在步驟S317中判定為存在側(cè)壁，然后前進(jìn)至步驟S318。圖10的步驟S318及之后的步驟為側(cè)壁范圍檢測處理，在步驟S318中，讀入與由上述步驟S314檢測出的局部極大值的方格相應(yīng)的參數(shù)、即表示局部極大點(diǎn)的直線方程式的參數(shù)(af、bf)，然后前進(jìn)至步驟S319，設(shè)定側(cè)壁候補(bǔ)區(qū)域。并且，在步驟S320中，讀入搜索區(qū)域內(nèi)的初始立體物數(shù)據(jù)，在步驟S321中，計算被攝體的位置(X，Z坐標(biāo))，然后在步驟S322中，提取位于側(cè)壁候補(bǔ)區(qū)域內(nèi)的數(shù)據(jù)，在步驟S323中，調(diào)查所處理的數(shù)據(jù)是否為搜索區(qū)域內(nèi)的最終數(shù)據(jù)。在不是搜索區(qū)域內(nèi)的最終數(shù)據(jù)時，從上述步驟S323向步驟S324分支，讀入搜索區(qū)域內(nèi)的下一個立體物數(shù)據(jù)，返回上述步驟S321，在為搜索區(qū)域內(nèi)的最終數(shù)據(jù)時，從上述步驟S323前進(jìn)至步驟S325，使用側(cè)壁候補(bǔ)區(qū)域內(nèi)的數(shù)據(jù)作成直方圖。然后，前進(jìn)至步驟S326，檢測作成的直方圖的頻度大于或等于判定值的區(qū)間，在步驟S327中，計算直方圖的頻度大于或等于判定值的區(qū)間的兩端的三維位置、即側(cè)壁的前后端位置，在步驟S328中，將側(cè)壁的有無、位置、方向、前后端的位置等參數(shù)寫入輸出用存儲器IOOe中，結(jié)束程序。此外，該程序在針對左側(cè)的側(cè)壁執(zhí)行后，針對右側(cè)的側(cè)壁執(zhí)行。如上所示，在本實(shí)施例中，因?yàn)槔门c三維位置相關(guān)的特征，所以側(cè)壁的顏色及形狀、材質(zhì)等外觀上的特征難以產(chǎn)生影響，不僅對于通常的防護(hù)欄、對于各種欄桿及樹叢、道路工程的標(biāo)桿列等也可以作為側(cè)壁進(jìn)行檢測，可以可靠地對作為限制汽車行駛的部分作為側(cè)壁進(jìn)行檢測，并且，因?yàn)榭梢詫?cè)壁的有無及位置變換為直線方程式的參數(shù)或前后端的坐標(biāo)這種簡單的數(shù)據(jù)形式，所以使用側(cè)的數(shù)據(jù)存儲及處理變得容易，通過連接外部裝置，可以實(shí)現(xiàn)程度更高的危險警報及避免事故的功能。
權(quán)利要求1.一種側(cè)壁檢測裝置，其特征在于，具有 測量單元，其對車外的設(shè)定范圍的對象進(jìn)行檢測，并輸出相對于該對象的位置信息；側(cè)壁直線檢測單元，其基于來自上述測量單元的位置信息，對成為道路邊界的作為連續(xù)立體物的側(cè)壁的有無、和對與該側(cè)壁的位置近似的直線方程式進(jìn)行檢測；以及 側(cè)壁范圍檢測單元，其在由上述側(cè)壁直線檢測單元檢測出的直線方程式的周圍設(shè)定空間區(qū)域，僅提取該空間區(qū)域內(nèi)的數(shù)據(jù)而檢測上述側(cè)壁所存在的范圍。
2.根據(jù)權(quán)利要求I所述的側(cè)壁檢測裝置，其特征在于， 在上述側(cè)壁檢測裝置中，還具有道路檢測單元和數(shù)據(jù)提取單元，上述測量單元輸出相對于上述對象的三維位置信息， 上述道路檢測單元基于來自上述測量單元的三維位置信息，確定道路模型，檢測該道路模型而作為道路形狀， 上述數(shù)據(jù)提取單元基于上述道路模型，從上述三維位置信息中僅提取位于道路表面上方的數(shù)據(jù)， 上述側(cè)壁直線檢測單元根據(jù)由上述數(shù)據(jù)提取單元提取出的數(shù)據(jù)，對成為道路邊界的作為連續(xù)立體物的側(cè)壁的有無、和對與該側(cè)壁的位置近似的直線方程式進(jìn)行檢測， 上述側(cè)壁范圍檢測單元，在由上述側(cè)壁直線檢測單元檢測出的直線方程式的周圍設(shè)定空間區(qū)域，僅提取該空間區(qū)域內(nèi)的數(shù)據(jù)而檢測上述側(cè)壁所存在的范圍。
3.根據(jù)權(quán)利要求2所述的側(cè)壁檢測裝置，其特征在于， 在上述道路檢測單元中具有 道路形狀推定單元，其基于上述三維位置信息，推定道路的白線的位置及形狀； 三維窗口設(shè)定單元，其將包圍由上述道路形狀推定單元所推定的道路的白線在內(nèi)的三維空間區(qū)域，設(shè)定作為三維窗口 ； 直線要素檢測單元，其從上述三維位置信息中僅提取上述三維窗口內(nèi)的數(shù)據(jù)，對構(gòu)成上述道路模型的三維直線要素進(jìn)行檢測；以及 道路形狀判定單元，其判定由上述直線要素檢測單元檢測出的直線要素的適當(dāng)性，在不符合判定基準(zhǔn)的情況下，對上述直線要素進(jìn)行修改或變更，確定上述道路模型。
4.根據(jù)權(quán)利要求I或2所述的側(cè)壁檢測裝置，其特征在于， 上述側(cè)壁范圍檢測單元，作成以上述空間區(qū)域內(nèi)的數(shù)據(jù)的個數(shù)為縱軸、以與本車輛的距離為橫軸的直方圖，根據(jù)該直方圖的頻度大小，檢測上述側(cè)壁所存在的范圍。
5.根據(jù)權(quán)利要求I所述的側(cè)壁檢測裝置，其特征在于，還具有 遠(yuǎn)方側(cè)壁線檢測單元，其以由上述側(cè)壁直線檢測單元檢測出的側(cè)壁直線作為基準(zhǔn)，對更遠(yuǎn)處的直線狀或曲線狀的側(cè)壁線進(jìn)行檢測；以及 側(cè)壁檢測單元，其將上述側(cè)壁直線及上述側(cè)壁線組合而檢測側(cè)壁的位置。
專利摘要本實(shí)用新型提供一種側(cè)壁檢測裝置，其可以可靠地檢測直至遠(yuǎn)方的防護(hù)欄、樹叢、標(biāo)桿列等成為道路邊界的作為連續(xù)立體物的側(cè)壁，并且，可以將側(cè)壁的有無、位置、方向以易于處理的數(shù)據(jù)形式進(jìn)行檢測。利用立體光學(xué)系統(tǒng)(10)對車輛(1)的車外的設(shè)定范圍內(nèi)的對象進(jìn)行拍攝，并向立體圖像處理單元(20)輸入。在立體圖像處理單元(20)中，對由立體光學(xué)系統(tǒng)(10)拍攝到的圖像進(jìn)行處理，計算整個圖像的距離分布。道路·側(cè)壁檢測單元(100)計算與該距離分布的信息對應(yīng)的被攝體的各部分的三維位置，利用這些三維位置的信息，對于直至遠(yuǎn)方的道路形狀和側(cè)壁，確切且高可靠性地以易于處理的數(shù)據(jù)形式進(jìn)行檢測。
文檔編號G06K9/00GK202600727SQ20112049798
公開日2012年12月12日 申請日期2011年11月30日 優(yōu)先權(quán)日2011年11月30日
發(fā)明者塙圭二, 實(shí)吉敬二, 齋藤徹 申請人:富士重工業(yè)株式會社