專利名稱：路面行駛車道檢測(cè)裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種路面上的行駛車道檢測(cè)裝置，特別是涉及一種從連續(xù)拍攝車輛前方的路面而得到的圖像中檢測(cè)出行駛車道的路面行駛車道檢測(cè)裝置。
背景技術(shù)：
在汽車的自動(dòng)控制以及司機(jī)的駕駛支援等中，從用攝像機(jī)拍攝的圖像中正確且可靠地檢測(cè)出路面上的行駛車道已經(jīng)變得很重要。通常，在路面上以識(shí)別行駛車道(車線)的邊界的車道邊界線為首而根據(jù)各種目的涂裝有標(biāo)記線，其中混雜有如實(shí)線或虛線或方塊狀這樣的不同形態(tài)的標(biāo)記線、以及如白色或黃色這樣的不同色彩的標(biāo)記線，進(jìn)一步也存在復(fù)合這些標(biāo)記線的情況。
例如，圖3是在隧道的入口附近的2車道的路面上的包括標(biāo)記線的圖像DS的一個(gè)例子，作為表示行駛車道DL左側(cè)邊界的車道邊界線LB而采用白色或黃色的實(shí)線的標(biāo)記線，而將涂裝在其內(nèi)側(cè)的白色的方塊狀的標(biāo)記線作為行駛引導(dǎo)線LG來(lái)使用。還有，作為表示行駛車道DL的右側(cè)邊界的車道邊界線RB而采用白色或黃色的虛線的標(biāo)記線，而將涂裝在其內(nèi)側(cè)的白色的方塊狀的標(biāo)記線作為行駛引導(dǎo)線RG來(lái)使用。通常，這些標(biāo)記線的寬度設(shè)定成20cm，還有，虛線標(biāo)記線的涂裝部的長(zhǎng)度設(shè)定成8m，涂裝部之間的空白部分的長(zhǎng)度設(shè)定成12m。還有，方塊狀的標(biāo)記線的寬度設(shè)定成30cm，涂裝部的長(zhǎng)度設(shè)定成2～3m，涂裝部之間的空白部分的長(zhǎng)度設(shè)定成2～3m。此外，在本申請(qǐng)中，車道邊界線或者行駛引導(dǎo)線意味著從功能上分類的標(biāo)記線，指路面上的白色或黃色的這些標(biāo)記線時(shí)，稱之為車道標(biāo)記。
針對(duì)檢測(cè)出由上述那樣的各種標(biāo)記線進(jìn)行識(shí)別的路面上的行駛車道的裝置，一直以來(lái)有各種提案，例如專利文獻(xiàn)1中公開的內(nèi)容。在此公報(bào)中的關(guān)于車輛用行駛道判定裝置以及車輛控制裝置，以由被檢測(cè)的相互相鄰的多條標(biāo)記線正確設(shè)定車輛的規(guī)定基準(zhǔn)線為目的，而以如下方式構(gòu)成。即，從利用攝像機(jī)得到的拍攝圖像檢測(cè)出畫在道路的路面上的標(biāo)記線，從中抽取應(yīng)該成為劃分行駛車道的一對(duì)白線的標(biāo)記線。并且，檢測(cè)出作為白線而被抽取的一對(duì)標(biāo)記線的間隔。在已檢測(cè)出作為白線被抽取的一對(duì)標(biāo)記線的間隔的情況下，從利用攝像機(jī)得到的拍攝圖像中檢測(cè)出在道路的至少一側(cè)存在相鄰的多條標(biāo)記線時(shí)，基于此時(shí)刻已檢測(cè)出的作為白線的一對(duì)標(biāo)記線的間隔，將與該間隔最為一致的一對(duì)標(biāo)記線作為白線而進(jìn)行抽取。
還有，在專利文獻(xiàn)2中提出了以可靠地檢測(cè)出車道邊界為目的，具有如下結(jié)構(gòu)的車道邊界檢測(cè)裝置。即，具有第一輪廓信息檢測(cè)裝置，其將相對(duì)于圖像數(shù)據(jù)的空間性濃度變化的靈敏度設(shè)定得較高，并從圖像數(shù)據(jù)抽取第一輪廓線信息；第二輪廓信息檢測(cè)裝置，其將相對(duì)于圖像數(shù)據(jù)的空間性濃度變化的靈敏度設(shè)定得較低，并從圖像數(shù)據(jù)抽取第二輪廓線信息；輪廓抽取裝置，其從第一以及第二輪廓線信息抽取白線群的最外輪廓信息，并且，基于該最外輪廓信息來(lái)設(shè)定車道邊界位置。因此，由于相對(duì)于濃度變化的靈敏度被設(shè)定得較高，因此一方包含有對(duì)應(yīng)于白線之間間隙的邊緣的信息，而另一方?jīng)]有包含該信息，因此容易進(jìn)行對(duì)應(yīng)于該間隙的邊緣的信息的刪除。
進(jìn)而，在專利文獻(xiàn)3也提出了與上述同樣的目的的、具有如下結(jié)構(gòu)的車道邊界檢測(cè)裝置。即，最外輪廓抽取部(專利文獻(xiàn)3中的附圖標(biāo)記15。以下相同)基于存儲(chǔ)在幀緩沖部(13)的原圖像數(shù)據(jù)、與包括由邊緣檢測(cè)部(14)檢測(cè)出的邊緣的位置信息的輪廓數(shù)據(jù)，抽取白線群的最外輪廓信息。最外輪廓抽取部(15)基于包括從原圖像數(shù)據(jù)抽取的邊緣的位置信息的輪廓數(shù)據(jù)，判定該邊緣是否對(duì)應(yīng)于形成在構(gòu)成白線群的白線之間的間隙，并將對(duì)應(yīng)于該間隙的邊緣從輪廓數(shù)據(jù)中刪除。
并且，專利文獻(xiàn)4也提出了與上述同樣的目的的、具有如下結(jié)構(gòu)的車道邊界檢測(cè)裝置。即，用拍攝裝置拍攝包括規(guī)定區(qū)域的車線的移動(dòng)體的行駛車道，而獲得圖像數(shù)據(jù)?；谠摣@得的圖像數(shù)據(jù)作成濃度直方圖，并檢測(cè)出直方圖的集群而進(jìn)行分組。并且，在進(jìn)行過(guò)分組的直方圖中檢測(cè)出成為各自直方圖的中央的第一中央位置，并基于第一中央位置，檢測(cè)出在進(jìn)行過(guò)分組的直方圖的集群中成為中央的第二中央位置。進(jìn)而，基于不同組的直方圖彼此的第二中央位置，檢測(cè)出車道標(biāo)記或存在多個(gè)車道標(biāo)記的車道標(biāo)記群的中央，并決定車道標(biāo)記邊界位置，因此，通過(guò)基于圖像數(shù)據(jù)的直方圖的作成，可以進(jìn)行可靠的車道標(biāo)記邊界位置的檢測(cè)。
另一方面，關(guān)于圖像處理技術(shù)，公知有作為直線檢測(cè)方法的霍夫(Hough)變換，例如，就在下面的非專利文獻(xiàn)1中有其說(shuō)明。這種霍夫變換公知為對(duì)噪音的可靠的直線檢測(cè)方法，其特征在于，在將(x，y)坐標(biāo)系的點(diǎn)變換成(ρ，θ)極坐標(biāo)系上的曲線的過(guò)程中，基于在(x，y)坐標(biāo)系上位于同一個(gè)直線上的特征點(diǎn)的(ρ，θ)坐標(biāo)系上的曲線，在一點(diǎn)相交。進(jìn)而，近年來(lái)在計(jì)算機(jī)視覺(jué)上，作為魯棒法的一種的RANSAC(Random SampleConsensus隨機(jī)取樣一致性算法)受人注目，在下面的非專利文獻(xiàn)2中有詳細(xì)的說(shuō)明。還有，在下面的非專利文獻(xiàn)3中也有對(duì)RANSAC的說(shuō)明。
專利文獻(xiàn)1JP特開2003-168198號(hào)公報(bào)。
專利文獻(xiàn)2JP特開2003-187227號(hào)公報(bào)。
專利文獻(xiàn)3JP特開2003-187252號(hào)公報(bào)。
專利文獻(xiàn)4JP特開2003-178399號(hào)公報(bào)。
非專利文獻(xiàn)1田村秀行監(jiān)修“計(jì)算機(jī)圖像處理入門”，總研出版，昭和60年3月10日第一版第1次印刷發(fā)行，127頁(yè)以及128頁(yè)。
非專利文獻(xiàn)2Martin A.Fischero及Robert C.Bolles著“Random SampleConsensusA Paradigm for Model Fitting with Applications to Image Analysisand Automated Cartography”，Graphics and Image Processing，vol.24(6)，page381-395.1981年發(fā)行。
非專利文獻(xiàn)3Richard Hartley及Andrew Zisserman著“Multiple ViewGeometry in Computer Vision”，Cambridge University Press.2000年8月發(fā)行，101頁(yè)至107頁(yè)。
發(fā)明的公開在上述的專利文獻(xiàn)1中記載有，作為道路的車道邊界線而至少在一側(cè)檢測(cè)出相互相鄰的多個(gè)標(biāo)記線時(shí)，基于此時(shí)刻檢測(cè)出的一對(duì)標(biāo)記線的間隔，將與該間隔最為一致的一對(duì)標(biāo)記線作為白線而進(jìn)行抽取，將兩側(cè)的車道邊界線的間隔保持一定作為前提。還有，從多個(gè)標(biāo)記線中確定出基準(zhǔn)線并非容易的事情，期待進(jìn)一步的改善。
另外，在上述的專利文獻(xiàn)2中，通過(guò)相對(duì)于空間性濃度變化的靈敏度不同的兩種輪廓檢測(cè)方法，對(duì)于多個(gè)標(biāo)記線的間隙降低靈敏度而確定最外輪廓位置，即使由于照明條件等的原因而標(biāo)記線和間隙的對(duì)比度不充分，或者飽和而圖像失真，都能夠可靠地確定出最外輪廓的位置，但是極難檢測(cè)出位于原來(lái)的車道邊界線的位置的標(biāo)記線。
進(jìn)而，在專利文獻(xiàn)3中記載的裝置，若邊緣的間隔狹小或者兩個(gè)邊緣位置的濃度之差較小，則識(shí)別為多個(gè)標(biāo)記線的間隙，不采用該數(shù)據(jù)而抽取最外輪廓位置，從而能夠與上述同樣、可靠地確定出最外輪廓的位置，但是這方法也極難檢測(cè)出位于原來(lái)的車道邊界線的位置的標(biāo)記線。
并且，在專利文獻(xiàn)4中記載的裝置，作成對(duì)圖像進(jìn)行微分而獲得的邊緣的直方圖并進(jìn)行分組，檢測(cè)出各自標(biāo)記線的中央位置以及作為組的中央位置，根據(jù)標(biāo)記線的數(shù)量等，將中央位置或最內(nèi)側(cè)的位置作為基準(zhǔn)線來(lái)使用，但是，很難說(shuō)充分滿足了可靠地確定出車道標(biāo)記邊界線的位置的要求。特別是，在圖3所示的方塊狀的標(biāo)記線的寬度有30cm寬，因此若該方塊狀的標(biāo)記線在行駛車道的兩側(cè)暫時(shí)被識(shí)別為車道邊界線，則也包括方塊狀的標(biāo)記線與實(shí)際的車道邊界線的間隔，車道寬度(車線寬度)比實(shí)際的車道寬度變窄了將近1m，從而有時(shí)很難順利地進(jìn)行行駛控制等。因此，有必要相對(duì)于行駛車道的邊界線可靠地識(shí)別出方塊狀的標(biāo)記線。
因此，本發(fā)明的目的在于提供一種從連續(xù)拍攝車輛前方的路面而得到的圖像中檢測(cè)出行駛車道的路面行駛車道檢測(cè)裝置，能夠可靠地確定出行駛車道的邊界線的位置。
為了達(dá)成上述目的，本發(fā)明是一種路面行駛車道檢測(cè)裝置，從由拍攝裝置對(duì)路面進(jìn)行連續(xù)拍攝而得到的圖像中檢測(cè)出行駛車道，其中，具有邊緣點(diǎn)檢測(cè)裝置，其從圖像中的輪廓線中檢測(cè)出多個(gè)邊緣點(diǎn)；段群作成裝置，其針對(duì)由該邊緣點(diǎn)檢測(cè)裝置檢測(cè)出的多個(gè)邊緣點(diǎn)，基于各邊緣點(diǎn)間的距離與方位的連續(xù)性而作成線段，并對(duì)存在規(guī)定的關(guān)系的多個(gè)線段進(jìn)行分組化，從而作成段群；曲線檢測(cè)裝置，其檢測(cè)出與該段群作成裝置作成的段群相吻合的曲線；車道邊界線位置確定裝置，其將由該曲線檢測(cè)裝置檢測(cè)出的曲線中分布在左右車道邊界附近的多個(gè)曲線、與上述段群作成裝置作成的段群進(jìn)行對(duì)照，在構(gòu)成最接近上述行駛車道的中心的曲線的段群具有規(guī)定的長(zhǎng)度以及反復(fù)周期時(shí)，確定為最內(nèi)側(cè)標(biāo)記線，將相對(duì)于上述行駛車道的中心而與上述最內(nèi)側(cè)標(biāo)記線的外側(cè)相鄰的曲線的位置，確定為上述行駛車道的邊界線的位置。并且，在上述的曲線中包含有實(shí)質(zhì)上由多個(gè)直線構(gòu)成曲線的情況。可以說(shuō)作為存在規(guī)定的關(guān)系的多個(gè)線段，是針對(duì)規(guī)定的線段，順次選擇例如存在于規(guī)定的距離與方位的范圍內(nèi)的線段而取得的。
而且，在上述路面行駛車道檢測(cè)裝置中，上述段群作成裝置，在上述多個(gè)線段中，將相對(duì)于規(guī)定的線段而存在于規(guī)定的距離與方位的范圍內(nèi)的其他的線段作為一個(gè)組，從而作成上述段群?；蛘?，也可以是上述段群作成裝置針對(duì)基于由上述邊緣點(diǎn)檢測(cè)裝置檢測(cè)出的多個(gè)邊緣點(diǎn)的邊緣點(diǎn)群，基于各邊緣點(diǎn)間的距離與方位的連續(xù)性，作成上述線段。另外，也可以是上述段群作成裝置在基于上述多個(gè)線段的線段群中，在相對(duì)于規(guī)定的線段而設(shè)定的規(guī)定的距離與方位的范圍內(nèi)存在其他線段時(shí)，判定它們存在上述規(guī)定的關(guān)系，將它們作為屬于同一組來(lái)進(jìn)行處理。
另外，本發(fā)明也可以是一種路面行駛車道檢測(cè)裝置，從由拍攝裝置對(duì)路面進(jìn)行連續(xù)拍攝而得到的圖像中檢測(cè)出行駛車道，其中，具有邊緣點(diǎn)檢測(cè)裝置，其從圖像中的輪廓線中檢測(cè)出多個(gè)邊緣點(diǎn)；曲線檢測(cè)裝置，其檢測(cè)出與由該邊緣點(diǎn)檢測(cè)裝置檢測(cè)出的多個(gè)邊緣點(diǎn)相吻合的邊緣點(diǎn)群的曲線；段群作成裝置，其將用于構(gòu)成由該曲線檢測(cè)裝置檢測(cè)出的曲線的邊緣點(diǎn)群進(jìn)行分組化，從而作成段群；車道邊界線位置確定裝置，其將由上述曲線檢測(cè)裝置檢測(cè)出的曲線中分布在左右車道邊界附近的多個(gè)曲線、與上述段群作成裝置作成的段群進(jìn)行對(duì)照，在構(gòu)成最接近上述行駛車道的中心的曲線的段群具有規(guī)定的長(zhǎng)度以及反復(fù)周期時(shí)，確定為最內(nèi)側(cè)標(biāo)記線，將相對(duì)于上述行駛車道的中心而與上述最內(nèi)側(cè)標(biāo)記線的外側(cè)相鄰的曲線的位置，確定為上述行駛車道的邊界線的位置。
而且，也可以是上述段群作成裝置針對(duì)用于構(gòu)成由上述曲線檢測(cè)裝置檢測(cè)出的曲線的邊緣點(diǎn)群，作成邊緣直方圖(edge histogram)，將用于直方圖峰值的邊緣點(diǎn)群進(jìn)行分組化，從而作成上述段群。并且優(yōu)選將上述邊緣直方圖制成相對(duì)于上述邊緣點(diǎn)群的垂直成分而在水平方向上作成的水平方向邊緣直方圖。
另外，也可以是上述邊緣點(diǎn)檢測(cè)裝置在由上述拍攝裝置拍攝的圖像上檢測(cè)出上述多個(gè)邊緣點(diǎn)之后，將上述多個(gè)邊緣點(diǎn)的坐標(biāo)值反投影到三維路面坐標(biāo)上，作為上述多個(gè)邊緣點(diǎn)而輸出。
由于本發(fā)明具有上述結(jié)構(gòu)，因此具有如下的效果。即，在構(gòu)成最接近行駛車道的中心的曲線的段群具有規(guī)定的長(zhǎng)度以及反復(fù)周期時(shí)，確定為最內(nèi)側(cè)標(biāo)記線，將相對(duì)于行駛車道的中心而與最內(nèi)側(cè)標(biāo)記線的外側(cè)相鄰的曲線的位置，確定為行駛車道的邊界線的位置，因此能夠?qū)⒍稳壕哂幸?guī)定的長(zhǎng)度以及反復(fù)周期的方塊狀的標(biāo)記線區(qū)別于行駛車道的邊界線而可靠的排除在外。因此，能夠穩(wěn)定地確定行駛車道的邊界線的位置。
上述段群作成裝置通過(guò)如上所述構(gòu)成，從而能夠適當(dāng)?shù)刈鞒啥稳?。另外，上述邊緣點(diǎn)檢測(cè)裝置通過(guò)如上所述構(gòu)成，能夠正確地進(jìn)行多個(gè)邊緣點(diǎn)的檢測(cè)以及處理。
附圖的簡(jiǎn)單說(shuō)明

圖1是表示本發(fā)明一實(shí)施方式的路面行駛車道裝置的主要結(jié)構(gòu)的框圖。
圖2是表示本發(fā)明一實(shí)施方式的路面行駛車道裝置的硬件結(jié)構(gòu)的框圖。
圖3是表示在本發(fā)明一實(shí)施方式中拍攝的圖像的一例的正面圖。
圖4是表示在本發(fā)明一實(shí)施方式中被投影在路面坐標(biāo)上的多個(gè)邊緣點(diǎn)的俯視圖。
圖5是表示在本發(fā)明一實(shí)施方式中被投影在路面坐標(biāo)上的線段的俯視圖。
圖6是表示在本發(fā)明一實(shí)施方式中線段的分組化的一個(gè)例子的俯視圖。
圖7是表示在本發(fā)明的其他實(shí)施方式中被投影在路面坐標(biāo)上的車道標(biāo)記的俯視圖、和與此對(duì)應(yīng)的水平方向直方圖的曲線圖。
附圖標(biāo)記的說(shuō)明VD拍攝裝置ED邊緣點(diǎn)檢測(cè)裝置SD段群作成裝置CD曲線檢測(cè)裝置LD車道邊界線位置確定裝置CM攝像機(jī)VB視頻輸入緩沖電路
SY同步分離電路FM幀存儲(chǔ)器VC圖像處理部VP圖像數(shù)據(jù)控制部EP邊緣點(diǎn)檢測(cè)部CP曲線檢測(cè)部SP段群作成部LP車道邊界線位置確定部實(shí)施發(fā)明的最佳方式針對(duì)上述結(jié)構(gòu)的本發(fā)明的路面行駛車道檢測(cè)裝置的具體的實(shí)施方式，參照以下附圖進(jìn)行說(shuō)明。圖1表示路面行駛車道檢測(cè)裝置的一實(shí)施方式，以由拍攝裝置VD對(duì)路面進(jìn)行連續(xù)拍攝，從拍攝所得到的圖像中檢測(cè)出行駛車道的方式構(gòu)成。在本實(shí)施方式中，具有邊緣點(diǎn)檢測(cè)裝置ED，其從圖像中的輪廓線中檢測(cè)出多個(gè)邊緣點(diǎn)；段群作成裝置SD，其針對(duì)由該邊緣點(diǎn)檢測(cè)裝置ED檢測(cè)出的多個(gè)邊緣點(diǎn)，基于各邊緣點(diǎn)間的距離與方位的連續(xù)性而作成線段，并對(duì)存在規(guī)定的關(guān)系的多個(gè)線段進(jìn)行分組化，從而作成段群；曲線檢測(cè)裝置CD，其檢測(cè)出與該段群作成裝置SD作成的段群相吻合的曲線。而且，在車道邊界線位置確定裝置LD，將由曲線檢測(cè)裝置CD檢測(cè)出的曲線中分布在左右車道邊界附近的多個(gè)曲線、與段群作成裝置SD作成的段群進(jìn)行對(duì)照，在構(gòu)成最接近行駛車道中心的曲線的段群具有規(guī)定的長(zhǎng)度以及反復(fù)周期時(shí)，確定為最內(nèi)側(cè)標(biāo)記線，將相對(duì)于該行駛車道中心而與最內(nèi)側(cè)標(biāo)記線的外側(cè)相鄰的位置，確定為行駛車道的邊界線的位置。
上述圖1的路面行駛車道檢測(cè)裝置具有圖2所示的硬件結(jié)構(gòu)。即，在未圖示的車輛的前方，安裝有作為拍攝裝置VD的例如CCD攝像機(jī)(以下簡(jiǎn)稱為攝像機(jī))CM，連續(xù)拍攝包括路面的車輛前方的可見(jiàn)區(qū)域。攝像機(jī)CM的影像信號(hào)經(jīng)過(guò)視頻輸入緩沖電路VB、同步分離電路SY進(jìn)行A/D轉(zhuǎn)換，并被存儲(chǔ)在幀存儲(chǔ)器FM中。由圖像處理部VC對(duì)被存儲(chǔ)在該幀存儲(chǔ)器FM中的圖像數(shù)據(jù)進(jìn)行處理。圖像處理部VC由圖像數(shù)據(jù)控制部VP、邊緣點(diǎn)檢測(cè)部EP、段群作成部SP、曲線檢測(cè)部CP以及車道邊界線位置確定部LP構(gòu)成。并且，邊緣點(diǎn)檢測(cè)部EP、段群作成部SP、曲線檢測(cè)部CP以及車道邊界線位置確定部LP分別對(duì)應(yīng)于圖1的邊緣點(diǎn)檢測(cè)裝置ED、段群作成裝置SD、曲線檢測(cè)裝置CD以及車道邊界線位置確定裝置LD。
在圖像處理部VC中，從幀存儲(chǔ)器FM內(nèi)的圖像數(shù)據(jù)中，由圖像數(shù)據(jù)控制部VP調(diào)出被指定了地址的數(shù)據(jù)，并發(fā)送到邊緣點(diǎn)檢測(cè)部EP，而在此檢測(cè)出多個(gè)邊緣點(diǎn)。對(duì)這樣被檢測(cè)出的邊緣點(diǎn)數(shù)據(jù)，本實(shí)施方式中，在段群作成裝置SD，基于各邊緣點(diǎn)間的距離與方位的連續(xù)性而作成線段，對(duì)存在規(guī)定的關(guān)系的多個(gè)線段進(jìn)行分組化，從而作成段群。此外，由曲線檢測(cè)裝置CD檢測(cè)出與由該段群作成裝置SD作成的段群相吻合的曲線。而且，在車道邊界線位置確定部LP，從如上所述那樣地由曲線檢測(cè)部CP檢測(cè)出的曲線數(shù)據(jù)中，選擇分布在左右的車道邊界附近的多個(gè)曲線，將這些多個(gè)曲線與由段群作成部SP作成的段群進(jìn)行對(duì)照，在構(gòu)成最接近行駛車道中心的曲線的段群具有規(guī)定的長(zhǎng)度以及反復(fù)周期時(shí)，確定為最內(nèi)側(cè)標(biāo)記線。而且，將相對(duì)于該行駛車道中心而與最內(nèi)側(cè)標(biāo)記線的外側(cè)相鄰的曲線的位置，確定為行駛車道的邊界線的位置。
這樣確定的行駛車道的邊界線的位置，進(jìn)一步根據(jù)需要，與行駛車道的寬度、道路的曲率、與自身車輛的位置、姿態(tài)角等的檢測(cè)結(jié)果一起被供給到系統(tǒng)控制部SC(計(jì)算機(jī))，并經(jīng)由輸出接口電路OU而輸出到外部的系統(tǒng)設(shè)備(未圖示)。此外，圖2中的CL、PW、IN分別為時(shí)鐘電路、電源電路以及輸入接口電路。
以下，說(shuō)明上述邊緣點(diǎn)檢測(cè)部EP、段群作成部SP、曲線檢測(cè)部CP以及車道邊界線位置確定部LP各部的處理。首先，在邊緣點(diǎn)檢測(cè)部EP中，如圖3所示，從由攝像機(jī)CM拍攝的圖像DS中檢測(cè)出多個(gè)邊緣點(diǎn)，從多個(gè)邊緣點(diǎn)的圖像面(未圖示)向三維路面坐標(biāo)進(jìn)行反投影。即，基于在圖像面上檢測(cè)出的多個(gè)邊緣點(diǎn)以及攝像機(jī)CM的參數(shù)，如圖4所示，將這些多個(gè)邊緣點(diǎn)的坐標(biāo)值作為三維路面坐標(biāo)的點(diǎn)群而進(jìn)行反投影(圖4的線表示邊緣點(diǎn)群)。而且，由于作為車道標(biāo)記的白線(圖3的LB、LG、RB、RG)顏色變淺或被污染、或攝像機(jī)CM的性能等原因，導(dǎo)致圖像上的白線相鄰的部分相連結(jié)，所以如圖4的上方所示，能夠成為與下方部分不同的邊緣點(diǎn)群，但是通過(guò)后述的處理可以不引發(fā)誤差而做出適當(dāng)?shù)呐卸ā?br> 在曲線檢測(cè)部CP中，對(duì)于被反投影在路面上的多個(gè)邊緣點(diǎn)(以圖4為代表，用EGP表示)，例如通過(guò)上述的RANSAC而擬畫出含有多個(gè)直線的曲線，從而進(jìn)行曲線擬合。關(guān)于該曲線的擬畫(曲線擬合)，可以利用上述的霍夫變換，也可以使用例如最小二乘法。另外，也可以基于規(guī)定的屬性而對(duì)邊緣點(diǎn)群EGP進(jìn)行分組化，來(lái)進(jìn)行曲線擬合。
此外，如圖5所示，由段群作成部SP對(duì)上述邊緣點(diǎn)群EGP，基于各邊緣點(diǎn)間的距離與方位的連續(xù)性來(lái)作成線段LS。接著，在線段群中，在對(duì)某個(gè)線段LS設(shè)定的距離與方位的范圍內(nèi)如果存在其他線段LS，則那些線段LS、LS被當(dāng)作屬于同一組來(lái)處理，通過(guò)反復(fù)進(jìn)行該處理而如圖6所示那樣地形成多個(gè)組(對(duì)于車道中心，將內(nèi)側(cè)的組作為SGI、將外側(cè)的組作為SGO)。而且，雖然在圖6中選擇正邊緣(在白線的左側(cè)，圖5中作為L(zhǎng)S(+)而表示)而被分組化，但負(fù)邊緣(在白線的右側(cè)，圖5中作為L(zhǎng)S(-)而表示)也同樣被分組化。
然后，對(duì)于進(jìn)行了分組化的線段LS做曲線擬合(曲線擬畫)。此時(shí)也可基于規(guī)定的屬性進(jìn)行分組化，來(lái)進(jìn)行曲線擬合。用該線段，查證由曲線檢測(cè)部CP檢測(cè)出的曲線是由何種屬性的邊緣點(diǎn)構(gòu)成的。例如如果圖6的組SGI的曲線由多個(gè)周期性的短線構(gòu)成，則可判定該曲線是擬畫方塊狀等的比較短的標(biāo)記線而成的。而且，這樣，線段在縱向或橫向上具有規(guī)定的長(zhǎng)度以及周期，在車道邊界線位置確定部LP中，判斷是方塊狀的標(biāo)記線時(shí)，將該曲線(例如圖3的RG)從車道邊界線候補(bǔ)中剔出，判定相對(duì)于車道中心的方塊狀的標(biāo)記線(圖3的RG)的外側(cè)的曲線(圖3的RB)為行駛車道的邊界線。
雖然在上述實(shí)施方式中，首先求出線段LS，并將其分組化而進(jìn)行曲線擬合，但也可以作成如下的實(shí)施方式如圖1的虛線箭頭所示那樣構(gòu)成，檢測(cè)出與多個(gè)邊緣點(diǎn)相吻合的曲線，對(duì)用于構(gòu)成該曲線的邊緣點(diǎn)群進(jìn)行分組化，從而作成段群。即，在圖2的圖像處理部VC中，由曲線檢測(cè)部CP檢測(cè)出與多個(gè)邊緣點(diǎn)相吻合的曲線，在段群作成部SP相對(duì)用于構(gòu)成該曲線的邊緣點(diǎn)群的垂直成分，作成水平方向邊緣直方圖，從而將用于構(gòu)成直方圖峰值的邊緣點(diǎn)群分組化，作成段群。
具體地說(shuō)，如圖7的HG所示，對(duì)應(yīng)于被反投影在三維路面坐標(biāo)的路面上的多個(gè)邊緣點(diǎn)，作成水平方向的邊緣直方圖。根據(jù)該實(shí)施方式，雖然如圖7所示那樣出現(xiàn)多個(gè)峰值PK，但由于在各自的峰值位置含有多個(gè)垂直線成分，所以能夠?qū)⒂糜跇?gòu)成各直方圖峰值的邊緣群作為一個(gè)組。而且，直方圖峰值在縱向(或橫向)具有規(guī)定的長(zhǎng)度以及周期，在車道邊界線位置確定部LP，當(dāng)判斷為方塊狀的標(biāo)記線時(shí)，將該標(biāo)記線(RG)從車道邊界線候補(bǔ)中剔出，相對(duì)于車道中心，將方塊狀的標(biāo)記線(RG)的外側(cè)的標(biāo)記線(RB)作為車道的邊界線。
如上所述，表示設(shè)置在行駛路面上的車道邊界的標(biāo)記線中除了簡(jiǎn)單的實(shí)線、虛線之外，還存在將該簡(jiǎn)單的標(biāo)記線與方塊狀的標(biāo)記線組合而成的多條線，因此在以往的裝置中很難可靠地確定出想要作為車道邊界而檢測(cè)出的標(biāo)記線(車道邊界線)的位置，但是，本發(fā)明的上述任何一個(gè)實(shí)施方式中，均可以可靠地確定出車道邊界線的位置。而且，能夠?qū)崿F(xiàn)充分滿足警報(bào)系統(tǒng)和控制系統(tǒng)所期待的高可靠性的邊界線的識(shí)別。
產(chǎn)業(yè)上的可利用性本發(fā)明的路面行駛車道檢測(cè)裝置能夠如上所述那樣可靠地確定行駛車道的邊界線的位置，因此，能夠適用于例如車輛等的各種警報(bào)系統(tǒng)和控制系統(tǒng)。
權(quán)利要求
1.一種路面行駛車道檢測(cè)裝置，從由拍攝裝置對(duì)路面進(jìn)行連續(xù)拍攝而得到的圖像中檢測(cè)出行駛車道，其特征在于，具有邊緣點(diǎn)檢測(cè)裝置，其從圖像中的輪廓線中檢測(cè)出多個(gè)邊緣點(diǎn)；段群作成裝置，其針對(duì)由該邊緣點(diǎn)檢測(cè)裝置檢測(cè)出的多個(gè)邊緣點(diǎn)，基于各邊緣點(diǎn)間的距離與方位的連續(xù)性而作成線段，并對(duì)存在規(guī)定的關(guān)系的多個(gè)線段進(jìn)行分組化，從而作成段群；曲線檢測(cè)裝置，其檢測(cè)出與該段群作成裝置作成的段群相吻合的曲線；車道邊界線位置確定裝置，其將由該曲線檢測(cè)裝置檢測(cè)出的曲線中分布在左右車道邊界附近的多個(gè)曲線、與上述段群作成裝置作成的段群進(jìn)行對(duì)照，在構(gòu)成最接近上述行駛車道的中心的曲線的段群具有規(guī)定的長(zhǎng)度以及反復(fù)周期時(shí)，確定為最內(nèi)側(cè)標(biāo)記線，將相對(duì)于上述行駛車道的中心而與上述最內(nèi)側(cè)標(biāo)記線的。外側(cè)相鄰的曲線的位置，確定為上述行駛車道的邊界線的位置。
2.如權(quán)利要求1所述的路面行駛車道檢測(cè)裝置，其特征在于，上述段群作成裝置，在上述多個(gè)線段中，將在相對(duì)于規(guī)定的線段而存在于規(guī)定的距離與方位的范圍內(nèi)的其他的線段作為一個(gè)組，而作成上述段群。
3.如權(quán)利要求1所述的路面行駛車道檢測(cè)裝置，其特征在于，上述段群作成裝置，針對(duì)由用上述邊緣點(diǎn)檢測(cè)裝置檢測(cè)出的多個(gè)邊緣點(diǎn)構(gòu)成的邊緣點(diǎn)群，基于各邊緣點(diǎn)間的距離與方位的連續(xù)性，而作成上述線段。
4.如權(quán)利要求1所述的路面行駛車道檢測(cè)裝置，其特征在于，上述段群作成裝置，在基于上述多個(gè)線段的線段群中，在針對(duì)規(guī)定的線段而發(fā)定的規(guī)定的距離與方位的范圍內(nèi)存在其他線段時(shí)，判定存在上述規(guī)定的關(guān)系，作為屬于同一個(gè)組來(lái)進(jìn)行處理。
5.如權(quán)利要求1所述的路面行駛車道檢測(cè)裝置，其特征在于，上述曲線檢測(cè)裝置，針對(duì)被分組化的線段進(jìn)行曲線擬合，來(lái)檢測(cè)出上述曲線。
6.如權(quán)利要求1所述的路面行駛車道檢測(cè)裝置，其特征在于，上述車道邊界線位置確定裝置，在上述線段在縱向或橫向具有規(guī)定的長(zhǎng)度以及周期，而判斷為方塊狀的標(biāo)記線時(shí)，將該方塊狀的標(biāo)記線從車道邊界線候補(bǔ)中去除，相對(duì)于上述行駛車道的中心而將上述方塊狀的標(biāo)記線的外側(cè)的曲線判定為上述行駛車道的邊界線。
7.如權(quán)利要求1所述的路面行駛車道檢測(cè)裝置，其特征在于，上述邊緣點(diǎn)檢測(cè)裝置，在由上述拍攝裝置拍攝的圖像上檢測(cè)出上述多個(gè)邊緣點(diǎn)之后，將上述多個(gè)邊緣點(diǎn)的坐標(biāo)值反投影到三維路面坐標(biāo)上，作為上述多個(gè)邊緣點(diǎn)而輸出。
8.一種路面行駛車道檢測(cè)裝置，從由拍攝裝置對(duì)路面進(jìn)行連續(xù)拍攝而得到的圖像中檢測(cè)出行駛車道，其特征在于，具有邊緣點(diǎn)檢測(cè)裝置，其從圖像中的輪廓線中檢測(cè)出多個(gè)邊緣點(diǎn)；曲線檢測(cè)裝置，其檢測(cè)出與由該邊緣點(diǎn)檢測(cè)裝置檢測(cè)出的多個(gè)邊緣點(diǎn)相吻合的邊緣點(diǎn)群的曲線；段群作成裝置，其將用于構(gòu)成由該曲線檢測(cè)裝置檢測(cè)出的曲線的邊緣點(diǎn)群進(jìn)行分組化，從而作成段群；車道邊界線位置確定裝置，其將由上述曲線檢測(cè)裝置檢測(cè)出的曲線中分布在左右車道邊界附近的多個(gè)曲線、與上述段群作成裝置作成的段群進(jìn)行對(duì)照，在構(gòu)成最接近上述行駛車道的中心的曲線的段群具有規(guī)定的長(zhǎng)度以及反復(fù)周期時(shí)，確定為最內(nèi)側(cè)標(biāo)記線，將相對(duì)于上述行駛車道的中心而與上述最內(nèi)側(cè)標(biāo)記線的外側(cè)相鄰的曲線的位置，確定為上述行駛車道的邊界線的位置。
9.如權(quán)利要求8所述的路面行駛車道檢測(cè)裝置，其特征在于，上述段群作成裝置，針對(duì)用于構(gòu)成由上述曲線檢測(cè)裝置檢測(cè)出的曲線的邊緣點(diǎn)群，作成邊緣直方圖，將用于直方圖峰值的邊緣點(diǎn)群進(jìn)行分組化，從而作成上述段群。
10.如權(quán)利要求9所述的路面行駛車道檢測(cè)裝置，其特征在于，上述車道邊界線位置確定裝置，在上述直方圖峰值在縱向或橫向具有規(guī)定的長(zhǎng)度以及周期，而判斷為方塊狀的標(biāo)記線時(shí)，將該方塊狀的標(biāo)記線從車道邊界線候補(bǔ)中去除，相對(duì)于上述行駛車道的中心而將上述方塊狀的標(biāo)記線的外側(cè)的曲線判定為上述行駛車道的邊界線。
11.如權(quán)利要求8所述的路面行駛車道檢測(cè)裝置，其特征在于，上述邊緣點(diǎn)檢測(cè)裝置，在由上述拍攝裝置拍攝的圖像上檢測(cè)出上述多個(gè)邊緣點(diǎn)之后，將上述多個(gè)邊緣點(diǎn)的坐標(biāo)值反投影到三維路面坐標(biāo)上，作為上述多個(gè)邊緣點(diǎn)而輸出。
全文摘要
提供一種能夠穩(wěn)定地確定行駛車道的邊界線的位置的路面行駛車道檢測(cè)裝置。由邊緣點(diǎn)檢測(cè)裝置(ED)從圖像中的輪廓線中檢測(cè)出多個(gè)邊緣點(diǎn)，由段群作成裝置(SD)基于各邊緣點(diǎn)間的距離與方位的連續(xù)性而作成線段，并對(duì)存在規(guī)定的關(guān)系的多個(gè)線段進(jìn)行分組化，從而作成段群。并且，由曲線檢測(cè)裝置(CD)檢測(cè)出與該段群相吻合的曲線。而且，由車道邊界線位置確定裝置(LD)，在構(gòu)成最接近行駛車道中心的曲線的段群具有規(guī)定的長(zhǎng)度以及反復(fù)周期時(shí)，確定為最內(nèi)側(cè)標(biāo)記線，將與其外側(cè)相鄰的曲線的位置，確定為行駛車道的邊界線的位置。
文檔編號(hào)B60R1/00GK1836266SQ20048002358
公開日2006年9月20日 申請(qǐng)日期2004年9月22日 優(yōu)先權(quán)日2003年9月24日
發(fā)明者柿并俊明, 平槙崇, 秋田時(shí)彥 申請(qǐng)人:愛(ài)信精機(jī)株式會(huì)社