專利名稱：道路圖像解析裝置及道路圖像解析方法
技術(shù)領(lǐng)域：
本發(fā)明涉及解析道路圖像抽出車道中央線、車道邊界線、車道外側(cè)線
等道路標示以及護欄(guard rail)等的道路圖像解析裝置及道路圖像解 析方法。
背景技術(shù)：
以往，為了制作高精度的道路地圖，有必要獲取有關(guān)道路標示或護欄 等準確的位置信息。為了到達這個目的，我們知道例如使用車載單目攝像 機獲取的二維圖像，根據(jù)其輝度信息進行解析的方法。這樣的技術(shù)例公開 在日本特開平1-242916號公報中。
并且，日本特開平6-266828號公報中公開了由立體攝像機獲得的立體 圖像計算出三維位置數(shù)據(jù)，檢測護欄等側(cè)壁的技術(shù)。
但是，上述現(xiàn)有技術(shù)中當(dāng)使用單目攝像機獲取的二維圖像時，由于道 路標示和護欄都成為直線狀的圖像，因此存在難以區(qū)別的問題。
并且，當(dāng)使用立體攝像機獲得的立體圖像時，由于必須對整個圖像進 行匹配處理，因此處理量大，即使在將圖像分割成小區(qū)域提高匹配處理的 速度的情況下，由于小區(qū)域內(nèi)多個距離不同的物體混在，因此存在不能夠 獲得足夠的距離測量精度的問題。而且，還存在僅依靠獲得的三維位置信 息難以區(qū)分道路標示和護欄的問題。

發(fā)明內(nèi)容
本發(fā)明就是鑒于上述現(xiàn)有問題，其目的是要提供一種能夠明確并且迅 速地區(qū)分道路標示和護欄、能夠獲得準確的位置信息的道路圖像解析裝置 及道路圖像解析方法。
為了達到上述目的，本發(fā)明為道路圖像解析裝置，其特征在于，具備 以下單元從不同的方向拍攝同一位置的2臺攝像單元；從上述攝像單元 中的一方獲取的圖像數(shù)據(jù)中抽出連續(xù)成分的連續(xù)成分抽出單元；將上述連續(xù)成分與上述攝像單元中的另一方獲取的圖像數(shù)據(jù)進行組合，計算出上述
連續(xù)成分的三維位置信息的三維位置計算單元；根據(jù)上述三維位置計算單 元計算出的三維位置信息識別上述連續(xù)成分的識別單元。
其中，上述連續(xù)成分抽出單元從上述攝像單元中的一方獲取的圖像數(shù) 據(jù)中抽出直線成分，根據(jù)該直線成分的位置、傾斜度及直線間的相關(guān)性抽 出上述連續(xù)成分。
并且，上述三維位置計算單元通過匹配處理上述連續(xù)成分的端點和上 述攝像單元中的另一方獲取的圖像數(shù)據(jù)計算出三維位置信息。
上述識別單元根據(jù)上述三維位置信息中包含的上述連續(xù)成分的高度信 息識別上述連續(xù)成分。
并且，上述連續(xù)成分抽出單元、三維位置計算單元以及識別單元以設(shè) 定在與道路行走方向正交的方向上的輔助區(qū)域為處理單位。
并且，本發(fā)明為一種道路圖像解析方法，其特征在于，包括以下步驟 從不同的2個方向拍攝同一位置的步驟；從上述拍攝的一方圖像數(shù)據(jù)中抽 出連續(xù)成分的步驟；將上述連續(xù)成分與上述拍攝到的另一方圖像數(shù)據(jù)進行 組合，計算出上述連續(xù)成分的三維位置信息的步驟；根據(jù)上述計算出的三 維位置信息識別上述連續(xù)成分的步驟。
其中，上述抽出連續(xù)成分的步驟從上述拍攝到的一方圖像數(shù)據(jù)中抽出 直線成分，根據(jù)該直線成分的位置、傾斜度及直線間的相關(guān)性抽出上述連 續(xù)成分。
并且，上述計算連續(xù)成分的三維位置信息的步驟通過匹配處理上述連 續(xù)成分的端點和上述拍攝到的另一個圖像數(shù)據(jù)，計算出三維位置信息。
并且，上述識別連續(xù)成分的步驟根據(jù)上述三維位置信息中包含的上述 連續(xù)成分的高度信息識別上述連續(xù)成分。
并且，上述抽出連續(xù)成分的步驟、計算連續(xù)成分的三維位置信息的步 驟以及識別連續(xù)成分的步驟，以設(shè)定在與道路行走方向正交的方向上的輔 助區(qū)域為處理單位而實行。


圖1為本發(fā)明的道路圖像解析裝置的結(jié)構(gòu)例的方框圖。圖2為表示本發(fā)明的道路圖像解析裝置各種功能的功能方框圖。
圖3為攝像裝置的攝像區(qū)域的說明圖。
圖4為本發(fā)明的道路圖像解析裝置的動作例的流程圖。
圖5為表示設(shè)定了輔助區(qū)域的主圖像例的圖。
圖6為邊界抽出處理的說明圖。
圖7為表示抽出的直線成分例的圖。
圖8為表示連續(xù)成分抽出處理的結(jié)果例的圖。
圖9為匹配處理的說明圖。
圖IO為表示道路圖像解析結(jié)果的顯示例的圖。
具體實施例方式
下面根據(jù)

實施本發(fā)明的優(yōu)選形態(tài)(以下稱為"實施形態(tài)")。
圖1為本發(fā)明的道路圖像解析裝置的結(jié)構(gòu)例的方框圖。該道路圖像解 析裝置能夠用例如計算機等實現(xiàn)。圖1中，道路圖像解析裝置的結(jié)構(gòu)包括 第1攝像機10、第2攝像機12、接口 14、 16、處理器18、存儲單元20、 顯示單元22和操作單元24。
第1攝像機10為為了獲取立體圖像而以2臺一組設(shè)置的立體攝像機中 的中的一臺，例如左側(cè)的攝像機。并且，第2攝像機12為上述立體攝像機 中的另一臺，例如右側(cè)的攝像機。這些第1攝像機10和第2攝像機12從 不同的方向拍攝同一位置的彩色或黑白圖像，構(gòu)成本發(fā)明的攝像單元。
接口14、 16分別獲取上述第1攝像機10、第2攝像機12獲取的圖像 數(shù)據(jù)轉(zhuǎn)輸給處理器18等。
處理器18由CPU (中央處理裝置)等構(gòu)成， 一邊與接口 14、 16、存 儲單元20、顯示單元22和操作單元24進行數(shù)據(jù)交換一邊控制它們的動作。
存儲單元20為處理器18工作用的RAM (隨機存取存儲器)、存儲了 處理器18執(zhí)行的程序等的ROM (只讀存儲器)、作為非易失性存儲器的閃 存、由磁性紀錄媒體等構(gòu)成的計算機能夠讀取的記錄媒體。并且，也可以 存儲作為本裝置的解析結(jié)果的道路標示或護欄的位置信息。
顯示單元22用例如液晶顯示器(LCD)構(gòu)成，顯示道路圖像解析裝置 的解析結(jié)果、使用者用來向道路圖像解析裝置輸出動作指令等的用戶接口等。
操作單元24包括鼠標等指向裝置和鍵盤等輸入裝置，用于使用者輸入 數(shù)據(jù)等。
圖2為表示上述道路圖像解析裝置各種功能的功能方框圖。圖2中， 道路圖像解析裝置的結(jié)構(gòu)包括攝像單元26、預(yù)處理單元28、邊界抽出單元 30、直線抽出單元32、直線成分解析單元34、匹配處理單元36、地圖坐標 信息計算單元38、識別單元40和位置信息獲取單元42。
攝像單元26由第1攝像機10、第2攝像機12和接口 14、 16實現(xiàn)，輸 出第1攝像機10獲取的圖像數(shù)據(jù)作為主圖像數(shù)據(jù)、輸出第2攝像機12獲 取的圖像數(shù)據(jù)作為輔助圖像數(shù)據(jù)。
預(yù)處理單元28由處理器18實現(xiàn)，不僅對上述主圖像數(shù)據(jù)進行圖像增 強處理等使邊界抽出處理變得容易，而且執(zhí)行將圖像分割成作為圖像解析 的基本單位的多個輔助區(qū)域的處理。另外，輔助區(qū)域與道路的行走方向正 交地設(shè)定。
邊界抽出單元30由處理器18實現(xiàn)，抽出上述各輔助區(qū)域中輝度或顏 色的明-暗圖案以及暗-明圖案的邊界成分。其中，邊界成分為包含在上述主 圖像數(shù)據(jù)中的道路標示、護欄、電線桿等柱狀結(jié)構(gòu)體等的輪廓。并且，上 述邊界的抽出可以使用例如水平一次微分濾光器。
直線抽出單元32由處理器18實現(xiàn)，從上述邊界抽出單元30所抽出的 邊界成分中抽出直線成分。該直線成分的抽出使用例如霍夫變換等進行。
直線成分解析單元34由處理器18實現(xiàn)，根據(jù)上述直線抽出單元32所 抽出的直線成分的位置或傾斜度、直線成分之間的關(guān)聯(lián)性等抽出主圖像數(shù) 據(jù)中的連續(xù)成分。其中，連續(xù)成分為圖像中在一定的方向上反復(fù)存在、并 且在一定的方向上連續(xù)的直線成分。例如，道路上以規(guī)定的長度反復(fù)描繪 的車道邊界線或在道路端部以規(guī)定的長度設(shè)置的電線桿等為前者的例子， 道路上連續(xù)描繪的車道外側(cè)線或護欄等為后者的例子。這樣的直線成分的 連續(xù)性由直線成分解析單元34根據(jù)各輔助區(qū)域內(nèi)或各輔助區(qū)域彼此之間上 述直線成分的位置關(guān)系來判斷。并且，電線桿等柱狀結(jié)構(gòu)體的直線成分能 夠通過其傾斜度去除，從直線解析的對象中除去。而且，上述直線成分之 間的關(guān)聯(lián)性為例如直線成分之間的距離，用于抽出在道路上描繪的道路標示。即，由于事先知道道路標示和道路標示之間的寬度，因此根據(jù)上述寬 度能夠明確地判定形成大或小距離的直線成分的組合不是道路標示的直線 成分。
另外，上述邊界抽出單元30、直線抽出單元32和直線成分解析單元 34構(gòu)成本發(fā)明的連續(xù)成分抽出單元。
匹配處理單元36由處理器18實現(xiàn)，進行上述主圖像數(shù)據(jù)的連續(xù)成分 的頂點與輔助圖像數(shù)據(jù)的匹配處理，用三角測量法根據(jù)與對應(yīng)點的視差以 及攝像機的位置等信息計算出各連續(xù)線段的相對的三維位置信息。
地圖坐標信息計算單元38由處理器18實現(xiàn)，根據(jù)位置信息獲取單元 42所獲得的坐標信息和匹配處理單元36所求出的相對的三維位置信息計 算出地圖上的坐標信息。
由上述匹配處理單元36構(gòu)成本發(fā)明的三維位置計算單元。
識別單元40由處理器18實現(xiàn)，根據(jù)上述三維位置信息中包含的各連 續(xù)成分的高度信息，識別連續(xù)成分是道路標示還是護欄。
位置信息獲取單元42由GPS (全球定位系統(tǒng))或陀螺儀等實現(xiàn)，求出 攝像單元26拍攝的位置和姿勢，決定對應(yīng)的圖像數(shù)據(jù)的坐標，作為坐標信 息輸出給地圖坐標信息計算單元38。
圖3中表示了車載攝像單元26拍攝的區(qū)域的說明圖。另外，圖3中用 X表示了攝像單元26的第1攝像機10和第2攝像機12排列的方向，用Z 表示拍攝方向(車輛行進的方向)。并且，用a表示作為第1攝像機10的 左側(cè)攝像機拍攝的區(qū)域，用P表示作為第2攝像機的右側(cè)攝像機拍攝的區(qū) 域。另外，也可能將攝像機安裝成與車輛行進方向相反的方向。
圖3中拍攝區(qū)域a的圖像數(shù)據(jù)為主圖像數(shù)據(jù)，拍攝區(qū)域e的圖像數(shù)據(jù)
為輔助圖像數(shù)據(jù)。上述匹配處理單元36進行的匹配處理對存在于拍攝區(qū)域 a與拍攝區(qū)域P重復(fù)的重復(fù)區(qū)域Y中的對象物的圖像數(shù)據(jù)進行。
圖4表示圖1及圖2中說明過的本實施形態(tài)的道路圖像解析裝置的動 作例的流程。圖4中，預(yù)處理單元28從攝像單元26中獲取主圖像數(shù)據(jù)(S1)。 雖然圖2中以第1攝像機IO拍攝的圖像數(shù)據(jù)為主圖像數(shù)據(jù)，但也可以以第 2攝像機12拍攝的圖像數(shù)據(jù)為主圖像數(shù)據(jù)。
預(yù)處理單元28對上述獲得的主圖像數(shù)據(jù)進行上述初始化處理，設(shè)定多個輔助區(qū)域(S2)。
圖5中表示了設(shè)定了輔助區(qū)域的主圖像。圖5中，主圖像設(shè)定了多個 輔助區(qū)域44,分別用虛線分隔表示。
接著，邊界抽出單元30抽出每個上述輔助區(qū)域44中的邊界成分(S3 )。 該邊界抽出處理通過使用水平一次微分濾光器識別初始化處理過的主圖像 數(shù)據(jù)的各輔助區(qū)域中輝度或色彩的明-暗圖案或暗-明圖案進行。由于圖5 所示的主圖像中的道路標示或護欄、電線桿等柱狀結(jié)構(gòu)體的輝度比道路等 背景的輝度高，因此能夠識別明和暗的邊界作為邊緣。
圖6表示邊界抽出處理的說明圖。圖6中用點劃線表示邊界抽出單元 30抽出的各邊界成分。
接著，直線抽出單元32解析上述抽出的邊界成分，抽出直線成分(S4)。
圖7用實線表示抽出的直線成分的例子。在這一階段中，抽出的直線
成分沒有區(qū)分是道路標示、護欄、電線桿等柱狀結(jié)構(gòu)體中的哪一種。
因此，直線成分解析單元34根據(jù)上述直線成分的位置或傾斜度、直線 之間的關(guān)聯(lián)性等抽出作為解析對象的連續(xù)成分(S5)。抽出該連續(xù)成分時， 優(yōu)選用直線成分的傾斜度或道路上的位置將電線桿等柱狀結(jié)構(gòu)體排除在 外。由此，能夠?qū)⒁院蟮奶幚砑械降缆窐耸竞妥o欄，能夠簡化處理。
圖8表示連續(xù)成分抽出處理的結(jié)果例。圖8中抽出圖像中在一定的方 向上反復(fù)存在、并且在一定的方向上連續(xù)的直線成分。
然后，匹配處理單元36進行上述連續(xù)成分的頂點與輔助圖像數(shù)據(jù)的匹 配處理(S6)。
圖9 (a)、 9 (b)表示匹配處理的說明圖。其中，圖9 (a)表示直線 成分解析單元34抽出的連續(xù)成分，圖9 (b)表示與輔助圖像的匹配結(jié)果。 匹配處理單元36用例如面積相關(guān)法進行圖9 (a)所示的連續(xù)成分的端點與 輔助圖像數(shù)據(jù)的匹配，用三角測量法根據(jù)與對應(yīng)點的視差、攝像機位置以 及姿勢等信息計算出各連續(xù)成分的相對的三維位置信息。圖9 (a)用12 點(al al2)表示端點的例子。另外，端點的數(shù)量并不限定于上述12點， 還可以更多。通過以上的處理，由于不是對連續(xù)成分的所有的點而是僅對
端點進行對應(yīng)點的檢索，因此能夠高精度并且快速^k進行匹配處理。
地圖坐標信息計算單元38根據(jù)位置信息獲取單元42獲取的坐標信息和匹配處理單元36求得的相對三維位置信息，計算出地圖上的坐標信息。 并且，識別單元40根據(jù)上述地圖上的坐標信息中包含的各連續(xù)成分的高度 信息，識別連續(xù)成分是道路標示還是護欄(S7)。該處理能夠通過在上述高 度信息中設(shè)定規(guī)定的臨界值，將高度比該臨界值高的連續(xù)成分作為護欄、 將高度比臨界值低的連續(xù)成分作為道路標示來實行。另外，也可以根據(jù)相 對坐標信息進行上述識別處理，然后根據(jù)位置信息獲取單元42獲取的坐標 信息計算出地圖上的坐標信息。
上述解析動作求出的道路標示和護欄在地圖上的坐標信息顯示在顯示 單元22中(S8)。圖10表示該顯示例。圖10中，每一個道路標示和護欄 的屬性顯示X、 Y、 Z這3個坐標值。另外，上述坐標信息也可以作為數(shù)據(jù) 庫存儲到存儲單元20中。
如果采用以上各過程，用直線成分解析單元34將解析對象集中為道路 標示和護欄，用匹配處理單元36和識別單元40識別道路標示和護欄。由 此，能夠用簡單的處理組合明確區(qū)分道路標示和護欄，能夠獲得準確的位 置信息。
如果采用本發(fā)明，能夠明確并且快速地區(qū)分道路標示和護欄，能夠獲 取準確的位置信息。
權(quán)利要求
1.一種道路圖像解析裝置，其特征在于，具備二臺攝像單元，從不同的方向?qū)ν晃恢眠M行拍攝；連續(xù)成分抽出單元，從上述攝像單元中的一方獲取的圖像數(shù)據(jù)中抽出連續(xù)成分；三維位置計算單元，將上述連續(xù)成分與上述攝像單元中的另一方獲取的圖像數(shù)據(jù)進行組合，計算出上述連續(xù)成分的三維位置信息；識別單元，根據(jù)上述三維位置計算單元計算出的三維位置信息識別上述連續(xù)成分。
2. 如權(quán)利要求1所述的道路圖像解析裝置，其特征在于，上述連續(xù)成 分抽出單元從上述攝像單元中的一方獲取的圖像數(shù)據(jù)中抽出直線成分，根 據(jù)該直線成分的位置、傾斜度及直線間的相關(guān)性抽出上述連續(xù)成分。
3. 如權(quán)利要求1所述的道路圖像解析裝置，其特征在于，上述三維位 置計算單元通過匹配處理上述連續(xù)成分的端點和上述攝像單元中的另一方獲取的圖像數(shù)據(jù)計算出三維位置信息。
4. 如權(quán)利要求1所述的道路圖像解析裝置，其特征在于，上述識別單 元根據(jù)上述三維位置信息中包含的上述連續(xù)成分的高度信息識別上述連續(xù) 成分。
5. 如權(quán)利要求1所述的道路圖像解析裝置，其特征在于，上述連續(xù)成 分抽出單元、上述三維位置計算單元以及上述識別單元，以設(shè)定在與道路 行走方向正交的方向上的輔助區(qū)域為處理單位。
6. —種道路圖像解析方法，其特征在于，包括以下步驟 從不同的2個方向?qū)ν晃恢眠M行拍攝的步驟； 從上述拍攝的一方的圖像數(shù)據(jù)中抽出連續(xù)成分的步驟；將上述連續(xù)成分與上述拍攝到的另一方的圖像數(shù)據(jù)進行組合，計算出 上述連續(xù)成分的三維位置信息的步驟；根據(jù)上述計算出的三維位置信息識別上述連續(xù)成分的步驟。
7. 如權(quán)利要求6所述的道路圖像解析方法，其特征在于，抽出上述連 續(xù)成分的步驟從上述拍攝到的一方的圖像數(shù)據(jù)中抽出直線成分，根據(jù)該直 線成分的位置、傾斜度及直線間的相關(guān)性抽出上述連續(xù)成分。
8. 如權(quán)利要求6所述的道路圖像解析方法，其特征在于，上述計算連 續(xù)成分的三維位置信息的步驟通過匹配處理上述連續(xù)成分的端點和上述拍 攝到的另一方的圖像數(shù)據(jù)計算出三維位置信息。
9. 如權(quán)利要求6所述的道路圖像解析方法，其特征在于，上述識別連 續(xù)成分的步驟根據(jù)上述三維位置信息中包含的上述連續(xù)成分的高度信息識 別上述連續(xù)成分。
10. 如權(quán)利要求6所述的道路圖像解析方法，其特征在于，上述抽出 連續(xù)成分的步驟、上述計算連續(xù)成分的三維位置信息的步驟以及上述識別連續(xù)成分的步驟，以設(shè)定在與道路行走方向正交的方向上的輔助區(qū)域為處 理單位而實行。
全文摘要
本發(fā)明涉及一種能夠明確并且快速地區(qū)分道路標示和護欄、能夠獲取準確的位置信息的道路圖像解析裝置，預(yù)處理單元(28)為攝像單元(26)獲得的主圖像數(shù)據(jù)設(shè)定輔助區(qū)域，邊界抽出單元(30)抽出每個輔助區(qū)域的邊界成分。直線抽出單元(32)解析上述抽出的邊界成分、抽出直線成分，直線成分解析單元(34)使用該直線成分從直線成分中抽出連續(xù)成分。匹配處理單元(36)進行上述連續(xù)成分的頂點與輔助圖像數(shù)據(jù)的匹配處理，獲取各連續(xù)成分的三維位置信息。識別單元(40)根據(jù)三維位置信息中包含的各連續(xù)成分的高度信息識別連續(xù)成分是道路標示還是護欄。
文檔編號G08G1/16GK101410872SQ200780011198
公開日2009年4月15日 申請日期2007年3月23日 優(yōu)先權(quán)日2006年3月28日
發(fā)明者林 朱, 笹川正 申請人:株式會社博思科