專利名稱：駕駛支援裝置的制作方法
技術領域：
本發(fā)明涉及駕駛支援裝置。
背景技術：
作為本發(fā)明的技術領域的背景技術，例如有日本專利特開平10-24801號公報。在該公報中記載有“[課題]安全地從狹路駛入交叉道路。[解決方法]具備設置在車輛前方的拍攝模塊1A、1B；設置在車輛前方的側部，測定至側部的相對距離的測距模塊2A、2B；通過無線電線路發(fā)送由拍攝模塊和測距模塊獲得的圖像信號和距離信號的發(fā)送模塊3；接收從發(fā)送模塊3發(fā)送的信號的接收模塊4；檢測車輛的車速的車速檢測模塊7；和車速在預定的速度以下，并且由接收模塊4接收的距離信號所示的距離在預定的距離以下時，在車輛的擋風玻璃10的規(guī)定部11A、11B上顯示根據由拍攝模塊1A、1B獲得的圖像信號而獲得的圖像的控制模塊6”。
另外，作為本發(fā)明的技術領域的背景技術，例如有日本專利特開2002-49998號公報。在該公報中記載有“[課題]在進行導航和空氣調節(jié)等操作時，多發(fā)生操作者看操作盤，不注意前方而發(fā)生的碰撞事故。因此，目的在于提供通過獲得車輛周圍的外部信息，向面向操作盤的操作者提供其視線方向的區(qū)域內接近車輛的信息，由此對于操作者沒有疏遠感，可實現(xiàn)安全行車的駕駛支援裝置。[解決方法]本駕駛支援裝置具備通過攝像機21監(jiān)視整個周圍的的外部狀況監(jiān)視部22；從上述外部狀況監(jiān)視部22獲得的信息檢測障礙物的障礙物檢測部23；設置在操作者對操作盤進行操作時視線對著的方向上的障礙物信息顯示部24；和從障礙檢測部23獲得的信息判斷危險障礙物的危險障礙物判斷部31，僅在通過危險障礙物判斷部31檢測危險的障礙物時，在障礙物信息顯示部24上顯示接近物的圖像”。
另外，作為本發(fā)明的技術領域的背景技術，例如有日本專利特開平11-321494號公報。在該公報中記載有“[課題]其它車輛有可能碰撞自己的車輛時，使駕駛者確認有可能碰撞的其它車輛的位置、種類等，駕駛者據此進行最終的判斷，確保高度安全性。[解決方法]在車輛2行駛時，通過對從攝像機3輸出的圖像信號進行圖像處理，根據方向指示燈開關5的位置，其它車輛從正后方、或右后方、或左后方接近時，檢測該情況，發(fā)生蜂鳴音，提醒駕駛者注意，同時對從攝像機3輸出的圖像信號，以疊加的形式將呈四邊框的標志11附加在有可能碰撞的車輛的圖像上，在顯示裝置10上進行顯示，使駕駛者識別有可能碰撞的車輛”。
關于具有處理安裝有攝像機等的拍攝裝置的機器等的圖像信息的功能的攝像系統(tǒng)、攝像機、或其他圖像信號處理裝置，如上所述，有將攝像機等拍攝裝置安裝在車輛上作為車載攝像機，拍攝車后方和駕駛者的死角等，顯示在監(jiān)視器上的結構。
可是，不僅有碰撞的危險性，而且由于遮擋視野的障礙物等的存在，有碰撞的危險性的對象物被遮擋。在從障礙物出現(xiàn)的瞬間，駕駛者來不及操作，有可能來不及躲避危險。本發(fā)明就是鑒于這樣的情況而完成的，謀求即使在被障礙物遮住視野的情況下，也能使利用者識別對象物的裝置。
還沒有這樣一種結構在車停止狀態(tài)下被障礙物遮擋時，通過聲音和圖像等使駕駛者知道從死角的地方移動來的物體這樣的由毫米波雷達構成的碰撞回避系統(tǒng)，或者識別有碰撞可能性的物體，預測碰撞的可能性，以便人能識別進行碰撞的物體。另外，還沒有這樣一種結構不僅自己而且對方和第三者將同樣的系統(tǒng)、或通知危險的裝置安裝在身邊，或者，如果在街道等地方存在這樣的裝置，根據該危險的逼近方向，通過聽覺、視覺等使人認識到危險。通過利用圖像和聲音通知危險的結構和利用一個以上的攝像機的立體攝像機這樣的攝像系統(tǒng)，預測物體的碰撞的結構是重要的。
本發(fā)明的目的在于在駕駛支援系統(tǒng)中，進一步提高安全性。

發(fā)明內容
為了達到上述目的，其特征在于，具備拍攝模塊，拍攝被拍攝體；顯示模塊，顯示通過該拍攝模塊拍攝的圖像；和控制模塊，控制該顯示模塊，使其在該被拍攝體中有移動體的情況下，算出該移動體的光流，并且在該移動體被其它物體遮擋而不能拍攝的情況下，根據遮擋前算出的該移動體的光流，算出該移動體的位置，將該移動體重疊在該其它物體上進行顯示。
根據本發(fā)明，在駕駛支援系統(tǒng)中能進一步提高安全性。


參照附圖能夠更明確地了解本發(fā)明的特征、目的、優(yōu)點等。
圖1是多攝像機駕駛支援裝載車結構圖。
圖2是模擬顯示圖。
圖3是碰撞回避輔助系統(tǒng)流程圖。
圖4是駕駛支援裝置結構圖。
圖5是移動體模擬顯示圖。
圖6是局部模擬顯示圖。
圖7是文字和移動方向模擬顯示圖。
圖8是障礙物模擬顯示圖。
圖9是圖標模擬顯示圖。
圖10是空間模擬顯示圖。
具體實施例方式
以下，參照

本發(fā)明的一個實施方式。
在本發(fā)明的一個實施方式中，駕駛支援裝置的特征在于，具備拍攝車的行進方向和車的周邊的拍攝模塊；檢測本車的運動方向的檢測模塊；根據拍攝的拍攝數據算出光流的光流算出模塊；和根據上述本車的運動方向數據，修正算出的光流的修正模塊。
另外，其特征在于，還具備根據上述算出的光流數據，在被遮擋視野的物體遮擋的情況下，用于根據已經拍攝的圖像，模擬顯示被遮擋的部分的顯示模塊；預先存儲有常見的物體，與拍攝的物體進行樣式匹配，識別物體的識別模塊；存儲拍攝的信息的存儲模塊；從存儲模塊存儲的信息中抽出死角信息，模擬顯示死角的圖像的死角信息顯示模塊；和用于即使移動物體被遮擋視野的障礙物遮擋住，也能利用移動物體的光流，預測何時從障礙物出來的運算模塊。
以下具體地說明。
圖1表示安裝有多個攝像機的本發(fā)明的一個實施例。多攝像機駕駛支援裝置裝載車1(以下稱為本車)安裝有多個攝像機10，在視野角4中分別拍攝本車1的周邊。摩托車等移動體2沿移動體的行進方向x接近本車1的行進方向y。以t0～t4表示移動體2每一經過時間的位置。另外，在通過攝像機100、101進行拍攝的區(qū)域內存在遮擋移動體2的拍攝的障礙物3。由于存在該障礙物3，所以有攝像機100、101不能拍攝時刻t2時的移動體2的時刻。由于有障礙物3，所以以虛線表示攝像機100、101對本來能拍攝的視野角4不能進行拍攝的區(qū)域。圖2表示時刻t0～t2的畫面顯示。拍攝t0、t1的移動體2，檢測光流。如果利用光流，預測在時刻t2的障礙物的實際圖像中存在移動體2，則在畫面中顯示預測的時刻t2時的圖像。如果該時刻t2時本車1能采取制動控制和手動操作等避免碰撞的行動，就能避免碰撞。
圖3表示本發(fā)明的駕駛支援裝置進行的用于避免碰撞的駕駛支援流程。發(fā)動機啟動(ST1)，本車1開始拍攝(ST2)。檢測拍攝的圖像信息中的移動體的光流和本車的運動方向數據(ST3)。根據在(ST3)中檢測的數據，進行有無碰撞的移動體的判斷(ST4)。如果沒有，則重復進行(ST3)和(ST4)的處理。其次，如果檢測到有可能碰撞的正在接近的移動體，則通過聽覺、觸覺、視覺等人能感知的通知方法，通知駕駛者有正在接近的移動體(ST5)，在監(jiān)視器中顯示正在接近的有可能碰撞的移動體2(ST6)。根據距離、本車位置，提高報警音量等調整報警器(ST7)，判斷是否已避免危險(ST8)，如果危險未避免，則從(ST7)至(ST8)重復進行。如果已避免危險，則消除警報(ST9)。判斷是否繼續(xù)駕駛(ST10)，如果繼續(xù)駕駛，則再次重復進行(ST3)和(ST4)。如果駕駛結束，則關閉發(fā)動機，結束拍攝(ST11)，駕駛支援結束。
圖4是表示本發(fā)明的駕駛支援裝置裝載車的結構圖。駕駛支援裝置裝載車1裝載有拍攝車輛周邊的拍攝模塊100、101、102、…10n，將拍攝的信息發(fā)送到控制模塊11，控制拍攝的圖像數據。具備根據拍攝的圖像數據，算出光流的運算模塊12；以及存儲拍攝的圖像數據和光流數據的存儲模塊13。存儲模塊13不僅存儲拍攝的圖像數據，而且還存儲各種電子數據。例如，為了進行樣式識別，預先將常見的物體的圖像數據存儲起來，即使是拍攝模塊只能拍攝一部分的移動體，也存儲通過樣式識別模擬用于顯示是否存在什么物體的信息等。輸出模塊14具有利用聲音和圖像等告知正在接近的移動體的方向的功能。具備外部的終端裝置151、服務器152、以及用于進行收發(fā)的通信模塊15。
圖5表示本發(fā)明的t0～t2的移動體2的模擬顯示方法。利用移動體2的光流，即使在一部分重疊在障礙物3上的情況下，如t1時的畫面顯示的虛線所示，進行移動體2的圖像顯示，即使移動體2完全被障礙物3遮擋后，如t2的畫面顯示所示，與虛線重疊顯示，能夠透視，通過一系列動作表示移動體2正在移動。
圖6表示出本發(fā)明的t0～t2的移動體2的模擬顯示。識別移動體2為人時，除實施例5的顯示方法以外，在t2的畫面顯示中，在被障礙物3遮擋的狀態(tài)下也能模擬地顯示人的運動。
圖7表示本發(fā)明的t0～t2的移動體2的模擬顯示。識別移動體2為人時，除實施例6的顯示方法以外，在t2的畫面顯示中，在被障礙物3遮擋的狀態(tài)下，通過文字表現(xiàn)人，或者以框圍起來進行顯示。另外以箭頭等表示行進方向，使人直觀地知道移動方向而顯示。

圖8表示本發(fā)明的t0～t2的移動體2的模擬顯示。識別移動體2為人時，在t2的畫面顯示中，在被障礙物3遮擋的狀態(tài)下，以框將障礙物3圍起來進行顯示?；蛘撸拐系K物著色，表示移動體被遮擋。或者，使框和顏色等進行閃爍顯示。或者，將上述顯示組合起來進行顯示，表示移動體2被障礙物3遮擋住。
圖9表示本發(fā)明的t0～t2的移動體2的模擬顯示。識別移動體2為人時，在能抽取人物的面部特征的情況下，將面部圖像作為移動體2進行顯示?；蛘?，用圖標顯示表示人被障礙物3遮擋住。
圖10表示本發(fā)明的空間模擬顯示。根據車輛在時刻t0、t1獲得的圖像信息，抽取空間的圖像信息。根據抽取的空間的圖像信息，對于在時刻t2時即使由于障礙物3而本來看不見的空間，根據從過去獲得的圖像信息t0、t1時獲得的空間的圖像數據，也能進行空間的模擬顯示。
在本發(fā)明的一個實施方式中，能夠具有這樣的結構如果人進入車輛或物體的陰影中，利用進入物體陰影之前的圖像信息，根據進入物體陰影之前的光流，通過運算模塊預測何時從物體陰影中出來，進行移動體的模擬顯示，或者利用圖標、文字等進行顯示，通過聲音模塊從環(huán)繞接近物體的方向輸出聲音，以人聲“左前方有移動體”等可聽懂的語言進行通知。
另外，在預測移動體從物體陰影中快速出來的情況下，通過與保存在存儲模塊中的移動體的圖像的樣式匹配，在相匹配的情況下，從模擬顯示的預想圖像切換到實際圖像。另外，在經過預測的出現(xiàn)時刻移動體也未從障礙物出來的情況下，為了表示在物體陰影后，模擬顯示被物體陰影遮擋之前拍攝的圖像，或者用表示移動體的動畫、圖標、和文字等，顯示移動體在物體陰影后。
另外，在圖像中，由于其它車輛等的障礙物，移動體的整體像已經沒有移動的情況下，如果攝像機也能拍攝作為障礙物的其它車輛的下側，則拍攝其它車輛的下側與路面之間的間隙，如果能拍攝到移動體，則通過移動體的樣式匹配，判斷移動體是什么，重疊在作為障礙的其它車輛的實際圖像上，進行模擬顯示，在顯示裝置中顯示人等移動體進入了其它車輛等的陰影中。另外，在識別出自行車和摩托車等的車輪的情況下，根據自行車的車輪的大小和輪距等，用動畫、圖標、和文字等，顯示有自行車被車輛遮擋。另外，在朝向車輛還有汽車等的情況下，即使被有客貨兩用車和四輪驅動車等車身高的車的陰影遮擋了的其它車輛，如果也能拍攝到一部分，則根據預先登錄的車輛信息，進行樣式匹配，顯示模擬的圖像，用動畫、圖標、和文字等，能顯示在車輛的背面存在設想的其它車輛，由人的眼睛看位于遮擋視野的障礙物的相對一側的物體，能直覺地認識到存在什么樣的物體，本發(fā)明的裝置就是具有上述特征的裝置。
另外，根據過去拍攝的圖像數據，將本來看不見的空間和物體重疊在障礙物上，進行模擬顯示，能識別障礙物相對一側的樣子。
如上所述，根據各實施例，不存在于人的視野中的移動體和障礙物等在攝像機等不能拍攝的狀況下，也能通過利用光流和過去拍攝的信息的模擬顯示，能對移動體和本車的碰撞防患于未然，能獲得減少交通事故、支援安全駕駛的效果。
以上說明了本發(fā)明的幾個實施例，但是可知在本發(fā)明的范圍內可以對實施例進行變更和修改。這些變更和修改不被上述詳細的說明和實施例限制，而是由權利要求的范圍決定。
權利要求
1.一種駕駛支援裝置，其特征在于，具備拍攝模塊，拍攝被拍攝體；顯示模塊，顯示通過該拍攝模塊拍攝的圖像；和控制模塊，控制該顯示模塊，使其在該被拍攝體中有移動體的情況下，算出該移動體的光流，并且在該移動體被其它物體遮擋而不能拍攝的情況下，根據遮擋前算出的該移動體的光流，算出該移動體的位置，將該移動體重疊在該其它物體上進行顯示。
2.根據權利要求1所述的駕駛支援裝置，其特征在于所述拍攝模塊有多個，所述控制模塊通過對從該多個拍攝模塊輸出的信號進行立體信號處理，算出所述光流。
3.根據權利要求1或2所述的駕駛支援裝置，其特征在于具備將碰撞移動體的情況通知駕駛者的通知模塊，所述控制模塊檢測該駕駛支援裝置的光流，根據所述移動體的光流和該駕駛支援裝置的光流，在碰撞該移動體的情況下，通過該通知模塊將碰撞該移動體的情況通知駕駛者。
全文摘要
至今雖然有根據光流顯示移動體的結構，但還沒有在存在障礙物而不能拍攝移動體的情況下，模擬顯示移動體等，通知碰撞的危險的裝置。在本發(fā)明中，即使由于障礙物而不能拍攝移動體，但通過光流和樣式匹配等，將移動體的模擬圖像疊加在實際圖像上進行顯示，具有能透視的效果，通過聲音或圖像等人可感知的通知方法，將用于避免危險的信息提前通知駕駛者，避免碰撞等危險。
文檔編號B60W40/02GK1928494SQ20061010786
公開日2007年3月14日 申請日期2006年7月26日 優(yōu)先權日2005年9月7日
發(fā)明者久保雄一, 千葉浩 申請人:株式會社日立制作所