專利名稱：用于交通狀況的視頻數(shù)據(jù)和距離數(shù)據(jù)的組合可視顯示的方法和裝置的制作方法
用于交通狀況的視頻數(shù)據(jù)和距離數(shù)據(jù)的組合可視顯示的方
法和裝置
現(xiàn)有技術(shù)為了支持車輛駕駛員，已知，將距離傳感器安裝在車輛外部并且將這樣獲得的距離信息以聲學方式或以視覺方式在車輛部位駕駛員顯示。同樣已知，使用視頻攝像機來保證駕駛員有更好的車輛視野。這種用于支持駕駛員的攝像機例如朝向后方，以便改善通過后視鏡所不能及的視野，或者安裝在車輛前部并朝向前方，以便例如在夜間行駛時改善透過擋風玻璃的可見圖像。攝像機支持駕駛員的其它已知的措施是一些系統(tǒng)，其中，借助攝像機圖像來識別交通標志并且尤其識別車道走向、為駕駛員顯示或者提示可能的錯誤。此外已知，基于傳感器的距離識別機構(gòu)(例如超聲或雷達裝置)與圖像數(shù)據(jù)組合。 此外，為了突出通過視頻圖像內(nèi)的形狀識別所感測到的重要對象，通過用人為對象替代該形狀來突出。此外，使用這種人為對象如箭頭或框以插入圖像內(nèi)。此外已知，借助傳感器所感測的距離信息同樣被插入圖像中，例如作為數(shù)值或其它人為對象如距離條。例如文獻DE 102 41 464A1說明了一種系統(tǒng)，在該系統(tǒng)中例如在顯示圖像旁設(shè)置有指示區(qū)，其反映由傳感器感測中得到的提示。那里描述的其它措施是分別作為人為對象插入到圖像中的輔助線或距離標記。這種組合系統(tǒng)覆蓋了視頻感測的環(huán)境的其它圖像區(qū)域或者分散了對其它特征的注意，因為置于攝像機圖像數(shù)據(jù)上的人為對象在觀看時突出或覆蓋了其下面的圖像信息。 基于視頻的系統(tǒng)的缺點還在于，需要駕駛員的全部注意力，特別是在圖像僅包含了對于估計大小和距離不足夠的特征的情況下，因此分散了對視頻圖像內(nèi)的圖像信息的注意。距離范圍的插入也分散了駕駛員對原本顯示的環(huán)境的注意，因為兩種不同等級的信息(圖形簡化的人共對象和對環(huán)境的圖像描述)同時向駕駛員顯示。有時除了要處理的聲音報警外還加劇了使駕駛員必須從實際圖像信息反射注意并信賴附加的對象或傳感器信息的問題。

發(fā)明內(nèi)容
因此，本發(fā)明的任務(wù)是，設(shè)計一種視頻數(shù)據(jù)和傳感器距離數(shù)據(jù)的組合顯示，其中， 距離數(shù)據(jù)不遮擋駕駛員對真實圖像數(shù)據(jù)的獲取。該任務(wù)通過所附的獨立權(quán)利要求來解決。本發(fā)明所基于的方案是，不是部分視頻數(shù)據(jù)被附加的對象覆蓋或者添加附加的對象以使其突出，而且使用距離數(shù)據(jù)來實際支持圖像數(shù)據(jù)的突出，其中，圖像信息被完全保留。這根據(jù)本發(fā)明通過用幾何轉(zhuǎn)換即用扭曲突出圖像數(shù)據(jù)來實現(xiàn)。以此方式使圖像數(shù)據(jù)不被遮擋，尤其是沒有會妨礙對實際攝像機圖像的理解的附加對象插入到相應(yīng)的圖像區(qū)域中或附近。這提高了圖像內(nèi)容的主觀可理解性，尤其是因為沒有附加的人為對象疊加到攝像機圖像數(shù)據(jù)上。根據(jù)本發(fā)明，攝像機圖像內(nèi)容被幾何適配，其中該適配通過幾何轉(zhuǎn)換來實施，轉(zhuǎn)換的強度取決于基于傳感器的距離數(shù)據(jù)。在根據(jù)本發(fā)明的幾何適配中，攝像機圖像數(shù)據(jù)僅在其比例、其圖像大小或取向方面被改變，但完全保持。尤其是，圖像數(shù)據(jù)既不被所述對象覆蓋，也不被以這樣的方式施加以所述對象使得觀察者從原始真實圖像數(shù)據(jù)分散注意力或由于遮蓋而妨礙對圖像特征的識別。因此，根據(jù)本發(fā)明提出了一種用于組合地可視顯示車輛所處交通狀況的視頻數(shù)據(jù)和距離數(shù)據(jù)的方法。這些視頻數(shù)據(jù)和距離數(shù)據(jù)是從車輛向外感測到的數(shù)據(jù)，尤其是，用于感測視頻數(shù)據(jù)的攝像機和用于感測距離數(shù)據(jù)的傳感器安置在車輛上或在車輛內(nèi)。視頻攝像機可以設(shè)置在座艙內(nèi)或者也可以設(shè)置在座艙外并且顯示從一個位于車輛上或車輛內(nèi)的點的視角出發(fā)的圖像數(shù)據(jù)。傳感器優(yōu)選設(shè)置在車輛的外側(cè)，使得由此設(shè)置的傳感器數(shù)據(jù)確定相對于車輛外側(cè)的距離。傳感器可以使用超聲或雷達或微波發(fā)射器/接收器組合，或者作為單個的傳感器，或者優(yōu)選作為傳感器陣列，該陣列例如沿著一個或兩個保險杠延伸或沿著車輛側(cè)面延伸。距離數(shù)據(jù)例如通過對發(fā)射的超聲信號或雷達信號等的渡越時間測量來獲取。交通狀況通過位于車輛附近的物體(例如可借助傳感器或者視頻感測的其它車輛)形成。除車輛外也可以考慮固定物體如護柱或其它交通措施或者建筑物。此外本發(fā)明方法還包括從車輛攝取環(huán)境區(qū)段的攝像機圖像數(shù)據(jù)的步驟。在此，從車輛的視角、例如從座艙內(nèi)的在擋風玻璃上或者在車輛后端部上的一個點出發(fā)感測圖像數(shù)據(jù)，例如作為視頻數(shù)據(jù)或時間上相繼的靜態(tài)圖像數(shù)據(jù)，其中，該環(huán)境區(qū)段相應(yīng)于攝像機的感測角度。在此，在環(huán)境區(qū)段內(nèi)顯示的交通狀況由攝像機按照攝像機感測角度來拍攝。此外，與攝像機圖像數(shù)據(jù)的攝取同時地或至少時間上相近地感測距離數(shù)據(jù)，這些距離數(shù)據(jù)至少反映了車輛與環(huán)境區(qū)段內(nèi)的對象之間的距離。優(yōu)選地，針對每個存在于環(huán)境區(qū)段內(nèi)的對象感測距離。如果該環(huán)境區(qū)段具有不能借助距離傳感器感測的子區(qū)段或部位，反映車輛與傳感器有效距離內(nèi)的至少一個對象之間的距離，其中，將通過傳感器有效距離得到的范圍與該環(huán)境區(qū)段疊加。因此，感測距離數(shù)據(jù)不僅位于感測距離數(shù)據(jù)的距離傳感器裝置的有效距離內(nèi)而且位于由攝像機圖像數(shù)據(jù)反映的環(huán)境區(qū)段內(nèi)的對象的距離數(shù)據(jù)。如果一個對象盡管位于攝像機圖像數(shù)據(jù)的環(huán)境區(qū)段內(nèi)、但在用于測量距離的傳感器的有效距離外，則給該對象對應(yīng)分配一個距離，該距離至少與距離傳感器的有效距離等大，使得距離數(shù)據(jù)的感測也可以考慮傳感器感測范圍外的對象，然而它們位于攝像機圖像數(shù)據(jù)內(nèi)或者說在由攝像機所感測的環(huán)境區(qū)段內(nèi)。根據(jù)本發(fā)明，攝像機圖像數(shù)據(jù)的圖像區(qū)段依賴于所述至少一個所感測的距離而畸變。該依賴性通過畸變強度關(guān)于距離的函數(shù)形成。該函數(shù)將距離映射到畸變強度，該函數(shù)優(yōu)選是單調(diào)下降函數(shù)，由此在距離較大的情況下與較小距離相比畸變更小。尤其當畸變設(shè)計為放大(放大因子> 1)時是這種情況。如果選擇縮小作為畸變(圖像大小倍增因子< 1)， 則所述依賴性為單調(diào)上升函數(shù)，由此圖像區(qū)段在距離較大情況下比在距離較小情況下也更強烈地縮小。由于縮小和放大作為畸變處理除了符號之外彼此相當，因此下面尤其考慮在垂直方向上、水平方向上或兩個方向上的拉伸。根據(jù)一個優(yōu)選實施方式，該畸變包括如偏移、拉伸、壓縮、旋轉(zhuǎn)或它們的任意組合等畸變處理。在此要注意，壓縮處理除了符號之外相當于拉伸處理。這些處理涉及從接受的可被視為未畸變的攝像機圖像出發(fā)的變換。除了所述畸變處理之外也可以實施其它的或復雜的畸變處理，例如這樣的變換其中，相應(yīng)的圖像區(qū)段的中心在變換之后相比于邊緣區(qū)段面積增大。該畸變處理(或其組合)被應(yīng)用到一個圖像區(qū)段上，該圖像區(qū)段可以相應(yīng)于被攝像機拍攝的整個環(huán)境區(qū)段，或者該圖像區(qū)段是攝像機圖像數(shù)據(jù)所反映的圖像的一個部分。因此，該圖像區(qū)段或者相應(yīng)于由攝像機拍攝的整個圖像，或者相應(yīng)于一個部分區(qū)段，但其中畸變處理也會涉及多個圖像區(qū)段，所述多個圖像區(qū)段各相應(yīng)于整個攝像機圖像數(shù)據(jù)的一個部分區(qū)段。當設(shè)置了多個圖像區(qū)段時，則這些圖像區(qū)段優(yōu)選彼此直接相互銜接或者僅部分重疊，并且總體填滿由攝像機圖像數(shù)據(jù)反映的整個圖像。該畸變處理以按照單調(diào)下降函數(shù)與距離相關(guān)的強度來實施。這尤其涉及偏移、拉伸或旋轉(zhuǎn)。由此，在距離較小的情況下畸變處理以比距離大的情況下更大的強度實施。替換地也可以使用單調(diào)上升函數(shù)，該函數(shù)尤其涉及“壓縮”畸變處理，以便使距離較遠的圖像區(qū)段與具有小距離的圖像區(qū)段相比更強烈地壓縮(例如縮小)。在“拉伸”畸變處理情況下，強度相應(yīng)于放大因子(> 1)，在“旋轉(zhuǎn)” 畸變處理情況下強度相應(yīng)于旋轉(zhuǎn)角度(相對于原始圖像)，而在“偏移”畸變處理情況下，強度相應(yīng)于相對于原始圖像(以及也相對于其它畸變較小的圖像區(qū)段)的偏移距離。在“壓縮”畸變處理情況下，強度相應(yīng)于長寬比或其倒數(shù)。其它畸變處理是放大、縮小和一般性縮放，其中當畸變處理相當于縮小時，該函數(shù)是單調(diào)上升函數(shù)。在具有多個圖像區(qū)段的情況下，這些圖像區(qū)段優(yōu)選受到相同的畸變處理(即使有時以不同的強度)。替換地可以針對邊緣區(qū)域選擇不同于攝像機圖像數(shù)據(jù)的圖像的中間區(qū)段的畸變處理。根據(jù)本發(fā)明的另一實施方式，分別針對環(huán)境區(qū)段的多個不同的區(qū)域感測距離數(shù)據(jù)。這通過在一個車輛區(qū)段上排列的距離傳感器或間距傳感器(例如水平地、以相同的彼此間距在車輛外側(cè)、尤其在后保險杠上)來實現(xiàn)。這些區(qū)域相應(yīng)于各個傳感器的對應(yīng)傳感器區(qū)域，這些傳感器區(qū)域通過傳感器的有效距離和接收特征來定義。環(huán)境區(qū)段的各個不同的區(qū)域優(yōu)選部分重疊并且彼此并排地優(yōu)選在環(huán)境區(qū)段的整個寬度上延伸。在此以相同方式將攝像機圖像數(shù)據(jù)劃分成多個不同的圖像區(qū)段，使得所述至少一個圖像區(qū)段包括多個不同的圖像區(qū)段。這些圖像區(qū)段可以至少部分地重疊，總體上完全包圍整個攝像機圖像并且優(yōu)選直接相互排列。所述多個圖像區(qū)段尤其可以是一些垂直的條，它們直接相互鄰接并且這樣覆蓋整個由攝像機感測的圖像?；兊牟襟E包括多個圖像區(qū)段中的至少一個圖像區(qū)段根據(jù)距離數(shù)據(jù)畸變，這些距離數(shù)據(jù)涉及處于環(huán)境區(qū)段的與該圖像區(qū)段基本對應(yīng)或與該圖像區(qū)段絕大部分重疊的區(qū)域中的對象。優(yōu)選地，圖像區(qū)段的全部或至少一些畸變，分別按照適合于各個圖像區(qū)段的強度畸變。針對各個圖像區(qū)段所感測的距離被視為適合的強度。所述各個圖像區(qū)段和環(huán)境區(qū)段的對應(yīng)的、通過傳感器的靈敏度范圍預給定的區(qū)域不必一定相同，而是也可以至少部分地重疊。尤其可以是，由傳感器監(jiān)視的環(huán)境區(qū)段完全(或者僅部分地)處于對應(yīng)的圖像區(qū)段內(nèi)，而未將其完全填滿。原則上當使用多個傳感器時，希望傳感器與從屬的各個圖像區(qū)段之間相互對應(yīng)配置。傳感器的靈敏度范圍與攝像機圖像的相關(guān)區(qū)段的百分之百對應(yīng)并不是一定必要的。根據(jù)尤其可以與前述實施方式組合的另一實施方式，針對環(huán)境區(qū)段的不同區(qū)域中的至少兩個(它們從各傳感器的有效距離和調(diào)節(jié)特性得出)分別感測從屬的距離數(shù)據(jù)(通過分別對應(yīng)的傳感器)。同樣地，為此感測多個圖像區(qū)段中的至少兩個，分別根據(jù)處于對應(yīng)圖像區(qū)段中的至少一個對象的距離數(shù)據(jù)。所述至少兩個圖像區(qū)段或多個圖像區(qū)段分別根據(jù)處于相應(yīng)圖像區(qū)段或環(huán)境區(qū)段區(qū)域中的至少一個對象的對應(yīng)距離數(shù)據(jù)來畸變。尤其是，多個圖像區(qū)段中的至少兩個根據(jù)處于環(huán)境區(qū)段的對應(yīng)區(qū)域中的至少一個對象的距離數(shù)據(jù)而畸變，其中該區(qū)域?qū)?yīng)于相應(yīng)的圖像區(qū)段，基本上相當于該圖像區(qū)段或與該圖像區(qū)段絕大部分重疊。根據(jù)另一實施方式，環(huán)境區(qū)段劃分成一些沿著攝像機圖像數(shù)據(jù)的水平線彼此銜接的圖像區(qū)段。優(yōu)選地，這些圖像區(qū)段直接彼此銜接或僅微量重疊。被稱作攝像機圖像數(shù)據(jù)的水平線的是通過攝像機相對于車輛底面或者從車輛本身位置出發(fā)的取向定義的水平線。 例如被稱作水平線的是在一垂直于重力方向的平面內(nèi)的一條直線或在車輛的與地面接觸的部位所處的平面內(nèi)的一條直線。各個圖像區(qū)段分別根據(jù)各自對應(yīng)的距離數(shù)據(jù)畸變?；兒蟮南噜張D像區(qū)段可以根據(jù)其按照單個距離規(guī)定的畸變來顯示?；蛘呤够兒蟮南噜張D像區(qū)段相互適配，或者使畸變后的相鄰圖像區(qū)段的畸變至少在圖像區(qū)段的邊緣區(qū)域針對相鄰圖像區(qū)段適配，其中，在圖像區(qū)段的交界區(qū)域(垂直)設(shè)置一種強度的畸變，該強度在兩個相鄰圖像區(qū)段之間的過渡處連續(xù)演變。由此使相鄰圖像區(qū)段的邊緣區(qū)域在畸變強度方面彼此適配，以便避免相鄰圖像區(qū)段的突然的畸變改變。兩個相鄰圖像區(qū)段之間的不同畸變強度的這樣設(shè)計的適配例如可以線性地走向，其中在邊緣區(qū)段中畸變強度隨著越來越接近相鄰圖像區(qū)段而逼近相鄰圖像區(qū)段的畸變。除了用于適配的線性內(nèi)插方法外，也可以使用更復雜的多項式適配或多個樣本點。除了攝像機圖像數(shù)據(jù)本身的畸變外也可以改變顏色信息。在此情況下該方法規(guī)定，攝像機圖像數(shù)據(jù)的至少一個圖像區(qū)段的顏色信息根據(jù)所述至少一個距離來改變，其中， 隨著距離減小，顏色信息相對于原始顏色信息增強地改變。該改變可以向預給定的顏色改變?nèi)∠?，其中，起先在感測的距離大的情況下在改變小的情況下基本上顯示以原始色調(diào)顯示，隨著距離減小顏色信息增強地先得到黃色成分并且隨后得到紅色成分。尤其可以是，感測的距離越小紅色成分月提高。因此，顏色信息與距離的相關(guān)性相當于如上面所描述的畸變強度。感測的距離越小則改變越大(相應(yīng)地畸變強度越大)，其中在距離大的情況下的改變(小畸變)相當于拍攝的圖像的原始顏色信息，隨著畸變程度增加(即隨著距離減小) 顏色越來越多的改變，優(yōu)選通過警示色調(diào)(如黃以及用于附加增強突出的紅色調(diào))的增強突出或越來越強化。顏色信息的改變涉及一個圖像區(qū)段，優(yōu)選多個圖像區(qū)段中的一個圖像區(qū)段，例如圖像區(qū)段的一個子區(qū)段，其中子區(qū)段顯示距離所涉及的對象。尤其是，對象周圍、 對象本身或?qū)ο蟀ㄆ渲車趫D像內(nèi)可以按照本發(fā)明方法來改變。在此，被稱作周圍的是一邊緣帶，該邊緣帶直接或間接圍繞對象并且例如具有恒定的寬度。因此，替換地，對象區(qū)域本身根據(jù)本發(fā)明在其顏色信息方面根據(jù)所感測的對應(yīng)距離被改變。本發(fā)明的一個特別優(yōu)選的實施方式規(guī)定，通過隨著在圖像區(qū)段內(nèi)所感測的對象的距離減小而僅在垂直方向上、僅在水平方向上或在兩個方向上(例如在水平或垂直方向上以相同或不同的畸變因子)放大圖像區(qū)段來設(shè)置畸變。與此替換地或組合地，當在圖像區(qū)段內(nèi)沒有感測到對象時也可以縮小圖像區(qū)段，或者隨著對象的距離增加而更強地縮小圖像區(qū)段，其中該對象在圖像區(qū)段內(nèi)被感測?？s小僅在攝像機圖像數(shù)據(jù)的垂直方向上、僅在水平方向上或在兩個方向上進行。在沿水平和垂直方向上縮小的情況下，針對這兩個方向上的縮小因子可以不同。根據(jù)另一優(yōu)選實施方式，攝像機圖像數(shù)據(jù)的或至少一個圖像區(qū)段的畸變包括在攝像機圖像數(shù)據(jù)的圖像下邊沿與可視顯示的最下邊沿之間設(shè)置、也就是說添加一個下邊緣， 該可視顯示反映攝像機圖像數(shù)據(jù)和它下面的下邊緣。因此，原始攝像機圖像數(shù)據(jù)這樣畸變 產(chǎn)生一圖像(可視顯示)，其不僅反映原始攝像機圖像數(shù)據(jù)而且反映附加邊緣，其中例如可以縮小攝像機圖像數(shù)據(jù)，以便為該附加邊緣提供位置。該縮小尤其可以設(shè)置為壓縮。在可視顯示中(在輸出的圖像內(nèi))添加的所述下邊緣具有一高度，該高度隨著針對處于在邊緣上方顯示的圖像區(qū)段中的對象所感測的距離而增大。因此，當在該邊緣上方在該圖像區(qū)段中顯示一個被測定了大距離的對象時，給該下邊緣設(shè)置大的高度，而當圖像區(qū)段具有被測定了小距離的對象時給該下邊緣設(shè)置小的高度。這尤其可以與這里所描述的實施方式組合，在這些實施方式中多個圖像區(qū)段并排地顯示，它們被對應(yīng)分配了與不同的傳感器和不同的距離。在該情況下，當針對不同的圖像區(qū)段感測不同的距離時，該邊緣不是對于所有圖像區(qū)段具有相同的高度，而且在其演變(通過所述高度確定)方面取決于針對處于相應(yīng)邊緣區(qū)域上方的各個圖像區(qū)段感測的各個距離。在邊緣內(nèi)部優(yōu)選不反映攝像機圖像數(shù)據(jù)作為攝像機圖像數(shù)據(jù)的成像。必要時可以在邊緣內(nèi)部顯示附加信息。作為與上面所描述的實施方式的組合，可以設(shè)置具有顏色信息的邊緣，該邊緣反映對象的接近，其中，當對象近(距離小)時相應(yīng)邊緣區(qū)域的相應(yīng)色調(diào)比感測到大距離時包含更多的黃色調(diào)或紅色調(diào)(或其它警示色調(diào))。因此，該畸變尤其包括攝像機圖像數(shù)據(jù)的圖像下邊沿與可視顯示的最下邊沿(它們一起規(guī)定整個圖像)之間的下邊緣的畸變，其中該可視顯示反映攝像機圖像數(shù)據(jù)和位于其下的下邊緣。在此下邊緣具有顏色(或者整個邊緣或者其設(shè)置在相應(yīng)圖像區(qū)段下的個別區(qū)段)，該顏色根據(jù)按照預定的演變隨著針對在該邊緣上方顯示的圖像區(qū)段中的對象所感測的距離而變化。該下邊緣反映該顏色。尤其是該下邊緣不將攝像機圖像數(shù)據(jù)以攝像機圖像數(shù)據(jù)的成像形式反映。從攝像機圖像數(shù)據(jù)導出的數(shù)據(jù)可以作為圖形的或數(shù)字的信息設(shè)置在該邊緣中，但優(yōu)選攝像機圖像的圖像數(shù)據(jù)本身不存在于該下邊緣中。本發(fā)明所基于的方案還通過一種用于實施本發(fā)明方法的、用于組合地可視顯示視頻數(shù)據(jù)和距離數(shù)據(jù)的裝置。該裝置包括圖像輸入端，其構(gòu)建用于輸入攝像機圖像數(shù)據(jù)和將攝像機圖像數(shù)據(jù)轉(zhuǎn)發(fā)給圖像處理單元，該圖像處理單元被設(shè)置為該裝置的一部分。為此，圖像輸入端與圖像處理單元相連。該裝置還包括用于輸入距離信息的距離輸入端。在圖像輸入端上可連接一車輛攝像機，而在距離輸入端上可連接一與距離傳感器連接并獲知距離數(shù)據(jù)的設(shè)備。替換地，距離輸入端可以直接與傳感器連接，在此情況下該裝置承擔各個距離的確定。在兩種情況下都裝備了用于輸入距離信息的距離輸入端，其中，距離信息反映所感測的距離。圖像處理單元與距離輸入端連接，以便得到距離信息。該裝置還包括輸出端，其與圖像處理單元連接并且構(gòu)建用于輸出圖像顯示數(shù)據(jù)。圖像顯示數(shù)據(jù)反映畸變的圖像區(qū)段， 該圖像區(qū)段是由圖像處理單元設(shè)置的畸變步驟的結(jié)果。尤其是，圖像處理單元被構(gòu)建用于對施加到圖像輸入端上的攝像機圖像數(shù)據(jù)實施畸變步驟。該圖像處理單元因此構(gòu)建為用于根據(jù)本發(fā)明對圖像數(shù)據(jù)進行幾何變換，尤其用于實施至少一種上面所述畸變處理。在此，由圖像處理單元根據(jù)施加到距離輸入端上的距離信息實施畸變。優(yōu)選地，圖像處理單元被構(gòu)建用于使攝像機圖像數(shù)據(jù)按照圖像區(qū)段來畸變，其中，每個圖像區(qū)段具有一個對應(yīng)的距離信息，該距離信息地針對每個圖像區(qū)段單獨地規(guī)定畸變程度。為此，圖像處理單元可以包括一個劃分設(shè)備，以便根據(jù)攝像機圖像數(shù)據(jù)的全部圖像信息設(shè)置各個圖像區(qū)段，它們分別單獨地根據(jù)各自的距離信息畸變。距離信息因此可以在向量的意義上設(shè)置，其中，每個向量項單一地對應(yīng)于一個單個的距離傳感器。最后，根據(jù)本發(fā)明的裝置被構(gòu)建用于在輸出端上輸出至少一個畸變的圖像區(qū)段。 尤其是，該裝置被構(gòu)建用于在使用多個圖像區(qū)段的情況下在輸出端上輸出生成的組合的圖像，尤其是所有圖像區(qū)段的組合的可視顯示的圖像數(shù)據(jù)，必要時包括根據(jù)本發(fā)明添加給圖像的邊緣。組合幾何變換或代替幾何變換，該裝置、尤其是圖像處理單元被構(gòu)建用于如上所述根據(jù)距離信息來改變攝像機圖像數(shù)據(jù)的顏色信息。根據(jù)另一實施方式，該裝置還可包括呈顯示屏形式的顯示單元。本發(fā)明裝置的實現(xiàn)可以借助軟件來設(shè)置，該軟件實現(xiàn)所述功能中的至少一些并且與處理器一起實現(xiàn)所述裝置以及方法。本發(fā)明的其它實施可以包括可編程的或不可編程的電路，它們根據(jù)傳感器的回聲數(shù)據(jù)計算距離信息。在借助處理器裝置實現(xiàn)的情況下，該處理器裝置也可以用于實施車輛的其它功能。由于圖像處理基本上基于顏色信息的畸變或改變，所以在圖像分辨率 400X300像素、時鐘頻率小于40MHz的情況下可以使用常用的處理器，因為本發(fā)明裝置要求常用處理器的計算功率，相當于22-36MHZ的時鐘頻率。因此，本發(fā)明裝置可以設(shè)置有已設(shè)置在車輛中的媒體控制器(例如導航、中央顯示，...)，它們在80MHz-200MHz的時鐘頻率下工作并且因此為承擔根據(jù)本發(fā)明的功能提供了足夠的計算功率。該實現(xiàn)可以借助可編程的電路如ASIC或FPGA來設(shè)置，尤其借助專門針對視頻應(yīng)用的處理器或者被泊車輔助系統(tǒng)使用的處理器。


圖1示出了用于闡述本發(fā)明方法的場景；圖加和2b示出了拍攝的(圖2a)和畸變的(圖2b)示例性攝像機圖像數(shù)據(jù)；圖3a示出了示例性的畸變演變；以及圖北示出了對應(yīng)的示例性距離數(shù)據(jù)。
具體實施例方式圖1中示出的場景表示出車輛2內(nèi)部的根據(jù)本發(fā)明的裝置1，在該車輛2上布置了多個傳感器3a-3e。此外在車輛2上布置了一攝像機4。攝像機4攝取一個環(huán)境區(qū)段的圖像，該環(huán)境區(qū)段由攝像機4的拍攝角度5定義。環(huán)境區(qū)段5形成攝像機的整個圖像或圖像區(qū)段。傳感器以相同的方式感測該環(huán)境區(qū)段的多個不同的區(qū)域6a_6e，其中給每個傳感器 3a-3e對應(yīng)分配一個區(qū)域6a_6e。圖1中所示的不同區(qū)域6a_6e為了更簡單而通過一根虛線分開。然而在實際實施中，各個不同的區(qū)域其相鄰的邊緣處部分地重疊，其中，在重疊的情況下對重疊的區(qū)域進行相應(yīng)距離數(shù)據(jù)的內(nèi)插。此外在該環(huán)境區(qū)段中存在對象7、8例如立柱，以及其它對象12、12'例如呈樹木形式。對象7、8處于該環(huán)境區(qū)段的可被傳感器3a-;3e感測的區(qū)域內(nèi)，而對象12、12'處于傳感器的有效距離之外，但仍在能被攝像機感測的環(huán)境區(qū)段內(nèi)。環(huán)境區(qū)段的被傳感器3a_;3e感測的各個區(qū)域分別具有張角，該張角例如對于傳感器3c用附圖標記11示出。對象8處于同時也定義區(qū)域6c的該張角中。該對象8距車輛 10 一個距離dl，而對象7距車輛10 —個距離d2。此外傳感器還感測，對象8在對應(yīng)的傳感器3c的區(qū)域6c中存在，對象7在傳感器!Be的區(qū)域6e中存在。在車輛2中還設(shè)置有顯示屏9，在該顯示屏上顯示根據(jù)本發(fā)明生成的視頻圖像10。圖1中所示的圖像僅為示例，詳細的解釋從圖加和2b中得到。如從圖1中得知，距離信息dl、d2優(yōu)選與方向信息或與位置信息組合，借助方向信息或位置信息可以確定對象7、8所在的位置，以便將其對應(yīng)分配給環(huán)境區(qū)段6的區(qū)域6a、6c。位置或角度例如可以借助三角測量來感測，優(yōu)選由裝置1感測。從圖1中還看到，也可稱作探測區(qū)的環(huán)境區(qū)段6在其整體上被劃分成具有所定義的張角11的方向區(qū)，以便在由傳感器探測的對象7、8與攝像機圖像數(shù)據(jù)的所屬圖像區(qū)段或所屬對象區(qū)段之間建立對應(yīng)關(guān)系。此外從圖1可獲知，本發(fā)明用于合適地、受支持地描述對象7、8、12、12'，這些對象或者處于超聲傳感器3a-3e的探測區(qū)域6內(nèi)并且同時可以被攝像機4感測，參見對象7、8，或者包括探測區(qū)域6之外的、能被攝像機4感測而不能被傳感器3a-;3e感測的對象。如果對象處于探測區(qū)域外，即在環(huán)境區(qū)段的可被傳感器3a_;3e感測的不同區(qū)域6a_6e之外，則對于這些對象而言不存在可以與圖像數(shù)據(jù)根據(jù)本發(fā)明組合的區(qū)段信息。攝像機4的圖像數(shù)據(jù)被傳送給裝置1，該裝置將這些數(shù)據(jù)進行幾何處理，以便在顯示器9上輸出，其中，可由傳感器感測的區(qū)域中的至少一個要存在對象，以便感測相應(yīng)的區(qū)段信息并且實施根據(jù)本發(fā)明的畸變。在圖加中反映了圖1中所示的交通狀況，如被攝像機4感測的那樣。換言之，圖加示出了如自車輛向外從環(huán)境區(qū)段拍攝的那樣的攝像機圖像數(shù)據(jù)。對象12、12'如已看到的那樣處于傳感器3a_3e的有效距離之外并且因此不處于被確定距離數(shù)據(jù)的不同的區(qū)域中。圖加中所示的虛線說明能夠被感測距離數(shù)據(jù)的不同區(qū)域的、由有效距離定義的端部。 區(qū)域6a-6f從左向右劃分成相繼的角度區(qū)段，使得盡管對象12、12'可以被攝像機感測， 然而對應(yīng)的區(qū)域6b、6d/6e由于傳感器的有效距離有限而在對象12、12'的所在位置之外。 然而對象7、8處于用虛線表示的傳感器有效距離之內(nèi)，使得這些對象處于可對這些對象7、 8建立距離數(shù)據(jù)的不同區(qū)域6c、6f內(nèi)。因此，針對區(qū)域6c和6e存在對象7、8的最終信息 (Abschlussinformation)，其中，對象7、8也存在于攝像機圖像數(shù)據(jù)之內(nèi)。從圖加中可看到，對象7在區(qū)域6e中比對象8明顯更接近車輛。在圖2b中示出根據(jù)本發(fā)明的合成的、畸變的顯示?？煽吹?，對于處于可被感測距離數(shù)據(jù)的區(qū)域之外的對象12、12'而言基本上沒有畸變。在圖2b中所示的畸變至少在與對象12、12'的對齊線上基本上不存在。然而針對對象7和8感測距離，這些距離導致畸變， 畸變通過Dl和D2來表示。通過有目的的畸變，即垂直壓縮設(shè)置有對象7、8的垂直圖像條， 對象7、8朝著下部圖像邊緣偏移，以便讓觀察者得到更能意識到的印象。距離Dl和D2顯示保留的對下圖像邊沿的接近。尤其是，曲線13示出了與對象7、8的距離有關(guān)的壓縮，以便將對象7、8拉至更接近下部圖像邊緣?？煽吹剑捎趯ο?在環(huán)境區(qū)段中的距離更小，對象7的圖像區(qū)段畸變得明顯更接近下部圖像邊緣，參見對象7處的曲線13的變化走向。相同地可看到，對象8朝著下部圖像邊沿通過畸變而偏移，然而比對象7偏移得少。然而對象 7、8相比于對象12、12'明顯更接近圖像邊緣畸變，對象12，12'幾乎不朝下部圖像邊緣畸變或偏移。尤其在圖2b中示出，在線13之下設(shè)置一邊緣，其中，線13說明壓縮程度。線13 之下的該邊緣指示所感測的攝像機圖像的下部圖像邊沿并且被添加到要顯示的圖像中，使得該圖像一方面顯示畸變的圖像區(qū)段(在線13之上)，并且其還顯示下邊緣(在線13之下)，其中，對于該邊緣的在其上方顯示了相對于車輛小距離地設(shè)置的對象7、8區(qū)域，邊緣的高度減小。距離D1、D2指示在具有近距離設(shè)置的對象7、8的相應(yīng)圖像區(qū)段之下的邊緣區(qū)域的邊緣的強烈變細。圖3a用于闡明在圖2b中所示的畸變的圖像反映，并且尤其描述要顯示的畸變圖像的圖像構(gòu)建。圖3借助畸變的柵格網(wǎng)示出了攝像機圖像數(shù)據(jù)顯像的一個區(qū)域，其中該柵格網(wǎng)描述相對于原始感測的攝像機圖像的畸變。一個具有坐標x、y的點一方面通過添加下邊緣而向上偏移，另一方面根據(jù)對應(yīng)的距離附加地通過縮放而偏移。對于所感測的、根據(jù)本發(fā)明的畸變的攝像機圖像，包括邊緣在內(nèi)，產(chǎn)生高度H。圖3a示出的畸變是垂直畸變，圖3a 中示出的圖像是一種未設(shè)置水平畸變的方法的結(jié)果。根據(jù)本發(fā)明，對于χ軸區(qū)段xi，由傳感器感測一個距離，從該距離計算出畸變。該畸變導致相應(yīng)的區(qū)段拉伸，使得距下部圖像端部的距離減小到距離Di。在不畸變地顯示的情況下邊緣設(shè)置有高度Dtl，然而其可以按照所感測的距離減小。換言之，在圖3a中的繪制有Dtl的位置處，以因子1(或其它常數(shù))通過垂直壓縮而畸變(即不壓縮或以基本壓縮因子壓縮)，而在位置xi處感測到小距離的對象，以較大的因子拉伸，也就是說以大于1的值或以大于常數(shù)K的值拉伸。K尤其可以是1/2，因此相當于壓縮到一半圖像高度。在圖3a的右側(cè)圖像邊緣處可看到，在那里顯示了一個被以相對于車輛的小距離感測到的對象，使得相應(yīng)的圖像區(qū)段強烈地向下拉伸。同樣可以通過與位置Di的比較看出，右側(cè)圖像邊緣處的拉伸比位置Di處的拉伸強度更大。圖3a中設(shè)置的拉伸從上部圖像邊緣開始并且使所示的圖像區(qū)段按照所感測的距離向下畸變。圖北中針對不同圖像區(qū)段示出對應(yīng)的感測距離，這些距離沿著χ軸繪出。該距離作為感測到的距離d示出并且傳感器的最大有效距離以dmax示出。所感測的距離Cli相應(yīng)于環(huán)境區(qū)段的被感測距離數(shù)據(jù)的區(qū)域11。此外還說明了一些另外的區(qū)域，針對這些區(qū)域描述了所有在該區(qū)段中被感測的對象的一個(最小)距離。如果在同一區(qū)域中感測多個對象， 則將該最小距離視為該區(qū)域的距離。根據(jù)本發(fā)明的另一實施方式，作為畸變處理不是拉伸，而是實施水平壓縮。該實施方式也可以借助圖3a來描述，但其中柵格網(wǎng)表示或強或弱壓縮的、反映環(huán)境區(qū)段的攝像機圖像區(qū)段。從針對高度H設(shè)計的攝像機圖像數(shù)據(jù)出發(fā)，首先將圖像數(shù)據(jù)垂直壓縮一半。但該壓縮根據(jù)所感測的距離而減小，其中，壓縮的減小隨著距離減小而增加。壓縮因子例如由一恒定因子(其規(guī)定基本壓縮)(例如在垂直方向上)和一取決于所感測的距離的變化值得出。該值借助一常數(shù)計算出，該常數(shù)例如說明最大有效距離，從該最大有效距離減去當前針對該圖像區(qū)段所感測的距離。該差除以最大有效距離并且接著與一校正因子相乘。該校正因子例如這樣設(shè)置使得當所感測的距離基本上為零時得到總和為1。恒定的基本因子尤其可以為1.5，要乘的因子也可以為1.5，使得根據(jù)壓縮的強度不同當對象的距離基本為零時圖像或者僅在第一圖像半部上延伸(當感測的距離大于有效距離時)或者在整個圖像高度H上延伸。圖像點的內(nèi)插優(yōu)選這樣設(shè)置使得所感測的攝像機圖像數(shù)據(jù)的輸出圖像點例如在其相似性因子方面被感測，針對由于壓縮而合并的圖像點感測最大亮度值并且將該最大亮度值設(shè)置為相應(yīng)圖像點的亮度值。代替最大值圖像，也可以求得算術(shù)平均值或幾何平均值。 一個特別優(yōu)選的實施方式規(guī)定，整個攝像機圖像數(shù)據(jù)的個別圖像區(qū)段一些直接彼此排列的垂直條，它們包括由這些攝像機圖像數(shù)據(jù)描述的圖像的整個高度。在壓縮或拉伸時或者一般而言畸變時則整個條垂直畸變，而不進行水平畸變。如已經(jīng)注意并且從圖2b和3a中看到的那樣，相鄰圖像區(qū)段的邊緣區(qū)域可以在其畸變方面流暢地彼此適配。這樣，例如圖北針對不同的圖像區(qū)段示出離散的、不同的距離值，但它們基于圖像區(qū)段的相鄰邊緣區(qū)域處的連續(xù)適配而導致連續(xù)演變的畸變過程。
針對圖3a和北選取因子F作為基本壓縮因子，其首先對于每個圖像區(qū)段是不同的，并且基于根據(jù)沿著χ軸(水平軸)的位置將相鄰圖像區(qū)段適配成連續(xù)的拉伸演變而適配于這種連續(xù)演變。該在適配相鄰圖像區(qū)段之前針對每個圖像區(qū)段計算的因子F為F= 1/2+(1/2 X(CU-Cli) :dmax)。在此，F(xiàn)為輸出壓縮因子，dmax為傳感器的最大有效距離并且Cli為在對應(yīng)的圖像區(qū)段中所感測的對象的距離。項(cU-di)理解為這樣的項它只能取正值或為0，其中當Cli > dmax時該項為0。這相當于如下情況對象處于有效距離之外并且因此傳感器自動地給出最大有效距離作為結(jié)果。直至感測到小于有效距離的距離di，該項說明接近車輛，該接近被考慮到縮放中。在距離處于有效距離之外時，該距離本身不再被考慮到壓縮因子中，而是取一個恒定的壓縮因子，其在上述情況下相應(yīng)于1/2。通常，在傳感器、傳感器的敏感范圍(即取向)與攝像圖像數(shù)據(jù)的圖像區(qū)段之間存在直接相關(guān)性。這通過將攝像機相對于所使用的傳感器以固定的空間取向布置來實現(xiàn)。例如在攝像機可擺轉(zhuǎn)的情況下，該方法還包括將借助傳感器對對象感測距離的感測區(qū)域與顯示相應(yīng)對象的圖像區(qū)域相對應(yīng)。該對應(yīng)例如可以通過形狀識別或通過圖像適配方法來設(shè)置。
權(quán)利要求
1.一種用于組合地可視顯示車輛( 所處的交通狀況的視頻數(shù)據(jù)和距離數(shù)據(jù)的方法， 包括從車輛出發(fā)攝取一環(huán)境區(qū)段(5)的攝像機圖像數(shù)據(jù)；感測距離數(shù)據(jù)，所述距離數(shù)據(jù)反映所述車輛(2)與處于所述環(huán)境區(qū)段(5)內(nèi)的至少一個對象(7，8，12，12')之間的至少一個距離；其特征在于，根據(jù)所述至少一個距離(di)使所述攝像機圖像數(shù)據(jù)的至少一個圖像區(qū)段畸變；并且顯示畸變后的所述至少一個圖像區(qū)段(10)。
2.根據(jù)權(quán)利要求1所述的方法，其中，該畸變包括至少一個圖像區(qū)段的偏移、拉伸、壓縮、旋轉(zhuǎn)或這些畸變處理的任意組合，其中，所述畸變位置以一強度實施，該強度按照單調(diào)下降函數(shù)與距離相關(guān)，由此在距離小的情況下畸變處理以比在距離大的情況更大的強度實施。
3.根據(jù)權(quán)利要求1或2所述的方法，其中，感測距離數(shù)據(jù)包括借助在該車輛O)的一個車輛區(qū)段上排列的距離傳感器(3a_3e)分別針對該環(huán)境區(qū)段的多個不同的區(qū)域感測距離數(shù)據(jù)；其中，所述至少一個圖像區(qū)段包括多個不同的圖像區(qū)段，并且，所述畸變包括所述多個圖像區(qū)段中的一個圖像區(qū)段根據(jù)距離數(shù)據(jù)(di)畸變，所述距離數(shù)據(jù)涉及存在于所述環(huán)境區(qū)段的相當于該圖像區(qū)段或者與該圖像區(qū)段絕大部分重疊的區(qū)域(11)中的對象(7,8,12,12')。
4.根據(jù)權(quán)利要求3所述的方法，其中，針對所述環(huán)境區(qū)段的不同區(qū)域中的至少兩個區(qū)域分別感測對應(yīng)的距離數(shù)據(jù)(di)，所述多個圖像區(qū)段中的至少兩個分別根據(jù)至少一個處于對應(yīng)圖像區(qū)段中的對象(7，8，12，12')的距離數(shù)據(jù)(di)畸變，并且所述環(huán)境區(qū)段的對應(yīng)區(qū)域基本相當于對應(yīng)的圖像區(qū)段或者與該圖像區(qū)段絕大部分重疊。
5.根據(jù)上述權(quán)利要求之一所述的方法，其中，該環(huán)境區(qū)段沿著攝像機圖像數(shù)據(jù)的水平線劃分成一些彼此銜接的圖像區(qū)段，所述距離數(shù)據(jù)(di)分別對應(yīng)于所述圖像區(qū)段，其中， 各個圖像區(qū)段按照各自對應(yīng)的距離數(shù)據(jù)畸變，并且畸變后的相鄰圖像區(qū)段不彼此適配或者畸變后的相鄰圖像區(qū)段的畸變至少在圖像區(qū)段的垂直邊緣區(qū)域彼此適配，其中，在圖像區(qū)段的交界區(qū)域上設(shè)置這樣的畸變在兩個相鄰圖像區(qū)段之間的過渡處具有畸變強度的連續(xù)演變。
6.根據(jù)上述權(quán)利要求之一所述的方法，該方法還包括根據(jù)所述至少一個距離改變所述攝像機圖像數(shù)據(jù)的至少一個圖像區(qū)段的顏色信息，或者根據(jù)所述至少一個距離改變攝像機圖像數(shù)據(jù)的所述圖像區(qū)段的至少一個對象區(qū)域的顏色信息，其中該對象區(qū)域顯示被感測距離的對象，或者改變至少一個邊緣區(qū)域的顏色信息，所述邊緣區(qū)域處于所述圖像區(qū)段之上、之下或旁邊并且所述邊緣區(qū)域不將攝像機圖像數(shù)據(jù)作為圖像顯示反映。
7.根據(jù)上述權(quán)利要求之一所述的方法，其中，該畸變包括隨著在圖像區(qū)段內(nèi)所感測的對象的距離(di)的減小，僅在垂直方向上、僅在水平方向上或在水平和垂直方向上放大該圖像區(qū)段；如果在圖像區(qū)段內(nèi)沒有感測到對象或者者隨著在圖像區(qū)段內(nèi)所感測的對象 (7,8,12,12')的距離(di)的增大，僅在攝像機圖像數(shù)據(jù)的垂直方向(y)上、僅在水平方向(χ)上或在水平和垂直兩個方向上縮小該圖像區(qū)段。
8.根據(jù)上述權(quán)利要求之一所述的方法，其中，該畸變包括在攝像機圖像數(shù)據(jù)的圖像下邊沿與可視顯示的最下邊沿之間設(shè)置一下邊緣，該可視顯示反映攝像機圖像數(shù)據(jù)和位于其下的該下邊緣，其中，該下邊緣具有高度(Dtl，Di),該高度隨著針對在該邊緣上方顯示的圖像區(qū)段中的對象感測的距離而增大，并且該下邊緣不將攝像機圖像數(shù)據(jù)作為其成像反映。
9.根據(jù)上述權(quán)利要求之一所述的方法，其中，該畸變包括在攝像機圖像數(shù)據(jù)的圖像下邊沿與可視顯示的最下邊沿之間設(shè)置一下邊緣，該可視顯示反映攝像機圖像數(shù)據(jù)和位于其下的該下邊緣，其中，該下邊緣具有顏色，該顏色根據(jù)預定的走向隨著針對在該邊緣上方顯示的圖像區(qū)段中的對象感測的距離而改變，該下邊緣反映該顏色并且不將攝像機圖像數(shù)據(jù)作為其成像反映。
10.一種用于實施根據(jù)上述權(quán)利要求之一所述的方法組合地可視顯示視頻數(shù)據(jù)和距離數(shù)據(jù)的裝置，該裝置包括圖像輸入端，其被構(gòu)建用于將攝像機圖像數(shù)據(jù)輸入到該裝置的與該圖像輸入端連接的圖像處理單元(1)中；距離輸入端，其被構(gòu)建用于將反映所感測的距離的距離信息輸入到與該距離輸入端連接的圖像處理單元；輸出端，其與圖像處理單元 (1)連接并且被構(gòu)建用于輸出反映畸變的圖像區(qū)段的圖像顯示數(shù)據(jù)，其中，所述圖像處理單元被構(gòu)建用于根據(jù)在所述距離輸入端上輸入的距離信息對在所述圖像輸入端上輸入的攝像機圖像數(shù)據(jù)實施畸變步驟，并且，該圖像處理單元還被構(gòu)建用于將這樣畸變的至少一個圖像區(qū)段在輸出端上輸出。
全文摘要
本發(fā)明涉及一種用于組合地可視顯示車輛所處的交通狀況的視頻數(shù)據(jù)和距離數(shù)據(jù)的方法。該方法包括從車輛攝取一環(huán)境區(qū)段的攝像機圖像數(shù)據(jù)以及感測反映該車輛與處于該環(huán)境區(qū)段內(nèi)的至少一個對象之間的至少一個距離的距離數(shù)據(jù)。該方法規(guī)定，根據(jù)所述至少一個距離使所述攝像機圖像數(shù)據(jù)的至少一個圖像區(qū)段畸變，然后顯示畸變的至少一個圖像區(qū)段。本發(fā)明還涉及一種用于實施本發(fā)明方法的裝置。
文檔編號B60Q1/48GK102574485SQ201080044467
公開日2012年7月11日 申請日期2010年9月27日 優(yōu)先權(quán)日2009年10月1日
發(fā)明者M·施奈德, V·尼姆茨 申請人:羅伯特·博世有限公司