專利名稱：：圖像獲取單元、其方法以及相關(guān)控制單元的制作方法
技術(shù)領(lǐng)域：
：本改進(jìn)涉及車輛用虛擬視覺(jué)系統(tǒng)(Artificialvisionsystem)領(lǐng)域，更詳細(xì)地講，是關(guān)于與危險(xiǎn)感知相關(guān)的圖像獲取以及數(shù)據(jù)存儲(chǔ)。
背景技術(shù)：
：雖然虛擬視覺(jué)系統(tǒng)已被皆知，但是具有很多不便于適用在車輛上的限制。因此，關(guān)于將虛擬視覺(jué)系統(tǒng)適用于車輛領(lǐng)域，需要解決相關(guān)的問(wèn)題。
發(fā)明內(nèi)容發(fā)明要解決的課題本發(fā)明是為了解決如上所述的現(xiàn)有技術(shù)中所存在的問(wèn)題而提出的，其公開了將從攝像機(jī)獲取的視頻數(shù)據(jù)和從激光雷達(dá)(LIDAR)獲取的范圍或深度數(shù)據(jù)相結(jié)合使用的技術(shù)。這兩個(gè)數(shù)據(jù)源分別具有各自的局限，這些數(shù)據(jù)的結(jié)合使用能夠提供補(bǔ)償性信息。例如，常見(jiàn)的激光雷達(dá)的分辨能力比常見(jiàn)的攝像機(jī)的分辨能力差，其中，以無(wú)法識(shí)別車道路線標(biāo)識(shí)、道路標(biāo)志以及信號(hào)燈等物體的顏色為典型代表。于此相反，來(lái)自攝像機(jī)的信號(hào)例如存在無(wú)法直接測(cè)定在攝像機(jī)前方捕獲的物體的距離的限制。該信號(hào)的可靠性由夜間、霧氣、煙霧、雨、雪、直射光線、直接來(lái)自對(duì)面車輛前照燈的燈光及天氣狀況等左右，并且對(duì)諸如進(jìn)入隧道時(shí)等光狀態(tài)的變化具有曝光調(diào)整延遲。使用其中一項(xiàng)信號(hào)，能夠使從其中另一項(xiàng)信號(hào)獲取的信息變完整或者至少能夠提供有用的冗余(redundancy)。例如，如車道路線標(biāo)識(shí)脫落或被蓋住時(shí)那樣，無(wú)法從攝像機(jī)獲取車道路線標(biāo)識(shí)時(shí)，激光雷達(dá)信號(hào)能夠提供深度信息，為了確定路邊彎道或阻礙物位置，可以對(duì)該深度信息進(jìn)行分析。因此，兩信號(hào)的使用除了在使用車道路線標(biāo)識(shí)信息之外還使用道路邊緣彎道信息，或者代替該車道路線標(biāo)識(shí)信息而使用道路邊緣彎道信息，從而幫助提供有用的車輛位置的信息。并且，從控制模塊方面來(lái)看，圖像獲取單元的提供能夠成為非常實(shí)用的視頻數(shù)據(jù)源，其中，圖像獲取單元具有事先融合(co-registered)了的視頻和激光雷達(dá)信號(hào)。其還可適用于車道路線脫離警告系統(tǒng)，智能巡航系統(tǒng)(SmartCruiseSystem)，物體、行人感知系統(tǒng)，標(biāo)志、信號(hào)燈識(shí)別幫助系統(tǒng)，夜間行駛和惡劣天氣行駛幫助系統(tǒng)。解決課題的方法為了解決上述課題，本發(fā)明提供一種車輛虛擬視覺(jué)系統(tǒng)，其為了幫助車輛運(yùn)行而對(duì)來(lái)自彩色視頻數(shù)據(jù)源和激光雷達(dá)數(shù)據(jù)源這兩者的視頻數(shù)據(jù)進(jìn)行解析。來(lái)自彩色視頻數(shù)據(jù)源和激光雷達(dá)數(shù)據(jù)源的數(shù)據(jù)在數(shù)據(jù)獲取階段中被結(jié)合，在數(shù)據(jù)解析的第二階段中以已結(jié)合的狀態(tài)接收。在本發(fā)明的另一個(gè)方面，提供一種圖像獲取單元，所述單元包括罩體；攝像機(jī)系統(tǒng)，其包括至少一個(gè)攝像機(jī)，還包括用于視頻數(shù)組數(shù)據(jù)(arrayeddata)的視頻輸出端，所述視頻數(shù)組數(shù)據(jù)是通過(guò)所述至少一個(gè)攝像機(jī)而獲取的；激光雷達(dá)系統(tǒng)，其包括至少一個(gè)激光雷達(dá)發(fā)射器(激光源)和激光雷達(dá)接收器(3DLIDAR)，還包括用于激光雷達(dá)數(shù)組數(shù)據(jù)的激光雷達(dá)輸出端，所述激光雷達(dá)數(shù)組數(shù)據(jù)是從所述激光雷達(dá)接收器獲取的；融合積分器，其與所述視頻輸出端和所述激光雷達(dá)輸出端連接，用于接收所述視頻數(shù)組數(shù)據(jù)和所述激光雷達(dá)數(shù)組數(shù)據(jù)，具有將所述視頻數(shù)組數(shù)據(jù)和所述激光雷達(dá)數(shù)組數(shù)據(jù)融合(co-registration)成結(jié)合數(shù)組數(shù)據(jù)(combinedarrayeddata)的融合功能；以及輸出，用于從所述罩體輸出所述結(jié)合數(shù)組數(shù)據(jù)。在本發(fā)明的另一個(gè)方面，提供一種圖像獲取方法，其包括從至少一個(gè)攝像機(jī)獲取視頻數(shù)組數(shù)據(jù)的階段；從接收的被反射的激光雷達(dá)信號(hào)獲取激光雷達(dá)數(shù)組數(shù)據(jù)的階段；以及將所述視頻數(shù)組數(shù)據(jù)和所述激光雷達(dá)數(shù)組數(shù)據(jù)融合成一個(gè)結(jié)合數(shù)組數(shù)據(jù)信號(hào)的階段。在本發(fā)明的另一個(gè)方面，提供一種控制單元，其包括視頻信號(hào)獲取器；視頻處理器，用于處理所述獲取的視頻信號(hào)；危險(xiǎn)分析器，從所述被處理的視頻信號(hào)或者從其他數(shù)據(jù)源能夠感知危險(xiǎn)；以及存儲(chǔ)設(shè)備(黑匣子)。本領(lǐng)域技術(shù)人員，通過(guò)下面陳述的詳細(xì)說(shuō)明，能夠明確本發(fā)明的另外其他不同特征和它們的組合。有益效果本發(fā)明是為了解決現(xiàn)有技術(shù)中的問(wèn)題而提出的，其通過(guò)將從攝像機(jī)獲取的視頻數(shù)據(jù)和從激光雷達(dá)(LIDAR)獲取的關(guān)于范圍或深度的數(shù)據(jù)相結(jié)合使用，克服這兩個(gè)數(shù)據(jù)源各自所具有的局限，并能夠提供補(bǔ)償性的信息。圖1和圖2是圖像獲取單元的第一實(shí)施例的圖解圖。圖3是圖示修剪(cropping)的圖解圖。圖4是例示融合(co-registration)的例子的圖解圖。圖5和圖6圖示圖像獲取單元的另一實(shí)施例。圖7圖示圖像獲取單元的另一實(shí)施例。圖8是與控制模塊結(jié)合的圖像獲取單元的方框圖。圖9和圖10表示信號(hào)的例子。圖11是圖示激光擴(kuò)散的圖解圖。具體實(shí)施例方式圖1圖示將攝像機(jī)系統(tǒng)和激光雷達(dá)系統(tǒng)一同包含的圖像獲取單元的例子。在本實(shí)施例中，圖像獲取單元作為獨(dú)立單元提供于單個(gè)罩體(housing)上，并且具有融合積分器(integrator)，該融合積分器將視頻數(shù)組數(shù)據(jù)和激光雷達(dá)數(shù)組數(shù)據(jù)融合成結(jié)合的數(shù)組數(shù)據(jù)信號(hào)。圖像獲取單元具有結(jié)合信號(hào)輸出端(combinedsignaloutput)，該輸出端用于輸出結(jié)合數(shù)組信號(hào)，使其能夠在罩體外部被獲取。圖2圖示圖1的圖像獲取單元的主視圖。主視圖例如可包括激光雷達(dá)發(fā)射器、激光雷達(dá)接收器以及攝像機(jī)用透鏡。在該特定實(shí)施例中能夠調(diào)整罩體的大小，使其能夠適合于后視鏡和車輛的擋風(fēng)玻璃之間可使用的有限區(qū)域。典型地，為使罩體適合于擋風(fēng)玻璃的坡度，要求正面傾斜并限制整體大小。激光雷達(dá)和視頻數(shù)據(jù)的結(jié)合例如能夠于圖像獲取罩體內(nèi)在第一階段中完成，與此5形成對(duì)比的是，結(jié)合數(shù)據(jù)的分析例如能夠通過(guò)獨(dú)立控制模塊在第二階段中完成。攝像機(jī)系統(tǒng)根據(jù)具體應(yīng)用可以進(jìn)行多樣變更，例如可以是CMOS、CCD照相機(jī)(例如，是全景視覺(jué)或者M(jìn)icronmobileeyeCMOScamera公司的WXHA(1280X800)的高動(dòng)態(tài)范圍和高清晰圖像傳感器)。攝像機(jī)系統(tǒng)典型地以規(guī)定視頻像素的2D數(shù)組形式提供視頻數(shù)組數(shù)據(jù)的輸出，并且各視頻像素具有RGB相關(guān)數(shù)據(jù)。激光雷達(dá)系統(tǒng)根據(jù)具體應(yīng)用可以進(jìn)行多樣變更。根據(jù)需要，可以是(ASC公司的)3D閃光激光雷達(dá)類型，也可以是基于InGaAs檢測(cè)器如U8X128APDInGaAs檢測(cè)器(Advancedscientificconc印t公司的)的接收器或者大型數(shù)組hGaAsAPD類型激光測(cè)距儀接收器(例如，F(xiàn)loridaLongwood的analoguemoduleincorporated公司制造的7500型號(hào)或者PerkinsElmerOptoelectric公司的C30659型)的對(duì)眼睛和皮膚無(wú)傷害的1530-1570nm激光二極管的發(fā)射器(例如，NewJerseyEdison的M/A-Com公司的CVLM57mfg型號(hào))，也可以以規(guī)定數(shù)的激光雷達(dá)像素的2D數(shù)組形式提供數(shù)據(jù)信號(hào)。典型地各激光雷達(dá)像素會(huì)具有跟其相關(guān)的深度(d印th，D)數(shù)據(jù)和強(qiáng)度(intensity，〗)數(shù)據(jù)。激光雷達(dá)能夠測(cè)定前方的物體或者車輛的正確距離。特別是為了應(yīng)用于智能巡航控制而測(cè)定距離。將激光雷達(dá)應(yīng)用到車輛時(shí)，能夠綽綽有余地測(cè)定例如Im至150m或者Im至200m的距離。對(duì)閃光激光雷達(dá)等的激光雷達(dá)的應(yīng)用而言，發(fā)射器側(cè)的光透鏡使用擴(kuò)散器以及/或者濾光器作為光路徑的一部分。濾光器還可以用在接收器的光路徑上。為了收納和聚集激光輸出成某一形狀，擴(kuò)散器為一種折射光學(xué)器件，其能夠?qū)⑺龉庵匦路峙涑梢?guī)定圖案。而且，在擴(kuò)散器的接收器側(cè)，擴(kuò)散器需要具有與光學(xué)透鏡的接收器側(cè)的形狀相同的形狀。起因于光塑形擴(kuò)散器(lightshapingdiffuser)的擴(kuò)散可以擴(kuò)張視角。一些方向轉(zhuǎn)換膜(DirectionTurningFilm)能夠?qū)⒕哂蟹颇?棱柱光束移動(dòng)(shifting)結(jié)構(gòu)的光塑形擴(kuò)散器的角分配特性和擴(kuò)散結(jié)合起來(lái)。當(dāng)無(wú)法處在同一直線上時(shí)，這些彎曲光的膜使流入光束能夠偏離軸(off-axis)。應(yīng)用包括例如LED照明設(shè)備、飛行顯示器、交通信號(hào)、顯示器以及LCD背光燈。這些還可以用于變化光束方向使其能夠照射墻壁、人行道以及其他照明對(duì)象。擴(kuò)散器可以與單純20°方向轉(zhuǎn)換膜或者光塑形擴(kuò)散器的角度結(jié)合而使用?？梢赃M(jìn)行一般的變形。在接收器側(cè)可使用如帶通濾波器的濾光器、衰減或偏振濾波器，用于早期濾除不需要的信號(hào)和最大程度地降低不希望出現(xiàn)的噪音。3D閃光激光雷達(dá)可以通過(guò)計(jì)算飛行時(shí)間(TimeOfFlight)來(lái)測(cè)定距離(激光放射和所述激光反射之間的時(shí)間段，該反射是指從所述物體至接收器光學(xué)透鏡的反射)。在現(xiàn)有的激光測(cè)距儀(laserrangefinder)的應(yīng)用中(例如用于軍事用激光測(cè)距儀的analogmodule公司制造的激光測(cè)距儀接收器模塊7500系列。其識(shí)別高達(dá)255個(gè)目標(biāo)(target)，識(shí)別范圍為Im到1km，具有高的準(zhǔn)確度，即，用對(duì)眼睛和皮膚安全的1530-1550nm波長(zhǎng)長(zhǎng)度，能夠測(cè)定照相機(jī)前方的物體的255個(gè)不同的參數(shù)值)，由于激光能夠進(jìn)行細(xì)致而正確的距離測(cè)定并識(shí)別道路和路邊石之間的高度差，從而能夠用于識(shí)別道路邊緣距離和彎道。車道路線標(biāo)識(shí)的直方圖運(yùn)算可以通過(guò)測(cè)定標(biāo)識(shí)強(qiáng)度來(lái)識(shí)別。這對(duì)為使車輛位于道路中央而將車輛維持在左右側(cè)車道路線標(biāo)識(shí)之間而言是很重要的。激光通過(guò)測(cè)定道路和路邊石(curb)之間的高度差能夠正確測(cè)定路邊石。這種重要的信息可以解析為與道路相關(guān)的使用者車輛的位置和姿態(tài)。在看不見(jiàn)或者看不清車道路線標(biāo)識(shí)時(shí)，路邊石測(cè)定對(duì)測(cè)定車輛位置、將車輛安全地維持在道路上而言是很重要的。這與道路上車輛位置相關(guān)聯(lián)而成為參照位置。車道路線標(biāo)識(shí)模糊及/或者被抹掉時(shí)，雖然通過(guò)攝像機(jī)及/或者激光對(duì)車道路線標(biāo)識(shí)強(qiáng)度進(jìn)行解讀不是不可能，但也是極其困難的。激光能夠測(cè)定車道路線標(biāo)識(shí)的強(qiáng)度(intensity)，并為了識(shí)別道路上的車道路線標(biāo)識(shí)，與圖像解析算法結(jié)合并利用直方圖。結(jié)合了激光測(cè)距儀性能的照相機(jī)前方的物體或者車輛的視頻圖像能夠提高車道路線識(shí)別能力。融合積分器本質(zhì)上能夠?qū)?lái)自攝像機(jī)系統(tǒng)的像素的RGB色相數(shù)據(jù)與激光雷達(dá)系統(tǒng)的對(duì)應(yīng)像素的深度⑶相匹配，可選地還與強(qiáng)度⑴相匹配，以在一個(gè)稱為融合(co-registration)的處理中獲取具有RGBD信息的2D數(shù)組的像素。在多數(shù)情況下，攝像機(jī)系統(tǒng)具有比激光雷達(dá)系統(tǒng)更高的分辨率、不同視角、不同的光學(xué)接收特性，這些都會(huì)阻礙攝像機(jī)像素和激光雷達(dá)像素的直接匹配。為了不失去垂直和水平修剪(cropping)的支持(support)并適當(dāng)使其處于一致，需要注意視頻數(shù)據(jù)和激光雷達(dá)數(shù)據(jù)長(zhǎng)寬比(aspectratio)的縮放及/或修剪。圖3圖解圖像的修剪。如果接收光學(xué)儀器中為了收容差距而實(shí)行適當(dāng)?shù)目s放、修剪以及可能的后續(xù)修補(bǔ)，各激光雷達(dá)像素能夠與包括一個(gè)以上視頻像素的視頻像素“區(qū)域”相關(guān)聯(lián)。簡(jiǎn)要地，對(duì)融合而言典型地要求依據(jù)特定激光雷達(dá)像素值將深度或者范圍值與各個(gè)視頻像素相關(guān)聯(lián)。實(shí)現(xiàn)上述關(guān)聯(lián)的方法如下將已有的激光雷達(dá)像素?cái)?shù)據(jù)值與其相關(guān)聯(lián)的所有視頻像素，即，與相關(guān)聯(lián)區(qū)域內(nèi)的所有視頻像素簡(jiǎn)單地進(jìn)行匹配。在沒(méi)有非線性光學(xué)變形的幾個(gè)實(shí)施例中，上述關(guān)聯(lián)僅僅通過(guò)如圖4所示的行列來(lái)匹配像素?cái)?shù)組結(jié)構(gòu)而實(shí)現(xiàn)。但是在其他實(shí)施例中可以有更好的其他適用方法。例如，代替將一個(gè)激光雷達(dá)像素?cái)?shù)據(jù)與所述區(qū)域內(nèi)的所有視頻像素視頻數(shù)據(jù)相關(guān)聯(lián)的方法，更優(yōu)選采用如下方法通過(guò)為相鄰的雷達(dá)像素之間的每個(gè)中間視頻像素位置計(jì)算線性衰減值，對(duì)原本空缺的雷達(dá)數(shù)據(jù)進(jìn)行插值，而不是直接填入，以及將計(jì)算的已平均化的及/或已近似化的激光雷達(dá)像素值與所述的中間視頻像素相關(guān)聯(lián)。在某些情況下，為了評(píng)價(jià)由融合而實(shí)現(xiàn)的匹配準(zhǔn)確度，需進(jìn)行初始矯正。這種負(fù)擔(dān)能夠通過(guò)在共同框架上牢固設(shè)置作為共同罩體一部分的激光雷達(dá)和視頻系統(tǒng)的光學(xué)儀器而減少。由此，視頻系統(tǒng)和激光雷達(dá)系統(tǒng)將會(huì)共同受到振動(dòng)，這與將攝像機(jī)和激光雷達(dá)光學(xué)儀器提供在車輛的多個(gè)分離的部件上的情況相比，則更少地影響融合。在這實(shí)施例中，圖像能夠以30fps以單一連續(xù)視頻輸出而合并。參照?qǐng)D5，其圖示其他圖像獲取單元的例子。大小可以為3-6英寸。在圖6中圖示圖5的圖像獲取單元安裝在車輛后視鏡以及擋風(fēng)玻璃之間的狀態(tài)。單元的罩體由輕量、經(jīng)過(guò)溫度處理的塑料物制得，罩體包括用于接收光學(xué)透鏡的兩個(gè)分離的窗和用于激光輸出的一個(gè)窗。罩體的前面以與傾斜的擋風(fēng)玻璃完全吻合的方式傾斜，具有去掉擋風(fēng)玻璃以及光學(xué)鏡頭內(nèi)可產(chǎn)生的濕氣并用于提供調(diào)節(jié)空氣的空氣孔，并被小于四分之三英寸厚度的橡膠緩沖墊圈包圍。這可以減少對(duì)照相機(jī)的沖擊和振動(dòng)的影響。另外，這對(duì)照相機(jī)排列的準(zhǔn)確度有幫助(從駕駛員方面來(lái)看)，并被設(shè)計(jì)為能夠看到25°以上的全體視野角。參照?qǐng)D7，圖示其他圖像獲取單元的另一例子。在此實(shí)施例中，激光雷達(dá)系統(tǒng)還包括備用發(fā)射器，該備用發(fā)射器通過(guò)減少維修費(fèi)用而有助于提高整體價(jià)值。進(jìn)一步，該實(shí)施例使用一個(gè)以上的照相機(jī)，更正確地講使用包括兩個(gè)廣角相機(jī)和兩個(gè)望遠(yuǎn)/變焦相機(jī)的四個(gè)7視頻攝像機(jī)。在該實(shí)施例中，照相機(jī)是可定向(orientable)的，特別是為了能夠?qū)⑼ㄟ^(guò)廣角相機(jī)捕捉的具體特征進(jìn)行變焦，可以采用望遠(yuǎn)/變焦相機(jī)。進(jìn)一步，照相機(jī)位于圖示的能夠延長(zhǎng)的支架，并以能夠移動(dòng)的方式構(gòu)成。另外也可以以線架來(lái)延長(zhǎng)的方式構(gòu)成。在所述的實(shí)施例中，圖像獲取單元向控制模塊提供具有色相以及深度數(shù)組數(shù)據(jù)的3D信號(hào)，該控制模塊具有所要求的根據(jù)預(yù)定方式分析所述數(shù)據(jù)并進(jìn)行干預(yù)的功能?？刂颇K可作為車輛CPU的一部分或者作為其他單元而提供，圖像獲取單元將融合的激光雷達(dá)和視頻信號(hào)(已結(jié)合的信號(hào))作為對(duì)控制模塊的若干個(gè)輸入中的一個(gè)而提供。通過(guò)圖像獲取單元而提供的組合數(shù)據(jù)為控制模塊執(zhí)行駕駛員安全幫助程序?qū)?yīng)的算法提供了有用且強(qiáng)有力的幫助?？刂颇K可以包括如下的安全駕駛幫助程序車道路線脫離警告系統(tǒng)，夜間駕駛、霧氣、陽(yáng)光或者前照燈等惡劣天氣駕駛以及智能巡航系統(tǒng)(給予使駕駛車輛和在前車輛之間維持安全距離的幫助)?？梢詷?gòu)造控制模塊，使其以許多種不同的方式向駕駛員發(fā)出警告，如，使車輛音響發(fā)出危險(xiǎn)警告，或用可視光發(fā)出警告，當(dāng)有沖突危險(xiǎn)時(shí)通過(guò)振動(dòng)方向盤或坐席來(lái)發(fā)出警告。而且還可以以如下方式來(lái)構(gòu)造控制模塊使其能夠進(jìn)行如無(wú)駕駛員的介入而減速的自我診斷和自我操作。該系統(tǒng)能夠?qū)嵭卸鄠€(gè)預(yù)定的安全參數(shù)要求，并在規(guī)定的條件下能夠通過(guò)CAN總線通訊協(xié)議自動(dòng)操作車輛。該應(yīng)急安全對(duì)策是用于避開與其他車輛或者行人的沖突。為了避開沖突可以停止車輛或者為了預(yù)防車禍以向左側(cè)或右側(cè)轉(zhuǎn)換方向的方式操作車輛。工作系統(tǒng)檢索并關(guān)聯(lián)物體的數(shù)據(jù)庫(kù)庫(kù)(databaselibrary)，將通過(guò)CMOS或者激光組件捕捉的實(shí)際圖像和植入(embeded)在數(shù)據(jù)庫(kù)庫(kù)中的圖像進(jìn)行比較，從而立即確認(rèn)感知的物體，因此區(qū)別并識(shí)別其他物體如行人、車道路線標(biāo)識(shí)、車輛等等。相比“嗶嗶嗶”等傳統(tǒng)型車輛音響警告，本系統(tǒng)提供如下的特定物體的音頻警告，如“左/右側(cè)附近有行駛的自行車”，“正越過(guò)左/右側(cè)車道路線”，“前方有行人”，“與左/右側(cè)車道路線車輛過(guò)于靠近”。當(dāng)工作系統(tǒng)無(wú)法區(qū)別和識(shí)別物體時(shí)，可以提供缺省警告，如“與左/右/前方的物體過(guò)于靠近”。如果與其他組件接口，就可以通過(guò)方向盤或者坐席的振動(dòng)來(lái)警告駕駛員。在駕駛員聽(tīng)嘈雜的音樂(lè)或者駕駛途中打瞌睡的情況下，這種警告作為輔助性安全警告方法而啟動(dòng)。利用所述圖像獲取單元能夠使結(jié)合信號(hào)可以被控制模塊獲取，該控制模塊因此能夠準(zhǔn)確地測(cè)定與照相機(jī)前方(從Im到150、200m或者更遠(yuǎn))物體的距離；使用門控制模式(gatemode)并計(jì)算飛行時(shí)間，從而在霧氣、煙霧、降雨、降雪等天氣環(huán)境下也能夠看得清楚；能夠用于夜間視覺(jué)，例如夜間以及隧道中；在直射光線、前照燈下也能夠看清楚；能夠測(cè)定“ζ”深度(cbpth)，用于不僅提供鳥瞰圖，還提供三維支點(diǎn)衛(wèi)星云圖；能夠提供具有三維支點(diǎn)衛(wèi)星云圖的高畫質(zhì)實(shí)時(shí)視頻圖像，該三維支點(diǎn)衛(wèi)星云圖能夠提供準(zhǔn)確而詳細(xì)的距離并正確檢測(cè)物體的深度以及識(shí)別和區(qū)分道路上其他車輛；提供信號(hào)燈信號(hào)(RGB)和標(biāo)志識(shí)別；能夠辨別其他顏色的車道路線標(biāo)識(shí)；能夠輸出使駕駛員能更準(zhǔn)確識(shí)別周邊狀況的高畫質(zhì)實(shí)時(shí)視頻圖像。下面描述通過(guò)算法和軟件來(lái)使用結(jié)合信號(hào)的控制模塊的例子。就車道路線脫離警告系統(tǒng)而言，檢測(cè)車道路線標(biāo)識(shí)，幫助車輛維持在車輛前的兩側(cè)車道路線內(nèi)的中央，當(dāng)駕駛員無(wú)意識(shí)地越過(guò)車道路線標(biāo)識(shí)而向左側(cè)或右側(cè)行駛時(shí)提供警告。攝像機(jī)具有車道路線標(biāo)識(shí)識(shí)別功能并監(jiān)控車輛的前方，引導(dǎo)駕駛員行駛在指定的區(qū)域，即、車道路線分離標(biāo)識(shí)內(nèi)，如果車輛在沒(méi)有方向指示信號(hào)的指示下越過(guò)車道路線標(biāo)識(shí)，軟件將會(huì)檢測(cè)出可能的不注意的駕駛行為或者可能會(huì)威脅他人安全的向其他車道路線的無(wú)意識(shí)移動(dòng)，并向駕駛員發(fā)出警告。在監(jiān)控駕駛模式期間，該系統(tǒng)通過(guò)CMOS相機(jī)的視頻圖像對(duì)某安全區(qū)域監(jiān)控參數(shù)(parameter)的可能違反進(jìn)行監(jiān)控。當(dāng)車輛沒(méi)有恰當(dāng)?shù)姆较蛑甘拘盘?hào)而越過(guò)車道路線標(biāo)識(shí)時(shí)，軟件向駕駛員迅速發(fā)出警告。就智能巡航控制系統(tǒng)而言，當(dāng)駕駛員超過(guò)根據(jù)前方其他車輛而提出的安全距離時(shí)，系統(tǒng)會(huì)發(fā)出預(yù)定級(jí)別的警告，如按規(guī)定警告基準(zhǔn)發(fā)出音頻或者發(fā)出視覺(jué)性警告等，當(dāng)違反了可以導(dǎo)致事故的安全距離時(shí)能夠啟動(dòng)自動(dòng)剎車系統(tǒng)。就物體和行人檢測(cè)系統(tǒng)而言，檢測(cè)物體是否為行人、車輛、電線桿或者需要檢測(cè)而設(shè)置的物體。標(biāo)志和信號(hào)燈識(shí)別識(shí)別靜止標(biāo)識(shí)，檢測(cè)信號(hào)燈是綠色還是紅色并必要時(shí)提供適當(dāng)?shù)木?。夜間駕駛和惡劣天氣駕駛幫助系統(tǒng)在霧氣、煙霧、降雨、降雪等環(huán)境下也可以工作并且也不會(huì)受到互射的前照燈的影響。參照?qǐng)D8，該示可以作為控制模塊的多種輸入中一個(gè)來(lái)利用的圖像獲取單元的另一例子。圖像獲取單元能夠使系統(tǒng)的光學(xué)模塊利用兩個(gè)獨(dú)立的圖像系統(tǒng)而獲取信息攝像機(jī)系統(tǒng)和激光雷達(dá)系統(tǒng)。該特定實(shí)施例還包括珀耳帖效應(yīng)冷卻器(TE-Cooler)系統(tǒng)，用于向組件提供適當(dāng)?shù)墓ぷ鳒囟取z像機(jī)系統(tǒng)由一個(gè)以上基于CMOS相機(jī)構(gòu)成，并且由根據(jù)照相機(jī)可提供所要求的視角和光圈的適合的透鏡構(gòu)成。想用較低成本實(shí)現(xiàn)時(shí)，可以采用單一的廣角相機(jī)，在比其復(fù)雜的結(jié)構(gòu)中，單一望遠(yuǎn)透鏡以高精密度直接覆蓋照相機(jī)前方，兩個(gè)廣角相機(jī)如以低分辨能力提供側(cè)視頻。各攝影機(jī)可以擁有偏光透鏡(例如UV濾光器)還可以附有濾光器。光雷達(dá)(激光雷達(dá))系統(tǒng)以激光脈沖的發(fā)射和反射的光束重回到檢測(cè)系統(tǒng)的飛行時(shí)間的計(jì)算為基礎(chǔ)。在該實(shí)施例中，使用了1550nm的對(duì)眼睛無(wú)傷害的光源。在輸出的精密的頻率特性的觀點(diǎn)上優(yōu)選激光光源。光源以單脈沖串形式產(chǎn)生脈沖?！懊}沖”可以由外部源，在本實(shí)施例中由脈沖發(fā)生器，調(diào)制成“能夠被識(shí)別”的圖案，該圖案能夠被圖像獲取模塊部分描述的該激光雷達(dá)成像服務(wù)系統(tǒng)識(shí)別。在本實(shí)施例中，輸出光束通過(guò)適當(dāng)?shù)耐哥R，例如，能夠以采用不同于掃描激光的單脈沖來(lái)覆蓋關(guān)注區(qū)域的方式擴(kuò)散。光學(xué)“分束器”用在將輸出光束的一部分發(fā)送至檢測(cè)器。第二激光發(fā)射器作為“備用”設(shè)備可以安裝在本系統(tǒng)。備用設(shè)備的使用能夠延長(zhǎng)激光雷達(dá)服務(wù)系統(tǒng)的使用年限，因此可以減少維持管理要求。驅(qū)動(dòng)自我診斷(POST)中，圖像獲取模塊能夠設(shè)置成如下判斷主發(fā)射器的故障，并使用第二發(fā)射器來(lái)代替故障發(fā)射器。為了實(shí)現(xiàn)該功能，能夠使用適當(dāng)?shù)墓鈱W(xué)器具將兩個(gè)發(fā)射器的輸出光束排列在一起。在優(yōu)選實(shí)施例中，檢測(cè)器為FPAInGaAs檢測(cè)器，對(duì)發(fā)射器頻率敏感。FPA的分辨能力可以適用于特定應(yīng)用。以類似于其他照相機(jī)的方法，設(shè)置光學(xué)器具位于適當(dāng)位置，以使反射的光束聚焦至FPA的平面。濾光器用于減少由其他頻率引起的干擾。如上所述，F(xiàn)PA直接接收發(fā)射器信號(hào)的一部分(如果是數(shù)組，則是部分)。發(fā)射器信號(hào)用于觸發(fā)計(jì)數(shù)器或者積分機(jī)制，識(shí)別已發(fā)射脈沖的“起始時(shí)間(zerotime)”。從該參照，對(duì)于數(shù)組的各檢測(cè)器，反射的脈沖飛行時(shí)間可以利用下述的回路計(jì)算。圖像獲取模塊不僅包括用于輸出融合于單個(gè)流的RGB圖像(本說(shuō)明書中稱為RGB圖像或者圖像流)的積分機(jī)制，并且還包括對(duì)光學(xué)部件的所有控制邏輯，其中RGB圖像在RGB像素級(jí)別上具有深度和紅外線強(qiáng)度信息。圖像獲取膜模塊還包括所需的用于接入CMOS相機(jī)和用于控制LIDAR發(fā)射器的服務(wù)系統(tǒng)的控制及獲取邏輯。由多個(gè)單元構(gòu)成的服務(wù)系統(tǒng)用于獲取并解析激光雷達(dá)的FPA數(shù)組輸入。CMOS相機(jī)圖像和激光雷達(dá)圖像存儲(chǔ)于存儲(chǔ)器，服務(wù)系統(tǒng)在相關(guān)的(coherent)RGBID數(shù)組中擔(dān)當(dāng)RGB和強(qiáng)度-深度數(shù)據(jù)的積分。溫度調(diào)節(jié)監(jiān)控器(例如通過(guò)使用電熱調(diào)節(jié)器)用于從激光發(fā)射器獲取溫度信息，并控制TE冷卻器服務(wù)系統(tǒng)和保障維持激光發(fā)射器罩體的已設(shè)定的溫度。通信和控制邏輯服務(wù)系統(tǒng)用于與后端和外部服務(wù)系統(tǒng)的連接上，另外提供對(duì)圖像獲取模塊內(nèi)的所有服務(wù)系統(tǒng)的控制邏輯。照相機(jī)控制-獲取服務(wù)系統(tǒng)獲取視頻數(shù)據(jù)至RAM，并按照控制服務(wù)系統(tǒng)所設(shè)定的參數(shù)控制CMOS照相機(jī)參數(shù)(增益和敏感度等)。服務(wù)系統(tǒng)為了保障整體框架總是通過(guò)融合處理器能夠處理，可以采用雙緩沖技術(shù)。脈沖發(fā)生器/編碼器服務(wù)系統(tǒng)對(duì)發(fā)射器進(jìn)行控制，使其產(chǎn)生已編碼化的圖案的脈沖，各圖案由以規(guī)定的時(shí)間間隔分離的多個(gè)脈沖構(gòu)成。圖案的例子圖示在圖9中。基于激光的最大重復(fù)頻率，脈沖圖案可以設(shè)計(jì)為二進(jìn)制序列(啟動(dòng)/停止)圖案。以下特征非常適合特定應(yīng)用最少每秒15圖案(pps)；最少能夠選擇IOM(或以上)的不同圖案；圖案內(nèi)的各脈沖之間的時(shí)間足夠從距離200m或以上的地方反射來(lái)的光束的返回進(jìn)行積分。與脈沖編碼驗(yàn)證服務(wù)系統(tǒng)結(jié)合而使用的脈沖圖案能夠區(qū)別其他紅外線發(fā)射器發(fā)射的圖案。圖案可以被編程，若檢測(cè)到干擾則在控制模塊級(jí)別上進(jìn)行任意變更。激光雷達(dá)獲取系統(tǒng)因此能夠執(zhí)行一個(gè)第三階段處理，以獲取FPA數(shù)據(jù)，并將其轉(zhuǎn)換成強(qiáng)度-深度數(shù)組，該強(qiáng)度-深度數(shù)組將要存儲(chǔ)于RAM(隨機(jī)存儲(chǔ)器)中。參照?qǐng)D10，第一階段為從照片檢測(cè)器對(duì)各FPA“像素”獲取接收到的模擬信號(hào)。信號(hào)在原本發(fā)射的信號(hào)(TO)的接收強(qiáng)度上顯示出第一增加。當(dāng)反射回來(lái)時(shí)，信號(hào)顯示出對(duì)應(yīng)于返回的光束強(qiáng)度的第二增加。兩個(gè)刺激之間的時(shí)間相當(dāng)于“飛行時(shí)間”。第一反射信號(hào)強(qiáng)度作為重要信息被存儲(chǔ)。利用本
技術(shù)領(lǐng)域：
技術(shù)人員普遍知曉的回路，對(duì)于各“像素”，可以通過(guò)“范圍/強(qiáng)度獲取模塊”獲取并存儲(chǔ)比“圖案”的二進(jìn)制序列的“比特”數(shù)更重要的規(guī)定數(shù)的脈沖(“N”)的飛行時(shí)間和第一返回(return)信號(hào)強(qiáng)度。如果是對(duì)應(yīng)FPA分辨能力的二維數(shù)組，最終數(shù)據(jù)將會(huì)成為兩個(gè)NXFPA_垂直XFPA_水平數(shù)組，一個(gè)是深度另一個(gè)是強(qiáng)度。在此水平上，分析獲取的數(shù)據(jù)，以保證其與被編程的“脈沖圖案”的關(guān)聯(lián)性。如果圖案在某一概率上沒(méi)被識(shí)別，數(shù)據(jù)將會(huì)被拒絕并通知控制模塊。經(jīng)一連串的拒絕后，控制模塊能變更放射圖案。激光雷達(dá)獲取的最終階段可以對(duì)單個(gè)FPA_垂直平數(shù)組(強(qiáng)度，深度)的點(diǎn)進(jìn)行組合，這些點(diǎn)將會(huì)通過(guò)雙重緩沖技術(shù)被存儲(chǔ)于RAM中。將N維的所有信息積分成單一“像素”深度和強(qiáng)度值需要一些仍應(yīng)由實(shí)驗(yàn)決定的處理。簡(jiǎn)單地進(jìn)行平均化也足以。融合積分器模塊用于將從照相機(jī)的RGB數(shù)據(jù)和激光雷達(dá)的ID數(shù)據(jù)積分成單一數(shù)組或者RGBID點(diǎn)。兩圖像數(shù)據(jù)源的排列、分辨能力以及視角都不相同。那些參數(shù)在矯正過(guò)程中決定，并可被選擇性地存儲(chǔ)于參數(shù)閃存中。融合(co-registration)算法將各RGB像素以可能的深度值來(lái)標(biāo)記。最終RGBID圖像通過(guò)控制邏輯模塊被存儲(chǔ)，用以后續(xù)的流動(dòng)?？刂七壿嬆K獲取啟動(dòng)/停止的外部命令的輸入，并調(diào)節(jié)用于視頻獲取的參數(shù)。它不僅輸出RGBID數(shù)據(jù)也輸出狀態(tài)信息(到CAN總線，未顯示)，以供外部模塊使用。控制邏輯模塊負(fù)責(zé)向圖像獲取模塊內(nèi)的所有服務(wù)系統(tǒng)提供參數(shù)及控制命令?？刂颇K負(fù)責(zé)對(duì)獲取的圖像數(shù)據(jù)進(jìn)行解析，并向車輛的可利用的服務(wù)系統(tǒng)提供適宜的回應(yīng)。為了實(shí)行該工作，控制模塊從外部系統(tǒng)，例如方向指示燈、方向、速度等獲取車輛狀態(tài)信息?？刂颇K持續(xù)地用該閃存模塊進(jìn)行存儲(chǔ)，閃存模塊可以以“滾動(dòng)模式(rollingkisis)”將多個(gè)獲取的信息和關(guān)聯(lián)的圖像數(shù)據(jù)及解析存儲(chǔ)至閃存模塊，而該閃存模塊可以在事故發(fā)生時(shí)作為“黑匣子”來(lái)使用。用閃存模塊暫時(shí)存儲(chǔ)的獲取信息和圖像數(shù)據(jù)在事故發(fā)生時(shí)所述暫時(shí)存儲(chǔ)的數(shù)據(jù)不會(huì)被刪除而是永久存儲(chǔ)在SD卡上。即，所有獲取信息和圖像數(shù)據(jù)暫時(shí)存儲(chǔ)在閃存模塊1-2分鐘后，在閃存器中繼續(xù)以1-2分鐘間隔被刪除，若事故發(fā)生時(shí)檢測(cè)到確定的危險(xiǎn)/事故參數(shù)命令，1-2分鐘的閃存將不會(huì)被刪除而是永久存儲(chǔ)于SD存儲(chǔ)卡中。存儲(chǔ)的數(shù)據(jù)獲取信息包括，例如，日期、時(shí)間、車速、與其他車輛/物體之間的距離寸寸。解析和回應(yīng)可以是在以下的“視頻處理器”、“危險(xiǎn)分析模塊”以及“回應(yīng)/使用者接口模塊”中描述的三階段服務(wù)系統(tǒng)。視頻處理器/融合的圖像獲取可以從圖像獲取模塊獲取RGBID圖像數(shù)據(jù)的，并可選擇地從輔助照相機(jī)獲取RGB圖像數(shù)據(jù)。視頻處理器對(duì)從圖像數(shù)據(jù)中識(shí)別出的各特征進(jìn)行特征(feature)抽取，用以提供如下信息識(shí)別圖像特征大小和位置(blob)；計(jì)算特征位置和軌跡；以及可能的話對(duì)特征(形狀自行車，行人，標(biāo)志)進(jìn)行分類。為了實(shí)行該工作，視頻處理器應(yīng)具有能夠從外部變量獲取模塊得到的車速和方向信息作為輸入。所得信息能夠傳遞給危險(xiǎn)分析模塊，以供進(jìn)一步處理。危險(xiǎn)分析模塊可以使用通過(guò)視頻處理器模塊提供的數(shù)據(jù)，危險(xiǎn)分析模塊可以實(shí)行危險(xiǎn)級(jí)別和根據(jù)各物體而定的信息級(jí)別評(píng)價(jià)。物體的大小、軌跡以及位置信息可用于例如沖突可能性評(píng)價(jià)上。在被編程的駕駛員輔助模式情景中，被識(shí)別出的標(biāo)志和道路標(biāo)識(shí)被評(píng)價(jià)，以判斷它們的相關(guān)性。信息和被識(shí)別的危險(xiǎn)能夠提供給回應(yīng)/使用者接口模塊?；貞?yīng)/使用者接口模塊輸入危險(xiǎn)和信息特征，使用所有其他外部變量決定用以緩和危險(xiǎn)而需要采取的行動(dòng)，并通知駕駛員。行動(dòng)可以根據(jù)車輛特定性能(裝備，選項(xiàng))進(jìn)行優(yōu)先順序化處理。使用者接入行動(dòng)和提出的緩和方法可以通過(guò)CAN總線播放給車輛。平臺(tái)的作用在于基于播放的消息啟動(dòng)提出的方法?；貞?yīng)/使用者接口模塊是根據(jù)特定平臺(tái)的應(yīng)用而決定的模塊，其他所有模塊是本
技術(shù)領(lǐng)域：
一般使用的模塊。黑匣子記錄器必定提供存儲(chǔ)以后將要使用的數(shù)據(jù)的功能，如再現(xiàn)視頻時(shí)需要的數(shù)據(jù)。出于這種目的，它例如具有臨時(shí)閃存存儲(chǔ)裝置?？刂颇K內(nèi)移動(dòng)的視頻數(shù)據(jù)基于先入先出原則，過(guò)去事件可以存儲(chǔ)于閃存器一分鐘以上，所有以前的數(shù)據(jù)從SRAM和閃存中消除。事故、沖突或者啟動(dòng)氣囊的情況下，存儲(chǔ)在閃存器的相當(dāng)于一分鐘長(zhǎng)度的存儲(chǔ)數(shù)據(jù)自動(dòng)存儲(chǔ)到黑匣子記錄器中，用以以后被檢索并再現(xiàn)。在某些條件下，能夠自動(dòng)將，諸如與前方車輛之間的距離記錄，相對(duì)于車道路線標(biāo)識(shí)的車輛位置位置、彎道以及/或者阻礙物，撞擊時(shí)間等其他數(shù)據(jù)存儲(chǔ)于黑匣子中。存儲(chǔ)裝置可以用于在某一時(shí)間窗內(nèi)連續(xù)存儲(chǔ)如下的數(shù)據(jù)視頻融合圖像、語(yǔ)音(利用麥克風(fēng))、外部變量、危險(xiǎn)識(shí)別、提出的行動(dòng)等。啟動(dòng)氣囊、沖擊檢測(cè)、強(qiáng)烈的振動(dòng)、發(fā)動(dòng)機(jī)停止、駕駛中門被打開等發(fā)生重要事件的情況下，即使被轉(zhuǎn)換到其他存儲(chǔ)器區(qū)域，但黑匣子的記錄仍會(huì)繼續(xù)。該方法在發(fā)生一連串事件的情況下，允許保存一個(gè)以上的黑匣子事件記錄。服務(wù)系統(tǒng)可以專用于從CAN總線獲取關(guān)聯(lián)平臺(tái)的變量。預(yù)想到的數(shù)據(jù)包括速度、行駛方向、方向指示燈信號(hào)、發(fā)動(dòng)機(jī)狀態(tài)、門的開閉狀態(tài)、日光、遠(yuǎn)光燈、近光燈、氣囊啟動(dòng)等。數(shù)據(jù)可以記錄在黑匣子中，可以供控制模塊系統(tǒng)內(nèi)的其他模塊使用。最后，圖11圖示所提出的激光雷達(dá)所發(fā)射的激光的擴(kuò)散圖案。如上所述的公開的各種實(shí)施例，所示圖示中表示的例子只是用于例示。發(fā)明范圍根據(jù)附有的權(quán)利要求書的范圍而定。1權(quán)利要求1.一種圖像獲取單元，所述單元包括罩體；攝像機(jī)系統(tǒng)，其包括至少一個(gè)攝像機(jī)，還包括用于視頻數(shù)組數(shù)據(jù)的視頻輸出端，所述視頻數(shù)組數(shù)據(jù)是通過(guò)所述至少一個(gè)攝像機(jī)而獲取的；激光雷達(dá)系統(tǒng)，其包括至少一個(gè)激光雷達(dá)發(fā)射器和激光雷達(dá)接收器，還包括用于激光雷達(dá)數(shù)組數(shù)據(jù)的激光雷達(dá)輸出端，所述激光雷達(dá)數(shù)組數(shù)據(jù)是從所述激光雷達(dá)接收器獲取的；融合積分器，其與所述視頻輸出端和所述激光雷達(dá)輸出端連接，接收所述視頻數(shù)組數(shù)據(jù)和所述激光雷達(dá)數(shù)組數(shù)據(jù)，將所述視頻數(shù)組數(shù)據(jù)和所述激光雷達(dá)數(shù)組數(shù)據(jù)融合成結(jié)合數(shù)組數(shù)據(jù)，并輸出所述結(jié)合數(shù)組數(shù)據(jù)。2.根據(jù)權(quán)利要求1所述的圖像獲取單元，其特征在于，所述攝像機(jī)系統(tǒng)包括CMOS和照相機(jī)控制器。3.根據(jù)權(quán)利要求1所述的圖像獲取單元，其特征在于，所述激光雷達(dá)系統(tǒng)包括脈沖發(fā)生器、范圍/強(qiáng)度獲取器以及強(qiáng)度/深度數(shù)組構(gòu)筑器。4.根據(jù)權(quán)利要求3所述的圖像獲取單元，其特征在于，所述脈沖發(fā)生器包括編碼器(coder)，還包括脈沖編碼驗(yàn)證器(validator)，當(dāng)沒(méi)能確認(rèn)到脈沖編碼時(shí)，該脈沖編碼驗(yàn)證器作為用于拒絕獲取的范圍/強(qiáng)度數(shù)據(jù)的、在范圍/強(qiáng)度獲取器和強(qiáng)度/深度構(gòu)筑器之間的閘門而啟動(dòng)。5.根據(jù)權(quán)利要求1所述的圖像獲取單元，其特征在于，所述攝像機(jī)是廣角相機(jī)和望遠(yuǎn)/變焦相機(jī)中的一個(gè)，所述攝像機(jī)系統(tǒng)還包括廣角相機(jī)和望遠(yuǎn)/變焦相機(jī)中的另一個(gè)。6.根據(jù)權(quán)利要求5所述的圖像獲取單元，其特征在于，所述望遠(yuǎn)/變焦相機(jī)能夠被定向(orientable)07.根據(jù)權(quán)利要求1所述的圖像獲取單元，其特征在于，所述攝像機(jī)是可移動(dòng)的。8.根據(jù)權(quán)利要求7所述的圖像獲取單元，其特征在于，所述攝像機(jī)安裝在能夠延長(zhǎng)的支架上，并通過(guò)所述可延長(zhǎng)的支架的延長(zhǎng)能夠進(jìn)行移動(dòng)。9.根據(jù)權(quán)利要求1所述的圖像獲取單元，其特征在于，所述激光雷達(dá)系統(tǒng)包括至少兩個(gè)通過(guò)校準(zhǔn)的光學(xué)儀器聯(lián)結(jié)的激光發(fā)射器。10.根據(jù)權(quán)利要求1所述的圖像獲取單元，其特征在于，所述攝像機(jī)系統(tǒng)、所述激光雷達(dá)系統(tǒng)以及所述融合積分器具有共同F(xiàn)PGA的電子部分。11.根據(jù)權(quán)利要求1所述的圖像獲取單元，其特征在于，所述攝像機(jī)系統(tǒng)、所述激光雷達(dá)系統(tǒng)以及所述合并積分器安裝在所述罩體內(nèi)。12.—種圖像獲取方法，其包括從至少一個(gè)攝像機(jī)獲取視頻數(shù)組數(shù)據(jù)的階段；從激光雷達(dá)系統(tǒng)獲取激光雷達(dá)數(shù)組數(shù)據(jù)的階段；以及將所述視頻數(shù)組數(shù)據(jù)和所述激光雷達(dá)數(shù)組數(shù)據(jù)融合成一個(gè)結(jié)合數(shù)組數(shù)據(jù)信號(hào)的階段。13.根據(jù)權(quán)利要求12所述的圖像獲取方法，其特征在于，所述視頻數(shù)組數(shù)據(jù)具有2D數(shù)組的規(guī)定數(shù)的視頻像素，各視頻像素具有紅(R)、綠(G)、以及藍(lán)(B)數(shù)據(jù)，所述激光雷達(dá)數(shù)組數(shù)據(jù)具有2D數(shù)組的規(guī)定數(shù)的激光雷達(dá)像素，各激光雷達(dá)像素具有強(qiáng)度(I)和深度(D)數(shù)據(jù)，所述結(jié)合數(shù)組數(shù)據(jù)具有多個(gè)結(jié)合像素，各結(jié)合像素具有紅(R)、綠(G)、藍(lán)(B)、強(qiáng)度(I)以及深度⑶數(shù)據(jù)。14.根據(jù)權(quán)利要求13所述的圖像獲取方法，其特征在于，視頻像素的數(shù)比激光雷達(dá)像素的數(shù)更多，所述融合階段包括將所述各激光雷達(dá)像素的強(qiáng)度(I)和深度(D)數(shù)據(jù)與一個(gè)以上視頻像素的紅(R)、綠(G)、藍(lán)(B)數(shù)據(jù)相關(guān)聯(lián)的階段。15.根據(jù)權(quán)利要求12所述的圖像獲取方法，其特征在于，所述激光雷達(dá)數(shù)組數(shù)據(jù)的獲取階段包括發(fā)射激光雷達(dá)信號(hào)并接收被反射的激光雷達(dá)信號(hào)的階段。16.根據(jù)權(quán)利要求15所述的圖像獲取方法，其特征在于，所述的發(fā)射激光雷達(dá)信號(hào)包括獲取脈沖圖案，并基于該脈沖圖案以重復(fù)的方式發(fā)送激光雷達(dá)信號(hào)；其中所述接收還包括將所述接收的信號(hào)與所述脈沖圖案進(jìn)行比較，當(dāng)所述被反射的激光雷達(dá)信號(hào)與所述脈沖圖案不匹配時(shí)，拒絕所述被反射的激光雷達(dá)信號(hào)。17.根據(jù)權(quán)利要求16所述的圖像獲取方法，其特征在于，監(jiān)控多個(gè)連續(xù)被拒絕的反射激光雷達(dá)信號(hào)，以及當(dāng)判斷所述連續(xù)被拒絕的反射激光雷達(dá)信號(hào)的數(shù)達(dá)到規(guī)定臨界值時(shí)，將所述脈沖圖案進(jìn)行變更。18.根據(jù)權(quán)利要求12所述的圖像獲取方法，其特征在于，還包括為了分析所述結(jié)合數(shù)組數(shù)據(jù)信號(hào)而將所述信號(hào)提供至車輛控制模塊的階段。19.一種控制單元，其包括視頻信號(hào)獲取器，將從權(quán)利要求1中記載的圖像獲取單元輸出的結(jié)合數(shù)組數(shù)據(jù)信號(hào)作為視頻信號(hào)來(lái)接收；視頻處理器，用于處理所述獲取的視頻信號(hào)；危險(xiǎn)分析器，從所述被處理的視頻信號(hào)或者從外部變量獲取模塊提供的外部變量能夠感知危險(xiǎn)；以及存儲(chǔ)設(shè)備(黑匣子)。20.根據(jù)權(quán)利要求19所述的控制單元，其特征在于，還包括共同的罩體，所述罩體安裝有視頻信號(hào)獲取器、視頻處理器、危險(xiǎn)分析器以及黑匣子。21.根據(jù)權(quán)利要求19所述的控制單元，其特征在于，其還包括用于將來(lái)自視頻信號(hào)獲取器的數(shù)據(jù)臨時(shí)存儲(chǔ)規(guī)定時(shí)間的存儲(chǔ)器，當(dāng)感知到危險(xiǎn)時(shí)將該臨時(shí)存儲(chǔ)的數(shù)據(jù)存儲(chǔ)到所述黑匣子中。22.根據(jù)權(quán)利要求19所述的控制單元，其特征在于，其還包括麥克風(fēng)、用于通過(guò)所述麥克風(fēng)獲取的音頻數(shù)據(jù)的音頻輸出端、將所述音頻數(shù)據(jù)臨時(shí)存儲(chǔ)規(guī)定期間的存儲(chǔ)器，當(dāng)感知到危險(xiǎn)時(shí)，將所述臨時(shí)存儲(chǔ)的數(shù)據(jù)存儲(chǔ)到黑匣子中。23.根據(jù)權(quán)利要求19所述的控制單元，其特征在于，所述視頻信號(hào)包括具有復(fù)數(shù)個(gè)結(jié)合像素的結(jié)合數(shù)組數(shù)據(jù)，所述各結(jié)合像素至少具有紅(R)、綠(G)、藍(lán)(B)以及深度(D)數(shù)據(jù)。24.根據(jù)權(quán)利要求19所述的控制單元，其特征在于，其至少具有一個(gè)以下數(shù)據(jù)沖突時(shí)間數(shù)據(jù)，感知到危險(xiǎn)時(shí)其能夠自動(dòng)存儲(chǔ)到所述黑匣子中；車輛相對(duì)位置和速度數(shù)據(jù)。全文摘要本發(fā)明公開將從攝像機(jī)獲取的視頻數(shù)據(jù)和從激光雷達(dá)獲取的范圍或深度數(shù)據(jù)相結(jié)合使用的方法。本發(fā)明圖像獲取單元包括罩體；攝像機(jī)系統(tǒng)，其包括至少一個(gè)攝像機(jī)，還包括用于視頻數(shù)組數(shù)據(jù)的視頻輸出端，所述視頻數(shù)組數(shù)據(jù)是通過(guò)所述至少一個(gè)攝像機(jī)而獲取的；激光雷達(dá)系統(tǒng)，其包括至少一個(gè)激光雷達(dá)發(fā)射器和激光雷達(dá)接收器，還包括用于激光雷達(dá)數(shù)組數(shù)據(jù)的激光雷達(dá)輸出端，所述激光雷達(dá)數(shù)組數(shù)據(jù)是從所述激光雷達(dá)接收器獲取的；融合積分器，其與所述視頻輸出端和所述激光雷達(dá)輸出端連接，用于接收所述視頻數(shù)組數(shù)據(jù)和所述激光雷達(dá)數(shù)組數(shù)據(jù)，具有將所述視頻數(shù)組數(shù)據(jù)和所述激光雷達(dá)數(shù)組數(shù)據(jù)融合成結(jié)合數(shù)組數(shù)據(jù)的融合功能；以及輸出，用于從所述罩體輸出所述結(jié)合數(shù)組數(shù)據(jù)。文檔編號(hào)H04N5/265GK102447911SQ20111022474公開日2012年5月9日申請(qǐng)日期2011年8月5日優(yōu)先權(quán)日2010年10月1日發(fā)明者魏載榮申請(qǐng)人:魏載榮