發(fā)明技術(shù)領(lǐng)域

本文描述的是用于將雷達(radar)/激光雷達(lidar)信息與攝像頭信息融合以改善視覺算法執(zhí)行。該方法使用低層融合，其中原始有源傳感器信息(檢測、距離、距離變化率和角度)被發(fā)送到視覺處理級。該方法在視覺處理中早期利用有源傳感器信息。本公開涉及高級駕駛輔助系統(tǒng)(adas)和自主車輛。在這些系統(tǒng)中，使用多個傳感器來檢測車輛周圍的障礙物。

背景技術(shù)：

當前adas和自主車輛系統(tǒng)使用多個傳感器來檢測車輛周圍的障礙物。如圖1所示，大多數(shù)融合系統(tǒng)使用高層融合。在圖中，雷達100生成雷達檢測單元(rdu)，并且攝像頭102生成圖像。然后，每個傳感器獨立地處理信息104、106。來自每個傳感器的信息然后被合并108以確認對象檢測。使用諸如“與”/“或”等簡單的融合策略。例如使用“與”策略，意味著在宣布檢測有效之前全部兩個傳感器必須一致。

本文所描述的是用于將雷達(激光雷達)和視覺信息融合以便利用每個傳感器在低層的優(yōu)勢的技術(shù)。本提出方案的好處是在極早期階段利用有源傳感器的優(yōu)勢。該技術(shù)通過提供不容易從視覺傳感器計算的諸如距離(range)或距離變化率(range-rate)的有用的信息，提高視覺算法的執(zhí)行。

在低層傳感器融合的領(lǐng)域中存在有限的工作。之前工作的一個示例是由tons等人在researchgate(研究之門)，出版號4092473上發(fā)表的題目為“radarsensorsandsensorplatformusedforpedestrianprotection(用于行人保護的雷達傳感器和傳感器平臺)”的歐洲項目“save-u”。在該項目中，雷達和視覺信息在全部低層和高層上結(jié)合。在低層中，使用雷達信息來定義可以由其他傳感器進一步處理的感興趣的區(qū)域(regionofinterest)。該方法的目的是行人和自行車的檢測。然而，也可以檢測其他類型的對象。

技術(shù)實現(xiàn)要素：

本文描述的各種實施例包括使用雷達(激光雷達)信息來改善視覺算法的方法和系統(tǒng)，其中雷達(激光雷達)檢測、雷達(激光雷達)距離信息、以及雷達距離變化率被用于視覺算法的輸入。

在本發(fā)明的一個示例性實施例中，提出了一種用于從雷達(激光雷達)檢測單元(rdu)構(gòu)建感興趣區(qū)域的方法，其中使用rdu作為圖像域中的點來將圖像劃分為自由空間和占用空間。視覺算法僅搜索占用空間，這顯著地節(jié)省了處理時間?？梢砸愿偷念l率搜索自由空間以防止有源傳感器遺漏檢測。

另外，在本發(fā)明的一個實施例中，rdu用來增加視覺檢測的置信度，因為檢測的存在增加了對象存在的可能性。

在rdu周圍的遺漏視覺檢測可以是用來檢測對象的視覺算法的失效的指示。在本發(fā)明的一個示例性實施例中，rdu周圍的圖像區(qū)域可以用不同參數(shù)或不同算法來處理。

此外，在本發(fā)明的一個實施例中，為了對象分類(例如，卡車對車輛)的目的，圖像區(qū)域中rdu的數(shù)目作為對象尺寸的指示。同樣，從rdu距離變化率確定的對象的速度可以被分類器使用來區(qū)分自行車和摩托車。

在本發(fā)明的一個示例性實施例中，從雷達(激光雷達)檢測距離信息確定距離圖。該距離圖可以被視覺算法使用來決定使用的搜索標度、確定接觸時間(ttc)、以及用于將視覺檢測框適當?shù)胤胖糜诘孛妗?/p>

在本發(fā)明的替代實施例中，圖像中對象的速度從rdu距離變化率信息來確定。這通過限制下一幀中的搜索空間來幫助視覺跟蹤。其也可以用于改善視覺算法的分類結(jié)果。例如，高速對象不會被歸類為行人。

在本發(fā)明的另一實施例中，來自激光雷達傳感器的高度信息可以用作用于對象分類的特征。這可以幫助改善分類結(jié)果并且減少錯誤檢測。長于例如8米的對象更可能是水池而不是行人。

根據(jù)一個實施例，提供了一種對象檢測系統(tǒng)，其配置為檢測接近車輛的對象。該系統(tǒng)包括雷達傳感器、攝像頭以及控制器。雷達傳感器用于檢測由雷達視場中的對象所反射的雷達信號。攝像頭用于捕獲與雷達視場重疊的攝像頭視場中的對象的圖像?？刂破髋c雷達傳感器和攝像頭通信?？刂破髋渲脼榇_定由雷達信號所指示的圖像中雷達監(jiān)測的位置，基于雷達檢測確定圖像的參數(shù)曲線，基于從雷達檢測導(dǎo)出的參數(shù)曲線定義圖像的感興趣區(qū)域，其中，感興趣區(qū)域是攝像頭視場的子集，并且處理圖像的感興趣區(qū)域以確定對象的身份。

附圖說明

現(xiàn)在將參考附圖借助示例來描述本發(fā)明，在附圖中：

圖1描繪了典型的高層融合流程圖；

圖2描繪了本文所提出的利用雷達(激光雷達)處理的低層融合流程圖；

圖3描繪了本文所提出的不利用雷達(激光雷達)處理的低層融合流程圖；

組合的圖4a和4b描繪了基于雷達(激光雷達)檢測來構(gòu)建感興趣的區(qū)域的示例；

圖5描繪了所本文所提出的使用rdu來調(diào)節(jié)視覺對象的置信度(confidence)和類型的方法；

圖6a和6b描繪了從rdu距離信息建立距離圖(rangemap)的兩個示例；

圖7描繪了使用雷達(激光雷達)距離信息構(gòu)建距離圖的示例；

圖8a和8b描繪使用rdu距離變化率跟蹤的說明；以及

圖9描繪了系統(tǒng)的框圖。

應(yīng)該理解附圖僅是為了說明本發(fā)明的概念的目的，并且不是為了說明本發(fā)明的唯一可能的配置。

具體實施方式

本原理有利地提供了一種用于基于rdu改善視覺檢測、分類和跟蹤的方法和系統(tǒng)。雖然本原理將主要在使用雷達(激光雷達)的上下文中描述，但是本發(fā)明的具體實施例不應(yīng)被視為限制本發(fā)明的范圍。例如，在本發(fā)明的替代實施例中，可以使用發(fā)光二極管(led)傳感器。

在adas和自動駕駛系統(tǒng)中，傳感器用于檢測、分類和跟蹤本車輛周圍的障礙物。對象可以是車輛、行人或稱為一般對象的未知類。通常，使用兩個或更多個傳感器來克服單個傳感器的缺點并且增加物體檢測、分類和跟蹤的可靠性。然后將傳感器的輸出融合以確定場景中的對象的列表。融合可以在高層或低層完成：在高層中，獨立地處理每個傳感器，融合在最后完成；在低層中，一個傳感器在處理的早期階段被另一個傳感器使用。這些融合方法的組合也是可能的。不失一般性，本文提出的系統(tǒng)和方法聚焦于adas和雷達。通常地，激光雷達提供更準確和更致密的數(shù)據(jù)，因此可以產(chǎn)生比雷達更好的性能。

圖2和圖3示出了所提出的方法的兩種可能的實現(xiàn)。在圖中，雷達200、300在算法處理的早期向視覺系統(tǒng)204、304提供信息202、302，以允許其更有效地檢測、分類和跟蹤對象206、306。除rdu之外，雷達可以提供的最有用的信息是距離和距離變化率。該信息可以以下面將描述的多種方式對視覺算法有益。

圖2示出了系統(tǒng)10的非限制性示例，該示例是對圖1所示的現(xiàn)有系統(tǒng)12的改進，其中雷達200處理可以類似于當前在高層融合208中所做的來進行處理。雷達檢測用于建立軌跡并對對象進行分類。然后可以將這些軌跡與視覺軌跡210融合。圖3示出了沒有執(zhí)行雷達處理的系統(tǒng)14的不同的非限制性實現(xiàn)。在該實現(xiàn)中，視覺被用作用于檢測、分類和跟蹤的主要傳感器。這利用了每個傳感器的優(yōu)勢(雷達–距離和距離變化率，視覺–分類/跟蹤)，并減少處理雷達檢測所需的時間。

單目視覺系統(tǒng)由于其在確定對象類別方面的低成本和有效性而已經(jīng)廣泛用于adas應(yīng)用。為了檢測對象，建立固定尺寸(例如，-n×m)的標記圖像窗口的數(shù)據(jù)集。數(shù)據(jù)庫包括要檢測的對象(例如車輛)的正例和負例。然后訓(xùn)練分類器以將這些窗口分開。然后將每n×m的窗口傳遞到分類器進行處理。分類器標記為正的窗口包含對象，標記為負的那些不包含。對象檢測和分類可以單獨進行，即首先檢測然后分類，或同時檢測/分類。然后使用例如對象窗口的質(zhì)心在時域中跟蹤檢測到的對象。

這種在視覺系統(tǒng)中的對象的搜索通常以滑動窗口方式進行[forsyth和ponce的“computervisionamodernapproach(計算機視覺現(xiàn)代方法)”，出版商：pearson，2011年第2版]，從圖像的左上角開始到右下角。由于并非對象的所有實例在圖像中都具有相同的尺寸，因此必須在多個尺度上進行搜索。通常根據(jù)可用的處理能力使用三個或更多個尺度。該滑動窗口檢測在實踐中伴隨需要不同特征選擇的不同應(yīng)用表現(xiàn)良好。然而，該處理要求非常高，這限制了可以搜索的對象的類型和數(shù)量。

為了加快對對象的搜索，在一個實施例中，使用rdu來構(gòu)建邊界曲線，該邊界曲線將圖像劃分為自由空間和占用空間。所產(chǎn)生的占用空間是需要由視覺算法搜索的唯一區(qū)域，并且由于其通常小于完整圖像，顯著地節(jié)省了滑動窗口算法的處理時間。

為了構(gòu)建自由空間邊界，首先將rdu映射到圖像域。從一個傳感器到另一個的映射是本領(lǐng)域公知的。其涉及知曉攝像頭和雷達的位置，并且定義旋轉(zhuǎn)和平移參數(shù)以將每個rdu與圖像空間中(x,y)位置相關(guān)聯(lián)。一旦rdu被映射到圖像中，它們被視為圖像點，并通過在水平方向上延伸穿過圖像的曲線擬合。曲線擬合是構(gòu)建最適合一系列數(shù)據(jù)點的曲線的過程。

在一個實施例中，從連接兩個rdu的線段構(gòu)建邊界曲線。從最左邊的rdu開始，在兩個連續(xù)的rdu位置之間建立一條線。該過程繼續(xù)，直到到達最右邊的rdu?？梢允褂枚喾N線擬合技術(shù)。在一個實施例中，使用公知的線dda(數(shù)字微分算法)，其在端點之間以規(guī)則的間隔對線進行采樣。優(yōu)點在于其簡單性和速度。隨后可以是圖像擴張和侵蝕，以產(chǎn)生更平滑的曲線。圖4呈現(xiàn)了來自雷達檢測單元(rdu400)的自由空間創(chuàng)建的示例，其中，疊加在圖像402上的rdu被表示為白色方塊。所得到的自由空間邊界曲線(參數(shù)曲線404)如圖4b所示，其疊加在攝像頭圖像406上。

在另一實施例中，參數(shù)曲線可以擬合到rdu。在曲線擬合的文獻中有大量的工作。例如，樣條(spline)已作為表達曲線的數(shù)學(xué)方法被廣泛使用。樣條被定義為分段多項式函數(shù)，其導(dǎo)數(shù)滿足某些連續(xù)性約束。應(yīng)當注意，樣條是曲線的一個示例，并且許多其他曲線可以用于從rdu構(gòu)建邊界曲線的目的。

在視覺算法中，置信度值通常與視覺檢測和分類相關(guān)聯(lián)。置信度值表示當前窗口中的對象與訓(xùn)練數(shù)據(jù)庫中的圖像的接近程度。如果使用單一層分類器，則置信度值可以是單一值，或者在級聯(lián)(cascade)分類中的多個值，其中每個值與一個分類器層相關(guān)聯(lián)。置信度值通常被縮放到0—1之間的值。許多算法依賴于置信度值以進行高層處理。在一個實施例中，rdu用于增加或減少檢測中的置信度水平?？梢允褂煤唵蔚募臃ɑ驕p法的策略，諸如：

如果在視覺檢測框內(nèi)存在rdu，則置信度＝置信度+α*x，其中x是在視覺檢測窗口內(nèi)的rdu的數(shù)目，且α用于控制rdu對視覺置信度的影響。在大多數(shù)情況下，rdu不應(yīng)完全控制視覺檢測的置信度值。最大值0.1可以用作α*x項的上限。

類似地，如果在視覺檢測窗口內(nèi)部不存在rdu，則從置信度中扣除懲罰值-0.1。由于雷達的方位角較差，為了計算置信度的目的，可以略微擴大視覺窗口。圖5示出了使用車輛檢測的置信度調(diào)整原理。在該圖中，示出了視覺檢測框500和疊加的rdu502的示例。

在另一個實施例中，rdu的數(shù)目可以用于影響分類結(jié)果。例如，在視覺窗口中的大數(shù)目的檢測是諸如卡車的較大物體的存在的指示。此概念也在圖5中利用疊加在圖像上的視覺檢測框500來示出。在該圖中，與車輛相比，大數(shù)目的rdu502存在于更靠近卡車處。

在其他實施例中，rdu用作次級對象檢測指示器。例如，如果視覺沒有檢測到接近rdu的對象，則這可以是由于例如窗口中的對象與視覺算法被訓(xùn)練來檢測的東西之間的較大的變化而造成的視覺算法遺漏對象的指示。視覺算法然后可以調(diào)整靠近rdu的某些參數(shù)，以允許檢測被遺漏的對象。一個典型的示例是調(diào)整用于檢測和/或分類的閾值。閾值測量在窗口中檢測到的特征與此對象期望的特征有多接近(例如80％)。在rdu附近，閾值可以減小到例如70％。這可以允許對象被視覺算法檢測到，并且避免完全依賴于rdu來決定對象檢測。在又一個實施例中，如果處理資源和時間可用，則可以計算不同的特征或可以圍繞rdu使用不同的算法。

距離(或深度圖)對于許多adas應(yīng)用是重要的。在計算機視覺中，來自運動或立體攝像頭的結(jié)構(gòu)可以用于估計深度圖。在來自使用運動或昂貴立體攝像頭(硬件(兩個攝像頭)或軟件(視差算法))的結(jié)構(gòu)情況下，這通常無法提供足夠的密度。rdu距離用于構(gòu)建近似的距離圖。距離圖可以用于減小滑動窗口算法中的搜索空間、估計接觸時間(ttc)、以及可能放置視覺檢測框或調(diào)整視覺檢測框的大小。

在一個實施例中，如圖6a所示，距離圖被構(gòu)建。在圖中，rdu檢測被示為黑色方格，并且灰度值表示距離圖像底部的距離。距離圖按照如下所構(gòu)建。讓我們使用圖像的最低部分600處的距離值為零?？紤]圖像的左下部分中的rdu602，rdu的距離值被用作從圖像的最低部分起的距離的上限，并且距離從零逐漸增加到最低框600中的上限?，F(xiàn)在，圖像中最低框600的頂部位置被用作距離下限。第二方格604定義為從最低框的上限到圖像的中間右邊的rdu檢測的rdu距離值。重復(fù)該過程，直到到達最后一個rdu。如果諸如頂部框608沒有rdu可用，則不分配距離值。

在另一個實施例中，距離圖像610被定義為如圖6b所示。在該圖中，從rdu612距離值定義距離值，并將其分配給檢測614、616的鄰域中的所有像素。鄰域的大小取決于到攝像頭的距離、rdu的數(shù)目和所使用的雷達類型。這兩種方法可以組合，如圖7中所示，其中圖6a的方法用于短距離，而圖6b的方法用于遠距離700。

距離圖在視覺算法中具有多種用途。在一個實施例中，距離圖用于決定在視覺處理算法中使用的標度的數(shù)目。作為示例，如果對象距離較遠(大距離值)，則在滑動窗口算法中僅使用一個標度或兩個標度。這可以顯著節(jié)省處理時間。

在另一實施例中，距離圖用于ttc計算。ttc使用車輛前方的自由空間來估計到達圖像前面的對象的時間。ttc可以被定義為ttc＝距離/速度，其中“距離”是從距離圖估計的，而“速度”被定義為本車輛速度減去目標對象速度的相對的速度。目標對象速度可以從rdu距離變化率來計算。

在一個實施例中，可以基于距離圖來調(diào)整檢測框的位置和尺寸。例如，在文獻[“robustrangeestimationwithamonocularcameraforvisionbasedforwardcollisionwarningsystem(基于利用用于視覺的單目攝像頭的穩(wěn)健的距離估計的正向碰撞報警系統(tǒng))”，k.park和s.hwang，scientificworldjournal(科學(xué)世界期刊)，2014年1月]中公知，如果車輛的實際寬度已知，可以使用以下公式來定義圖像中的車輛寬度：圖像中的車輛寬度＝攝像頭焦距*(實際車輛寬度/z)，其中z是攝像頭前面的距離。使用諸如1.4m—2m的真實車輛寬度的特定值，可以估計圖像的寬度?？梢匀缦鹿烙媽ο蟮綀D像中的投影。在z處的道路中的點將以高度y投影到圖像，其中y由y＝焦距*(攝像頭高度/z)給出。

由于z從距離圖中已知，因此可以估計對象y的高度。該分析假定攝像頭被安裝成使得光軸平行于路面。如果攝像頭下俯，可以進行類似的分析。

在一個實施例中，使用rdu距離變化率來提高跟蹤速度和精度。在視覺跟蹤中，通過搜索圖像以在“t+1”的圖像中找到與時間“t”的圖像窗口的最佳匹配，在時間“t”檢測到的對象可以在時間“t+1”被跟蹤。如果沒有關(guān)于對象速度的信息可用，則搜索區(qū)域?qū)⑤^大且因此是耗時的。如果搜索空間較大，也可能最終在第二幀中匹配錯誤的圖像窗口。使用來自rdu的距離變化率和可能的方位角將幫助我們更好地估計對象移動了多少，并且因此將幫助我們將搜索集中在圖像的較小區(qū)域中。

圖8示出了上述實施例中提出的概念。在圖中，被示為黑框的在時間“t”處的檢測到的對象800在時間“t+1”處被跟蹤804。圖802中所示的箭頭可以從rdu距離變化率和方位角計算，并且讓我們在時間“t+1”處定義圖像中的搜索空間806。搜索空間在圖中用白色標記。雖然雷達不能提供到目標的良好的方位角，但它仍然可以用于如圖所示的限制搜索空間。

在又一個實施例中，rdu距離變化率也可以用于影響分類結(jié)果。作為示例，如果對象窗口擁有具有較大距離變化率(快速對象)的rdu，則其可以用于增加車輛類對卡車、或摩托車對自行車的置信度。

如前所述，激光雷達可以以類似的方式用于計算自由空間和距離圖。由于激光雷達提供更準確和更致密的數(shù)據(jù)，可以用更高的精度估計自由空間和距離圖。該方法對于稀疏激光雷達非常有用，其中在該激光雷達掃描期間僅有有限的測量可用。然而，激光雷達通常不能提供距離變化率，并且因此不能用于例如改善跟蹤。

在一個實施例中，激光雷達高度值可以用于以多種方式改善視覺檢測。作為示例，如果視覺檢測到的對象具有來自激光雷達的非常大的高度值，則可以將其用于視覺檢測不正確的指示，并且因此被丟棄。在另一示例中，如果檢測到的對象的激光雷達高度值小，則可以丟棄視覺檢測。

圖9示出了被配置為檢測鄰近車輛924的對象902的對象檢測系統(tǒng)900的非限制性示例。系統(tǒng)900包括雷達傳感器904，其用于檢測由雷達視場906中的對象所反射的雷達信號926。系統(tǒng)900也可以包括攝像頭908，其用于捕獲與雷達視場906重疊的攝像頭視場910中的對象902的圖像402(圖4)。系統(tǒng)900通常配置為將來自雷達傳感器904和攝像頭908的信息以利用這兩個設(shè)備的優(yōu)勢的方式組合，并從而補償雷達傳感器904和攝像頭908的劣勢。

為此，系統(tǒng)900也包括控制器912，其與雷達傳感器904和攝像頭908通信?？刂破?12配置為確定由雷達信號926所指示的圖像中雷達監(jiān)測400的位置，基于雷達檢測確定圖像402的參數(shù)曲線404，基于從雷達檢測導(dǎo)出的參數(shù)曲線404定義圖像402的感興趣區(qū)域406。優(yōu)選地，感興趣區(qū)域406是攝像頭視場910的子集。參數(shù)曲線404通過限制被處理的圖像402的面積來幫助減少圖像處理的量，因為感興趣的對象不期望在感興趣區(qū)域406之外。因此，控制器912配置為處理圖像的感興趣區(qū)域406以確定對象的身份914。

由于期望感興趣對象比由參數(shù)曲線404定義的邊界更遠離車輛924，所以控制器912配置為將感興趣區(qū)域406定義為在參數(shù)曲線上方404。

為了確定何時在圖像402中檢測到的某物已經(jīng)被充分分析，控制器912可以配置為基于圖像確定對象902的身份914的置信度值916，并且基于雷達檢測改變置信度值916。

當控制器基于雷達信號檢測對象且沒有在圖像中檢測到該對象時，控制器912可以減小控制器用來處理圖像的閾值918。

控制器912可以配置為基于與對象相關(guān)聯(lián)的雷達檢測計數(shù)922來確定對象的尺寸920。

盡管已針對其優(yōu)選實施例對本發(fā)明進行了描述，然而本發(fā)明不旨在受如此限制，而是僅受所附權(quán)利要求書中給出的范圍限制。