實(shí)施例大體上涉及濕道路表面的檢測(cè)。

背景技術(shù)：

在駕駛面上的降水導(dǎo)致車輛的幾個(gè)不同的問題。例如，道路上的水或雪降低了車輛的輪胎與道路表面之間的摩擦系數(shù)，導(dǎo)致車輛穩(wěn)定性問題。行進(jìn)道路上的水或雪的檢測(cè)通常由主車輛確定，該主車輛利用在降水已經(jīng)影響車輛操作(諸如檢測(cè)車輪滑移)時(shí)發(fā)生的一些感測(cè)操作來感測(cè)道路上的降水。因此，車輛必須監(jiān)測(cè)其自身的操作狀況(例如，車輪滑移)與干燥路面操作狀況以確定是否存在降水。結(jié)果，這種系統(tǒng)可以等待這種狀況發(fā)生，或者可以向車輛引入激勵(lì)，用于確定是否存在狀況(例如，如果存在降水，則產(chǎn)生用于引起車輪滑移的驅(qū)動(dòng)輪的突然加速)。

在使用捕獲的傳感器數(shù)據(jù)(例如圖像)的一些應(yīng)用中，所分析的圖像尺度可能妨礙檢測(cè)結(jié)果。也就是說，道路表面狀況可以隨著車輛沿著道路行進(jìn)而改變。例如，對(duì)于積雪覆蓋的道路，由于風(fēng)和其它要素，車輛道路可能具有積雪覆蓋的表面和干燥的覆蓋表面的斑塊。結(jié)果，取決于尺度并當(dāng)捕獲圖像時(shí)，相應(yīng)的道路表面檢測(cè)技術(shù)實(shí)際上可能檢測(cè)不到積雪覆蓋的表面。

技術(shù)實(shí)現(xiàn)要素：

實(shí)施例的優(yōu)點(diǎn)是通過融合不同縮放的傳感器數(shù)據(jù)來檢測(cè)積雪覆蓋的表面。本文描述的技術(shù)利用提供局部縮放、全局縮放以及其間的縮放的多個(gè)變化縮放的傳感器數(shù)據(jù)。局部縮放的傳感器數(shù)據(jù)提供更高的分辨率以允許系統(tǒng)自信地分析行進(jìn)道路的受限部分。而全局縮放的傳感器數(shù)據(jù)在較低的分辨率下提供了較大面積的行進(jìn)路徑的一般條件，因?yàn)榉治隽溯^大的表面積。在其間分析各種縮放的傳感器數(shù)據(jù)，并且結(jié)果被協(xié)作地融合以識(shí)別在傳感器數(shù)據(jù)中捕獲的道路表面狀況。縮放的傳感器數(shù)據(jù)的協(xié)作融合允許系統(tǒng)利用每一個(gè)縮放的數(shù)據(jù)可以在檢測(cè)行進(jìn)路徑的表面上的雪中提供的優(yōu)點(diǎn)。本文描述的技術(shù)利用基于特征的級(jí)別融合技術(shù)、基于決策的級(jí)別融合技術(shù)以及基于混合的方法，該基于混合的方法協(xié)作地利用基于特征的級(jí)別融合方法和基于決策的級(jí)別融合方法。

一個(gè)實(shí)施例設(shè)想了一種確定行進(jìn)路徑的表面狀況的方法。由基于傳感器的裝置獲得行進(jìn)路徑的表面的數(shù)據(jù)?；趥鞲衅鞯难b置以不同的尺度捕獲數(shù)據(jù)。由特征提取模塊將特征提取技術(shù)應(yīng)用于縮放數(shù)據(jù)中的每一個(gè)縮放數(shù)據(jù)。由處理器將融合技術(shù)應(yīng)用于所提取的特征以識(shí)別行進(jìn)路徑的表面狀況。道路表面狀況信號(hào)提供給控制裝置?？刂蒲b置應(yīng)用道路表面狀況信號(hào)以緩解濕道路表面狀況。

附圖說明

圖1示出了沿著濕表面道路行駛的車輛。

圖2示出了濕道路表面檢測(cè)系統(tǒng)的框圖。

圖3示出了用于檢測(cè)車輛周圍的對(duì)象的示例性環(huán)繞視圖成像系統(tǒng)。

圖4示出了基于特征級(jí)融合技術(shù)融合結(jié)果的第一技術(shù)的流程圖。

圖5示出了基于決策級(jí)融合技術(shù)融合結(jié)果的第二技術(shù)的流程圖。

圖6示出了使用混合技術(shù)用于在決策級(jí)識(shí)別道路表面狀況的融合結(jié)果的第三技術(shù)的流程圖。

具體實(shí)施方式

在圖1中示出的是，沿著行進(jìn)路徑12行進(jìn)的車輛10。以雪或水的形式的降水19示出為布置在行駛道路12上。有利的是知道車輛何時(shí)將沿著積雪覆蓋路徑12行駛，以使得可以通過將該信息提供給控制裝置來幫助車輛確定用于消除牽引力損失和雪可能對(duì)車輛造成的其它負(fù)面影響的適當(dāng)對(duì)策，來消除雪所導(dǎo)致的問題，諸如牽引力的損失。應(yīng)當(dāng)理解，盡管這里為了示例性目的而使用汽車，但是本文所述的實(shí)施例可以應(yīng)用于除了需要檢測(cè)雪表面狀況的汽車之外的其它類型的系統(tǒng)。除了可以利用該系統(tǒng)的汽車之外的車輛的示例包括但不限于鐵路系統(tǒng)、飛機(jī)、越野運(yùn)動(dòng)車輛、機(jī)器人車輛、摩托車、自行車、農(nóng)場(chǎng)設(shè)備以及建筑設(shè)備。

車輛道路12上的降水19可以導(dǎo)致在積雪覆蓋表面上行駛時(shí)的牽引力的減小。設(shè)置在車輛道路12上的降水19降低了車輛輪胎與車輛道路12之間的摩擦系數(shù)。結(jié)果，降低了車輛輪胎和車輛道路12之間的牽引力。識(shí)別道路上的降水可以進(jìn)一步幫助車輛確定適當(dāng)?shù)木徑饧夹g(shù)，以通過各種緩解技術(shù)來最小化牽引力的任何損失，該緩解技術(shù)包括但不限于警告駕駛員將車輛速度降低到有利于環(huán)境條件的速度；使用非常低的制動(dòng)力致動(dòng)車輛制動(dòng)器的自動(dòng)施加，以使形成在制動(dòng)部件的制動(dòng)表面上的降水最小化；當(dāng)檢測(cè)到降水時(shí)停用或限制巡航控制功能的激活；或通知駕駛員保持距前導(dǎo)車輛的更大的停止距離。

圖2示出了道路表面狀況檢測(cè)系統(tǒng)的框圖。多個(gè)基于傳感器的裝置20安裝在車輛上，用于獲得與道路表面有關(guān)的數(shù)據(jù)。用于獲得數(shù)據(jù)的各種類型的基于傳感器的裝置可以包括但不限于基于圖像的裝置(具有/不具有主動(dòng)照明源)、激光雷達(dá)(lidar)、雷達(dá)、紅外傳感器等。為了本文所述的說明性目的，基于車輛的圖像捕獲裝置將表示為多個(gè)基于傳感器的裝置20。多個(gè)基于車輛的圖像捕獲裝置20安裝在車輛上以捕獲車輛周圍的圖像。多個(gè)基于車輛的圖像捕獲裝置20可以安裝在車輛的前部、后部以及側(cè)部。圖3示出了用于檢測(cè)車輛周圍的對(duì)象的示例性360度環(huán)繞視圖覆蓋?；趫D像的捕獲裝置中的每一個(gè)協(xié)作地用于檢測(cè)并識(shí)別車輛每側(cè)上的對(duì)象?；趫D像的捕獲裝置20包括但不限于安裝到車輛前部的前視攝像機(jī)22，其捕獲向前和部分到車輛側(cè)部的圖像。駕駛員側(cè)攝像機(jī)24捕獲車輛的駕駛員側(cè)的圖像。乘客側(cè)攝像機(jī)26捕獲車輛的乘客側(cè)的圖像。向后攝像機(jī)28捕獲向后和到車輛側(cè)部的圖像。

再次參考圖2，處理器30處理由圖像捕獲裝置20捕獲的圖像。處理器30分析圖像和數(shù)據(jù)，以基于各種降水檢測(cè)技術(shù)確定道路表面上是否存在降水。各種技術(shù)可以包括但不限于鏡像光圖像分析技術(shù)、飛濺檢測(cè)技術(shù)和輪胎軌跡分析技術(shù)。

處理器30可以是諸如牽引力控制系統(tǒng)或其它系統(tǒng)的現(xiàn)有系統(tǒng)的一部分，或者可以是專用于分析來自圖像捕獲裝置22的數(shù)據(jù)的獨(dú)立處理器。

處理器30可以耦合到一個(gè)或多個(gè)輸出裝置，諸如控制器32，用于在基于處理器應(yīng)用的分析的情況下啟動(dòng)或致動(dòng)控制動(dòng)作?？梢灾聞?dòng)一個(gè)或多個(gè)對(duì)策以緩解降水可能對(duì)車輛的操作具有的影響。

控制器32可以是車輛子系統(tǒng)的一部分，或者可以用于使得車輛子系統(tǒng)能夠抵消降水的影響。例如，響應(yīng)于道路被雪覆蓋的確定，控制器32可以啟用電動(dòng)或電動(dòng)液壓制動(dòng)系統(tǒng)34等，其中在發(fā)生牽引損失的情況下準(zhǔn)備制動(dòng)策略。除了準(zhǔn)備制動(dòng)策略之外，一旦車輛進(jìn)入降水，制動(dòng)系統(tǒng)可以自主地施加輕制動(dòng)力，以便在沒有意識(shí)到駕駛員的情況下從車輛制動(dòng)器去除降水。當(dāng)手動(dòng)地施加由駕駛員進(jìn)行的制動(dòng)時(shí)，從車輪和制動(dòng)器去除降水積聚保持了車輛制動(dòng)致動(dòng)器與車輪的制動(dòng)表面之間的期望的摩擦系數(shù)。

控制器32可以控制牽引力控制系統(tǒng)36，該牽引力控制系統(tǒng)36單獨(dú)地將功率分配到每一個(gè)相應(yīng)的車輪，以便當(dāng)在道路表面上檢測(cè)到相應(yīng)的降水量時(shí)，諸如在水上滑行的情況下，通過相應(yīng)的車輪減少車輪滑移。

控制器32可以控制巡航控制系統(tǒng)38，當(dāng)在道路表面上檢測(cè)到降水時(shí)，該巡航控制系統(tǒng)38可以停用巡航控制或限制巡航控制的激活。

控制器32可以控制駕駛員信息系統(tǒng)40，用于向車輛駕駛員提供關(guān)于在車輛道路上檢測(cè)到的降水的警告。由控制器32致動(dòng)的這種警告可以警告駕駛員接近道路表面上的降水，并且可以建議駕駛員將車輛速度降低到有利于當(dāng)前環(huán)境狀況的速度，或者控制器32可以致動(dòng)警告以保持距被驅(qū)動(dòng)車輛前方的車輛的安全駕駛距離。應(yīng)當(dāng)理解，如本文所述的控制器32可以包括控制單獨(dú)功能或可以控制功能組合的一個(gè)或多個(gè)控制器。

控制器32可以進(jìn)一步控制自動(dòng)打開和關(guān)閉空氣擋板42的致動(dòng)，用于防止由于融化的雪而將水吸入到車輛的發(fā)動(dòng)機(jī)中。在這種情況下，當(dāng)檢測(cè)到水存在于車輛前方的道路表面上時(shí)，控制器32自動(dòng)地致動(dòng)空氣擋板42的關(guān)閉，并且當(dāng)確定水不再存在于道路表面上時(shí)，控制器32可重新打開空氣擋板。

控制器32可以進(jìn)一步控制無線通信裝置44的致動(dòng)，用于利用車對(duì)車或車對(duì)基礎(chǔ)設(shè)施通信系統(tǒng)自動(dòng)地將濕路面狀況傳送到其它車輛。

控制器可以進(jìn)一步向車輛駕駛員提供濕道路表面信號(hào)警報(bào)以防止使用自動(dòng)化特征，所述自動(dòng)化特征包括但不限于自適應(yīng)巡航控制、車道跟隨、車道變更、逃避/輔助轉(zhuǎn)向機(jī)動(dòng)、自動(dòng)緊急制動(dòng)等。

如上所述，執(zhí)行積雪道路表面檢測(cè)技術(shù)以確定道路表面是否具有布置在表面上的雪。各種因素可影響是否成功檢測(cè)到道路表面上的降水?？捎绊懙缆繁砻鏍顩r的成功檢測(cè)的一個(gè)因素包括圖像的尺度。也就是說，不同的縮放圖像可能指示不同的道路表面狀況，因?yàn)榈缆繁砻婵赡懿痪哂芯鶆驙顩r(例如，均勻的天氣模式)。例如，捕獲局部大小尺度的道路表面的圖像可以具有高分類準(zhǔn)確度，因?yàn)橹挥袑?dǎo)致高分辨率的道路表面的限制部分被分析，允許系統(tǒng)自信地分析道路的該受限部分。然而，干燥和積雪覆蓋的道路表面二者的斑塊可能存在于行進(jìn)路徑上，并且如果圖像僅捕獲干燥部分，則檢測(cè)結(jié)果可能是不正確的，因?yàn)闆]有分析關(guān)于包含雪區(qū)的行進(jìn)路徑的其它部分的信息缺乏。關(guān)于大/全局尺度捕獲的道路圖像，相對(duì)于行進(jìn)路徑的一般條件，捕獲并分析更多的信息，因?yàn)榉治隽烁蟮谋砻娣e。雖然可以分析更大的表面積，但分類準(zhǔn)確度和置信度低于局部尺度的分類準(zhǔn)確度和置信度。結(jié)果，在大圖像尺度和局部圖像尺度之間范圍內(nèi)的各種圖像尺度將彼此相對(duì)具有優(yōu)點(diǎn)和缺點(diǎn)。如本文所述的系統(tǒng)利用多個(gè)不同大小的尺度，并且結(jié)果被協(xié)作地融合以識(shí)別在圖像中捕獲的道路表面狀況。

圖4示出了基于用于識(shí)別特征級(jí)的道路表面狀況的特征融合級(jí)技術(shù)融合結(jié)果的第一技術(shù)的流程圖。多個(gè)圖像50各自以不同的尺度捕獲，其中捕獲道路表面的不同程度的區(qū)域覆蓋。示例性局部尺度一般在52處示出，其中捕獲道路的特寫圖像。在示例性局部尺度圖像52中，道路表面的非常受限的區(qū)域包圍整個(gè)圖像(例如，道路的2×2英寸區(qū)域)。圖像越局部化，圖像將提供的分辨率越高，這有助于增加分類準(zhǔn)確度和置信度。然而，圖像越局部化，關(guān)于在受限區(qū)域之外的道路表面的表面狀況提供的細(xì)節(jié)越少，這導(dǎo)致缺少關(guān)于受限區(qū)域之外的道路表面的一般狀況的信息。

示例性全局尺度圖像通常在54處示出，其中在圖像中捕獲行進(jìn)的道路的長(zhǎng)延伸部(例如，300英尺)。全局尺度基于道路表面狀況是否一致或者狀況是否是零星的來提供道路表面狀況的更多細(xì)節(jié)。盡管全局縮放圖像54提供關(guān)于沿著道路的顯著距離的狀況的均勻性的增強(qiáng)洞察，但是在全局尺度圖像54中存在較小的分辨率。較小的分辨率導(dǎo)致降低的分類準(zhǔn)確度和置信度。

范圍在局部尺度圖像52和全局尺度圖像54之間的多個(gè)中間尺度圖像通常由56表示，并用于分析。改變尺度圖像的程度將提供圖像分辨率和表面均勻性信息之間的折衷。結(jié)果，隨著增加的分類準(zhǔn)確度和置信度以及在道路的相當(dāng)距離上的表面狀況的均勻性，可以協(xié)作地分析尺度中的每一個(gè)尺度以用于確定道路的狀況。

對(duì)于每一個(gè)捕獲的縮放圖像，特征提取模塊58應(yīng)用特征提取技術(shù)來提取每一個(gè)捕獲的縮放圖像中的特征。特征提取從測(cè)量數(shù)據(jù)的初始集合(例如，來自圖像的原始像素值)開始，并建立旨在是信息性的和非冗余的導(dǎo)出值(特征)，有助于模塊62中的后續(xù)分類。如何導(dǎo)出特征最常見的是由非常好地理解該問題的人們明確地定義。例如，捕獲圖像ii的一些常用的手工制造特征vi是邊緣、定向梯度直方圖(hog)、尺度不變特征變換(sift)等。除了這些手工制造的特征之外，還存在另一種類型的技術(shù)，在沒有人為干預(yù)或協(xié)助的情況下其自動(dòng)從數(shù)據(jù)中發(fā)現(xiàn)特征。深度學(xué)習(xí)是通過使用具有復(fù)雜結(jié)構(gòu)或多個(gè)非線性變換的多個(gè)處理層來對(duì)數(shù)據(jù)中的高級(jí)抽象進(jìn)行建模的方法。在一些應(yīng)用中已經(jīng)表明，通過深度學(xué)習(xí)技術(shù)發(fā)現(xiàn)的特征比那些手工制作的特征具有更好的性能。

在從每一個(gè)相應(yīng)縮放的圖像提取特征之后，將提取特征中的每一個(gè)提取特征輸入到特征級(jí)融合模塊60，其中特征融合應(yīng)用于提取特征中的每一個(gè)提取特征。特征級(jí)融合模塊可以是處理器或另一處理器的一部分。優(yōu)選地，提取特征各自表示為包括由深度學(xué)習(xí)技術(shù)等產(chǎn)生的表示因素(例如，若干或一組數(shù)字)的矢量vi。特征級(jí)融合模塊60融合提取的特征以形成融合矢量特征v為：

v＝f(v1，v2，...，vk)

其中函數(shù)f(x)以不同尺度的特征矢量作為輸入，并且然后將它們?nèi)诤显谝黄鹨陨扇诤咸卣魇噶縱。函數(shù)f(x)的簡(jiǎn)單示例將每一個(gè)尺度的特征矢量簡(jiǎn)化為

在融合特征矢量之后，例如，連接特征矢量，融合矢量v輸入到分類器62。分類器62將道路表面狀況分類為融合矢量的函數(shù)。

所確定的道路狀況被輸出到輸出裝置64。輸出裝置64可包括用于警告駕駛員積雪道路表面狀況的視覺警報(bào)/警告。輸出裝置64可以進(jìn)一步包括如前所述的控制器中的一個(gè)控制器，其使用道路表面狀況的信息來實(shí)現(xiàn)用于緩解導(dǎo)致道路表面狀況的牽引力損失的對(duì)策。輸出裝置64可以進(jìn)一步包括與遠(yuǎn)程車輛、固定實(shí)體或其它相應(yīng)實(shí)體通信以向其他人提供濕道路表面的通知的通信裝置。

圖5示出了基于用于在決策級(jí)識(shí)別道路表面狀況的決策級(jí)的融合結(jié)果的第二技術(shù)的流程圖。以不同的尺度捕獲多個(gè)圖像50，其中捕獲道路表面的不同程度的區(qū)域覆蓋。特征提取模塊58將深度學(xué)習(xí)特征提取技術(shù)應(yīng)用于在局部尺度52、全局尺度54和中間尺度56處捕獲的圖像以用于特征提取。

響應(yīng)于從每一個(gè)縮放圖像提取特征，所提取的特征獨(dú)立地輸入到分類器62，用于識(shí)別每一個(gè)縮放圖像的道路表面狀況。也就是說，使用每一個(gè)提取的特征vi來對(duì)道路表面狀況ci進(jìn)行分類。

在每一個(gè)相應(yīng)提取的特征由分類器62獨(dú)立地分類之后，分類狀況中的每一個(gè)被輸入到?jīng)Q策級(jí)融合模塊63，用于融合分類結(jié)果中的每一個(gè)分類結(jié)果。決策級(jí)融合模塊可以是處理器或另一處理器的一部分。通過融合確定的道路表面狀況ci中的每一個(gè)來確定最終道路表面狀況c。例如，最終道路表面狀況c可以使用以下公式來確定：

c＝∑f＝1，...，kwici

其中wi是由每一個(gè)ci的分類置信度確定的權(quán)重，或者可以基于先驗(yàn)知識(shí)。先驗(yàn)知識(shí)可以是任何先前的測(cè)試或先前經(jīng)驗(yàn)，其提供關(guān)于基于當(dāng)前狀況什么置信度水平將與相應(yīng)比例相關(guān)聯(lián)的更大的洞察。

響應(yīng)于最終道路表面狀況c的確定，該結(jié)果被輸出到輸出裝置64，該輸出裝置64可以包括用于警告駕駛員的視覺警報(bào)/警告，用于緩解道路表面狀況的控制器，或用于警告其它實(shí)體積雪道路表面狀況的通信裝置。

圖6示出了使用混合技術(shù)用于在決策級(jí)識(shí)別道路表面狀況的融合結(jié)果的第三技術(shù)的流程圖。如前所述，以不同的尺度捕獲多個(gè)圖像50，其中捕獲道路表面的不同程度的區(qū)域覆蓋。深度學(xué)習(xí)特征提取技術(shù)應(yīng)用于在局部尺度52、全局尺度54和中間尺度56處捕獲的圖像以用于特征提取。

圖4中(即特征級(jí)融合)和圖5中(即決策級(jí)融合)描述的融合技術(shù)應(yīng)用于所提取的特征以用于生成兩個(gè)獨(dú)立的融合結(jié)果。特征級(jí)融合結(jié)果通常由70表示。決策級(jí)融合結(jié)果通常由72表示。

特征級(jí)融合結(jié)果70被輸入到分類器62，用于對(duì)特征融合結(jié)果進(jìn)行分類并生成所得的道路表面狀況。

決策級(jí)融合結(jié)果72已經(jīng)被分類，因此決策級(jí)融合結(jié)果72不需要附加分類。

由分類器62和決策級(jí)融合結(jié)果72分類的特征級(jí)融合結(jié)果70被輸入到混合融合模塊74，其中這些相應(yīng)的結(jié)果被融合在一起以生成融合分類ch。例如，可以使用以下公式確定融合分類ch：

ch＝wfcf+wdcd

其中cf是特征級(jí)融合結(jié)果，wf是cf的分類置信度，或者可以基于先驗(yàn)知識(shí)，cd是決策級(jí)融合結(jié)果，并且wd是cd的分類置信度，或者可以基于先驗(yàn)知識(shí)。

響應(yīng)于最終道路表面狀況ch的確定，結(jié)果被輸出到輸出裝置64，該輸出裝置64可以包括用于警告駕駛員的視覺警報(bào)/警告，用于緩解道路表面狀況的控制器和/或用于警告其它實(shí)體積雪道路表面狀況的通信裝置。

雖然已經(jīng)詳細(xì)描述了本發(fā)明的某些實(shí)施例，但是本發(fā)明所涉及領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到用于實(shí)施由所附權(quán)利要求限定的本發(fā)明的各種替代設(shè)計(jì)、過濾過程以及實(shí)施例。