專利名稱：使用分級方法的暢通路徑檢測的制作方法
技術領域：
本發(fā)明涉及機動車輛的自動或半自動控制。
背景技術：
本部分的陳述僅僅提供與本發(fā)明相關的背景信息，可能不構成現有技術。自主駕駛系統和半自主駕駛系統利用與路況和其它駕駛情況相關的輸入來自動 控制節(jié)氣門和轉向機構。精確地估計并識別機動車輛所能行駛的暢通路徑，對于成功取代 以人腦作為控制機構的車輛操作來說是至關重要的。路況可能會很復雜。在車輛正常操作的情況下，駕駛員每分鐘進行數百次觀察并 根據所感知的路況來調整車輛操作。感知路況的一個方面是感知車道上和周邊的物體并在 物體中間導航出暢通路徑。用科技來取代人類的感知首先包括精確感知物體的手段，例如， 包括靜態(tài)物體(如路緣等)、移動物體(如其他車輛)以及路面情況(如車道標記、凹坑或 者車道上的結冰區(qū)域)；還包括繼而根據這些與導航相關的信息進行有效地駕駛。感知物體或路況的科技手段包括從視頻攝像機、雷達成像、以及激光雷達(LIDAR) 所得到的數據。攝像機將輻射形式的視覺圖像-如光圖案或紅外特征轉換成可讀數據格 式。一種這類數據格式包括像素圖像，在像素圖像中，感知到的場景被分割成一系列像素。 雷達成像利用發(fā)射器產生的無線電波來估計出現在發(fā)射器前方的形狀和物體。由這些形狀 和物體反射回來的電波圖案能夠被分析，從而估計物體的位置。類似地，LIDAR使用光源和 來自車輛環(huán)境的返回光來產生環(huán)境信息。有關車輛前方地面的數據一旦產生，這些數據必須經過分析來估計物體或者路況 的存在。通過使用攝像機、雷達成像系統以及LIDAR，可以分析車輛前方的地面或道路，從而 得到可能需要避開的物體或路況。然而，僅僅識別那些需要避免的潛在導航因素并沒有完 成分析過程。任何自主系統的一個重要元素都包括如何處理并操縱在所感知的地面數據中 識別出的潛在導航因素以便識別操作車輛的暢通路徑。一種已知的識別操作車輛的暢通路徑的方法是將所有感知到的導航因素進行分 類并臨時性地識別所有感知到的導航因素，并且根據所識別的導航因素的位置和特性來識 別暢通路徑?？筛鶕D像的形式以及圖像與道路的關系來處理這些圖像，從而識別并分類 導航因素。盡管在識別暢通路徑時該方法是有效的，但是其需要大量的處理能力，例如，在 視覺圖像中辨別不同的物體并對其進行分類，比如區(qū)分路邊的樹以及走向路緣的行人。這 些方法在處理復雜情況時的速度慢或者有效性差，或者需要笨重且昂貴的設備來提供必須 的處理能力。

發(fā)明內容
一種使用攝像機產生的圖像檢測車輛行駛的暢通路徑的方法，該方法包括監(jiān)測 圖像；以及應用圖像的基于補片的第一分析，該第一分析包括將圖像分成多個補片以及分 析每個補片以確定基于補片的第一分析的每個補片的第一暢通路徑信心幾率。具有大于第 一閾值信心幾率的第一暢通路徑信心幾率的每個補片被定義為暢通路徑補片。在具有不大 于第一閾值信心幾率的第一暢通路徑信心幾率的部分補片上應用第二分析以確定第二分 析的每個補片的第二暢通路徑信心幾率。具有大于第二閾值信心幾率的第二暢通路徑信心 幾率的第二分析的每個補片被定義為暢通路徑補片?；跁惩窂窖a片識別車輛行駛的暢 通路徑。


現在將參考附圖通過示例來描述一個或多個實施方式，附圖中圖1示出了配備有根據本發(fā)明的攝像機和雷達成像系統的車輛的示例性設置；圖2示出了根據本發(fā)明的一種在自主行駛中確定暢通路徑的已知方法；圖3示出了根據本發(fā)明的一種使用圖像幾率分析來確定暢通路徑的示例性方法；圖4示出了根據本發(fā)明的一種分析圖像的示例性方法；圖5示出了根據本發(fā)明的一種通過調整單個閾值來確定分類誤差的示例性方法；圖6A、6B和6C示出了根據本發(fā)明的一種通過計算絕對圖像強度差別來確定圖像 差別的示例性方法；圖7示出了根據本發(fā)明的、將一個特征同時分類為暢通路徑的一部分和被檢測物 體的、作為圖像分析方法的一種示例性方法；圖8示出了根據本發(fā)明的、將一個特征同時分類為暢通路徑的一部分和被檢測物 體的、作為圖像分析方法的另一種示例性方法；圖9示出了根據本發(fā)明的一種基于補片來檢測暢通路徑的示例性方法的流程圖；圖10以繪圖方式示出了根據本發(fā)明的應用于示例性圖像的示例性的多個透視補 片；圖11是根據本發(fā)明的用于檢測暢通路徑的基于富含紋理像素的方法的流程圖；圖12是根據本發(fā)明的用于檢測暢通路徑的基于無紋理像素的方法的流程圖；圖13是根據本發(fā)明的使用暢通路徑檢測方法的第一等級結構檢測車輛行駛的暢 通路徑的流程圖；圖14是根據本發(fā)明的使用暢通路徑檢測方法的第二等級結構檢測車輛行駛的暢 通路徑的流程圖；圖15示意性地示出了根據本發(fā)明的示例性的基于示例的方法的操作。
具體實施例方式現在參考附圖，附圖的目的僅在于示出某些示例性實施方式，而并非用于限制本 發(fā)明，圖1示出了根據本發(fā)明的攝像機110的示例性設置，攝像機110定位在車輛100前部 并指向車輛100前方的地面。攝像機110與處理模塊120進行通訊，處理模塊120包含處理來自攝像機110的輸入的邏輯算法。車輛100也可以配備雷達成像系統130，當配備雷達 成像系統130時該系統同樣也與處理模塊120進行通信。本領域技術人員應該理解的是， 車輛100能夠利用多種方法來識別路面狀況，這些方法可與攝像機110和雷達成像系統130 同時使用或者選擇使用，包括LIDAR、與數字地圖結合的GPS信息、來自與車輛100通信的其 他車輛的信息、來自與車輛100通信的基礎設施的信息、特定道路的歷史數據、生物檢測信 息-例如讀取駕駛員視覺焦點的系統信息、或其他類似系統。本發(fā)明可應用于各種設備，因 此不局限于此。攝像機110是本領域公知的，其能夠將光輻射、紅外輻射或其他電磁(EM)輻射形 式的視覺輸入轉換成易于分析的數據格式，例如數字圖像、像素圖像。在一個實施方式中， 攝像機110使用電荷耦合裝置(CCD)傳感器來產生表示視場的圖像。優(yōu)選地，攝像機110被 配置成連續(xù)產生圖像，例如，每秒鐘產生30幅圖像。由攝像機110產生的圖像可以存儲在攝 像機110內的存儲器中或者傳給處理模塊120來存儲和/或分析。優(yōu)選地，攝像機110所 產生的每幅圖像都是由多個可識別像素構成的、已知像素維度的二維圖像。多個可識別像 素能夠以陣列方式來存儲和分析。每個像素可以在陣列中表示為一組比特(bit)或多組比 特，其中，比特對應于預定調色板或色彩圖中的顏色。例如在紅-綠-藍(RGB)顏色模式或 青-品紅-黃-黑(CMYK)顏色模式中，每個像素能夠表示成多個顏色強度值的函數。優(yōu)選 地，每個像素包括多組比特，其中每組比特對應于一個顏色強度和一個顏色強度值，例如， 在RGB顏色模式中，第一組比特對應于紅色強度值，第二組比特對應于綠色強度值，第三組 比特對應于藍色強度值。雷達成像裝置130是本領域公知的裝置，其包含如下設備發(fā)射器，其能夠發(fā)射無 線電波或其他電磁輻射；接收器，其能夠感測被發(fā)射器前的物體反射而回到接收器的發(fā)射 波；以及將感測到的波轉換成能夠分析的數據格式的裝置，這些數據表示出從物體反射回 的波的范圍和角度等信息。替代性地，可使用光檢測和測距(LIDAR)系統來取代雷達成像 裝置130或者作為其補充，光檢測和測距系統被構造成發(fā)射并接收光能量。接收到的光能 量可以用來確定車輛100附近的物體的尺寸和/或幾何參數。需注意的是，對于執(zhí)行這里 公開的很多方法而言，雷達成像裝置130是可選的而不是必須的，其中，處理視覺圖像能夠 實現暢通路徑檢測。此處所用的術語“暢通路徑(clear path) ”的含義對本領域普通技術 人員來說是普通的、常規(guī)的含義(并且不限定于特殊的或專用的含義)，其指的是_但不局 限于不存在超過閾值的物體的路徑。圖1示出了處理模塊120，這里將處理模塊120描述成一個分立元件。這種圖示 是為了描述方便，應該認識到這個元件所實現的功能可以由一個或多個裝置組合完成，例 如在軟件、硬件和/或專用集成電路中執(zhí)行。處理模塊120可以是一個通用數字計算機，其 包括微處理器或中央處理單元；由包括只讀存儲器的非易失性存儲器和電子可編程只讀 存儲器組成的存儲介質；隨機存取存儲器；高速時鐘；模_數和數_模轉換電路；輸入/輸 出電路和裝置以及適當的信號調節(jié)和緩沖電路。可替換地，處理模塊120可以是一個數字 信號處理(DSP)單元，例如現場可編程門陣列的定制集成電路。處理模塊120具有一組處 理算法，這些算法包括在非易失性存儲器中存儲并且被執(zhí)行以提供所需功能的常駐程序指 令和校準值。算法優(yōu)選在預設環(huán)路循環(huán)中執(zhí)行。算法由中央處理單元執(zhí)行，并能夠監(jiān)測來 自上述檢測裝置的輸入，并且這些算法通過使用預設的校準值來執(zhí)行控制和診斷程序以便控制致動器的操作。環(huán)路循環(huán)可以規(guī)則性間隔執(zhí)行，例如，在發(fā)動機運行和車輛操作中，每 3. 125,6. 25、12. 5、25和100毫秒執(zhí)行一次?？商鎿Q地，算法可以響應于事件的發(fā)生來執(zhí)行。處理模塊120處理在其中存儲的算法代碼，以便監(jiān)測相關儀器，如攝像機110、雷 達成像系統130，并執(zhí)行在處理模塊內進行的分析所指示的命令或數據傳輸。處理模塊120 可包括算法和機構來實現自主駕駛控制，其實現方式在本領域中是已知的，在此不再詳述； 或者，處理模塊120可以僅僅為一個獨立的自主駕駛系統提供信息。處理模塊120適于在 必要的時候接收來自其他系統和操作者的輸入信號，這取決于與控制模塊結合使用的具體 實施方式。圖2示出了根據本發(fā)明的一種在自主行駛中確定暢通路徑的已知方法。對應于車 輛100前方的道路產生圖像10。通過多種方法中的一種，物體40A、40B和40C在圖像10內 被識別，且每個物體根據過濾和訓練的物體特性來進行分類。每個物體的單獨處理在計算 量方面的強度較大，需要昂貴且笨重的儀器才能承受這種計算負荷。一種算法處理所有與 道路和物體40有關的可用信息，以便估計對車輛100來說可行的暢通路徑。暢通路徑的確 定取決于被識別物體40的特定分類和特性。圖3示出了根據本發(fā)明的一種為自主或半自主行駛確定暢通路徑的示例性方法。 圖像10示出為包括地面20、水平線30以及物體40。圖像10由攝像機110收集，并表示車 輛100前方的道路環(huán)境。地面20代表了在不考慮任何潛在物體的情況下所有可供車輛行駛 的路徑。圖3所示的基于路面20確定暢通路徑的方法首先假設所有地面20都是暢通的，然 后利用可用數據來確定地面20的某些部分是不暢通的。圖2是將每個物體40進行分類， 與圖2的方法不同，圖3的方法分析地面20，并從可用數據中限定出暢通路徑信心幾率，其 中，可用數據指的是因為一些異常而限制通行或不暢通的那部分地面20的數據，這些異常 是可檢測的且可能代表物體40。關注地面20而不是物體40就避免了檢測物體所帶來的復 雜的計算任務。單獨分類和對每個物體進行追蹤就不是必須的了，因為獨立的物體40都被 簡單地統一為地面20上的整體均勻阻礙的一部分。上述地面20-也即在不進行區(qū)分的情況 下都能夠行駛的路徑減去地面20上被發(fā)現不暢通的不暢通區(qū)域，就可定義出暢通路徑50， 也即圖3中虛線內的區(qū)域，或者具有允許車輛100行駛的某個閾值信心幾率的區(qū)域。在地面20上產生不暢通限制的物體40有多種形式。例如，物體40可以代表一個 獨立的物體，如停著的汽車、行人或者道路障礙；物體40還可以代表不太明顯的表面圖案 變化，這些變化指示諸如路側緣的路邊緣、草的輪廓線或者道路上的水。物體40還可以包 括與地面20相聯系的平坦路面的缺失，例如，路面上的大坑。物體40還可以包括相對于路 面在高度上沒有任何明顯變化的指示牌，但對于該路段來說是明顯的暢通路徑提示，例如 道路上的指示車道標記的圖案。這里公開的方法并沒有試圖去識別物體40，而是通過提取 地面20上的視覺線索以及所有在圖像10中的地面附近的物體，從而評估不暢通路徑和暢 通路徑的暢通路徑信心幾率，并在任何物體40存在時調整車輛100的控制。二維(2D)圖像的自動分析有多種可行的方法。由處理模塊120內的算法對圖像 10進行分析。圖4示出了根據本發(fā)明的一種可用于分析圖像10的示例性方法。該方法將 圖像10細分，識別地面20上的子圖像或補片60來進行分析，從補片60中提取特征或分析 可用的視覺信息，以識別出其中的任何關切特征(interesting features)或區(qū)別特征，并 依據對特征的分析、根據暢通路徑的信心幾率來對補片進行分類。大于特定幾率閾值的補片被歸類為暢通的，對這類補片的匯編能夠用來構成圖像內的暢通路徑。作為圖像10的子圖像，補片60能夠通過多種已知方法來識別，例如，圖像10的隨 機搜索或密集搜索。可替換地，從其他信息源_例如雷達成像系統130得到的有關物體40 存在的信息能夠用來識別補片，以分析能夠描述物體40的那部分圖像10。圖像10需要很 多補片60來分析整個圖像。另外，多個疊層補片或不同大小的補片能夠用來全面分析包含 關切信息的圖像10的區(qū)域。例如，一個小的補片60能夠用來分析路上的一個小點；然而， 一個大的補片60需要用來分析一系列的點，這些點獨自看來都不是關切點，但是對于整個 系列來說，其能夠指示出關切物體40。另外，應用到某特定區(qū)域的補片的分辨率可以基于可 用信息進行調制，例如，可應用更多的補片到圖像10中的物體40可能存在的區(qū)域。多種手 段或策略可以用來確定用于分析的補片60，本發(fā)明不限于這里所述的具體實施方式
。一旦補片60已被識別而用于分析，處理模塊120就通過將已知的特征識別算法應 用到該補片而對該補片進行處理。另外，處理模塊120能夠對補片相對于車輛位置的位置 進行分析。特征識別算法尋找可用的視覺信息，以便找到與物體相關的圖像中的特征性圖 案，包括由線的方向、線的位置、顏色、角落特點、其他視覺屬性和學習屬性所定義的特征。 特征識別算法可以被應用到連續(xù)圖像中以識別與車輛運動對應的變化，其中，與地面運動 不相關的變化可能被識別為不暢通路徑。學習屬性可通過車輛內的機器學習算法來學得， 但學習屬性通常進行離線編程，且能夠通過足以精確地訓練區(qū)別屬性的建模或其他技術以 實驗方式、經驗方式、預測方式來開發(fā)?！┭a片60中的特征被提取，補片就基于特征被分類以確定路徑是否為暢通路 徑的信心幾率。幾率分析在本領域是已知的，在這種分析中存在某特定條件的幾率值或信 心被導出。應用到本發(fā)明中，分類包括幾率分析以確定補片是否代表暢通路徑、或者該補片 中的地面20是否被物體40所限制。在一個示例性實施方式中，分類通過應用分類器或算 法來實施，其中，所述算法因被訓練而含有數據庫，該數據庫包括示例性路況以及與被檢測 物體的相互作用。這些分類器允許處理模塊120導出補片60的分數型式的暢通路徑幾率 值，該幾率值將信心值量化在0與1之間，在該區(qū)間中，在補片內識別出的特征并不代表一 個將會限制車輛100自由行駛的限制物體40。閾值信心限定確定該補片是暢通路徑的暢 通路徑幾率，例如可通過如下邏輯來設定閾值信心信心=暢通路徑幾率(i)如果_信心> 0. 5，那么_補片=暢通路徑(1)在這個特定的示例性實施方式中， 50%或者0. 5的信心被選定為閾值信心。該數字能夠通過足以精確評估用于暢通路徑特征 的補片的建?；蚱渌夹g而實驗方式、經驗方式、預測方式來得出。在一個示例性實施方式中，如上所述的幾率分析能夠通過將訓練過的分類器應用 到從補片提取的特征來實現。一種方法通過使用一組訓練圖像來分析假定的特征。在該 訓練階段，從一個原始特征組中來選擇區(qū)別特征，區(qū)別特征由本領域的已知方法定義，例如 Harr小波、Gabor小波以及Leung和Malik濾波器組。另外，基于每個特征的最小分類誤差 并且計算為錯誤接受率(FAR)和錯誤拒絕率(FRR)的總和的二維圖像位置信息能夠通過調 制圖5所示的單一閾值而被使用。這種分類誤差能用下面的表達式來描述分類誤差(i) =FARJFRRi(2)從訓練過的分類器中得到的信息用來分類或 加權特征，作為指示暢通路徑或不暢通路徑的特征。該特定分類取決于與訓練數據的比較 強度。如果該特征是補片內的唯一特征，那么該特征的分類能夠直接應用到該補片。有多個識別特征的補片的分類可能有多種形式，包括由最能代表補片是不暢通的包含特征來定 義補片，或者由所有包含特征的加權和來定義補片。上述方法能夠用來檢查單一圖像10，并基于圖像10內所包含的視覺信息來估計 暢通路徑50。該方法可以隨著車輛沿道路行駛而以某種間隔重復，從而考慮新的信息并將 確定的暢通路徑擴展至車輛的新位置前方的某些范圍。間隔的選擇必須能夠以足量頻率來 更新圖像10，以便準確地為車輛100提供行駛的暢通路徑。然而，該間隔也可以選擇為足以 控制車輛同時不會對處理模塊120施加過度的計算負荷的某個最小值。如上所述，暢通路徑檢測能夠通過單一圖像10來完成。但是，補充使用與原始圖 像的時間間隔非常近的第二幅圖像，例如從連續(xù)視頻補片得到的一系列圖像，則能夠提高 處理速度和精確度。第二幅圖像能夠與第一幅圖像直接比較，并提供有關車輛行進和被檢 測物體運動的最新信息。同時，攝像機110視角的改變允許對第一幅圖像中的特征進行不 同的分析在第一幅圖像中沒有清晰地顯現的或者不清楚的特征可能在不同的攝像角度中 出現、更加清楚，或者與第一幅圖像相比已經移動的特征，也能夠使得分類算法有額外的機 會來定義該特征。處理與原始圖像10相關的第二幅圖像能通過計算圖像差異來進行。如果關切點 的圖像差異-例如由雷達識別出的特征不是0，那么該點能夠被識別為體現新的信息。圖像 差別為0的點能夠從分析中排除，且計算資源能夠保留。確定圖像差異的方法包括絕對圖 像強度差異和車輛運動補償的圖像差異。通過計算絕對圖像強度差異而確定圖像差異能夠用來收集兩幅圖像之間的信息。 一種絕對圖像強度差異方法包括如下步驟確定原始圖像與第二幅圖像之間的等效圖像特 征，以便補償圖像之間的車輛運動；重疊圖像；并標注出圖像強度之間的任何的顯著變化。 表示圖像強度在某個特定區(qū)域的變化的圖像之間的比較包含新的信息。強度上顯示出無變 化的區(qū)域或補片在分析中不再被強調，而在強度上顯示出明顯變化的區(qū)域被重點關注，使 用上述方法來分析任一或兩個所獲取的圖像上的補片。圖6A、6B和6C示出根據本發(fā)明的一種通過計算絕對圖像強度差異來確定圖像差 異的示例性方法。圖6A示出了原始圖像。圖6B示出了比原始圖像有所變化的第二幅圖像。 特別是圓圈向左移動了。圖6C示出了兩幅圖像的比較，所得結論代表了絕對圖像強度差異 比較的結果，從第一幅圖像到第二幅圖像識別出一個區(qū)域的亮度變深、另一個區(qū)域的亮度 變淺。這種方法能夠描述為區(qū)別。這種比較分析產生某種信息，該信息表明由運動或視角 變化引起的某種變化可能存在于圖像區(qū)域中。這樣，絕對圖像強度差異能夠用來分析一對 連續(xù)圖像以識別潛在的不暢通路徑。同樣，通過計算車輛運動補償的圖像差異來確定圖像差異能夠用來收集兩幅圖像 之間的信息。計算車輛補償的圖像差異的很多方法是已知的。一種計算車輛補償的圖像差 異的示例性方法包括分析一個潛在物體，將其同時作為暢通路徑的靜態(tài)部分以及被檢測物 體。對特征實施幾率分析，其中，該特征是根據同時對兩種分類的潛在物體進行識別所得到 的，分類可以被比較，例如可通過以下邏輯進行這種比較信心⑴=暢通路徑幾率⑴-被 檢測物體幾率⑴如果_信心>0，那么_補片=暢通路徑(3)在這 種示例性的比較中，如果信心(i)大于0，那么包含該特征的補片被分類為暢通路徑。如果 信心(i)等于或小于0，那么包含該特征的補片被分類為不暢通路徑或受限制路徑。然而，可以選擇不同的信心水平數值來將路徑分類為暢通路徑。例如，測試可能會表明錯誤正值 比錯誤負值更有可能出現，因此可能會引入一些因數或偏差。圖7示出了根據本發(fā)明的一種將特征進行分類的方法，如上所述，該特征同時作 為暢通路徑的一部分和被檢測物體被分類。圖像10包括物體40、梯形投影70和矩形投影 80。這種方法假定投影物體40作為地面上投影70內的平面物體，以測試作為暢通路徑的一 部分的特征的分類。該方法還假設投影物體40作為一個在矩形投影80內的垂直物體，來測 試特征作為被檢測物體的分類。圖8示出了根據本發(fā)明對在兩幅圖像之間收集的數據進行 比較以評價本發(fā)明的物體40的屬性的方法。攝像機110在、時刻發(fā)現并以第一幅圖像的 形式獲取了來自物體40的數據。如果物體40是一個實際檢測到的物體，那么在、時刻攝 像機110觀測到的物體40的輪廓將與點90A相對應。如果物體40是一個與地面20在同一 平面上的平坦物體，那么攝像機110在、時刻觀測到的物體40的輪廓將與點90B相對應。 在時刻、和t2之間，攝像機110行駛了一定的距離。在t2時刻獲取第二幅圖像，關于物體 40的信息能用算法來進行測試，該算法著眼于第二幅圖像相對于第一幅圖像的可見屬性。 如果物體40是一個實際檢測到的物體，且從地面20向上延伸，那么在時刻t2物體40的輪 廓將在點90C處被觀察到。如果物體40是一個與地面20在同一平面上的平坦物體，那么 物體40在時刻t2的輪廓將在點90B處被觀察到。通過車輛運動補償的圖像差異所得到的 比較能夠通過使用基于對點90進行觀察的分類器直接設定一個信心值；或者，該比較可以 簡單地指向顯示變化的區(qū)域，作為關切點。對被作為平坦物體和實際檢測到的物體分類的 物體進行的測試使得要么能夠識別包含物體40的區(qū)域以便通過如上所述的補片分析進行 進一步分析；要么能夠直接得出暢通路徑幾率和被檢測物體幾率值以便例如在上述邏輯表 達式3中進行比較。從對第二幅圖像的分析所得到的可用信息能夠通過結合與車輛運動有關的信息 而被額外改善，所述信息例如是速度和偏航率。與車輛運動有關的信息可以有很多來源，包 括車輛測速儀、車輛動力傳感器或車輪速度傳感器、防抱死制動機構和GPS定位系統?？稍?算法中利用這種車輛運動信息，例如結合圖7和圖8所示的投影，以便基于從第一幅圖像得 到的數據和車輛在兩幅圖像之間的測得運動來投影某些角度，所述角度應當出現在第二幅 圖像的地面上的平坦特征中。比較所用的圖像數量不一定限制為兩個。多個圖像分析可在多重迭代中實現，物 體在多個循環(huán)中被跟蹤和比較。如上所述，計算效率能夠通過圖像差異分析而得以提高，其 中，圖像差異分析識別關切點并剔除與后續(xù)分析具有0差異的區(qū)域。這種效率能夠用在多 重迭代中，例如，也就是說只有在第一幅圖像和第二幅圖像之間識別出的關切點在第三和 第四幅圖像中被分析。有時候，一組新圖像需要被比較，以保證顯示0差異的區(qū)域均沒有任 何變化，例如，一個移動物體撞擊到之前識別出的暢通路徑上。圖像差異分析和聚焦分析的 使用剔除了識別出零變化的區(qū)域，圖像差異分析和聚焦分析的使用對于不同的應用和不同 的操作條件而言是不同的，這些操作條件例如是車輛速度或所觀察到的操作環(huán)境。圖像差 異分析和聚焦分析的特定應用可能有不同的實施方式，本發(fā)明不局限于此處提及的具體實 施方式。此處公開了用于識別暢通路徑的多種方法，這些方法包括基于補片的方法和基 于像素的方法。這些方法優(yōu)選地在處理模塊120中執(zhí)行，但是也可以組合在一個或多個裝置中執(zhí)行，例如，在軟件、硬件和/或專用集成電路中執(zhí)行?；谘a片的方法在上文中以及 此處參考圖9和10進行描述?；谙袼氐姆椒ㄔ诖藚⒖紙D11和圖12進行描述?；谙?素的示例性方法包括無紋理方法和富含紋理方法。富含紋理方法基于圖像內前后視圖的關 系來分析圖像中與像素相關的特征以確定明顯的關切點。這些關切點與車輛100前方的視 場相對應地被繪圖，并基于地圖上的關切點的地形來確定暢通路徑。圖像上的不一致區(qū)域 不屬于平坦連續(xù)路面的一部分，無紋理方法將這些區(qū)域進行過濾，剩下的像素就對應于暢 通路徑。如上所述，基于補片的方法在計算上相對較快，而基于像素的方法在計算上相對較 慢。圖9示出了根據本發(fā)明的一種基于補片的示例性方法200，其中，分析來自攝像機 的輸入以確定暢通路徑幾率?；谘a片的方法200如圖9所示，該方法在這里被描述為包 含若干分立元件。這種圖示是為了描述方便，這些元件所實現的功能可以組合在一個或多 個裝置中完成，如在軟件、硬件和/或專用集成電路中執(zhí)行。例如，基于補片的方法200可 作為處理模塊120中的一個或多個算法來執(zhí)行。在操作過程中，攝像機110產生用于處理模塊120中的分析的圖像(202)。處理模 塊120識別圖像中的補片，并選擇分析用的補片(204)。為了足以充分分析圖像而定義多個 補片的多種方法都在本發(fā)明中考慮了。如上所述，補片可以根據隨機搜索方法或者密集搜 索方法來定義?？商鎿Q地，從其他信息源_例如雷達成像系統或LIDAR所得到的信息能夠 用來定義補片，以便分析圖像的一部分。此外，多個重疊補片可以基于被分析圖像中的關切 區(qū)域而被利用。另外，可以使用多種方法來根據車輛前方的預期路面定義補片并得到暢通 路徑圖案，例如固定網格補片方法，將一些或所有圖像根據規(guī)則補片圖案進行劃分；視角 補片方法，與固定網格補片方法類似，不同點在于，其基于道路的視圖并且在考慮每個補片 中所包含的路面的量的情況下對補片大小和/或形狀進行調制。這種車輛前方的預期路面 能夠通過輸入圖像的最初復查來判定，例如，使用能夠定義車道邊界的清晰可見的線來作 為定義補片圖案的最初參考。再例如，能夠使用由暢通路徑方法的最近一次迭代所得到的 補片圖案，并且基于反復定義的暢通路徑和其他能在被分析圖像中識別出的標識、通過迭 代對其進行緩慢調制。固定網格補片方法基于關切區(qū)域將圖像識別并分割成多個補片，并將固定網格圖 案應用到關切區(qū)域。固定網格圖案將整個關切區(qū)域充分分割為多個部分。關切區(qū)域優(yōu)選環(huán) 繞緊鄰車輛前方的視場，然而，該區(qū)域可定義為環(huán)繞更窄的視場。在一個實施方式中，關切 區(qū)域環(huán)繞緊鄰車輛前方的視場，并由道路的水平線或消失點來限定邊界。固定網格補片方 法可包括通過矩陣進行補片追蹤、識別和分析，其中，每個補片可通過一個數字序列的數字 來識別。固定網格補片能通過多種方法應用到圖像上。第一種方法是使用相同的圖像坐標 將固定網格補片應用到連續(xù)圖像。第二種方法是使用在圖像上識別出的關切點-例如水平 線將固定網格補片應用到圖像。第三種方法是將固定網格補片應用到補償車輛運動-例如 車輛偏航的圖像。視角補片方法基于視場坐標而不是圖像坐標來識別圖像、并將圖像分割成多個補 片。關切區(qū)域的識別已在之前進行了描述，其中，視角補片圖案基于估計出的視場坐標被應 用到關切區(qū)域，從而相對于由每個補片覆蓋的地面的近似面積對補片大小進行分配。這種視角補片定義使得描述更接近車輛的地面的補片被更詳細地復查，而描述離車輛較遠的 地面的補片不會被過多地復查。補片能夠根據所獲取的道路上的行車道進行排列，例如，由 車道標志和/或路緣限定的車道。這些補片定義經常是梯形的，梯形的兩個平行邊與地平 線或車輛的水平軸相平行，梯形的其余邊取決于限定在圖像視圖中的路面。這種補片排列 對定義路面是高效的。然而，多種不同的補片形狀使得補片網格的計算以及補片的分析很 復雜。補片可以被規(guī)范為矩形(或方形)，仍然平行于地平線或車輛的水平軸。這種矩形補 片在覆蓋路面方面效率較低，例如，與補片相重疊的若干路面部分包括實際上暢通的道路， 但是補片的足夠的分辨率以及計算效率的提高能夠使得這種規(guī)范化的視角補片變得有利。圖10以繪圖方式示出了應用于示例性圖像的示例性的多個規(guī)范化的透視補片。 這些透視補片的尺寸基于與透視補片相關的地理區(qū)域而變化。如圖10所示，與靠近車輛的 地理區(qū)域相關的補片比與遠離車輛的地理區(qū)域相關的補片的尺寸更大。根據地理區(qū)域在圖 像上定義補片使得能夠基于地理區(qū)域分配補片的處理資源，從而在作出駕駛決定的時間比 較有限的情況下提高檢測車輛附近的物體的能力?；氐綀D9，一個濾波器或一組濾波器能被應用到被選擇的補片上(206)，例如，亮 度規(guī)范化濾波器(lighting normalization filter)。一個示例性的規(guī)范化濾波器改變補 片內的像素強度值的范圍，因此使得補片的范圍更適合機器處理。例如，將每個像素值規(guī)范 化為零均值和單位方差能夠增強圖像的對比度，特別是在光線較暗的環(huán)境下或者因為反光 而造成對比度較低的情況下。多種示例性濾波器和濾波方法對圖像分析都有用，本發(fā)明不 局限于此處描述的特定的示例性實施方式。經過濾波之后，在被選擇的補片上用特征提取算法進行特征提取(208)。特征提取 算法可對所選的補片進行分析以得到預定的特征和/或形狀，其中，預定的特征包括例如 邊緣、角落和污點；形狀包括例如圓、橢圓和線。應當認識到，一些特征有意義，而另一些沒 有，選擇特征的過程能用來識別出一組最好的特征用于進行分析。分類器訓練算法分析每 個特征，并分配一個幾率值(210)。如上所述，在幾率值推導時所使用的分類器或邏輯最初 是離線訓練的?；谀：壿?、神經網絡或本領域已知的其他學習機構，訓練可選擇性地在 車輛中繼續(xù)進行。這些訓練過的分類器基于所提取的特征進行幾率分析，并確定補片的幾 率值。這種幾率值表示被選補片為暢通的信心。幾率分析可通過使用空間和/或時間上相關的補片來擴充，以評估在車輛操作過 程中識別出的特征。當特征提取算法識別出一個特征時，處理模塊120可以從空間方面分 析該識別出的特征在鄰近或附近的補片中的一致性。在一個補片中識別出的特征可以與 其他相鄰的補片進行比較，以確定其與相鄰補片之間是否有偏差或者是否一致。與相鄰補 片一致的特征可以被分配一個與相鄰補片近似的幾率值，而與相鄰補片不一致的特征需被 分配一個不同的幾率值。與空間分析類似，當特征提取算法識別出一個特征時，處理模塊 120可以從時間方面分析被識別特征在時間相關的補片中的一致性，從而對車輛運動進行 補償。例如，在若干幀中分析并被確定為在圖像的各幀中具有高幾率值的特征，能夠與后續(xù) 幀中的收到低幾率值的相同特征從時間方面進行比較。如果該特征的時間分析揭示了新信 息，例如相對于道路的特征運動；或者增加的視角表明該特征代表了位于路面上的一個物 體，那么該特征的較低幾率值能夠被確定。如果沒有得到新信息，那么當前幀中的特征的較 低幾率值可以被中止，因為其不一定表示不暢通路徑?？捎妙愃频姆椒▉矸治龊罄m(xù)幀，以確定該特征是顯著的還是非顯著的。類似地，根據此處描述的方法，有問題的特征能夠在當前 的或者后續(xù)的圖像中、通過增加計算側重點來進行分析。處理模塊120將幾率值與幾率閾值進行比較(214)。如果幾率值比幾率閾值大，那 么該補片被識別為暢通路徑(218)。如果幾率值不比幾率閾值大，那么該補片就被識別為不 暢通路徑。如上所述，基于補片的方法200可以通過多種方式進行重復或迭代，通過不同補 片的選擇和分析對同一圖像進行反復分析，并且能夠在多個連續(xù)圖像中追蹤被識別的補片 并分析其變化。圖11示出了根據本發(fā)明的一種示例性的基于富含紋理的像素的方法300，其中， 對攝像機的輸入進行分析以確定暢通路徑幾率。圖10中示出了基于富含紋理的像素的方 法300，并且在此處描述為包含若干分立元件。這種圖示是為了描述方便，應該認識到，這些 元件所實現的功能可以組合在一個或多個裝置中完成，例如在軟件、硬件和/或專用集成 電路中執(zhí)行。例如，基于像素的方法300可作為處理模塊120中的一個或多個算法來執(zhí)行。在操作過程中，攝像機110產生圖像以便在處理模塊120中對其進行分析(302)。 處理模塊120分析圖像以找到關切點，例如，如上所述地檢查像素顏色強度，并將像素或一 組像素與周圍像素進行比較。關切點是圖像上的可識別像素，并與一系列視覺信息-即富 含紋理的特征相聯系，并且與位于視場中的物體相聯系。通過本領域已知的方法，例如，比 例不變特征變換(SIFT)，利用角落檢測或其他形狀檢測的方法；或者Sobel濾波器，關切點 可被識別并用以完成此處所述的方法(306)。在一個實施方式中，多余關切點-例如與同一 特征相對應的多個關切點將被剔除，以便提高計算效率。一旦識別出關切點，在可能的情況下，處理模塊120比較車輛運動時的連續(xù)圖像， 以便對來自每個圖像的關切點與連續(xù)圖像中的對應點進行匹配(310)，這些對應點在視場 中對應于相同的點。匹配包括使用對應匹配程序，例如，比例不變特征變換(SIFT)特征匹 配程序和光流程序；并且可進一步包括通過模版匹配來定位對應點，從而考慮宿主車輛的 運動，并且對兩個點是否代表視場中的同一可見物體或可見特征作出最佳估計。模板匹配 可通過多種方法中的一種來確定以便找到對應的關切點，包括若干已知模板匹配程序方法 中的一個，例如Lucas-Kanade或者Horn-Schunck。匹配后的點對與位于兩幅圖像中的同一 特征相對應，其中，該同一特征與視場中的同一物體相關聯。雖然可以匹配關切點，但不是 所有匹配的對應點對都代表高質量的對應點對，高質量的對應點對允許識別它們在視場中 的三維位置以便分類為能使車輛通過的暢通路徑。處理模塊120對匹配的對應點對進行濾波，以便識別出高質量的、能夠在三維位 置識別中以高信心水平被應用的對應點對(314)。優(yōu)選的匹配點對可以基于質量控制標準 進行選擇，例如，兩個點之間的距離，與圖像邊界之間的距離以及各相鄰像素之間的顏色相 似度等。判斷匹配點對的標準的選擇還可基于如下條件，例如當前車外亮度、天氣、車輛速 度和其他任何影響判斷匹配點對的能力的因素，或者快速、精確地定義暢通路徑的緊迫性。高質量的對應點對被分析以確定視場中的由對應點對所代表的物體的三維位置 (318)。應當理解的是，與地面相比具有不同高度的對應點在連續(xù)圖像中會有不同的運動。 在連續(xù)圖像之間分析關切點的運動能夠產生關切點的估計出的三維坐標?；诟哔|量的對 應點對、連續(xù)圖像之間的樣本時間以及諸如車速、車輛偏航率等的車輛數據，能夠確定物體位置。通過這些三角測量方法能夠得到物體在水平面中的位置以及物體相對于地面的高度。所確定的物體位置用來對宿主車輛前方的物體位置進行繪圖(322)，所繪地圖包 括視場的估計地形。地形可通過指定物體周圍的預定空間維度來估計。優(yōu)選地，預定空間 維度在高度方面相對于距物體的距離以預定速度減小。通過使用地圖和估計地形，處理模 塊120能夠確定宿主車輛前方的暢通路徑(326)。上面的方法應用連續(xù)圖像來建立有關車輛前方的物體位置和垂直高度的地圖，從 而可以確定一條暢通路徑。應當理解的是，在任意兩個給定的圖像中，一個特定物體可能不 會被分類為包含兩個足夠在該特定分析中被繪圖的、高質量的關切點。然而，上述分析在車 輛行駛過程中每秒鐘發(fā)生多次。當車輛在暢通路徑上向前行駛時，將得到物體的不同視角， 并將分析大量的圖像。在路徑上行駛并分析該路徑上的多個迭代圖像，可通過所述分析建 立一個信心值，該信心值表明在被識別的暢通路徑上不存在阻礙暢通路徑的物體。圖12示出的是根據本發(fā)明的一種示例性的基于無紋理像素的方法400，其中，分 析攝像機的輸入以確定暢通路徑的幾率?；跓o紋理像素的方法400在圖12中示出，并在 此處被描述為包含若干分立元件。這種圖示是為了描述方便，應該認識到，這些元件所實現 的功能可以組合在一個或多個裝置中完成，例如在軟件、硬件和/或專用集成電路中執(zhí)行。 例如，基于無紋理像素的方法400可作為處理模塊120中的一個或多個算法來執(zhí)行。在操作過程中，攝像機110產生圖像以便在處理模塊120中對其進行分析(453)。 處理模塊120通過多種濾波方法來分析圖像以識別并剔除圖像中不一致的像素。剩余的像 素代表了車輛可以行駛的潛在的暢通路徑。圖11示出的基于無紋理像素的方法400包括 識別并剔除圖像中的不一致像素的4種示例性濾波方法。無紋理的方法能與四種示例性方 法的某些部分結合應用，并且/或者可用未命名的類似方法來處理圖像。第一種示例性濾波方法剔除在地平線或者消失點以上的像素(456)，包括天空和 其他不能構成路面的一部分的垂直特征。術語“消失點”是一個廣義的術語，此處采用對本 領域普通技術人員而言常用和常規(guī)的含義，指的是地平線上的無窮遠的、與視野中地面上 的多個平行線交叉的點。識別路面從而建立車輛行駛的暢通路徑必然在消失點或地平線以 下。濾波圖像以便僅分析地平線以下的區(qū)域有助于使被分析以識別路面的像素與不相關的 像素區(qū)分開。本領域技術人員可以理解，確定消失點和對應的地平線有很多已知的方法。第二種示例性濾波方法應用基于像素顏色強度差異的濾波器(459)，其前提是路 面將包括一個大的表面，該整個表面上的視覺強度都相同。當相關像素顏色強度變化大于 預設的閾值時，從圖像中剔除這些像素。對于與多種顏色相關聯的像素，當任何特定顏色的 像素顏色強度變化大于預設的閾值時，從圖像中剔除這些像素?；诒蛔R別為暢通路徑的 像素的歷史顏色強度，預設的閾值能夠被更新。第三種示例性濾波方法應用基于連續(xù)圖像的差異的濾波器，其能夠分析圖像之間 的變化(462)。某些像素與一種像素顏色強度相關聯，當該像素顏色強度變化大于預設的閾 值時，從圖像中剔除這些像素。在一個實施方式中，基于車輛的運動來調整圖像，從而對像 素進行區(qū)別和比較，就像所有像素都與地平面上的點相對應一樣。已知的三角測量方法能 用來確定對圖像的運動調整。通過假設圖像上的所有物體都在地平面上，同與地平面關聯 的像素不一致的變化能夠用來識別那些不在地平面上的點。例如，地平面上方的像素在連續(xù)圖像之間的運動可能比預料的更快，這種運動能夠通過在連續(xù)圖像之間檢查像素顏色強 度之間的差異來進行識別。第四種示例性濾波方法應用基于視覺數據中的代表邊緣或過渡的像素識別的濾 波器(465)。為了產生第四個濾波圖像，基于與邊緣相對應的顏色強度值，通過使用幾種已 知邊緣檢測濾波器中的一種-例如Sobel濾波器，處理模塊120從圖像中提取像素。邊緣 檢測濾波器優(yōu)選在處理模塊120中執(zhí)行，但也可以組合在一個或多個裝置中執(zhí)行，例如在 軟件、硬件和/或專用集成電路中執(zhí)行。在一個實施方式中，每個像素都使用Sobel算子來 進行分析。Sobel算子計算每個像素顏色強度的梯度矢量，從而生成從亮到暗的最大可能增 加的方向以及該方向上的變化率。與超過閾值的變化率相對應的點以及與附近像素的梯度 矢量相對應的點代表了邊緣，并被包含在第四個濾波圖像中。當其他像素從圖像中剔除時， 這些像素仍被保留。通過并行應用各種方法，結果能夠融合到圖像的單個地圖中(468)。融合包括在每 種不同的濾波方法中被識別的像素。融合的暢通路徑地圖上的像素與視場中期望的駕駛位 置相對應。融合的暢通路徑地圖上的沒有像素的位置與視場中不期望的駕駛位置相對應。 處理模塊120能夠分析地圖，以得到指示用于駕駛的暢通路徑的視覺數據(471)。如圖12所示的基于無紋理像素的方法400將不同方法并行應用到圖像，以識別視 場中與定義暢通路徑有關的特征。然而，應當理解的是，這些方法并非必須并行執(zhí)行，也可 以在各個步驟中連續(xù)地或者有選擇地用這些方法處理圖像，以識別視場中與定義暢通路徑 相關的特征?；谙袼氐臅惩窂降牧硪粋€檢測方法包括應用融合的富含紋理方法和無紋理 方法。富含紋理方法和無紋理方法能夠通過多種方式進行融合。帶有被識別點和所確定 的高度的、通過富含紋理方法識別出的圖像能夠由無紋理方法產生的濾波圖像覆蓋，并且 兩種方法的一致性能用來通過重疊圖像定義暢通路徑。在另一種融合兩種方案的方法中， 來自每個方案的數據都能用來將信息投影在車輛前方區(qū)域的的編程上方地圖上，包含從兩 個方案的分析中得到的數據的該上方地圖可包含建立該地圖的各個區(qū)域的信心指示。在另 一種融合兩種方案的方法中，一個方案可作為主要或主導方案使用，第二個方案可用來分 析或者被激活以便分析在視場中被識別為不清晰或不清楚的區(qū)域。在融合兩個方案的任何 方法中，一個處理方案的長處能用來彌補另一個處理方案的弱點。如果兩個方案同時認定 路徑是暢通的，那么應用這些方案的處理模塊可通過更高的信心水平來確定車輛適于通過 該路徑。融合這些識別方案的多種方法都已被考慮到，本發(fā)明并不局限于此處所描述的特 定實施方式。另外，其中一個或兩個方案可與上述利用補片分析的方法進行組合。本領域技術人員能夠認識到，亮度規(guī)范化(lighting normalization)可應用于所 獲取的圖像數據。規(guī)范化是改變像素強度值的范圍的一種過程。規(guī)范化的目的是將圖像的 范圍改變?yōu)楦m合機器處理的范圍，以提高可靠度。例如，每個像素值被規(guī)范化為零均值和 單位方差，以提高圖像的對比度，特別是在光照較暗的環(huán)境中或對比度因為反光而較低的 情況下。如上所述，基于示例的方法能夠替換其他方法或者作為補充來基于輸入圖像定義 暢通路徑?；谑纠囊环N示例性方法可由下列操作來描述收集視圖的多個樣本圖像，定義每個樣本圖像的暢通路徑，將當前圖像與一個或多個樣本圖像進行匹配，以及基于上述 匹配來確定暢通路徑。將當前圖像與一個或多個樣本圖像進行匹配可通過如下方法實現 例如通過此處描述的方法從每個樣本圖像中提取特征，從當前圖像中提取特征，將從當前 圖像中提取的特征與從樣本圖像所提取特征的數據庫進行比較，以及為當前圖像選擇匹配 的樣本圖像。暢通路徑可從匹配最佳的樣本圖像中選出或者基于與當前圖像最接近的匹配 的組合來確定。圖15示意性地示出了根據本發(fā)明的示例性的基于示例方法的操作。基于示例的 方法700被示出在圖15中，并且在此描述為包括離散元件。這種圖示是為了便于描述，并且 應該認識到，由這些元件執(zhí)行的功能可以組合在一個或多個裝置中，例如在軟件、硬件、和/ 或專用集成電路中執(zhí)行。例如，基于示例的方法700可以作為處理模塊120中的一個或多 個算法來執(zhí)行。方法700示出了當前圖像與多個示例或樣本圖像進行比較來確定暢通路徑。如上 所述，多個樣本圖像通過特征提取(704)被分析，并且例如在離線訓練過程中所確定的特 征被存儲在改良的數據庫中。方法700輸入當前圖像并在圖像上執(zhí)行特征提取(702)。當 前圖像的當前特征得以產生。這些當前特征被用于在改良數據庫中選擇與當前特征匹配的 一個或多個特征(706)。在這個示例性的實施方式中，三組匹配特征被識別出來。匹配特征 的對應圖像然后與當前圖像進行比較，當前圖像的暢通路徑基于匹配的樣本圖像的暢通路 徑被確定或推斷出來(708)。本領域技術人員應該理解的是，如上所述的基于示例的方法能夠用來在下述情形 中作出判斷其中各表面之間的視覺差別-例如相似顏色或不具有主導方向的各向同性紋 理或者圖像中區(qū)別不明顯的特征可能無法通過本文描述的其它示例性方法而得到精確的 結果。在這些實例中，樣本圖像的人為定義的暢通路徑能夠提供暢通路徑位置的高級輸入。 此外，還應該理解的是，攝像機檢測中的模糊處或弱點-例如存在于一些攝像機圖像中的 或聚集在背景建筑物中的大的徑向變形，可導致在根據本文描述的其它方法解釋圖像時發(fā) 生扭曲或得出不精確的結果。但是，圖像中的這些模糊處或弱點在所公開的基于示例的方 法中使用的樣本圖像和當前圖像中都存在，因此將會被去除。特別地，如參照本文公開的分 級方法所描述的，在基于補片的方法和/或基于像素的方法不能清楚地識別出暢通路徑的 情況下，基于示例的方法提供處理圖像并識別暢通路徑的替代性方法。如上所述，示例性的基于補片的方法和基于像素的方法用于分析補片或補片中的 像素以判斷該補片表示的是暢通路徑還是非暢通路徑。另一方面，基于示例的方法確定或 推斷當前圖像上的暢通路徑的位置。應用分級方法，用基于示例的方法確定的暢通路徑與 被進一步分析的補片的位置進行比較，并且基于所述比較能夠將該補片標識為暢通或非暢
ο本文公開了使用基于計算強度設置的暢通路徑檢測算法的等級結構來檢測車輛 行駛的暢通路徑的方法。在該等級結構中，用計算強度較小的檢測方法識別圖像中的暢通 路徑，留下圖像中沒有被識別為暢通路徑的剩余部分用計算強度較大的方法來分析。以這 種方式，暢通路徑識別的計算效率便會提高。如上所述，所用的特定方法和所用的特定分級 方法的等級結構可以不同或變化。使用等級結構檢測暢通路徑的第一種示例性方法包括使 用基于補片的暢通路徑檢測方法和基于像素的暢通路徑檢測方法?；谘a片的暢通路徑檢測方法首先識別圖像中的暢通路徑，而基于像素的暢通路徑檢測方法被用來分析沒有被基 于補片的方法識別為暢通路徑的剩余圖像部分。本文公開的第二種示例性方法結合有額外 的等級層。在第二種方法中，基于示例的方法進一步分析沒有被基于像素的方法識別為暢 通路徑的部分。等級結構的進一步的示例性實施方式已被預想到。例如，等級結構可被定義為包 括基于補片的方法、基于像素的方法、和另一個基于像素的方法。在另一個示例中，等級結 構可以被定義為包括基于像素的方法、然后是基于像素的方法的融合、然后是基于示例的 方法。應該理解的是，這種結構不再限制于基于補片的方法的補片，其能夠定義將通過不同 等級層以不同方式來分析圖像區(qū)域。例如，基于像素的方法能夠識別圓形的區(qū)域或像素群， 并且只有該區(qū)域或群能夠被后續(xù)的暢通路徑方法分析。可以預想到多種不同的等級結構， 并且本發(fā)明并不局限于本文所述的特定實施方式。圖13示出了控制方案500的流程圖，該控制方案使用包括基于補片的方法和基于 像素的方法的暢通路徑檢測方法的示例性等級結構來檢測車輛行駛的暢通路徑?？刂品桨?500被示出為多個離散元件。這種圖示是為了便于描述，并且應該認識到，由這些元件執(zhí)行 的功能可以組合到一個或多個裝置中，例如在軟件、硬件、和/或專用集成電路中執(zhí)行。例 如，控制方案500可以作為處理模塊120中的一個或多個算法來執(zhí)行。在操作過程中，攝像機110產生用于在處理模塊120中分析的圖像(502)。使用上 述基于補片的暢通路徑檢測方法中的一個來分析所述圖像(504)。處理模塊120使用基于 補片的方法在這些圖像中識別多個組成補片。使用基于補片的方法對每個組成補片進行特 征分析以確定如上所述的信心幾率(506)。如上所述，信心幾率表示該組成補片是車輛行駛 的暢通路徑的一部分的可能性。確定了多個組成補片的信心幾率值之后，處理模塊120將該信心幾率值與第一和 第二預定閾值進行比較以確定所述組成補片是暢通的還是非暢通的，或者選擇其用于額外 的分析。與大于第一預定閾值的信心幾率對應的組成補片被指定為暢通路徑(508)。不大 于第一預定閾值但大于第二預定閾值的組成補片被選擇用于進一步分析(510)。小于第二 預定閾值的組成補片被指定為非暢通路徑(520)。在選出用于進一步分析的那部分組成補片之后，處理模塊120使用基于像素的暢 通路徑檢測方法分析這些組成補片(512)。處理模塊120應用上述基于像素的暢通路徑檢 測方法來確定上述信心幾率，從而基于通過基于像素的方法識別出的特征來確定所選的組 成補片是對應于暢通路徑還是非暢通路徑(514)。應該理解的是，基于像素的方法根據一個 像素或一組像素來做出決定。用于被分析補片的這種決定可基于包含在該補片內的像素作 出，例如，如果補片內的任何或某些最小數量的像素被確定為非暢通的，則該補片被確定為 非暢通的。與大于預定閾值的信心幾率值相關聯的組成補片對應于暢通路徑，而與小于預 定閾值的信心幾率值相關聯的組成補片對應于非暢通路徑(515)。在分析所選出的組成補片之后，可使用對應于暢通路徑的組成補片(516)和對應 于非暢通路徑的組成補片(520)來識別暢通路徑。圖13描述了使用第一預定閾值和第二預定閾值來判斷特定補片是暢通的還是非 暢通的，或者是需要額外分析的。應該理解的是，這對閾值可相反地描述為表明何時應該執(zhí) 行額外分析的數字范圍。
圖13進一步描述了使用較低的第二預定閾值以定義馬上被認為是非暢通路徑的 補片。但是，應該認識到的是，可以在沒有第二閾值的情況下采用相似方法，其中任何沒有 在第一種分析中識別為暢通路徑的補片都將在第二種分析中被進一步分析。圖14示出了控制方案600的流程圖，該控制方案使用包括基于補片的方法、基于 像素的方法和基于示例的方法的暢通路徑檢測方法的等級結構來檢測車輛行駛的暢通路 徑?？刂品桨?00被描述為包括多個離散元件。這種圖示是為了便于描述，并且應該認識 到，由這些元件執(zhí)行的功能可以組合到一個或多個裝置中，例如在軟件、硬件、和/或專用 集成電路中執(zhí)行。例如，控制方案600可以作為處理模塊120中的一個或多個算法來執(zhí)行。在操作過程中，攝像機110產生用于在處理模塊120中分析的圖像(602)。使用上 述基于補片的暢通路徑檢測方法中的一個來分析所述圖像(604)。基于補片的方法識別這 些圖像內的多個組成補片和這些組成補片內的特征。在識別組成補片內的特征之后，處理 模塊120如上所述地使用幾率分析來確定每個組成補片的信心幾率。與大于第一預定閾值 的信心幾率相關聯的組成補片被指定為暢通路徑(606)。與不大于第一預定閾值但大于第 二預定閾值的信心幾率值相關聯的組成補片被選擇用于進一步分析(608)。與小于第二預 定閾值的信心幾率值相關聯的組成補片被指定為非暢通路徑(622)。選出用于進一步分析的那部分組成補片之后，處理模塊120使用上述基于像素的 暢通路徑檢測方法來確定上述信心幾率，從而確定所選的組成補片是對應于暢通路徑還是 非暢通路徑(610)?；谙袼氐姆椒ㄗR別用于幾率分析的特征，以確定所述組成補片的信心 值。與大于第三預定閾值的信心幾率值相關聯的組成補片對應于暢通路徑的(612)。與不 大于第三預定閾值但大于第四預定閾值的信心幾率值相關聯的組成補片被選出來用于進 一步分析(614)。與小于第二預定閾值的信心幾率值相關聯的組成補片被指定為非暢通路 徑(622)。在選擇像素之后，處理模塊120使用示例性的基于示例的暢通路徑檢測方法來分 析像素并且確定信心幾率(616)。與大于預定閾值的信心幾率值相關聯的組成補片對應于 暢通路徑(618)。與小于第二預定閾值的信心幾率值相關聯的組成補片被指定為非暢通路 徑(622)。在分析所選的組成補片之后，可以使用對應于暢通路徑的組成補片和像素(620) 和/或對應于非暢通路徑的組成補片和像素(622)來識別暢通路徑。圖14描述了一系列閾值，并且所述閾值由一系列數字標記標識(第一、第二、第 三、等)。應該理解的是，這些標記僅用于表明這些閾值彼此之間可能不同。用于每次比較 的較高或較低的閾值可能是不同的或相同的。但是，圖14中只給出了這些標記，并且這些 數字標記并不暗示其可能互不相同之外的任何涵義。在各種預想到的實施方式中，上述等級結構或方法基于計算或處理的復雜性定義 所述等級的各個階段，優(yōu)選在使用高強度方法之前使用低強度的方法。但是，應該理解的 是，計算強度并不是用來定義用于每個等級階段的特定方法的唯一考慮因素。例如，在正常 條件下，可以使用圖14的等級結構，首先應用基于補片的方法，接著是基于像素的方法，最 后是基于示例的方法。但是，所用方法的順序或一種方法的去除或替代可以基于覺察到的 因素來設定。例如，在臟路的路面或覆蓋有雪的路面上行駛時其中某種方法可能會產生很 差的結果。類似地，具有快速變化的交通狀況或行人交通的城市環(huán)境可能使其中某種方法產生很差的結果。由攝像機鏡頭上的污點所導致的來自攝像機的圖像的污染也可能類似地 使某種方法的結果較差。車輛速度可能會影響某種方法的結果的質量。這些因素可以通過 實驗方式、計算方式來確定，或者基于建模或者其他任何足以精確估計根據輸入圖像來確 定暢通路徑的不同暢通路徑方法的有效性的方法來判定。另外，基于車輛內使用的多種暢 通路徑方法和車輛的合成操作，可以執(zhí)行例如機器學習算法或者模糊邏輯的方法以便適應 用于分級方法的各種暢通路徑方法的選擇。車輛的這種操作能夠用本領域已知的很多方法 來判斷，例如，在車輛控制中監(jiān)測操作員介入的發(fā)生或者通過監(jiān)測圖像中的、描述車輛在車 道上的后續(xù)控制的車道標記的位置。在這些暢通路徑方法中進行選擇以及對各種暢通路徑 方法的選擇進行調整的多種方法都可以預想到，本發(fā)明并不局限于此處的公開的特定的示 例性實施方式。如圖13和14所示，多個閾值信心幾率被示出為與分級方法的每個層中得出的信 心幾率進行比較。應該理解的是，這些閾值每個都可以是不同的和有差別的，能夠被描述為 第一閾值、第二閾值、第三閾值等。例如，一些閾值是共用的，共用的閾值限定特定補片何時 是暢通路徑。每個閾值的準確水平取決于用于分析補片的暢通路徑方法并且可以通過實驗 方式得出，或者通過足以評估或估計所采用的圖像處理方法的操作的任何方法來得出。如上所述，處理模塊120可包括通過此處未描述但本領域已知的方法來實現自主 駕駛控制的算法和機構，或者處理模塊120可僅僅為獨立的自主駕駛系統提供信息。對觀 察到的物體的反應也可有所不同，包括但不局限于轉向變化、節(jié)氣門變化、剎車響應、警告 和將車輛控制交給操作者。已經描述了本發(fā)明的某些優(yōu)選實施方式及其改型。通過閱讀并理解說明書可以想 到進一步的改型和變型。因此，本發(fā)明并不局限于作為最佳實施模式而公開的特定實施方 式，相反本發(fā)明包括落入所附權利要求書的范圍內的所有實施方式。
權利要求
一種使用攝像機產生的圖像檢測車輛行駛的暢通路徑的方法，所述方法包括監(jiān)測圖像；應用圖像的基于補片的第一分析，所述第一分析包括將圖像分成多個補片以及分析每個補片以確定基于補片的第一分析的每個補片的第一暢通路徑信心幾率；將具有大于第一閾值信心幾率的第一暢通路徑信心幾率的每個補片定義為暢通路徑補片；在具有不大于第一閾值信心幾率的第一暢通路徑信心幾率的部分補片上應用第二分析以確定所述第二分析的每個補片的第二暢通路徑信心幾率；將具有大于第二閾值信心幾率的第二暢通路徑信心幾率的所述第二分析的每個補片定義為暢通路徑補片；以及基于所述暢通路徑補片識別車輛行駛的暢通路徑。
2.如權利要求1的方法，還包括將基于補片的第一分析的每個補片的第一暢通路徑信 心幾率與第三閾值信心幾率進行比較；并且其中，應用第二分析還包括在具有大于所述第三閾值信心幾率的第一暢通路徑信心幾 率的基于補片的第一分析的部分補片上應用所述第二分析。
3.如權利要求2的方法，還包括將具有不大于所述第三閾值信心幾率的第一暢通路徑 信心幾率的基于補片的第一分析的每個補片定義為非暢通路徑補片。
4.如權利要求1的方法，還包括將具有不大于所述第二閾值信心幾率的第二暢通路徑 信心幾率的所述第二分析的每個補片定義為非暢通路徑補片。
5.如權利要求1的方法，其中，所述第二分析包括基于像素的暢通路徑方法。
6.如權利要求5的方法，其中，所述基于像素的暢通路徑方法包括富含紋理的暢通路 徑方法。
7.如權利要求5的方法，其中，所述基于像素的暢通路徑方法包括無紋理的暢通路徑 方法。
8.如權利要求5的方法，其中，所述基于像素的暢通路徑方法包括富含紋理的暢通路 徑方法與無紋理的暢通路徑方法的融合。
9.如權利要求1的方法，其中，所述第二分析包括基于示例的暢通路徑方法。
10.如權利要求1的方法，還包括在具有不大于所述第二閾值信心幾率的第二暢通路徑信心幾率的所述第二分析的補 片上應用第三分析以確定所述第三分析的每個補片的第三暢通路徑信心幾率；以及將具有大于所述第三閾值信心幾率的第三暢通路徑信心幾率的所述第三分析的每個 補片定義為暢通路徑補片。
11.如權利要求10的方法，還包括將基于補片的所述第二分析的每個補片的第二暢通 路徑信心幾率與第四閾值信心幾率進行比較；并且其中，應用第三分析還包括在具有大于所述第四閾值信心幾率的第二暢通路徑信心幾 率的基于補片的所述第二分析的部分補片上應用所述第三分析。
12.如權利要求11的方法，還包括將具有不大于所述第四閾值信心幾率的第二暢通路 徑信心幾率的基于補片的所述第二分析的每個補片定義為非暢通路徑補片。
13.如權利要求10的方法，還包括將具有不大于所述第三閾值信心幾率的第三暢通路徑信心幾率的所述第三分析的每個補片定義為非暢通路徑補片。
14.如權利要求10的方法，其中，所述第三分析包括應用于部分補片上的基于像素的 暢通路徑方法。
15.如權利要求10的方法，其中，所述第三分析包括應用于部分補片上的基于示例的 暢通路徑方法。
16.一種使用攝像機產生的圖像檢測車輛行駛的暢通路徑的方法，所述方法包括 監(jiān)測圖像；應用圖像的基于補片的第一分析，所述第一分析包括將圖像分成多個補片以及分析每 個補片以確定基于補片的第一分析的每個補片的第一暢通路徑信心幾率；將具有大于第一閾值信心幾率的第一暢通路徑信心幾率的每個補片定義為暢通路徑 補片；在具有不大于所述第一閾值信心幾率的第一暢通路徑信心幾率的部分補片上應用基 于像素的分析以確定第二分析的每個補片的第二暢通路徑信心幾率；將具有大于所述第二閾值信心幾率的第二暢通路徑信心幾率的基于像素的分析的每 個補片定義為暢通路徑補片；基于所述暢通路徑補片識別車輛行駛的暢通路徑；以及 利用行駛暢通路徑對車輛進行導航。
17.一種使用攝像機產生的圖像檢測車輛行駛的暢通路徑的方法，所述方法包括 監(jiān)測圖像；應用圖像的基于補片的第一分析，所述第一分析包括將圖像分成多個補片以及分析每 個補片以確定基于補片的第一分析的每個補片的第一暢通路徑信心幾率；將具有大于第一閾值信心幾率的第一暢通路徑信心幾率的每個補片定義為暢通路徑 補片；在具有不大于所述第一閾值信心幾率的第一暢通路徑信心幾率的部分補片上應用基 于示例的分析以確定第二分析的每個補片的第二暢通路徑信心幾率；將具有大于第二閾值信心幾率的第二暢通路徑信心幾率的基于示例的分析的每個補 片定義為暢通路徑補片；基于所述暢通路徑補片識別車輛行駛的暢通路徑；以及 利用行駛暢通路徑對車輛進行導航。
全文摘要
本發(fā)明涉及使用分級方法的暢通路徑檢測。一種使用攝像機產生的圖像檢測車輛行駛的暢通路徑的方法，該方法包括監(jiān)測圖像；以及應用圖像的基于補片的第一分析，該第一分析包括將圖像分成多個補片以及分析每個補片以確定基于補片的第一分析的每個補片的第一暢通路徑信心幾率。具有大于第一閾值信心幾率的第一暢通路徑信心幾率的每個補片被定義為暢通路徑補片。在具有不大于第一閾值信心幾率的第一暢通路徑信心幾率的部分補片上應用第二分析以確定第二分析的每個補片的第二暢通路徑信心幾率。具有大于第二閾值信心幾率的第二暢通路徑信心幾率的第二分析的每個補片被定義為暢通路徑補片?；跁惩窂窖a片識別車輛行駛的暢通路徑。
文檔編號G06K9/64GK101950350SQ20091025842
公開日2011年1月19日 申請日期2009年10月23日 優(yōu)先權日2009年5月29日
發(fā)明者S·M·奈克, W·張 申請人:通用汽車環(huán)球科技運作公司