用于使用多個傳感器進行物體檢測的方法和系統(tǒng)的制作方法
【專利說明】用于使用多個傳感器進行物體檢測的方法和系統(tǒng)
[0001]相關申請的交叉引用
[0002]本申請要求于2014年4月25日提交的美國專利申請第14/262，269號的優(yōu)先權，其全部內容通過引用結合于此。
【背景技術】
[0003]除非在本文中另有指示，否則本部分中描述的材料并不是本申請中的權利要求的現有技術，并且也不因包括在本部分中而被承認是現有技術。
[0004]車輛可使用由車輛的傳感器繞著環(huán)境收集的信息導航行駛路線。因此，車輛的計算裝置可接收和處理由車輛傳感器提供的信息以便依照交通法規(guī)導航行駛路線并避開障礙物。自主車輛(autonomous vehicle)可使用傳感器操作，所述傳感器諸如激光、聲納、RADAR、相機以及其它掃描和記錄來自車輛的周遭的數據的裝置。

【發(fā)明內容】

[0005]本申請公開了涉及使用多個傳感器進行物體檢測(obiect detect1n)的方法和系統(tǒng)的實施例。
[0006]在一個示例中，本申請描述了一種方法。該方法可包括在計算裝置處以第一幀率接收指示車輛的環(huán)境的第一多個傳感器數據的幀。該方法還包括在計算裝置處以第二幀率接收指示車輛的環(huán)境的第二多個傳感器數據的幀。該方法還可包括，基于在第一時間段的指示環(huán)境的第一多個幀的第一幀和與第一時間段相對應的第二多個幀的第一幀的一部分，確定車輛的環(huán)境中的一個或多個物體的多個參數。此外，該方法可包括，基于在第二時間段的指示環(huán)境的第一多個幀的后續(xù)幀和與第二時間段相對應的第二多個幀的第一幀的至少后續(xù)部分，修改一個或多個物體的多個參數并將經修改的一個或多個物體的多個參數提供給車輛的一個或多個系統(tǒng)。
[0007]在另一實施例中，本申請描述了一種非暫態(tài)計算機可讀介質，其上存儲有在由計算裝置運行后引起該計算裝置執(zhí)行功能的可運行指令。所述功能可包括以第一幀率接收指示車輛的環(huán)境的第一多個傳感器數據的幀。所述功能還可包括以第二幀率接收指示車輛的環(huán)境的第二多個傳感器數據的幀。所述功能還可包括，基于在第一時間段的指示環(huán)境的第一多個幀的第一幀和與第一時間段相對應的第二多個幀的第一幀的一部分，來確定車輛的環(huán)境中的一個或多個物體的多個參數。此外，所述功能可包括，基于在第二時間段的指示環(huán)境的第一多個幀的后續(xù)幀和與第二時間段相對應的第二多個幀的第一幀的至少后續(xù)部分，來修改一個或多個物體的多個參數，并將經修改的一個或多個物體的多個參數提供給車輛的一個或多個系統(tǒng)。
[0008]在又一實施例中，本申請描述了一種系統(tǒng)。所述系統(tǒng)可包括至少一個處理器。所述系統(tǒng)還可包括其上存儲有可運行指令的存儲器，所述可運行指令在由至少一個處理器運行后引起該系統(tǒng)執(zhí)行包括以第一幀率接收指示車輛的環(huán)境的第一多個傳感器數據的幀的功能。所述功能還可包括以第二幀率接收指示車輛的環(huán)境的第二多個傳感器數據的幀。所述功能還可包括基于在第一時間段的指示環(huán)境的第一多個幀的第一幀和與第一時間段相對應的第二多個幀的第一幀的一部分，來確定車輛的環(huán)境中的一個或多個物體的多個參數。此外，所述功能可包括基于在第二時間段的指示環(huán)境的第一多個幀的后續(xù)幀和與第二時間段相對應的第二多個幀的第一幀的至少后續(xù)部分，來修改一個或多個物體的多個參數，并將經修改的一個或多個物體的多個參數提供給車輛的一個或多個系統(tǒng)。
[0009]在另一實施例中，提供一種系統(tǒng)，其包括使用多傳感器進行物體檢測的裝置。所述系統(tǒng)還可包括用于以第一幀率接收指示車輛的環(huán)境的第一多個傳感器數據的幀以及以第二幀率接收指示車輛的環(huán)境的第二多個傳感器數據的幀的裝置。所述系統(tǒng)還可包括如下裝置:該裝置用于基于在第一時間段的指示環(huán)境的第一多個幀的第一幀和與第一時間段相對應的第二多個幀的第一幀的一部分，來確定車輛的環(huán)境中的一個或多個物體的多個參數。另外，所述系統(tǒng)還可包括用于基于在第二時間段的指示環(huán)境的第一多個幀的后續(xù)幀和與第二時間段相對應的第二多個幀的第一幀的至少后續(xù)部分來修改一個或多個物體的多個參數的裝置，以及將經修改的一個或多個物體的多個參數提供給車輛的一個或多個系統(tǒng)的裝置。
[0010]前述概要僅是說明性的，并且并不意在以任何方式進行限制。除了上述的說明性方面、實施例及特征之外，進一步的方面、實施例及特征將通過參考圖和下面的詳細描述變得明顯。
【附圖說明】
[0011 ] 圖1是依據示例實施例的示例車輛的簡要框圖。
[0012]圖2是依據示例實施例的示例車輛。
[0013]圖3是用于使用多個傳感器進行物體檢測的示例方法的流程圖。
[0014]圖4是示出車輛的傳感器在一時間段內輸出的數據的概念性圖示的示例圖。
[0015]圖5是示出車輛的傳感器在一時間段內輸出的數據的概念性圖示的示例圖。
[0016]圖6是示出車輛的傳感器在一時間段內輸出的數據的概念性圖示的另外的示例圖。
[0017]圖7是圖示示例計算機程序產品的概念性局部視圖的示意圖，該示例計算機程序產品包括用于在計算裝置上運行計算機過程的計算機程序。
【具體實施方式】
[0018]以下詳細描述參考附圖對所公開的系統(tǒng)和方法的各種特征和功能進行了描述。在圖中，除非上下文另外指出，否則相似的符號標識相似的組件。本文中所描述的說明性系統(tǒng)和方法實施例并非意圖進行限制?？扇菀桌斫猓_的系統(tǒng)和方法的某些方面可以按多種不同的配置進行布置和組合，所有這些都在本文中被設想到。
[0019]車輛，諸如自主或無人駕駛車輛，可在不需要駕駛員提供導引和控制的情況下導航行駛路線。為了確保安全行駛、遵守交通規(guī)則以及避開環(huán)境中的障礙物，車輛可利用由被配置為捕捉車輛環(huán)境的測量值的裝備有一類或多類傳感器的車輛傳感器系統(tǒng)提供的數據。除傳感器系統(tǒng)外，車輛還可包括一個或多個計算系統(tǒng)(即，計算裝置)，所述計算系統(tǒng)被配置為處理從車輛傳感器接收到的傳感器數據，并使用處理后的數據以及其它車輛系統(tǒng)來檢測物體、導航路線以及執(zhí)行安全、自主導航所需的其它必要動作。
[0020]在操作期間，各種傳感器可捕捉對車輛的環(huán)境的測量值，并以不同的速率、按不同的格式將傳感器數據提供給車輛的計算裝置。例如，計算裝置可以按傳感器數據幀的形式接收傳感器測量值，其中每一幀包含傳感器操作的特定時間段的一個或多個環(huán)境測量值。如此，隨著車輛操作，傳感器可將多個傳感器數據幀(例如，一系列傳感器數據幀)提供給車輛的計算系統(tǒng)，所述傳感器數據幀可反映環(huán)境的變化。
[0021]車輛的計算裝置可使用來自一個傳感器或多個傳感器的引入的傳感器數據幀來形成包含關于環(huán)境的信息的特征狀態(tài)。例如，計算裝置可確定反映環(huán)境中的物體的參數(例如，位置、速度、大小、加速度)和物體可能的軌跡的特征狀態(tài)。計算裝置可將軌跡與環(huán)境中的物體關聯起來，以估計物體相對于車輛的可能的近期位置。結果，車輛可使用其特征狀態(tài)，包括一般用于避障和導航的估計的物體軌跡。隨著車輛操作，計算裝置可持續(xù)處理新接收到的傳感器數據幀以便確定環(huán)境中的變化，并在導航期間基于所述變化更新其特征狀態(tài)以供使用。另外，傳感器數據幀可幫助計算裝置對環(huán)境中的物體以及雜波進行識別和可能的分類。在一些情況下，傳感器數據幀可使得計算裝置也能夠確定其它信息。
[0022]然而，計算裝置可以按不同的速率(例如，不同的延遲水平)從多個傳感器接收傳感器數據幀。例如，計算裝置可以按高延遲水平從一個傳感器接收傳感器數據幀，并且可按低延遲水平或中延遲水平從另一傳感器接收傳感器數據幀。如此，在根據多個傳感器數據幀確定關于環(huán)境的信息之前，計算裝置可使用緩沖器來保持以快的速率(例如，低延遲)接收到的傳感器數據幀(例如，測量值)，直到接收到由其它傳感器以更慢速率(例如，高延遲)提供的在同時刻的指示環(huán)境的其它傳感器數據幀。這可能使計算裝置延遲來等待獲取與在同時刻的環(huán)境相對應的所有傳感器數據幀，這可能阻止計算裝置完成分析，且可能進一步引起自主導航的問題。
[0023]為了克服可能的延遲，計算裝置可使用回滾技術或其它類似策略來處理接收到的傳感器數據幀，所述回滾技術或其它類似策略可使得計算裝置能夠在車輛操作時更快且更有效地確定關于變化環(huán)境的物體檢測信息。使用回滾技術可使得計算裝置能夠避免等待和緩沖傳感器測量值。具體地，計算裝置可使用新接收到的傳感器數據來確定和更新其指示關于車輛周圍的環(huán)境的信息的特征狀態(tài)，并且在舊的、無序的傳感器測量值到達計算裝置時回滾到更舊的緩存位置中的先前采集的關于環(huán)境的信息(例如，先前的特征狀態(tài))?；貪L到緩存的關于環(huán)境的信息可降低緩沖延遲，且允許計算裝置更快地更新與環(huán)境中的物體相關聯的參數，包括物體的可能軌跡，同時保留存儲和計算能力。
[0024]另外，計算裝置可額外使用一個或多個數據關聯技術，諸如全局最近鄰(GNN)函數，來處理傳感器數據幀。計算裝置可對每個傳感器數據幀單獨執(zhí)行數據關聯技術，并且可在使用傳感器數據幀內的測量值以及與相同時間段相對應的其它傳感器數據幀的部分中的測量值的每個相應的傳感器數據幀時刻之后，更新其關于附近環(huán)境的信息。
[0025]在示例實施例中，計算裝置可從車輛的多個傳感器接收指示環(huán)境的傳感器數據幀。計算裝置可使用完全從一傳感器接收的第一傳感器數據幀以及從其它傳感器接收的在與第一傳感器數據幀相同的時刻的與環(huán)境相對應的其它傳感器幀的部分，來確定包括一個或多個物體的參數的關于環(huán)境的信息。如此，計算裝置可在無需緩沖的情況下使用接收到的傳感器數據幀和傳感器數據幀的部分來開始處理和確定關于環(huán)境的信息，而當計算裝置被配置為在處理之前以較慢速率等待完全接收傳感器數據幀的情況下需要進行緩沖。
[0026]此外，當從車輛傳感器接收到新的傳感器數據幀或先前處理過的傳感器數據幀的后續(xù)部分時，計算裝置可更新其關于環(huán)境的信息。例如，計算裝置可使用在后續(xù)時刻從傳感器接收到的指示環(huán)境的后續(xù)傳感器數據幀和與后續(xù)時刻相對應的其它傳感器數據幀的任何部分(包括以較慢速率接收的已被部分使用的傳感器數據幀的新接收到的部分)，來修改其關于環(huán)境的測量值，包括識別先前檢測到的物體的參數的任何變化或者檢測到新物體。計算裝置可將在新時刻的經修改的指示環(huán)境的信息提供給車輛的系統(tǒng)以供導航期間使用。
[0027]現在將更詳細地描述本公開范圍內的示例系統(tǒng)。通常，示例系統(tǒng)可實現在汽車上或可采取汽車的形式。然而，示例系統(tǒng)還可實現在其它車輛上或采取其它車輛的形式，諸如轎車、卡車、摩托車、公交車、船、飛機、直升機、割草機、休旅車、游樂園車輛、農業(yè)設備、施工設備、有軌電車、高爾夫球車、火車和電車。此外，機器人裝置可被配置為執(zhí)行本文描述的方法和系統(tǒng)。其它車輛也是可能的。
[0028]現在參照圖，圖1是依據示例實施例的示例車輛100的簡化框圖。耦合到車輛100或包括在車輛100中的組件可包括推進系統(tǒng)102、傳感器系統(tǒng)104、控制系統(tǒng)106、外圍設備108、電源110、計算裝置111以及用戶接口 112。計算裝置111可包括處理器113和存儲器114。計算裝置111可以是車輛100的控制器或控制器的一部分。存儲器114可包括處理器113可運行的指令115，并且還可存儲地圖數據116。車輛100的組件可被配置為以與彼此互連和/或與耦合到各系統(tǒng)的其它組件互連的方式工作。例如，電源110可向車輛100的所有組件提供電力。計算裝置111可被配置為從推進系統(tǒng)102、傳感器系統(tǒng)104、控制系統(tǒng)106和外圍設備108接收數據并對它們進行控制。計算裝置111可被配置為在用戶接口112上生成圖像的顯示并從用戶接口 112接收輸入。
[0029]在其它示例中，車輛100可包括更多、更少或不同的系統(tǒng)，并且每個系統(tǒng)可包括更多、更少或不同的組件。此外，示出的系統(tǒng)和組件可以按任意種的方式進行組合或劃分。
[0030]推進系統(tǒng)102可被配置為為車輛100提供動力運動。如圖所示，推進系統(tǒng)102包括引