本公開涉及一種用于根據(jù)順序記錄的數(shù)據(jù)確定與主交通工具的環(huán)境相關(guān)的時空模式的方法。

背景技術(shù)：

1、對于自主駕駛和各種高級駕駛輔助系統(tǒng)(adas)，了解主交通工具周圍外部環(huán)境中的交通場景是一項重要且具有挑戰(zhàn)性的任務。例如，基于在主交通工具處獲取的傳感器數(shù)據(jù)，可以利用空間和時間相關(guān)性來理解交通場景，例如用于跟蹤和/或預測外部環(huán)境中存在的任何物品的動態(tài)。

2、為了提供關(guān)于主交通工具的環(huán)境的信息，可以將包括遞歸單元的機器學習算法應用于由主交通工具的感知系統(tǒng)的傳感器執(zhí)行的順序傳感器掃描提供的數(shù)據(jù)。這樣的機器學習算法可以能夠經(jīng)由由順序傳感器掃描提供的數(shù)據(jù)(例如與主交通工具的環(huán)境中的移動對象相關(guān))導出的空間和時間模式。

3、具體地，針對預定義數(shù)量的時間點執(zhí)行這樣的傳感器掃描，并且可以在先前的時間點(即，在當前時間點之前)上聚合傳感器數(shù)據(jù)，以便生成所謂的存儲器狀態(tài)。存儲器狀態(tài)與來自當前傳感器掃描(即針對當前時間點)的數(shù)據(jù)組合，以便導出空間和時間模式(即基于順序傳感器掃描內(nèi)的相關(guān)性)。

4、然而，包括遞歸單元的機器學習算法可能僅能夠例如根據(jù)相應模式的位移隱式地導出對象的動態(tài)屬性。例如，遞歸單元可以將指示對象存在于先前時間點處的存儲器狀態(tài)中的第一特征簇與指示對象存在于當前時間點處的新穎或當前數(shù)據(jù)中的第二特征簇相關(guān)聯(lián)。

5、因此，機器學習算法所依賴的模型可能無法區(qū)分與主交通工具的環(huán)境相關(guān)聯(lián)的感受野內(nèi)的不同對象。此外，該模型也可能無法合并關(guān)于在先前時間點處的對象的動態(tài)的遺留信息，以便改進對當前時間點處的動態(tài)屬性(例如，某個對象的速度)的估計。因此，這樣的模型也可能無法通過利用動態(tài)屬性來改進針對下一時間點或幀的對象的相應位置的標識來使用遺留信息來改進對象的匹配。

6、因此，需要一種方法，該方法能夠顯式地關(guān)聯(lián)在交通工具的外部環(huán)境中檢測到的順序記錄的數(shù)據(jù)，以便為環(huán)境提供可靠的模式。

技術(shù)實現(xiàn)思路

1、本公開提供了根據(jù)獨立權(quán)利要求的計算機實現(xiàn)的方法、計算機系統(tǒng)和非瞬態(tài)計算機可讀介質(zhì)。在從屬權(quán)利要求、具體實施方式和附圖中給出了實施例。

2、在一個方面，本公開涉及一種用于根據(jù)順序記錄的數(shù)據(jù)確定與主交通工具的環(huán)境相關(guān)的模式的計算機實現(xiàn)的方法。根據(jù)該方法，針對當前時間點和針對預定義數(shù)量的先前時間點確定由主交通工具的感知系統(tǒng)在主交通工具的環(huán)境中檢測到的相應特性集合。經(jīng)由主交通工具的處理單元，針對當前時間點生成與特性集合相關(guān)聯(lián)的當前輸入數(shù)據(jù)集合，并且通過聚合先前時間點的特性集合來生成存儲器數(shù)據(jù)集合。將注意力算法應用于當前輸入數(shù)據(jù)集合和存儲器數(shù)據(jù)集合以生成聯(lián)合時空數(shù)據(jù)集合，并且根據(jù)聯(lián)合時空數(shù)據(jù)集合確定主交通工具的環(huán)境的至少一個模式。

3、感知系統(tǒng)可以包括例如雷達系統(tǒng)、激光雷達系統(tǒng)和/或安裝在主交通工具處以監(jiān)控其外部環(huán)境的一個或多個相機。因此，感知系統(tǒng)可以能夠監(jiān)控包括能夠在主交通工具的外部環(huán)境中移動的多個對象的主交通工具的動態(tài)背景。對象可以包括例如其他交通工具140和/或行人150。感知系統(tǒng)還可以被配置成用于監(jiān)控靜態(tài)對象，即主交通工具的靜態(tài)背景。例如，這樣的靜態(tài)對象可以包括交通標志或車道標記。

4、由感知系統(tǒng)檢測到的相應特性集合可以例如通過使用恒定采樣率從順序記錄的數(shù)據(jù)獲取。因此，當前時間點和先前時間點可以以使得它們之間存在恒定的時間間隔的方式來定義。因此，預定義數(shù)量的先前時間點可以包括最早時間點和可以緊接在當前時間點之前的最新時間點。

5、該方法的輸出，即，與主交通工具的環(huán)境相關(guān)的至少一個模式，可以被提供為可以存儲在網(wǎng)格圖中的抽象特征圖。網(wǎng)格圖可以由相對于交通工具的鳥瞰視圖中的二維網(wǎng)格來表示。然而，可以替代地實現(xiàn)網(wǎng)格圖的其他表示。網(wǎng)格圖可以包括預定義數(shù)量的單元。對于每個單元，可以關(guān)聯(lián)預定義數(shù)量的特征以便生成特征圖。

6、可以將例如被實現(xiàn)為進一步的相應機器學習算法的進一步的任務(例如包括解碼程序)應用于包括與主交通工具的環(huán)境相關(guān)的至少一個模式的特征圖。這些任務可以包括關(guān)于相應對象的動態(tài)的不同種類的信息，例如關(guān)于其位置、其速度和/或關(guān)于圍繞相應的對象的邊界框。也就是說，可以通過將相應的任務應用于包括模式的特征圖來檢測和/或跟蹤對象本身(即它們的位置)和它們的動態(tài)屬性。此外，可以執(zhí)行網(wǎng)格分割作為應用于特征圖的任務，例如，以便檢測主交通工具的環(huán)境中的自由空間。

7、該方法可以實現(xiàn)為一個或多個機器學習算法，例如，實現(xiàn)為其定義了合適的訓練程序的神經(jīng)網(wǎng)絡。當訓練機器學習算法或神經(jīng)網(wǎng)絡時，可以將方法的輸出和有效真值提供給用于優(yōu)化相應的機器學習算法或神經(jīng)網(wǎng)絡的損失函數(shù)。針對主交通工具的已知環(huán)境生成有效真值，對于該已知環(huán)境，由感知系統(tǒng)提供的傳感器數(shù)據(jù)可以被預處理，以便生成例如與鳥瞰視圖中的網(wǎng)格圖相關(guān)聯(lián)的數(shù)據(jù)。

8、數(shù)據(jù)可以由該方法處理，并且例如關(guān)于用于確定自由空間的對象檢測和/或分割的進一步的任務的相應結(jié)果可以與主交通工具的已知環(huán)境相關(guān)。損失函數(shù)可以獲取模型(即，機器學習算法或神經(jīng)網(wǎng)絡所依賴的模型)相對于有效真值的誤差?？梢韵鄳馗聶C器學習算法或神經(jīng)網(wǎng)絡的權(quán)重，以最小化損失函數(shù)，即模型的誤差。

9、根據(jù)本公開的方法與應用例如遞歸單元的先前方法的不同之處在于，應用注意力算法以便明確地利用被聚合到最新的先前時間點的存儲器數(shù)據(jù)集合與當前輸入數(shù)據(jù)集合之間的相關(guān)性。這些相關(guān)性由聯(lián)合時空數(shù)據(jù)集合表示。通過使用注意力算法，該方法能夠顯式地關(guān)聯(lián)模式，例如針對對象的動態(tài)、針對連續(xù)幀或連續(xù)時間點。

10、因此，該方法能夠區(qū)分主交通工具的外部環(huán)境內(nèi)(即，在該方法的感受野內(nèi))的不同對象，并且針對所考慮的時間點唯一地提供或跟蹤它們的動態(tài)屬性。此外，經(jīng)由聯(lián)合時空數(shù)據(jù)集合內(nèi)的注意力算法考慮來自存儲器數(shù)據(jù)的遺留信息(例如關(guān)于不同對象的動態(tài))，以便從中導出相應模式。例如，可以從特征圖導出顯式空間位移，并且可以將空間位移轉(zhuǎn)換為對象的相應速度的改進估計以及對象在下一幀或下一時間點的位置的改進估計，以便改進幀或時間步長之間的對象的匹配。

11、根據(jù)各種實施例，當前輸入數(shù)據(jù)集合和存儲器數(shù)據(jù)集合可以與針對主交通工具的環(huán)境定義的相應網(wǎng)格圖相關(guān)聯(lián)。與網(wǎng)格圖的關(guān)聯(lián)可以促進與多個對象相關(guān)的相應的模式的表示。例如，網(wǎng)格圖可以包括多個網(wǎng)格單元，每個網(wǎng)格單元包括針主交通工具的環(huán)境中的相應特性中的每一個特性的不同通道。

12、當應用注意力算法時，可以確定與當前輸入數(shù)據(jù)集合相關(guān)聯(lián)的網(wǎng)格圖的單元與與存儲器數(shù)據(jù)集合相關(guān)聯(lián)的網(wǎng)格圖的多個單元之間的匹配。替代地，可以在與當前輸入數(shù)據(jù)集合相關(guān)聯(lián)的網(wǎng)格圖的單元中的一個單元與與存儲器數(shù)據(jù)集合相關(guān)聯(lián)并且另外與當前輸入數(shù)據(jù)集合相關(guān)聯(lián)的網(wǎng)格圖的多個單元之間確定匹配。換句話說，針對與與當前輸入數(shù)據(jù)集合相關(guān)聯(lián)的網(wǎng)格圖的單元中的一個單元匹配的網(wǎng)格圖的多個單元，也可以考慮當前輸入數(shù)據(jù)。因此，注意力算法可以提供在當前時間點處考慮的網(wǎng)格圖的單元與導致當前輸入數(shù)據(jù)(即，針對當前時間點)的狀態(tài)的“動態(tài)歷史”之間的關(guān)系。

13、根據(jù)進一步實施例，注意力算法可以包括通過將當前輸入數(shù)據(jù)集合的元素和存儲器數(shù)據(jù)集合的分配元素關(guān)聯(lián)來定義的權(quán)重。注意力算法的權(quán)重被應用于通過采用當前輸入數(shù)據(jù)集合的元素和存儲器數(shù)據(jù)集合的分配元素的并集而生成的值，以便提供聯(lián)合時空數(shù)據(jù)集合作為注意力算法的輸出。

14、例如，當前輸入數(shù)據(jù)集合的元素可以指與所考慮的某個對象相關(guān)的一個或多個網(wǎng)格單元，并且存儲器數(shù)據(jù)集合的與當前輸入數(shù)據(jù)集合的元素關(guān)聯(lián)的分配元素可以與由多于一個網(wǎng)格單元表示的該對象的先前動態(tài)相關(guān)聯(lián)。通過根據(jù)當前輸入數(shù)據(jù)和存儲器數(shù)據(jù)的關(guān)系定義或生成注意力算法的權(quán)重，并且通過將這些權(quán)重應用于基于當前輸入數(shù)據(jù)和存儲器數(shù)據(jù)的一部分生成的值，當生成聯(lián)合時空數(shù)據(jù)集合時，關(guān)于動態(tài)的遺留信息從存儲器數(shù)據(jù)傳送。因此，經(jīng)由注意力算法改進了所確定模式的可靠性。

15、將當前輸入數(shù)據(jù)集合的元素與存儲器數(shù)據(jù)集合的分配元素關(guān)聯(lián)可以包括：通過采用當前輸入數(shù)據(jù)集合的元素來生成查詢向量，通過采用存儲器數(shù)據(jù)集合的分配元素和當前輸入數(shù)據(jù)集合的元素來生成鍵向量，以及估計查詢向量和鍵向量的點積，根據(jù)該點積估計注意力算法的權(quán)重。也就是說，經(jīng)由點積，估計查詢向量和鍵向量之間的一致性匹配，其表示它們之間的相關(guān)性并定義注意力算法的權(quán)重。

16、可以基于存儲器數(shù)據(jù)集合的分配元素和當前輸入數(shù)據(jù)集合的元素的級聯(lián)來生成鍵向量。

17、為了生成聯(lián)合時空數(shù)據(jù)集合，注意力算法的輸出可以進一步與存儲器數(shù)據(jù)集合組合。門控程序可以被配置成用于定義用于將存儲器數(shù)據(jù)集合內(nèi)的相應通道與注意力算法的輸出組合的權(quán)重。因此，門控程序可以針對存儲器數(shù)據(jù)集合內(nèi)的每個通道調(diào)整如何組合存儲器狀態(tài)和注意力算法的輸出。

18、根據(jù)進一步實施例，關(guān)于相對于空間參考點的相應距離的信息可以與當前輸入數(shù)據(jù)集合相關(guān)聯(lián)并且與存儲器數(shù)據(jù)集合相關(guān)聯(lián)，以便跟蹤對象在先前時間點中的一個時間點與當前時間點之間的移動?？臻g參考點可以定義在主交通工具處。可以在距離的網(wǎng)狀網(wǎng)格上定義關(guān)于相應距離的信息，和/或可以通過關(guān)于相應距離的信息來擴展現(xiàn)有的網(wǎng)格圖。通過跟蹤對象的移動，可以執(zhí)行速度估計。

19、關(guān)于與存儲器數(shù)據(jù)集合相關(guān)聯(lián)的相應距離的信息可以經(jīng)由運動模型來確定，該運動模型包括對象的速度估計。關(guān)于與存儲器數(shù)據(jù)集合相關(guān)聯(lián)的相應距離的信息可以經(jīng)由包括對象的速度估計的運動模型來確定。

20、此外，位置信息可以與當前輸入數(shù)據(jù)集合的元素和存儲器數(shù)據(jù)集合的分配元素相關(guān)聯(lián)，以便估計主交通工具的環(huán)境中的對象的速度。可以經(jīng)由當前時間點與先前時間點中的一個時間點之間的位移估計來執(zhí)行速度估計。位置信息可以作為位置編碼來提供，該位置編碼可以級聯(lián)到輸入數(shù)據(jù)，該輸入數(shù)據(jù)隨后可以用于如上所述計算查詢、鍵和值。

21、可以將至少一個模式提供給用于對象檢測的算法和/或提供給用于分割主交通工具的環(huán)境的算法，該用于對象檢測的算法確定與位于主交通工具的環(huán)境中的多個對象中的至少一個對象相關(guān)聯(lián)的邊界框的位置、速度和坐標中的至少一者。環(huán)境的分割可以包括例如基于網(wǎng)格分割來確定自由空間?；陉P(guān)于相應對象的該信息，例如可以執(zhí)行對象的跟蹤。

22、在另一方面，本公開涉及計算機系統(tǒng)，所述計算機系統(tǒng)被配置成用于執(zhí)行本文描述的計算機實現(xiàn)方法的若干或所有步驟。計算機系統(tǒng)可以進一步被配置成用于接收針對當前時間點和針對當前時間點之前的預定義數(shù)量的時間點，由主交通工具的感知系統(tǒng)在主交通工具的環(huán)境中檢測到的相應特性集合。

23、該計算機系統(tǒng)可以包括處理單元、至少一個存儲單元和至少一個非瞬態(tài)數(shù)據(jù)存儲器。非瞬態(tài)數(shù)據(jù)存儲和/或存儲器單元可以包括用于指示計算機執(zhí)行本文描述的計算機實現(xiàn)方法的若干或所有步驟或方面的計算機程序。

24、如本文所使用的，像處理單元和模塊之類的術(shù)語可以指、是專用集成電路(asic)、電子電路、組合邏輯電路、現(xiàn)場可編程門陣列(fpga)、執(zhí)行代碼的處理器(共享的、專用的或組的)、提供所述功能的其他合適的組件，或者上述一些或全部的組合的一部分，或者包括專用集成電路(asic)、電子電路、組合邏輯電路、現(xiàn)場可編程門陣列(fpga)、執(zhí)行代碼的處理器(共享的、專用的或組的)、提供所述功能的其他合適的組件，或者上述一些或全部的組合，諸如在片上系統(tǒng)中。處理單元可以包括存儲由處理器執(zhí)行的代碼的存儲器(共享的、專用的或組的)。

25、在另一方面，本公開涉及一種交通工具，該交通工具包括如本文所述的感知系統(tǒng)和計算機系統(tǒng)。例如，交通工具可以是汽車交通工具。

26、根據(jù)實施例，交通工具可以進一步包括控制系統(tǒng)，該控制系統(tǒng)被配置成用于接收從由計算機系統(tǒng)提供的至少一個模式導出的信息，并且應用該信息來控制交通工具。關(guān)鍵至少一個模式導出的信息可以包括在主交通工具的環(huán)境中檢測到的對象的屬性和/或包括自由空間的環(huán)境的分割。

27、在另一方面，本公開涉及一種非瞬態(tài)計算機可讀介質(zhì)，該非瞬態(tài)計算機可讀介質(zhì)包括用于執(zhí)行本文描述的計算機實現(xiàn)方法的若干或所有步驟或方面的指令。計算機可讀介質(zhì)可以被配置為：光學介質(zhì)，諸如光盤(cd)或數(shù)字通用盤(dvd)；磁介質(zhì)，諸如硬盤驅(qū)動器(hdd)；固態(tài)硬盤(ssd)；只讀存儲器(rom)；閃存；或者類似的。此外，計算機可讀介質(zhì)可以被配置為經(jīng)由數(shù)據(jù)連接(諸如互聯(lián)網(wǎng)連接)可訪問的數(shù)據(jù)存儲器。計算機可讀介質(zhì)可以例如是在線數(shù)據(jù)存儲庫或云存儲器。

28、本公開還涉及一種計算機程序，該計算機程序用于指示計算機執(zhí)行本文所描述的計算機實現(xiàn)的方法的若干或所有步驟或方面。