本公開(kāi)涉及用于操作可移動(dòng)裝置的系統(tǒng)。

背景技術(shù)：

1、計(jì)算機(jī)可以操作系統(tǒng)和/或裝置，包括車輛、機(jī)器人、無(wú)人機(jī)和/或?qū)ο蟾櫹到y(tǒng)。包括圖像的數(shù)據(jù)可以由傳感器獲取并使用計(jì)算機(jī)進(jìn)行處理以確定系統(tǒng)關(guān)于系統(tǒng)周圍環(huán)境中的對(duì)象的位置。計(jì)算機(jī)可以使用位置數(shù)據(jù)來(lái)確定用于在環(huán)境中移動(dòng)系統(tǒng)的軌跡。然后，計(jì)算機(jī)可以確定要傳輸?shù)较到y(tǒng)部件以控制系統(tǒng)部件根據(jù)所確定的軌跡移動(dòng)系統(tǒng)的控制數(shù)據(jù)。

技術(shù)實(shí)現(xiàn)思路

1、系統(tǒng)(包括車輛、機(jī)器人、無(wú)人機(jī)等)可以通過(guò)獲取關(guān)于系統(tǒng)周圍的環(huán)境的傳感器數(shù)據(jù)并處理所述傳感器數(shù)據(jù)以確定系統(tǒng)在真實(shí)世界坐標(biāo)中的位置來(lái)操作。可以處理所確定的真實(shí)世界位置數(shù)據(jù)以確定在其上操作系統(tǒng)或系統(tǒng)的部分的路徑。例如，機(jī)器人可以確定附接到機(jī)器人臂的夾持器相對(duì)于傳送帶的位置。機(jī)器人可以使用所確定的位置來(lái)確定操作以移動(dòng)機(jī)器人的部分來(lái)抓取工件的路徑。車輛可以確定車輛相對(duì)于道路的位置。車輛可以使用所確定的位置來(lái)將車輛從當(dāng)前位置操作到規(guī)劃位置，同時(shí)與道路的邊緣保持預(yù)定距離。車輛操作將在本文中用作系統(tǒng)位置確定的非限制性示例。

2、基于圖像數(shù)據(jù)確定車輛的位置在本文檔的上下文中被稱為視覺(jué)地點(diǎn)辨識(shí)(vpr)。vpr使用圖像數(shù)據(jù)來(lái)確定當(dāng)前地點(diǎn)是否包括在參考位置的預(yù)先存在的集合或數(shù)據(jù)庫(kù)中。vpr可以包括至少兩種不同類型的參考數(shù)據(jù)庫(kù)。第一種可以是多會(huì)話參考數(shù)據(jù)庫(kù)，其中參考數(shù)據(jù)庫(kù)是預(yù)先存在的并且可以是地理參考的。地理參考是指其中全球?qū)Ш叫l(wèi)星系統(tǒng)(gnss)數(shù)據(jù)(可選地與慣性測(cè)量單元(imu)數(shù)據(jù)組合)用于生成包括真實(shí)世界坐標(biāo)的3d位置的數(shù)據(jù)庫(kù)的示例。第二種可以是會(huì)話中參考數(shù)據(jù)庫(kù)，其中3d位置的參考數(shù)據(jù)庫(kù)由車輛基于在連續(xù)駕駛會(huì)話中訪問(wèn)的先前位置來(lái)確定。會(huì)話中參考數(shù)據(jù)庫(kù)可以是也可以不是地理參考的。非地理參考數(shù)據(jù)庫(kù)可以提供相機(jī)與3d位置的參考數(shù)據(jù)庫(kù)之間的相對(duì)姿態(tài)。例如，可以相對(duì)于第一次打開(kāi)相機(jī)時(shí)的相機(jī)位置來(lái)確定當(dāng)前相機(jī)位置。地理參考數(shù)據(jù)庫(kù)提供絕對(duì)定位，其中可以相對(duì)于全局參考系來(lái)確定位置。例如，可以根據(jù)緯度和經(jīng)度來(lái)確定車輛位置。

3、本文描述的vpr的示例包括在車輛沿著已經(jīng)基于由在相反方向上行進(jìn)的車輛收集的數(shù)據(jù)確定的路線返回時(shí)確定車輛的位置。這在本文中被稱為基于相對(duì)視角的vpr。用于確定針對(duì)相對(duì)視角的vpr的現(xiàn)有技術(shù)包括前向和后向(360°)相機(jī)或具有寬視野鏡頭的多個(gè)相機(jī)，例如魚(yú)眼相機(jī)或激光雷達(dá)傳感器。其他vpr技術(shù)依賴于使用深度神經(jīng)網(wǎng)絡(luò)對(duì)場(chǎng)景進(jìn)行語(yǔ)義分割。語(yǔ)義分割是指識(shí)別和定位諸如建筑物和道路的對(duì)象的技術(shù)。采用深度神經(jīng)網(wǎng)絡(luò)來(lái)執(zhí)行語(yǔ)義分割可能需要確定用于訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的廣泛對(duì)象標(biāo)簽數(shù)據(jù)。本文就針對(duì)相對(duì)視角的vpr描述的技術(shù)通過(guò)基于有限視野(例如，180°)立體相機(jī)確定車輛位置來(lái)增強(qiáng)vpr。使用有限視野立體相機(jī)降低了系統(tǒng)復(fù)雜性和計(jì)算資源量，包括360°相機(jī)、魚(yú)眼相機(jī)或激光雷達(dá)傳感器所需的內(nèi)存。本文描述的針對(duì)相對(duì)視角的vpr技術(shù)可以消除對(duì)訓(xùn)練數(shù)據(jù)的需要并減少深度神經(jīng)網(wǎng)絡(luò)解決方案所需的計(jì)算資源。

4、盡管沿著路線在與獲取參考數(shù)據(jù)庫(kù)的方向相反的方向上行進(jìn)，針對(duì)相對(duì)視角的vpr也能增強(qiáng)vpr確定車輛位置的能力。本文針對(duì)vpr描述的技術(shù)可以另外利用在相似視角下收集的參考進(jìn)行操作，而無(wú)需關(guān)于參考視角的先驗(yàn)知識(shí)。增強(qiáng)車輛操作的針對(duì)相對(duì)視角的vpr的示例可以是其中由于來(lái)自高層建筑物的干擾而導(dǎo)致gnss數(shù)據(jù)暫時(shí)不可用的示例。針對(duì)相對(duì)視角的vpr可以相對(duì)于先前獲取的地理參考的參考數(shù)據(jù)庫(kù)定位車輛，并且盡管缺少gnss數(shù)據(jù)也允許操作車輛。

5、本文公開(kāi)了一種方法，所述方法包括：在立體相機(jī)行進(jìn)通過(guò)場(chǎng)景時(shí)基于立體圖像對(duì)生成當(dāng)前關(guān)鍵幀點(diǎn)云；基于當(dāng)前關(guān)鍵幀點(diǎn)云來(lái)確定相似視角查詢矩陣和相對(duì)視角查詢矩陣；并且通過(guò)將相似視角查詢矩陣和相對(duì)視角查詢矩陣與參考矩陣進(jìn)行比較來(lái)生成距離矩陣和相對(duì)視角距離矩陣。可以通過(guò)在距離矩陣和相對(duì)視角距離矩陣中執(zhí)行序列匹配以確定最小序列來(lái)確定立體相機(jī)與參考之間的相對(duì)姿態(tài)，從而確定在立體相機(jī)行進(jìn)通過(guò)場(chǎng)景期間場(chǎng)景中的位置?？梢酝ㄟ^(guò)基于立體相機(jī)的姿態(tài)估計(jì)值和來(lái)自立體相機(jī)的左相機(jī)或右相機(jī)中的一者或多者的相機(jī)固有參數(shù)，將來(lái)自立體圖像對(duì)的像素?cái)?shù)據(jù)投影到關(guān)鍵幀點(diǎn)云中，來(lái)基于立體圖像對(duì)生成關(guān)鍵幀點(diǎn)云?？梢曰诎ㄔ诋?dāng)前關(guān)鍵幀點(diǎn)云中的數(shù)據(jù)點(diǎn)和數(shù)據(jù)點(diǎn)的地平面上方的距離來(lái)確定相似視角查詢矩陣和相對(duì)視角查詢矩陣。

6、相似視角查詢矩陣可以以平行于立體相機(jī)的運(yùn)動(dòng)方向的列和垂直于立體相機(jī)的運(yùn)動(dòng)方向的行布置?？梢酝ㄟ^(guò)經(jīng)由交換相似視角查詢矩陣的相對(duì)行和列而橫向地和縱向地翻轉(zhuǎn)相似視角查詢矩陣來(lái)確定相對(duì)視角查詢矩陣?？梢詫⑾嗨埔暯遣樵兙仃嚭拖鄬?duì)視角查詢矩陣與參考矩陣進(jìn)行比較，以通過(guò)將相似視角查詢矩陣和相對(duì)視角查詢矩陣相對(duì)于參考矩陣橫向地和縱向地移位并比較重疊區(qū)間值，來(lái)生成相似視角距離矩陣列和相對(duì)視角距離矩陣列。

7、可以通過(guò)搜索包括指示匹配的最小值的對(duì)角線來(lái)對(duì)相似視角距離矩陣列和相對(duì)視角距離矩陣列執(zhí)行序列匹配?？梢酝ㄟ^(guò)在場(chǎng)景中沿第一方向行進(jìn)同時(shí)獲取立體圖像對(duì)并在立體相機(jī)的相等位移處生成參考關(guān)鍵幀，來(lái)生成參考關(guān)鍵幀?？梢曰诘乩韰⒖嫉膮⒖紨?shù)據(jù)庫(kù)來(lái)生成在立體相機(jī)行進(jìn)通過(guò)場(chǎng)景期間確定的場(chǎng)景中的真實(shí)世界位置?？梢酝ㄟ^(guò)確定路徑多項(xiàng)式，基于場(chǎng)景中的位置來(lái)操作車輛。可以使用立體視覺(jué)測(cè)程法基于立體圖像來(lái)確定姿態(tài)估計(jì)值和深度圖像。可以將距離矩陣的元素確定為相似視角查詢矩陣和相對(duì)視角查詢矩陣的展平重疊塊與參考矩陣之間的最小余弦距離。可以通過(guò)等式1-(a·b)/(||a||||b||)確定余弦距離。包括指示匹配的最小值的距離矩陣的對(duì)角線具有大約等于+/-1的斜率大小。

8、還公開(kāi)了一種計(jì)算機(jī)可讀介質(zhì)，所述計(jì)算機(jī)可讀介質(zhì)存儲(chǔ)用于執(zhí)行上述方法步驟中的一些或全部的程序指令。本文還公開(kāi)了一種被編程用于執(zhí)行上述方法步驟中的一些或全部的計(jì)算機(jī)，所述計(jì)算機(jī)包括計(jì)算機(jī)設(shè)備，所述計(jì)算機(jī)設(shè)備被編程為：在立體相機(jī)行進(jìn)通過(guò)場(chǎng)景時(shí)基于立體圖像對(duì)生成當(dāng)前關(guān)鍵幀點(diǎn)云；基于當(dāng)前關(guān)鍵幀點(diǎn)云來(lái)確定相似視角查詢矩陣和相對(duì)視角查詢矩陣；并且通過(guò)將相似視角查詢矩陣和相對(duì)視角查詢矩陣與參考矩陣進(jìn)行比較來(lái)生成距離矩陣和相對(duì)視角距離矩陣?？梢酝ㄟ^(guò)在距離矩陣和相對(duì)視角距離矩陣中執(zhí)行序列匹配以確定最小序列來(lái)確定立體相機(jī)與參考之間的相對(duì)姿態(tài)，從而確定在立體相機(jī)行進(jìn)通過(guò)場(chǎng)景期間場(chǎng)景中的位置?？梢酝ㄟ^(guò)基于立體相機(jī)的姿態(tài)估計(jì)值和來(lái)自立體相機(jī)的左相機(jī)或右相機(jī)中的一者或多者的相機(jī)固有參數(shù)，將來(lái)自立體圖像對(duì)的像素?cái)?shù)據(jù)投影到關(guān)鍵幀點(diǎn)云中，來(lái)基于立體圖像對(duì)生成關(guān)鍵幀點(diǎn)云。可以基于包括在當(dāng)前關(guān)鍵幀點(diǎn)云中的數(shù)據(jù)點(diǎn)和數(shù)據(jù)點(diǎn)的地平面上方的距離來(lái)確定相似視角查詢矩陣和相對(duì)視角查詢矩陣。

9、指令可包括另外的指令，其中相似視角查詢矩陣可以以平行于立體相機(jī)的運(yùn)動(dòng)方向的列和垂直于立體相機(jī)的運(yùn)動(dòng)方向的行布置?？梢酝ㄟ^(guò)經(jīng)由交換相似視角查詢矩陣的相對(duì)行和列而橫向地和縱向地翻轉(zhuǎn)相似視角查詢矩陣來(lái)確定相對(duì)視角查詢矩陣?？梢詫⑾嗨埔暯遣樵兙仃嚭拖鄬?duì)視角查詢矩陣與參考矩陣進(jìn)行比較，以通過(guò)將相似視角查詢矩陣和相對(duì)視角查詢矩陣相對(duì)于參考矩陣橫向地和縱向地移位并比較重疊區(qū)間值，來(lái)生成相似視角距離矩陣列和相對(duì)視角距離矩陣列?？梢酝ㄟ^(guò)搜索包括指示匹配的最小值的對(duì)角線來(lái)對(duì)相似視角距離矩陣列和相對(duì)視角距離矩陣列執(zhí)行序列匹配。可以通過(guò)在場(chǎng)景中沿第一方向行進(jìn)同時(shí)獲取立體圖像對(duì)并在立體相機(jī)的相等位移處生成參考關(guān)鍵幀，來(lái)生成參考關(guān)鍵幀?？梢曰诘乩韰⒖嫉膮⒖紨?shù)據(jù)庫(kù)來(lái)生成在立體相機(jī)行進(jìn)通過(guò)場(chǎng)景期間確定的場(chǎng)景中的真實(shí)世界位置?？梢酝ㄟ^(guò)確定路徑多項(xiàng)式，基于場(chǎng)景中的真實(shí)世界位置來(lái)操作車輛?？梢允褂昧Ⅲw視覺(jué)測(cè)程法基于立體圖像來(lái)確定姿態(tài)估計(jì)值和深度圖像?？梢詫⒕嚯x矩陣的元素確定為相似視角查詢矩陣和相對(duì)視角查詢矩陣的展平重疊塊與參考矩陣之間的最小余弦距離?？梢酝ㄟ^(guò)等式1-(a·b)/(||a||||b||)確定余弦距離。包括指示匹配的最小值的距離矩陣的對(duì)角線具有大約等于+/-1的斜率大小。