背景技術：

技術實現(xiàn)思路

1、本公開增強了在車輛上具有固定放置的相機，該固定放置可能不是獲取視覺價值的最佳位置，因此可能忽略用戶潛在感興趣的視圖。在一個實例中，外部相機可被安裝到車輛上具有到車輛的圖像處理系統(tǒng)的預定義連接的預定義定位中的一個定位上。當兼容的相機被安裝在安裝架中的一個安裝架上并且被連接后，圖像處理系統(tǒng)可識別該相機并且配置應用以在視圖選擇中考慮該相機。估計的定位和方位可能已經(jīng)由相機的預定義定位確定。在另一實例中，外部相機可任意地安裝到車輛上的外部定位上?？墒褂脺y距系統(tǒng)和/或慣性測量單元數(shù)據(jù)來估計外部相機的估計的定位和方位。在任意車輛位置處的相機均可通過無線網(wǎng)絡彼此同步?？稍谲囕v正在移動的同時在任一實例(例如，預定義定位或任意位置)上執(zhí)行校準，以計算精確定位和方位，從而支持將相機圖像拼接到來自其他車輛相機的圖像中。例如，可迭代地估計和校準每個相機的方位，并且這些相機可彼此同步。該過程可包括確定具有部分重疊的視場的至少兩個圖像的相對定位以借此確定相機方位。可連續(xù)跟蹤相機方位以維持正被拼接的圖像之間的連續(xù)對齊。

2、本公開還涉及通過確定安裝在拖車或被牽引物體上的相機之間的相對定位并且使用該信息為可視性有限的情況創(chuàng)建環(huán)繞視圖來增強涉及牽引拖車或被牽引物體的車輛可視性，其中盲點和困難的角度使得牽引具有挑戰(zhàn)性。一組相機(例如，有線的和/或無線的)可被定位在拖車或被牽引物體上，并且車輛上現(xiàn)有的固定定位或臨時定位的相機的定位可被用于找到拖車相機的相對定位。該過程可包括確定具有部分重疊的視場的兩個圖像的相對定位以借此確定相機方位。接著可基于所確定的圖像之間的相機方位使用經(jīng)訓練機器學習算法(例如，深度學習模型)來將這兩個圖像拼接在一起。另外，拖車相機可永久地(或非永久地)附接，并且拖車相機的安裝不限于平坦表面，還可擴展到具有重疊圖像的任何平面。

3、根據(jù)本公開的一個或多個方面，一種方法包括：由處理器檢測車輛上的第一相機和該車輛上的第二相機；由處理器確定第一相機或第二相機中的至少一者的定位和方位；由處理器接收來自第一相機的第一數(shù)據(jù)和來自第二相機的第二數(shù)據(jù)；以及基于第一相機或第二相機中的至少一者的定位和方位，將第一數(shù)據(jù)與第二數(shù)據(jù)拼接在一起以生成具有連續(xù)視場的拼接圖像。

4、根據(jù)本公開的一個或多個方面，提供了一種系統(tǒng)，該系統(tǒng)包括存儲器和至少一個處理器，該至少一個處理器耦接到該存儲器并且被配置為確定第一相機是否被定位在車輛上的預定義位置處；當?shù)谝幌鄼C不位于該車輛上的預定義位置處時，使用與第一相機相關聯(lián)的一個或多個測量結果來確定第一相機的定位和方位；從第一相機接收第一數(shù)據(jù)；以及至少部分地基于第一相機的定位和方位將第一數(shù)據(jù)與和車輛上的第二相機相關聯(lián)的第二數(shù)據(jù)拼接以生成具有連續(xù)視場的拼接圖像。

5、根據(jù)本公開的一個或多個方面，一種包括第一相機和第二相機的車輛，該車輛還包括處理器，該處理器被配置為檢測到第一相機的第一連接和到第二相機的第二連接；確定第一相機或第二相機中的一者或多者的定位；確定第一相機或第二相機中的一者或多者的方位；在第一相機與第二相機之間同步；從第一相機接收包括第一數(shù)據(jù)的傳輸，該第一數(shù)據(jù)具有場景的第一視場；以及基于第一相機或第二相機中的至少一者的定位和方位，使用具有第一視場的第一數(shù)據(jù)和具有第二視場的第二數(shù)據(jù)來創(chuàng)建具有連續(xù)視場的拼接圖像。

6、根據(jù)本公開的一個或多個方面，一種方法包括：由處理器獲得來自安裝在被配置為被車輛牽引的物體上的第一相機的第一數(shù)據(jù)和來自安裝在該車輛上的第二相機的第二數(shù)據(jù)；由該處理器使用經(jīng)訓練機器學習算法基于第二相機的定位來確定第一相機的相對定位；以及由處理器使用經(jīng)訓練機器學習算法基于第一相機與第二相機的所確定的相對定位將第一數(shù)據(jù)與第二數(shù)據(jù)拼接以生成具有組合視場的拼接圖像。

7、根據(jù)本公開的一個或多個方面，提供了一種系統(tǒng)，該系統(tǒng)包括存儲器和至少一個處理器，該至少一個處理器耦接到該存儲器并且被配置為從被配置為被車輛牽引的物體的至少一個相機獲得第一數(shù)據(jù)，并且從該車輛的至少一個相機獲得第二數(shù)據(jù)；使用經(jīng)訓練機器學習算法基于車輛的該至少一個相機的定位來確定物體的該至少一個相機的相對定位；使用經(jīng)訓練機器學習算法基于物體的該至少一個相機與車輛的該至少一個相機的所確定的相對定位來對齊第一數(shù)據(jù)和第二數(shù)據(jù)中的圖像；以及組合所對齊的圖像以生成具有組合視場的拼接圖像。

8、根據(jù)本公開的一個或多個方面，一種包括第一組相機的車輛，該車輛還包括處理器，該處理器被配置為從被配置為被該車輛牽引的物體的第二組相機中的至少一個相機接收第一數(shù)據(jù)，并且從該車輛的第一組相機中的至少一個相機接收第二數(shù)據(jù)；基于第一組相機中的該至少一個相機的定位，使用經(jīng)訓練機器學習算法來確定表示第一數(shù)據(jù)和第二數(shù)據(jù)中的圖像的相對定位的一組子像素移位值；使用經(jīng)訓練機器學習算法基于該組子像素移位值來對齊圖像；以及組合所對齊的圖像以產(chǎn)生具有組合視場的拼接圖像。

技術特征：

1.一種方法，包括：

2.根據(jù)權利要求1所述的方法，其中所述第一數(shù)據(jù)包括在被配置為被車輛牽引的物體的第一視場中正被觀察的場景的圖像表示，并且所述第二數(shù)據(jù)包括在所述車輛的第二視場中正被觀察的所述場景的圖像表示。

3.根據(jù)權利要求1所述的方法，其中拼接包括使用所述經(jīng)訓練機器學習算法執(zhí)行子像素外推。

4.根據(jù)權利要求3所述的方法，其中執(zhí)行所述子像素外推包括：

5.根據(jù)權利要求4所述的方法，其中確定所述組子像素移位值包括確定所述圖像之間的小于重疊閾值的重疊量。

6.根據(jù)權利要求4所述的方法，其中確定所述組子像素移位值包括：

7.根據(jù)權利要求1所述的方法，其中獲得所述第一數(shù)據(jù)包括通過無線網(wǎng)絡從所述第一相機接收所述第一數(shù)據(jù)，并且其中獲得所述第二數(shù)據(jù)包括通過所述無線網(wǎng)絡從所述第二相機接收所述第二數(shù)據(jù)。

8.根據(jù)權利要求1所述的方法，其中獲得所述第一數(shù)據(jù)包括通過無線網(wǎng)絡從所述第一相機接收所述第一數(shù)據(jù)，并且其中獲得所述第二數(shù)據(jù)包括通過所述第二相機與所述處理器之間的有線通信鏈路從所述第二相機接收所述第二數(shù)據(jù)。

9.根據(jù)權利要求1所述的方法，還包括在顯示器上提供所述拼接圖像。

10.根據(jù)權利要求1所述的方法，其中所述第二相機位于車輛上，并且所述第一相機位于被配置為被所述車輛牽引的物體上。

11.根據(jù)權利要求1所述的方法，還包括由所述處理器接收從所述第一相機或所述第二相機中的一者或多者輸出的位置信號，所述位置信號指示與車輛相關聯(lián)的位置信息。

12.一種系統(tǒng)，包括：

13.根據(jù)權利要求12所述的系統(tǒng)，其中被配置為對齊和組合所述圖像的所述至少一個處理器被進一步配置為使用所述經(jīng)訓練機器學習算法來執(zhí)行子像素外推。

14.根據(jù)權利要求13所述的系統(tǒng)，其中使用所述經(jīng)訓練機器學習算法通過以下步驟來執(zhí)行所述子像素外推：

15.根據(jù)權利要求14所述的系統(tǒng)，其中被配置為執(zhí)行所述子像素外推的所述至少一個處理器被進一步配置為：

16.根據(jù)權利要求15所述的系統(tǒng)，其中被配置為確定所述組子像素移位值的所述至少一個處理器被進一步配置為確定所述圖像之間的小于重疊閾值的重疊量。

17.根據(jù)權利要求15所述的系統(tǒng)，其中被配置為確定所述組子像素移位值的所述至少一個處理器被進一步配置為：

18.一種車輛，包括：

19.根據(jù)權利要求18所述的車輛，其中被配置為確定所述組子像素移位值的所述處理器被進一步配置為確定所述圖像之間的小于重疊閾值的重疊量。

20.根據(jù)權利要求18所述的車輛，其中被配置為確定所述組子像素移位值的所述處理器被進一步配置為：

技術總結
本主題公開的各方面涉及一種車輛相機系統(tǒng)。實現(xiàn)本主題技術的設備包括第一組相機和處理器，該處理器被配置為從被配置為被車輛牽引的物體的第二組相機中的至少一個相機接收第一數(shù)據(jù)以及從該第一組相機中的至少一個相機接收第二數(shù)據(jù)。該處理器可使用經(jīng)訓練機器學習算法基于該第一組相機中的該至少一個相機的定位來確定表示該第一數(shù)據(jù)和該第二數(shù)據(jù)中的圖像的相對定位的一組子像素移位值。該處理器可使用該經(jīng)訓練機器學習算法基于該組子像素移位值來對齊這些圖像，并且組合所對齊的圖像以產(chǎn)生具有組合視場的拼接圖像。

技術研發(fā)人員：V·文卡塔查拉帕蒂,V·帕拉科德,V·阿皮亞,G·F·伯恩斯,S·戈桑吉,M·A·克諾特,K·K·馬達帕拉比爾
受保護的技術使用者：瑞維安知識產(chǎn)權控股有限責任公司
技術研發(fā)日：
技術公布日：2024/12/23