本申請涉及計算機視覺，具體地涉及一種基于圖像和點云的位姿確定方法、裝置、作業(yè)機械及介質(zhì)。

背景技術(shù)：

1、作業(yè)機械領(lǐng)域往往作業(yè)環(huán)境惡劣，工作強度大，且伴隨著較大的安全隱患。隨著科技的飛速發(fā)展，無人駕駛作為作業(yè)機械領(lǐng)域的新興力量，正逐漸改變著傳統(tǒng)的作業(yè)方式。無人駕駛通過先進的控制系統(tǒng)，能夠精準地完成各種工作任務，不僅提高了工作效率，節(jié)約了人力成本，還能有效避免安全隱患，為人員的安全提供了更好的保障。

2、slam（simultaneous?localization?and?mapping，同時定位與建圖），可以同時解決定位和地圖構(gòu)建問題，基于作業(yè)機械的位姿確定所處環(huán)境的地圖。然而，現(xiàn)有的作業(yè)機械的位姿確定不夠準確，進而導致構(gòu)建地圖的精度不佳。因此，亟需一種能適應作業(yè)機械領(lǐng)域復雜作業(yè)場景的位姿確定方法，提升作業(yè)機械的位姿的準確性。

技術(shù)實現(xiàn)思路

1、本申請實施例的目的是提供一種基于圖像和點云的位姿確定方法、裝置、作業(yè)機械及介質(zhì)，用以解決現(xiàn)有技術(shù)中作業(yè)機械的位姿確定不夠準確的技術(shù)問題。

2、為了實現(xiàn)上述目的，本申請第一方面提供一種基于圖像和點云的位姿確定方法，應用于作業(yè)機械，作業(yè)機械包括激光雷達和圖像采集裝置，方法包括：

3、基于視覺標識，確定圖像采集裝置的第一位姿；

4、根據(jù)第一位姿和第一外參，確定對作業(yè)機械的第二位姿的視覺約束，其中，第一外參為預先標定的圖像采集裝置相對于激光雷達的外參；

5、根據(jù)激光雷達采集的多幀點云，確定對作業(yè)機械的位姿的點云約束；

6、根據(jù)視覺約束和點云約束，確定作業(yè)機械的第二位姿。

7、在本申請實施例中，基于視覺標識，確定圖像采集裝置的第一位姿，包括：

8、采集包括視覺標識的圖像；

9、根據(jù)圖像，確定視覺標識中的多個關(guān)鍵點坐標；

10、根據(jù)多個關(guān)鍵點坐標進行配準，得到圖像采集裝置的第一位姿。

11、在本申請實施例中，第一外參的標定方法包括：

12、分別確定圖像采集裝置與激光雷達相對于坐標檢測裝置的第一方向向量和第二方向向量；

13、根據(jù)第一方向向量和第二方向向量，分別確定圖像采集裝置與激光雷達相對于坐標檢測裝置的第二外參和第三外參；

14、根據(jù)第二外參和第三外參，確定第一外參。

15、在本申請實施例中，點云約束包括幀間配準約束，根據(jù)激光雷達采集的多幀點云，確定對作業(yè)機械的位姿的點云約束，包括：

16、對激光雷達采集的多幀點云基于曲率進行分類，得到邊緣點集和平面點集；

17、根據(jù)當前幀點云中的任意一個當前邊緣點以及前一幀點云中的第一目標點，構(gòu)建點線幀間配準約束，其中，當前邊緣點屬于邊緣點集，第一目標點包括與當前邊緣點最近的兩個點；

18、根據(jù)當前幀點云中的任意一個當前平面點以及前一幀點云中的第二目標點，構(gòu)建點面幀間配準約束，其中，當前平面點屬于平面點集，第二目標點包括與當前邊緣點最近的三個點；

19、將點線幀間配準約束以及點面幀間配準約束，作為幀間配準約束。

20、在本申請實施例中，對激光雷達采集的多幀點云基于曲率進行分類，得到邊緣點集和平面點集，包括：

21、對激光雷達采集的多幀點云進行區(qū)域劃分，其中，每幀點云均包括多個點；

22、確定所有點的曲率；

23、在每個區(qū)域中分別選取曲率最大的第一預設數(shù)量的點作為邊緣點，得到邊緣點集；

24、在每個區(qū)域中分別選取曲率最小的第二預設數(shù)量的點作為平面點，得到平面點集。

25、在本申請實施例中，對激光雷達采集的多幀點云進行區(qū)域劃分，包括：

26、將激光雷達采集的多幀點云映射到全局坐標系，得到每個點在全局坐標系的坐標，其中，全局坐標系根據(jù)坐標檢測裝置建立；

27、根據(jù)每個點在全局坐標系的坐標，確定每個點的通道數(shù)以及相對掃描時間；

28、根據(jù)通道數(shù)和相對掃描時間，對所有點進行區(qū)域劃分。

29、在本申請實施例中，點云約束包括平面約束，根據(jù)激光雷達采集的多幀點云，確定對作業(yè)機械的位姿的點云約束，包括：

30、對激光雷達采集的當前幀點云的預設范圍進行提取，得到局部點云；

31、根據(jù)前一幀點云的平面方程以及幀間位姿，求解得到當前幀點云的第一平面超參數(shù)；

32、根據(jù)局部點云中的點，確定當前幀點云的平面初始參數(shù)；

33、對平面初始參數(shù)進行優(yōu)化，得到當前幀點云觀測的第二平面超參數(shù)；

34、根據(jù)第一平面超參數(shù)和第二平面超參數(shù)，構(gòu)建平面約束。

35、在本申請實施例中，激光雷達包括慣性測量單元，方法還包括：

36、對慣性測量單元進行預積分，確定慣導預積分約束；

37、根據(jù)視覺約束和點云約束，確定作業(yè)機械的第二位姿，包括：

38、根據(jù)視覺約束、點云約束和慣導預積分約束，確定作業(yè)機械的第二位姿。

39、本申請第二方面提供一種基于圖像和點云的位姿確定裝置，包括：

40、存儲器，被配置成存儲指令；

41、處理器，被配置成從存儲器調(diào)用指令以及在執(zhí)行指令時能夠?qū)崿F(xiàn)前述第一方面的基于圖像和點云的位姿確定方法。

42、本申請第三方面提供一種作業(yè)機械，包括：

43、前述第二方面的基于圖像和點云的位姿確定裝置；

44、激光雷達；

45、圖像采集裝置。

46、本申請第四方面提供一種機器可讀存儲介質(zhì)，該機器可讀存儲介質(zhì)上存儲有指令，該指令用于使得機器執(zhí)行前述第一方面的基于圖像和點云的位姿確定方法。

47、通過上述技術(shù)方案，基于視覺標識確定圖像采集裝置的第一位姿，進而根據(jù)第一位姿和第一外參確定對作業(yè)機械的第二位姿的視覺約束，由于引入了視覺約束，能有效降低累計誤差和環(huán)境退化的場景，獲得更加魯棒、穩(wěn)定、準確的位姿結(jié)果。進一步地，構(gòu)建了視覺約束和點云約束的多源信息約束，能消除單一信息約束的局限性，結(jié)合各類信息源的優(yōu)勢，獲得更加魯棒、穩(wěn)定、準確的位姿結(jié)果。

48、本申請實施例的其它特征和優(yōu)點將在隨后的具體實施方式部分予以詳細說明。

技術(shù)特征：

1.一種基于圖像和點云的位姿確定方法，其特征在于，應用于作業(yè)機械，所述作業(yè)機械包括激光雷達和圖像采集裝置，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于視覺標識，確定所述圖像采集裝置的第一位姿，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一外參的標定方法包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述點云約束包括幀間配準約束，所述根據(jù)所述激光雷達采集的多幀點云，確定對所述作業(yè)機械的位姿的點云約束，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述對所述激光雷達采集的多幀點云基于曲率進行分類，得到邊緣點集和平面點集，包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述對所述激光雷達采集的多幀點云進行區(qū)域劃分，包括：

7.根據(jù)權(quán)利要求1、4-6中任一項所述的方法，其特征在于，所述點云約束包括平面約束，所述根據(jù)所述激光雷達采集的多幀點云，確定對所述作業(yè)機械的位姿的點云約束，包括：

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述激光雷達包括慣性測量單元，所述方法還包括：

9.一種基于圖像和點云的位姿確定裝置，其特征在于，包括：

10.一種作業(yè)機械，其特征在于，包括：

11.一種機器可讀存儲介質(zhì)，其特征在于，該機器可讀存儲介質(zhì)上存儲有指令，該指令用于使得機器執(zhí)行根據(jù)權(quán)利要求1至8中任一項所述的基于圖像和點云的位姿確定方法。

技術(shù)總結(jié)
本申請涉及計算機視覺技術(shù)領(lǐng)域，公開了一種基于圖像和點云的位姿確定方法、裝置、作業(yè)機械及介質(zhì)，方法應用于作業(yè)機械，作業(yè)機械包括激光雷達和圖像采集裝置，方法包括：基于視覺標識，確定圖像采集裝置的第一位姿；根據(jù)第一位姿和第一外參，確定對作業(yè)機械的第二位姿的視覺約束，其中，第一外參為預先標定的圖像采集裝置相對于激光雷達的外參；根據(jù)激光雷達采集的多幀點云，確定對作業(yè)機械的位姿的點云約束；根據(jù)視覺約束和點云約束，確定作業(yè)機械的第二位姿。本申請?zhí)峁┑姆椒?，由于引入了視覺約束，并構(gòu)建了視覺約束和點云約束的多源信息約束，能夠獲得更加魯棒、穩(wěn)定、準確的位姿結(jié)果。

技術(shù)研發(fā)人員：付玲,段宇峰,趙鍵,劉延斌,于曉穎,范卿,尹莉,佘玲娟
受保護的技術(shù)使用者：中聯(lián)重科股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30