本發(fā)明涉及三維點(diǎn)云特征提取，尤其涉及基于特征分離和聚合的旋轉(zhuǎn)不變點(diǎn)云特征提取方法。

背景技術(shù)：

1、近年來(lái)，諸如激光雷達(dá)、激光掃描儀和深度攝像頭等3d視覺(jué)傳感器技術(shù)的進(jìn)步顯著擴(kuò)大了3d場(chǎng)景數(shù)據(jù)的可達(dá)性。因此，這些數(shù)據(jù)廣泛應(yīng)用于包括自動(dòng)駕駛、三維重建和智能機(jī)器人在內(nèi)的多個(gè)領(lǐng)域。3d場(chǎng)景數(shù)據(jù)的普遍格式通常以3d無(wú)序點(diǎn)云的形式呈現(xiàn)。因此，從這種點(diǎn)云中熟練地解釋場(chǎng)景內(nèi)容對(duì)于下游應(yīng)用變得至關(guān)重要。

2、雖然深度學(xué)習(xí)已被廣泛應(yīng)用于與圖像相關(guān)的視覺(jué)信號(hào)處理，但必須注意點(diǎn)云與圖像在數(shù)學(xué)上是基本不同的集合，這引入了諸如置換不變性和旋轉(zhuǎn)不變性等獨(dú)特要求。因?yàn)辄c(diǎn)云中的點(diǎn)缺乏預(yù)定的順序，置換不變性要求點(diǎn)云網(wǎng)絡(luò)對(duì)所有可能的排列提供一致的輸出。處理置換不變性的主流做法通常涉及使用諸如最大池化的對(duì)稱函數(shù)或利用像transformer這樣的網(wǎng)絡(luò)架構(gòu)。

3、盡管現(xiàn)有的工作有效地解決了排列不變性，但當(dāng)涉及到實(shí)現(xiàn)旋轉(zhuǎn)不變性時(shí)，挑戰(zhàn)顯著加劇，這意味著在三維空間中對(duì)點(diǎn)云進(jìn)行旋轉(zhuǎn)時(shí)，對(duì)點(diǎn)云的分析或解釋保持一致。為了應(yīng)對(duì)這一挑戰(zhàn)，一種常見(jiàn)的方法是通過(guò)大量隨機(jī)旋轉(zhuǎn)來(lái)進(jìn)行數(shù)據(jù)增強(qiáng)。然而，這種方法效率低且泛化性不足。一些工作集中于將點(diǎn)云與圓錐姿勢(shì)對(duì)齊。然而，計(jì)算資源的稀缺限制了旋轉(zhuǎn)分區(qū)的精度，導(dǎo)致性能顯著下降。另外，還有利用等變神經(jīng)網(wǎng)絡(luò)，但這些方法經(jīng)常無(wú)法在現(xiàn)實(shí)應(yīng)用中確保完全的旋轉(zhuǎn)不變性。還有一些研究使用手工制作旋轉(zhuǎn)不變特征來(lái)替換原始點(diǎn)云作為網(wǎng)絡(luò)輸入。這些描述符缺乏對(duì)象不同部分之間的長(zhǎng)距離依賴關(guān)系。

4、因此，亟需基于特征分離和聚合的旋轉(zhuǎn)不變點(diǎn)云特征提取方法，來(lái)滿足旋轉(zhuǎn)不變性的同時(shí)保證良好的性能。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述技術(shù)問(wèn)題，本發(fā)明提供了基于特征分離和聚合的旋轉(zhuǎn)不變點(diǎn)云特征提取方法，能夠準(zhǔn)確、高效的提取點(diǎn)云特征。

2、基于特征分離和聚合的旋轉(zhuǎn)不變點(diǎn)云特征提取方法，由圖1可知，該方法包括如下步驟：

3、s1：根據(jù)待提取特征點(diǎn)云圖中點(diǎn)云數(shù)量，對(duì)點(diǎn)云圖進(jìn)行分組，獲得n組點(diǎn)組及其各個(gè)點(diǎn)云在原坐標(biāo)系中的坐標(biāo)；

4、s2：根據(jù)各個(gè)點(diǎn)云在原坐標(biāo)系中的坐標(biāo)，通過(guò)主成分分析法，獲得各個(gè)點(diǎn)云在局部坐標(biāo)系中的坐標(biāo)；所述局部坐標(biāo)系為各點(diǎn)組組內(nèi)點(diǎn)云的坐標(biāo)系；

5、s3：基于各個(gè)點(diǎn)云在局部坐標(biāo)系中的坐標(biāo)，通過(guò)多層感知分別對(duì)每組點(diǎn)組進(jìn)行形狀特征提取，得到各點(diǎn)云的形狀特征；

6、s4：基于各個(gè)點(diǎn)云在局部坐標(biāo)系中的坐標(biāo)，計(jì)算各點(diǎn)云的姿態(tài)特征；

7、s5：將各點(diǎn)云所述的形狀特征和姿態(tài)特征通過(guò)多層感知機(jī)和最大池化操作，獲得各點(diǎn)云的高維度的形狀特征和姿態(tài)特征；

8、s6：通過(guò)特征融合網(wǎng)絡(luò)對(duì)各點(diǎn)云的高維度的形狀特征和姿態(tài)特征進(jìn)行融合，得到各個(gè)點(diǎn)云的特征。

9、進(jìn)一步地，所述s2中，根據(jù)各個(gè)點(diǎn)云在原坐標(biāo)系中的坐標(biāo)，通過(guò)主成分分析法，獲得各個(gè)點(diǎn)云在局部坐標(biāo)系中的坐標(biāo)，具體包括：

10、s21：根據(jù)點(diǎn)組中各點(diǎn)云的坐標(biāo)，計(jì)算得到點(diǎn)組局部坐標(biāo)系的中心點(diǎn)的坐標(biāo)，計(jì)算公式為：

11、

12、式中，o為點(diǎn)組局部坐標(biāo)系的中心點(diǎn)的坐標(biāo)，k表示每個(gè)點(diǎn)組中點(diǎn)云的個(gè)數(shù)，pi表示點(diǎn)組中第i個(gè)點(diǎn)位的坐標(biāo)；

13、s22：根據(jù)各點(diǎn)組中點(diǎn)云坐標(biāo)和局部坐標(biāo)系的中心點(diǎn)的坐標(biāo)，通過(guò)主成分分析法，得到各點(diǎn)組的局部坐標(biāo)系方向；所述局部坐標(biāo)系方向用于表示局部坐標(biāo)系中坐標(biāo)維度的方向；所述主成分分析法的計(jì)算公式為：

14、

15、其中，mn為點(diǎn)組n的局部坐標(biāo)系方向，是點(diǎn)組n矩陣en的轉(zhuǎn)置矩陣；

16、s23：由所述點(diǎn)組中各點(diǎn)云的坐標(biāo)和局部坐標(biāo)系方向，計(jì)算點(diǎn)云在局部坐標(biāo)系中的坐標(biāo)為：

17、pi’＝mn(pi-o)；

18、式中，pi’表示點(diǎn)云在局部坐標(biāo)系中的坐標(biāo)。

19、進(jìn)一步地，所述s3中，基于各個(gè)點(diǎn)云在局部坐標(biāo)系中的坐標(biāo)，通過(guò)多層感知機(jī)分別對(duì)每組點(diǎn)組進(jìn)行形狀特征提取，得到各點(diǎn)云的形狀特征，將各個(gè)點(diǎn)云在局部坐標(biāo)系中的坐標(biāo)全部輸入所述多層感知機(jī)，得到各點(diǎn)云的d維形狀特征。

20、進(jìn)一步地，所述姿態(tài)特征包括旋轉(zhuǎn)特征和平移特征；

21、所述旋轉(zhuǎn)特征用于表示各點(diǎn)組間的局部坐標(biāo)系的坐標(biāo)軸的旋轉(zhuǎn)角度；

22、所述平移特征用于表示各點(diǎn)組的局部坐標(biāo)系的中心點(diǎn)間的距離和方向。進(jìn)一步地，所述旋轉(zhuǎn)特征的計(jì)算公式為：

23、rmn＝mn×mmt；

24、式中，rmn表示點(diǎn)組m與點(diǎn)組n之間的旋轉(zhuǎn)特征，mn為點(diǎn)組n的局部坐標(biāo)系方向，mmt為點(diǎn)組m的局部坐標(biāo)系方向的轉(zhuǎn)置矩陣。

25、進(jìn)一步地，所述平移特征的計(jì)算公式為：

26、tmn＝mn×(om-on)；

27、式中，tmn表示點(diǎn)組m與點(diǎn)組n之間的平移特征，mn為點(diǎn)組n的局部坐標(biāo)系方向，om為點(diǎn)組m的局部坐標(biāo)系方向的中心點(diǎn)坐標(biāo)，on為點(diǎn)組n的局部坐標(biāo)系方向的中心點(diǎn)坐標(biāo)。

28、進(jìn)一步地，各點(diǎn)云的高維度的形狀特征計(jì)算方法為：將各點(diǎn)云所述的形狀特征分別使用多層感知機(jī)和最大池化進(jìn)行升維操作，得到所述各點(diǎn)云的d維度的形狀特征。

29、進(jìn)一步地，各點(diǎn)云的高維度的姿態(tài)特征計(jì)算方法為：

30、獲得各點(diǎn)云的高維度的旋轉(zhuǎn)特征：針對(duì)各點(diǎn)位的旋轉(zhuǎn)特征，取所述旋轉(zhuǎn)特征的前6個(gè)元素，將旋轉(zhuǎn)特征轉(zhuǎn)化為6維旋轉(zhuǎn)特征；

31、獲得各點(diǎn)云的高維度的平移特征，計(jì)算公式如下：

32、

33、

34、

35、其中，b為大于等于0的整數(shù)，且滿足6b+5小于等于d，tα表示離散化平移距離，x為點(diǎn)云在局部坐標(biāo)系的x軸坐標(biāo)值，y為點(diǎn)云在局部坐標(biāo)系的y軸坐標(biāo)值，z為點(diǎn)云在局部坐標(biāo)系的z軸坐標(biāo)值，t6b、t6b+1、t6b+2、t6b+3、t6b+4、t6b+5分別表示第6b維、第6b+1維、第6b+2維、第6b+3維、第6b+4維、第6b+5維的平移特征。

36、進(jìn)一步地，所述s6中，通過(guò)特征融合網(wǎng)絡(luò)對(duì)各點(diǎn)云的高維度的形狀特征和姿態(tài)特征進(jìn)行融合，得到各個(gè)點(diǎn)云的融合后特征，計(jì)算公式為：

37、

38、其中，qi為第i個(gè)點(diǎn)云的融合后特征，ai,j為點(diǎn)云i和點(diǎn)云j之間的形狀特征權(quán)重，為點(diǎn)云i和點(diǎn)云j之間的6維旋轉(zhuǎn)特征，為點(diǎn)云i和點(diǎn)云j之間的平移特征，sj表示點(diǎn)云i的d維度的形狀特征，wr表示旋轉(zhuǎn)特征映射矩陣，wt表示平移特征映射矩陣，wv表示值向量映射矩陣。

39、進(jìn)一步地，ai,j使用下述公式算得：

40、

41、其中，wp表示鍵向量映射矩陣，wq表示查詢向量映射矩陣。

42、本發(fā)明實(shí)施例具有以下技術(shù)效果：

43、本發(fā)明提出的方法在點(diǎn)云的每個(gè)點(diǎn)組中提取形狀特征和兩個(gè)點(diǎn)組之間的相對(duì)姿態(tài)特征，然后利用本發(fā)明提出的特征融合網(wǎng)絡(luò)無(wú)縫地整合這兩個(gè)語(yǔ)義上不同的特征，并且可以從理論上證明提取的形狀和姿態(tài)特征本質(zhì)上是旋轉(zhuǎn)不變的。因此，通過(guò)分離并聚合點(diǎn)云的旋轉(zhuǎn)不變形狀特征和姿態(tài)特征，可以有效提取點(diǎn)云特征，可將這些特征用于點(diǎn)云分類與分割任務(wù)。