本發(fā)明屬于工業(yè)裝配制造全場景感知，特別是涉及一種基于三維高斯?jié)姙R的大型裝配場景的動態(tài)實時渲染方法。

背景技術：

1、我國工業(yè)制造飛速發(fā)展，航空航天等工業(yè)制造領域的重大裝備是國防安全和國民經濟發(fā)展的戰(zhàn)略保障。飛機壁板、飛機蒙皮等大型復雜部件是重大裝備的重要組成部分，保障其裝配過程質量是決定裝備綜合性能和安全運行的關鍵因素。當前裝配過程的監(jiān)測主要依賴于人工監(jiān)測、力或電傳感器故障診斷和數字孿生等手段來判斷裝配過程的準確程度。然而上述方法存在以下問題：1）人工監(jiān)測效率低下；2）通過力或電傳感器進行故障診斷的方式信息可讀性差且要求較高的專業(yè)知識；3）數字孿生僅對已建模要素，如機器人、執(zhí)行機構、待裝配部件等設備進行數據同步，而場景中額外的因素，如人、臨時設備等無法獲得準確的實時反饋。因此如何對大型裝配場景進行實時有效的監(jiān)測是重大裝備制造的難點，同時對提升重大裝備制造品質與提高裝配過程的安全性具有不可替代的基礎支撐作用。

2、針對上述問題，將多源異構傳感器進行融合，優(yōu)化大型復雜部件裝配過程的三維重建步驟，實現高效準確的動態(tài)實時渲染，使裝配場景監(jiān)測在提質、增效、降本、柔性生產等高質量發(fā)展中發(fā)揮重要支撐作用。目前，存在許多工業(yè)制造裝配場景的監(jiān)測方法，但仍不足以滿足場景全覆蓋、交互友好、實時動態(tài)等工程應用的要求。因此如何在大型裝配制造場景下實現實時場景監(jiān)測，為工作人員提供友好交互方式，成為該領域現階段亟需解決的問題。相比于傳統(tǒng)的監(jiān)測方式，通過視覺傳感器對裝配過程進行監(jiān)測仍然存在很大挑戰(zhàn)。其中，單個相機傳感器難以實現重建與渲染，單個激光雷達雖然能快速實現重建但缺乏顏色信息，此外，融合多個傳感器的過程中存在數據結構差異大、數據對齊難度高、信息利用困難等問題，因此設計一個針對大型裝配場景動態(tài)實時渲染方法來實現裝配過程的監(jiān)測是非常有必要的。

3、近年來，關于三維重建后的實時渲染受到越來越多的關注。其中，三維高斯?jié)姙R的表示方式為場景渲染提供了實時性的方案，激光雷達與多相機分別為裝配過程的場景渲染提供了幾何與顏色的信息，然而目前實現過程中有如下三個難點：

4、1、三維高斯?jié)姙R(3d?gaussian?splatting,?3dgs)依賴相機從大量不同的視角進行參數優(yōu)化，通常這些視角通過相機的運動本身獲取且無法處理動態(tài)場景的變化，而裝配過程全場景的監(jiān)測要求有限數量的相機保持靜止，且場景在裝配過程中是動態(tài)變化的，這使得三維高斯?jié)姙R參數估計的準確性下降；

5、2、三維高斯?jié)姙R的渲染步驟前需要通過深度學習的訓練獲取空間點的高斯參數，當前的三維高斯?jié)姙R技術在靜態(tài)場景擁有極佳的實時渲染性能。然而動態(tài)裝配過程是一個數據流，這意味著數據流中的每一個時間戳的數據均需要訓練高斯參數，由于訓練過程的存在，使得動態(tài)場景渲染的實時性難以保證；

6、3、大型裝配過程并非整個場景均為動態(tài)，而是部分要素處于運動狀態(tài)，對場景中所有空間點的高斯參數進行維護是非常冗余的，且將耗費大量的計算資源與計算時間，這進一步加重了實時性的問題。

技術實現思路

1、針對以上技術問題，本發(fā)明提供一種基于三維高斯?jié)姙R的大型裝配場景的動態(tài)渲染方法，其目的是為了解決高斯?jié)姙R渲染方法在有限視角時高斯參數估計難、動態(tài)場景渲染實時性差、高斯參數數據維護冗余的技術問題。

2、本發(fā)明解決其技術問題采用的技術方案是：

3、基于三維高斯?jié)姙R的大型裝配場景的動態(tài)實時渲染方法，所述方法包括以下步驟：

4、s100：構建全場景感知平臺，采集大型裝配過程中的三維點云流數據與多視角彩色圖像流數據；

5、s200：將多視角彩色圖像數據與三維點云數據變換到世界坐標系下，將點云、圖像像素與場景空間點進行對齊；

6、s300：將對齊后的三維點云流數據第一幀輸入三維高斯?jié)姙R模型進行渲染，定義對齊后的多視角彩色流圖像第一幀以及三維高斯?jié)姙R模型渲染結果之間的損失函數，對三維高斯?jié)姙R模型進行反向傳播以更新模型參數，完成三維高斯?jié)姙R模型的初始化，獲得三維高斯參數；

7、s400：判斷對齊后的三維點云流數據中的當前輸入幀是否為關鍵幀，若當前輸入幀為關鍵幀，將關鍵幀輸入三維高斯?jié)姙R模型進行渲染，通過損失函數對三維高斯?jié)姙R模型進行反向傳播以更新模型參數，若當前輸入幀為非關鍵幀，則通過預設的時序狀態(tài)空間模型設計預測器，并對預測器進行訓練，與相鄰幀信息對三維高斯參數進行預測，得到當前輸入幀所對應的三維高斯參數；

8、s500：將s400得到的三維高斯參數與當前輸入幀的點云進行渲染，最終實現大型裝配場景的動態(tài)實時渲染。

9、優(yōu)選地，s100包括：

10、s110：將四個非重復式掃描的激光雷達安裝固定在天花板橫梁上的四個角落，掃描方向朝向裝配場景，將十二個彩色相機安裝固定在天花板橫梁上的四條邊，且位于天花板的非重復式掃描激光雷達與彩色相機均保持靜止；

11、s120：四個非重復式掃描的激光雷達采集四份裝配場景的點云數據，十二個彩色相機采集十二份裝配場景的圖像數據，點云數據與圖像數據將以數據流的形式傳輸到高性能計算單元進行處理。

12、優(yōu)選地，s200包括：

13、s210：通過任意標注工具獲得全場景感知平臺的任意傳感器到世界坐標系的坐標變換；

14、s220：根據時間戳對來自多個傳感器的數據進行對齊，在世界坐標系下對裝配場景的空間進行柵格化處理；

15、s230：將四個非重復式掃描激光雷達的數據的坐標系變換到世界坐標系下，得到時刻在世界坐標系下的場景體素點云，完成場景空間點與激光雷達點云的對齊；

16、s240：通過剛體變換與投影變換實現場景空間點與彩色圖像像素的對齊，其中，剛體變換將場景空間點坐標轉換到相機光學中心坐標系下，投影變化將相機光學中心坐標系下的場景空間點轉換到像素平面的像素。

17、優(yōu)選地，s220中在世界坐標系下對裝配場景的空間進行柵格化處理，具體為：

18、定義裝配場景為一個大小為的空間，定義體素的尺寸為,可得裝配場景空間的分辨率，如公式（1）所示：

19、????????（1）

20、s230具體為：

21、??????（2）

22、其中，表示來自第個激光雷達傳感器的點云，表示空間點坐標，表示任意傳感器到世界坐標系的坐標變換，表示第個傳感器，表示包含旋轉與平移的操作；空間點坐標應當滿足以下公式（3）的條件：

23、?????（3）

24、計算點的體素中心坐標，計算如公式（4）所示：

25、???（4）

26、其中符號表示向上取整，可得當前時刻四個非重復式掃描激光雷達數據的體素坐標并集集合，即表示時刻在世界坐標系下的場景體素點云；

27、s240具體為：

28、計算體素點云對應的圖像像素，具體為：

29、????（5）

30、????（6）

31、其中，表示世界坐標系下的場景體素點云，其坐標值為，為像素坐標系的坐標值，表示第個傳感器到世界坐標系的旋轉，表示第個傳感器到世界坐標系的平移，表示第個傳感器的內參，該內參可通過任意方式標定得到或根據相機參數信息得到，與分別為相機在和方向上的焦距，與分別為成像平面與相機坐標系軸的交點在像素坐標系下的值；

32、最終得到場景空間點與圖像像素的對應關系，實現場景空間點與像素的對齊。

33、優(yōu)選地，s300包括：

34、s310：對場景體素點云在的點做三維高斯球的初始化：首先對進行均勻降采樣，得到，以中任意一點為中心初始化該點的三維高斯球，計算公式如（7）所下：

35、???（7）

36、其中，表示協(xié)方差矩陣，該協(xié)方差矩陣影響三維高斯球的大小與形狀；

37、由于任意一個三維高斯球可由標準三維高斯球通過仿射變換獲得，根據仿射變化的定義，可將寫作公式（8）：

38、???（8）

39、其中表示旋轉，表示縮放；

40、由于三維高斯球需要投影到二維成像平面來影響渲染結果，根據s240中體素點云對應的圖像像素，以任意一點為中心的三維高斯球在任意相機坐標系下投影到成像平面后得到投影點與其對應的二維高斯球，因此相機坐標系下投影點如公式（9）所示，點對應的二維高斯球的協(xié)方差矩陣如公式（10）所示：

41、????（9）

42、???（10）

43、其中表示世界坐標系到相機坐標系的變換，表示投影變換的雅可比矩陣，用做投影變換的仿射近似，特別的，直接對高斯球進行投影變換的結果不一定是高斯球，因此需要通過在點的位置使用雅可比矩陣進行仿射近似；

44、s320：采用球諧函數描述不同方向上的顏色信息，球諧函數的基函數的具體表達式如公式(11)(12)(13)(14)所示：

45、???（11）

46、????????（12）

47、????????（13）

48、??????????（14）

49、其中表示球諧函數的階數，，表示球坐標系的方位角，表示球坐標系的仰角；

50、任意方向上的顏色表示如公式(15)所示：

51、??（15）

52、s330：定義裝配場景中一條方向為像素到光學中心的光線，記光在上行進至點之前未被阻礙地概率為，光在點處碰撞粒子的概率密度為，光在點處發(fā)出的顏色為，因此可得該像素最終的顏色可沿光線進行積分，如公式（16）所示：

53、???（16）

54、通過微分方程求解可得，如公式(17)所示：

55、??（17）

56、其中可由s310中公式(7)獲得，可由s320中公式(15)獲得，最終，根據可求得每個像素的顏色信息，即渲染結果。

57、優(yōu)選地，s300中定義對齊后的多視角彩色流圖像第一幀以及三維高斯?jié)姙R模型渲染結果之間的損失函數，具體為：

58、記12個不同視角的彩色相機在的時候采集的12張圖像分別為，根據s330中公式(16)求得與12個相機對應視角的渲染結果，分別采用范數與結構相似度?ssim構建損失函數，其中損失函數如公式(18)所示，損失函數如公式(19)所示：

59、????(18)

60、??(19)

61、其中與分別為滑動窗口下與的均值，與分別為滑動窗口下與的方差，為滑動窗口下與的協(xié)方差，與分別為常數，其中，滑動窗口指每次計算均從圖片上取一個尺寸為的窗口計算，以該窗口遍歷整張圖像；

62、最終可得總的損失函數如公式(20)所示：

63、??????(20)

64、根據損失函數對三維高斯?jié)姙R模型進行反向傳播，優(yōu)化三維高斯參數。

65、優(yōu)選地，s400中判斷當前輸入幀是否為關鍵幀的方式如下：

66、s410：通過對圖像做二幀差分法判斷場景的運動狀態(tài)；其中，二幀差分法指對相鄰幀的圖像做差值后，根據差值的結果判斷當前場景中是否存在運動目標；若當前場景處于靜止狀態(tài)，則三維高斯?jié)姙R模型的參數保持不變；

67、s420：若裝配場景正處于裝配作業(yè)狀態(tài)，則需要動態(tài)維護裝配場景的三維高斯?jié)姙R模型的參數，在固定計算資源下，記訓練一幀裝配場景下的三維高斯?jié)姙R模型需要花費時間，激光雷達采集一幀數據花費的時間為，彩色相機采集一幀數據花費的時間為，則通過訓練更新一次三維高斯?jié)姙R的最小時間間隔為，滿足公式(21)的條件：

68、??(21)

69、因此，若裝配場景于時刻進入了作業(yè)狀態(tài)，則動態(tài)場景下第個關鍵幀可認為位于時刻，同時與第個關鍵幀對應的點云與圖像分別如公式(22)與公式(23)所示：

70、?????(22)

71、?????(23)

72、其中符號表示向上取整，為第個關鍵幀對應的點云，第個關鍵幀對應的圖像。

73、優(yōu)選地，s400中對三維高斯參數進行預測包括以下步驟：

74、s430：對于關鍵幀可通過訓練來更新裝配場景空間點的三維高斯?jié)姙R模型，而對處于時間范圍內的裝配場景，通過預設的時序狀態(tài)空間模型對該時間范圍內的三維高斯?jié)姙R模型進行預測：記第個關鍵幀為，則時間范圍內的幀集合為，其中表示在該時間范圍內，傳感器能采集到的最大幀數，因此在動態(tài)裝配場景中的數據流可記為公式(24)中的集合：

75、?????(24)

76、則數據流中對應的三維高斯?jié)姙R模型參數可記為公式(25)中的集合：

77、????????(25)

78、s440：根據集合，得到了關于三維高斯?jié)姙R模型參數關于時間的序列，由于裝配空間中運動是連續(xù)的，則認為數據流中第幀的三維高斯模型參數受前幀的參數影響，因此可得關系表達式如公式(26)所示：

79、??(26)

80、s450：根據s440中的公式(26)，通過時序狀態(tài)空間模型設計預測器，首先定義時序狀態(tài)空間模型的表達式如公式(27)所示：

81、???????(27)

82、其中、、為狀態(tài)方程系數，指多層感知機，表示狀態(tài)的隱函數；

83、s460：接著對預測器進行訓練：根據s430所述方式構建裝配場景下的數據流，該數據流涵蓋裝配任務的任意環(huán)節(jié)，根據數據流構建樣本對，如公式(28)所示：

84、???(28)

85、其中，通過高斯?jié)姙R模型的訓練獲得，為第j個三維高斯?jié)姙R模型的樣本對，對數據流中的所有數據輸入高斯?jié)姙R模型進行訓練構建形式如的樣本對，形成數據集，通過預測器預測得到，將預測得到的與真值計算關于余弦相似性的損失函數，如公式(29)所示：

86、???(29)

87、根據對預測器進行反向傳播以更新預測器參數，最終完成預測器的訓練，根據訓練后的預測器對三維高斯參數進行預測。

88、上述基于三維高斯?jié)姙R的大型裝配場景的動態(tài)實時渲染方法，通過多個傳感器相結合，構建一個用于動態(tài)場景實時渲染的三維高斯?jié)姙R方法，該方法可以渲染裝配場景的任意視角。該模型包括傳感器數據對齊、三維高斯?jié)姙R模型的初始化、三維高斯?jié)姙R模型的預測與更新的，結合三維高斯?jié)姙R模型，設計了場景空間點對齊與預測器，解決多傳感器數據信息冗余、動態(tài)實時渲染困難的難題，這個方法有望提高裝配的安全性與可靠性，從而推動工業(yè)制造智能化的轉型。

89、本發(fā)明提出的方法可以對工業(yè)制造場景下裝配過程進行全場景動態(tài)實時渲染，完成場景監(jiān)測，渲染后的三維場景可在交互界面呈現任意角度的圖像級顯示，這可以增加裝配過程中的安全性與可靠性，能及時發(fā)現和處理裝配過程中的問題，有助于推動工業(yè)智能制造快速且高質量的發(fā)展。