本發(fā)明涉及分?jǐn)?shù)階微積分與場(chǎng)景三維重建技術(shù)，特別是涉及一種基于分?jǐn)?shù)階梯度優(yōu)化與三維高斯濺射融合的三維重建方法。

背景技術(shù)：

1、三維高斯濺射在三維重建領(lǐng)域中取得了一系列開(kāi)創(chuàng)性成果，它可以不依賴(lài)于神經(jīng)網(wǎng)絡(luò)如神經(jīng)輻射場(chǎng)(nerf)，提供顯示場(chǎng)景表示和新穎的視圖合成，在重建的質(zhì)量和實(shí)時(shí)性上取得了較大的突破。與傳統(tǒng)方法不同，三維高斯濺射通過(guò)在每個(gè)點(diǎn)的位置使用高斯分布來(lái)表示點(diǎn)的影響區(qū)域，從而有效地降低了數(shù)據(jù)的復(fù)雜性，同時(shí)提高了計(jì)算和渲染效率。但可能會(huì)出現(xiàn)優(yōu)化陷入局部極小值的問(wèn)題，一方面由于高斯原語(yǔ)具有局部支持性，這意味著如果到正確位置的距離超過(guò)幾個(gè)標(biāo)準(zhǔn)偏差，梯度就會(huì)消失；另一方面，由于高斯橢球在空間中移動(dòng)的過(guò)程中會(huì)存在遮擋特征的情況，從而導(dǎo)致?lián)p失不能得到穩(wěn)定優(yōu)化。

2、針對(duì)三維高斯濺射進(jìn)行三維重建過(guò)程中容易出現(xiàn)的局部極小值的問(wèn)題，先前的工作要么是針對(duì)高斯剪枝和復(fù)制進(jìn)行可微化操作，要么是根據(jù)生成式網(wǎng)絡(luò)對(duì)高斯球的信息進(jìn)行預(yù)測(cè)，這導(dǎo)致三維高斯濺射進(jìn)行重建的實(shí)時(shí)性降低。其次，借助先驗(yàn)信息對(duì)高斯參數(shù)進(jìn)行預(yù)測(cè)存在不穩(wěn)定性，且需要額外的訓(xùn)練成本。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)上述問(wèn)題，本發(fā)明提供一種三維重建方法，基于分?jǐn)?shù)階梯度優(yōu)化與三維高斯濺射融合,構(gòu)建分?jǐn)?shù)階梯度優(yōu)化器并設(shè)計(jì)特定的損失優(yōu)化函數(shù)，以利用更強(qiáng)的梯度矢量,在不增加大量計(jì)算開(kāi)銷(xiāo)的基礎(chǔ)上,引導(dǎo)三維重建的優(yōu)化過(guò)程,達(dá)到緩解三維高斯濺射在三維重建中陷入局部極小值的問(wèn)題。

2、本發(fā)明采用以下技術(shù)方案解決其技術(shù)問(wèn)題。一種基于分?jǐn)?shù)階梯度優(yōu)化與三維高斯濺射融合的三維重建方法，其步驟如下：

3、1)通過(guò)運(yùn)動(dòng)結(jié)構(gòu)恢復(fù)技術(shù)以及輸入圖片數(shù)據(jù)生成稀疏點(diǎn)云；

4、2)在空間中生成以點(diǎn)云為中心的高斯原語(yǔ)；

5、3)對(duì)高斯原語(yǔ)表示的場(chǎng)景進(jìn)行光柵化渲染；

6、4)將渲染圖片與真實(shí)圖片進(jìn)行聯(lián)合優(yōu)化函數(shù)計(jì)算：

7、

8、其中：λ1、λ2、λ3表示加權(quán)系數(shù)，l1表示渲染圖像和真實(shí)圖像之間的平均絕對(duì)誤差損失，ld-ssim表示渲染圖像和真實(shí)圖像之間的結(jié)構(gòu)相似度；le表示基于sobel算子的邊緣損失函數(shù)；表示基于分?jǐn)?shù)階修正后的的平均絕對(duì)誤差損失函數(shù)；

9、5)修剪分?jǐn)?shù)階微積分定義設(shè)計(jì)分?jǐn)?shù)階優(yōu)化器；通過(guò)對(duì)當(dāng)前幾種主流分?jǐn)?shù)階定義適用場(chǎng)景的分析，修剪caputo分?jǐn)?shù)階微積分定義，將其非局部性消除后用于對(duì)高斯原語(yǔ)所包含的信息進(jìn)行分?jǐn)?shù)階梯度優(yōu)化為：

10、

11、其中：α表示分?jǐn)?shù)階的階次，δ表示一個(gè)極小數(shù)用于防止出現(xiàn)除0的情況；

12、6)采用分?jǐn)?shù)階優(yōu)化器對(duì)高斯原語(yǔ)參數(shù)進(jìn)行優(yōu)化；其高斯原語(yǔ)的定義表示為：

13、{gk＝(μ,σ,σ,s)}；

14、其中：μ表示高斯原語(yǔ)的中心坐標(biāo)，σ表示高斯原語(yǔ)的形狀信心，σ表示不透明度以及s表示顏色信息；

15、通過(guò)將修剪后的分?jǐn)?shù)階定義與adam優(yōu)化器進(jìn)行結(jié)合，設(shè)計(jì)分?jǐn)?shù)階優(yōu)化器用于實(shí)現(xiàn)對(duì)上述高斯原語(yǔ)中包含的屬性實(shí)現(xiàn)分?jǐn)?shù)階優(yōu)化；結(jié)合分?jǐn)?shù)階微積分的非局部特性，設(shè)計(jì)自適應(yīng)學(xué)習(xí)率調(diào)整策略，通過(guò)指數(shù)移動(dòng)加權(quán)平均策略實(shí)現(xiàn)非局部性特征，該指數(shù)移動(dòng)加權(quán)平均策略表示為：

16、emat＝α×xt+(1-α)×emat-1；

17、其中，α作為權(quán)重衰減系數(shù)，用于計(jì)算記憶深度；根據(jù)歷史數(shù)據(jù)的均值和方差變化進(jìn)行比較動(dòng)態(tài)調(diào)整學(xué)習(xí)率；

18、7)根據(jù)自適應(yīng)修剪策略，完成對(duì)高斯橢球體的修剪。

19、本發(fā)明與現(xiàn)有技術(shù)相比，具有以下的優(yōu)點(diǎn)和積極效果：本發(fā)明將分?jǐn)?shù)階微積分與三維高斯濺射融合，通過(guò)使用分?jǐn)?shù)階優(yōu)化器來(lái)引導(dǎo)高斯原語(yǔ)進(jìn)行梯度下降，利用分?jǐn)?shù)階梯度引導(dǎo)有效地緩解三維高斯濺射在三維重建中陷入局部極小值的問(wèn)題。在計(jì)算損失時(shí)，通過(guò)對(duì)渲染圖像和真實(shí)圖像進(jìn)行聯(lián)合損失優(yōu)化相較于原函數(shù)，可以更好地關(guān)注到圖像的邊緣信息，獲得細(xì)節(jié)更加豐富的重建場(chǎng)景。

技術(shù)特征：

1.一種基于分?jǐn)?shù)階梯度優(yōu)化與三維高斯濺射融合的三維重建方法，其步驟如下：

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種基于分?jǐn)?shù)階梯度優(yōu)化與三維高斯濺射融合的三維重建方法，通過(guò)運(yùn)動(dòng)結(jié)構(gòu)恢復(fù)技術(shù)以及輸入圖片數(shù)據(jù)生成稀疏點(diǎn)云；在空間中生成以點(diǎn)云為中心的高斯原語(yǔ)；對(duì)高斯原語(yǔ)表示的場(chǎng)景進(jìn)行光柵化渲染；將渲染圖片與真實(shí)圖片進(jìn)行聯(lián)合優(yōu)化函數(shù)計(jì)算；修剪分?jǐn)?shù)階微積分定義設(shè)計(jì)分?jǐn)?shù)階優(yōu)化器；采用分?jǐn)?shù)階優(yōu)化器對(duì)高斯原語(yǔ)參數(shù)進(jìn)行優(yōu)化；根據(jù)自適應(yīng)修剪策略，完成對(duì)高斯橢球體的修剪。通過(guò)使用分?jǐn)?shù)階優(yōu)化器來(lái)引導(dǎo)高斯原語(yǔ)進(jìn)行梯度下降，利用分?jǐn)?shù)階梯度引導(dǎo)有效地緩解三維高斯濺射在三維重建中陷入局部極小值的問(wèn)題，通過(guò)對(duì)渲染圖像和真實(shí)圖像進(jìn)行聯(lián)合損失優(yōu)化相較于原函數(shù)，可以更好地關(guān)注到圖像的邊緣信息，獲得細(xì)節(jié)更加豐富的重建場(chǎng)景。

技術(shù)研發(fā)人員：王劍橋,繆君,袁源平,嚴(yán)杰,張嘉敏
受保護(hù)的技術(shù)使用者：南昌航空大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2