本發(fā)明涉及圖像增強(qiáng)，具體涉及一種自監(jiān)督深度圖補(bǔ)全方法。

背景技術(shù)：

1、深度圖在多種實(shí)際應(yīng)用領(lǐng)域中已顯著體現(xiàn)其重要價(jià)值，比如測(cè)量、避障、自動(dòng)駕駛及定位建圖等。在這些應(yīng)用中，深度圖的完整性和準(zhǔn)確性會(huì)直接影響到系統(tǒng)的性能和可靠性。獲取深度信息的常用方法主要分為兩種：一種是通過(guò)相機(jī)、結(jié)構(gòu)光或激光等傳感器直接測(cè)量真實(shí)世界的距離來(lái)獲取深度數(shù)據(jù)；這種方式能夠較準(zhǔn)確地恢復(fù)真實(shí)尺度，并且在深度精度方面表現(xiàn)優(yōu)異；然而，所得到的深度圖在完整性和穩(wěn)定性方面往往不盡人意。另一種方法是使用基于深度學(xué)習(xí)的技術(shù)從單目圖像中估算深度，這種方法不依賴昂貴的硬件設(shè)備，能夠生成高質(zhì)量和完整度較高的深度圖，但其精度和魯棒性卻不足，往往難以精確恢復(fù)真實(shí)世界的尺度信息。深度圖的獲取受到算法選擇、環(huán)境條件及硬件性能的限制，常常難以生成高精度且完整的深度圖，導(dǎo)致深度圖常呈現(xiàn)出稀疏性，并伴有孔洞、噪聲等缺陷，嚴(yán)重影響了深度圖在后續(xù)應(yīng)用中的有效性和可用性。

2、目前，深度圖補(bǔ)全技術(shù)主要依賴于圖像的局部信息處理和某些先驗(yàn)知識(shí)。然而，這些方法往往因局部信息的有限性和先驗(yàn)知識(shí)的不準(zhǔn)確性，導(dǎo)致補(bǔ)全效果和精度不高，補(bǔ)全后的深度圖在實(shí)際應(yīng)用中的可用性依然較低。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明為克服上述現(xiàn)有技術(shù)所述深度圖補(bǔ)全精度低的缺陷，提供一種自監(jiān)督深度圖補(bǔ)全方法。

2、為達(dá)到上述技術(shù)效果，本發(fā)明的技術(shù)方案如下：

3、本發(fā)明提出一種自監(jiān)督深度圖補(bǔ)全方法，包括以下步驟：

4、對(duì)深度圖進(jìn)行深度填充，對(duì)深度填充完成后的深度圖進(jìn)行濾波處理；

5、將濾波處理后的深度圖、當(dāng)前幀rgb圖像和臨近幀rgb圖像輸入所述自監(jiān)督深度補(bǔ)全神經(jīng)網(wǎng)絡(luò)進(jìn)行自監(jiān)督訓(xùn)練并對(duì)濾波處理后的深度圖進(jìn)行補(bǔ)全，得到完成補(bǔ)全的深度圖。

6、作為優(yōu)選方案，所述對(duì)深度圖進(jìn)行深度填充的步驟包括：

7、遍歷深度圖內(nèi)的每個(gè)像素，判斷單個(gè)像素鄰域中的有效像素個(gè)數(shù)是否大于預(yù)設(shè)值，若是則對(duì)該像素進(jìn)行中值填充，否則對(duì)下一像素進(jìn)行判斷；

8、去除深度圖內(nèi)孤立區(qū)域的像素，并再次對(duì)深度圖內(nèi)的每個(gè)像素進(jìn)行遍歷，對(duì)單個(gè)像素領(lǐng)域中有效像素個(gè)數(shù)大于預(yù)設(shè)值的像素進(jìn)行中值填充；對(duì)深度圖內(nèi)的無(wú)效像素采用八方向查詢插值進(jìn)行填充，得到完成深度填充的深度圖。

9、作為優(yōu)選方案，所述去除深度圖內(nèi)孤立區(qū)域的像素的步驟包括：

10、根據(jù)相鄰條件將深度圖中的所有像素劃分為多個(gè)區(qū)域，對(duì)區(qū)域內(nèi)像素個(gè)數(shù)不符合預(yù)設(shè)值的區(qū)域進(jìn)行去除；

11、所述相鄰條件的表達(dá)式為：

12、|dp-dpp|≤maxdiff

13、其中，dp為當(dāng)前像素，dpp為相鄰像素，maxdiff為預(yù)設(shè)值，滿足該表達(dá)式即視為當(dāng)前像素與相鄰像素在同一區(qū)域。

14、作為優(yōu)選方案，所述對(duì)深度圖內(nèi)的無(wú)效像素采用八方向查詢插值進(jìn)行填充的步驟包括：

15、標(biāo)記深度圖中有效像素的位置，基于有效像素位置劃分輪廓，將輪廓外的像素視為無(wú)效像素，對(duì)于每一個(gè)無(wú)效像素在其八個(gè)方向上的每一個(gè)方向查詢有效像素，對(duì)于每個(gè)方向上查詢到的有效像素尋找最小深度值，在每個(gè)方向上選取與最小深度值相差在內(nèi)的有效像素作為有效點(diǎn)，基于有效點(diǎn)計(jì)算插值作為無(wú)效像素的深度；其表達(dá)式如下：

16、

17、其中，n為八方向上所有有效點(diǎn)的數(shù)量，di為該無(wú)效像素與第i個(gè)有效點(diǎn)之間的距離，ei為第i個(gè)有效點(diǎn)的深度值，z為插值結(jié)果。

18、作為優(yōu)選方案，所述對(duì)深度填充完成后的深度圖進(jìn)行濾波處理的步驟包括：

19、對(duì)深度填充完成后的深度圖依次進(jìn)行雙邊濾波、加權(quán)中值濾波、高值濾波和加權(quán)中值濾波，得到濾波處理后的深度圖。

20、作為優(yōu)選方案，所述自監(jiān)督深度補(bǔ)全神經(jīng)網(wǎng)絡(luò)包括：

21、深度預(yù)測(cè)模塊、姿態(tài)估計(jì)模塊、圖像投影模塊和損失計(jì)算與優(yōu)化模塊；則，所述自監(jiān)督深度補(bǔ)全神經(jīng)網(wǎng)絡(luò)進(jìn)行自監(jiān)督訓(xùn)練并對(duì)濾波處理后的深度圖進(jìn)行補(bǔ)全的步驟包括：

22、將當(dāng)前幀的深度圖像通過(guò)所述深度預(yù)測(cè)模塊生成給定像素預(yù)測(cè)的深度值；

23、將當(dāng)前幀的深度圖像與鄰近幀的rgb圖像通過(guò)姿態(tài)估計(jì)模塊并基于隨機(jī)樣本一致算法生成兩幀圖像間的姿態(tài)信息；

24、利用給定像素預(yù)測(cè)的深度值和預(yù)估的姿態(tài)信息，通過(guò)圖像投影模塊對(duì)鄰近幀的rgb圖像進(jìn)行逆向映射，生成投影后的當(dāng)前幀圖像；

25、基于所述當(dāng)前幀圖像投影與預(yù)測(cè)的深度值計(jì)算損失函數(shù)，基于損失計(jì)算與優(yōu)化模塊通過(guò)反向傳播算法調(diào)整網(wǎng)絡(luò)參數(shù)，優(yōu)化整個(gè)網(wǎng)絡(luò)的性能；

26、通過(guò)損失函數(shù)進(jìn)行迭代計(jì)算補(bǔ)全深度圖，得到完成補(bǔ)全的深度圖。

27、作為優(yōu)選方案，所述損失函數(shù)包括：深度一致性損失、光度損失和平滑損失。

28、作為優(yōu)選方案，所述深度一致性損失用于計(jì)算深度值的損失；其計(jì)算表達(dá)式如下：

29、

30、其中，為網(wǎng)絡(luò)預(yù)測(cè)的深度值；為像素的真實(shí)深度值；為指示函數(shù)，用于判斷是真實(shí)深度值否大于0。

31、作為優(yōu)選方案，所述光度損失在沒(méi)有真實(shí)深度的像素上進(jìn)行評(píng)估，用于計(jì)算

32、光度值的損失；其計(jì)算表達(dá)式如下：

33、

34、warped1(p1)＝bilinear(rgb2(kt1→2pred1(p1)k-1p1))

35、其中，warped1為像素雙線性插值的結(jié)果，rgb2為臨近幀當(dāng)前像素真實(shí)光度值，s為所有縮放因子的集合，(·)(s)為圖像通過(guò)平均池化按因子進(jìn)行縮放，為指示函數(shù)，用于判斷當(dāng)前像素是否有真實(shí)深度；t1→2為當(dāng)前幀到臨近幀的相對(duì)變換矩陣，pred1為當(dāng)前幀的深度預(yù)測(cè)，rgb2為臨近幀的彩色圖像，k為相機(jī)內(nèi)參矩陣，p1為當(dāng)前幀的像素坐標(biāo)，bilinear(·)為雙線性插值函數(shù)，用于臨近幀的像素坐標(biāo)的四個(gè)鄰近像素周圍進(jìn)行插值。

36、作為優(yōu)選方案，所述平滑損失用于確保深度預(yù)測(cè)的平滑性；其表達(dá)式如下：

37、

38、其中，rgb1為當(dāng)前幀像素的光度值，β1和β2為預(yù)設(shè)相對(duì)權(quán)重；表示當(dāng)前幀的深度預(yù)測(cè)二階梯度的l1范數(shù)。

39、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果：

40、本發(fā)明提出一種自監(jiān)督深度圖補(bǔ)全方法，先對(duì)深度圖進(jìn)行初步深度填充于濾波，填補(bǔ)足夠精度的深度，確保深度圖核心區(qū)域完整性，再通過(guò)濾波進(jìn)一步去除噪聲并進(jìn)行平滑處理；隨后采用自監(jiān)督神經(jīng)網(wǎng)絡(luò)補(bǔ)充深度圖，能減少對(duì)高質(zhì)量標(biāo)簽數(shù)據(jù)的依賴，神經(jīng)網(wǎng)絡(luò)可以在沒(méi)有額外標(biāo)注的情況下進(jìn)行自我優(yōu)化，提高模型的訓(xùn)練精度，且不需要大量深度真值進(jìn)行同時(shí)計(jì)算，提升了訓(xùn)練效率。

技術(shù)特征：

1.一種自監(jiān)督深度圖補(bǔ)全方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的自監(jiān)督深度圖補(bǔ)全方法，其特征在于，所述對(duì)深度圖進(jìn)行深度填充的步驟包括：

3.根據(jù)權(quán)利要求2所述的自監(jiān)督深度圖補(bǔ)全方法，其特征在于，所述去除深度圖內(nèi)孤立區(qū)域的像素的步驟包括：

4.根據(jù)權(quán)利要求2所述的自監(jiān)督深度圖補(bǔ)全方法，其特征在于，所述對(duì)深度圖內(nèi)的無(wú)效像素采用八方向查詢插值進(jìn)行填充的步驟包括：

5.根據(jù)權(quán)利要求1所述的自監(jiān)督深度圖補(bǔ)全方法，其特征在于，所述對(duì)深度填充完成后的深度圖進(jìn)行濾波處理的步驟包括：

6.根據(jù)權(quán)利要求1～5任一項(xiàng)所述的自監(jiān)督深度圖補(bǔ)全方法，其特征在于，所述自監(jiān)督深度補(bǔ)全神經(jīng)網(wǎng)絡(luò)包括：深度預(yù)測(cè)模塊、姿態(tài)估計(jì)模塊、圖像投影模塊和損失計(jì)算與優(yōu)化模塊；則，所述自監(jiān)督深度補(bǔ)全神經(jīng)網(wǎng)絡(luò)進(jìn)行自監(jiān)督訓(xùn)練并對(duì)濾波處理后的深度圖進(jìn)行補(bǔ)全的步驟包括：

7.根據(jù)權(quán)利要求6所述的自監(jiān)督深度圖補(bǔ)全方法，其特征在于，所述損失函數(shù)包括：深度一致性損失、光度損失和平滑損失。

8.根據(jù)權(quán)利要求7所述的自監(jiān)督深度圖補(bǔ)全方法，其特征在于，所述深度一致性損失ldepth用于計(jì)算深度值的損失，其計(jì)算表達(dá)式如下：

9.根據(jù)權(quán)利要求7所述的自監(jiān)督深度圖補(bǔ)全方法，其特征在于，所述光度損失lphotometric在沒(méi)有真實(shí)深度的像素上進(jìn)行評(píng)估，用于計(jì)算光度值的損失，其計(jì)算表達(dá)式如下：

10.根據(jù)權(quán)利要求7所述的自監(jiān)督深度圖補(bǔ)全方法，其特征在于，所述平滑損失lself用于確保深度預(yù)測(cè)的平滑性，其表達(dá)式如下：

技術(shù)總結(jié)
本發(fā)明屬于圖像增強(qiáng)技術(shù)領(lǐng)域，提出一種自監(jiān)督深度圖補(bǔ)全方法，其步驟包括：對(duì)深度圖進(jìn)行深度填充，對(duì)深度填充完成后的深度圖進(jìn)行濾波處理；將濾波處理后的深度圖、當(dāng)前幀RGB圖像和臨近幀RGB圖像輸入所述自監(jiān)督深度補(bǔ)全神經(jīng)網(wǎng)絡(luò)進(jìn)行自監(jiān)督訓(xùn)練并對(duì)濾波處理后的深度圖進(jìn)行補(bǔ)全，得到完成補(bǔ)全的深度圖。相較于現(xiàn)有技術(shù)補(bǔ)全精度低的缺陷，本發(fā)明提出了一種使深度圖補(bǔ)全效果更好、精度更高的方法。

技術(shù)研發(fā)人員：賈學(xué)富,鄭川江,楊心宇,閆志愿,王江林,李寧
受保護(hù)的技術(shù)使用者：廣州南方測(cè)繪科技股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6