本發(fā)明涉及計(jì)算機(jī)視覺和模式識(shí)別的，尤其涉及一種單目全景圖深度估計(jì)的等距柱狀投影畸變校正方法，以及一種單目全景圖深度估計(jì)的等距柱狀投影畸變校正裝置。

背景技術(shù)：

1、作為計(jì)算機(jī)視覺的基礎(chǔ)技術(shù)，全景圖深度估計(jì)是計(jì)算機(jī)視覺中的一項(xiàng)基本任務(wù)，旨在為全景圖像中的每個(gè)像素分配深度值，從而重建場(chǎng)景的三維結(jié)構(gòu)。全景圖像通常以三種主要形式表示：等距柱狀投影和立方體投影以及切線投影。

2、每種表示形式都有其自身的優(yōu)勢(shì)和劣勢(shì)：等距柱狀投影能夠?qū)⑷皥?chǎng)景投影到一個(gè)矩形圖像上，提供更廣闊的視野，從而捕捉到整個(gè)全景場(chǎng)景。但是，此種投影在將球面全景場(chǎng)景映射到矩形圖像時(shí)會(huì)產(chǎn)生扭曲。這些扭曲在圖像的邊緣以及頂部和底部最為明顯，可能會(huì)導(dǎo)致全景圖像的失真。另一方面，立方體投影涉及將球面場(chǎng)景映射到立方體貼圖上，從而避免了與等距柱狀投影相關(guān)的扭曲。然而，立方體投影在每個(gè)立方體面的邊緣會(huì)產(chǎn)生不連續(xù)性，并且其視野有限。切線圖像是通過將全景圖像中的點(diǎn)映射到與圓柱或球面相切的平面上，從而形成的一種二維局部平面表示。通過映射到切線圖像，可以減少全景圖像邊緣的幾何失真，提高深度估計(jì)的準(zhǔn)確性。但是多個(gè)切線圖像預(yù)測(cè)同一部分的深度值可能會(huì)不一致，如何在融合切線圖像的過程中解決這種沖突問題也是研究的難點(diǎn)。因此，為了生成高質(zhì)量的深度信息，有必要處理全景圖像中的這些不連續(xù)性和扭曲以及深度值沖突的問題?，F(xiàn)有的深度估計(jì)方法根據(jù)所采用的模型大致可劃分成以下三個(gè)類別。

3、第一類方法為只基于等距柱狀投影的全景圖深度估計(jì)方法。該方法是只通過等距柱狀投影的全景圖來直接得到深度圖，部分方法會(huì)通過先修正等距柱狀投影的失真，然后再預(yù)測(cè)深度圖。acdnet模型使用一組擴(kuò)張卷積來調(diào)整感受野。而omnidepth模型則利用按行排列的矩形卷積來減輕不同緯度的扭曲。tateno等人研究了使用標(biāo)準(zhǔn)卷積訓(xùn)練透視圖像的方法，通過調(diào)整采樣網(wǎng)格的形狀來適應(yīng)推理過程中的球面扭曲。相比之下，slicenet模型將等距柱狀投影圖像垂直分割成多個(gè)切片，并直接應(yīng)用標(biāo)準(zhǔn)卷積來預(yù)測(cè)等距柱狀投影的深度圖。但是由于等距柱狀投影固有的扭曲，深度估計(jì)的結(jié)果受到了限制。

4、第二類方法為只基于切線圖像的全景圖深度估計(jì)方法。該方法首先將等距柱狀投影的全景圖映射為多個(gè)切線圖像，然后分別預(yù)測(cè)每一個(gè)切線圖像的深度值，最后再將多個(gè)切線圖像進(jìn)行融合，得到最終的全景深度圖。eder等人最近的一項(xiàng)工作提出使用切線圖像，它們被渲染到二十面體的各個(gè)面上，用以表示360度圖像。利用切線圖像的優(yōu)勢(shì)在于它們的扭曲減少，并且能夠有效地利用最初為透視成像開發(fā)的預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型。與此一致，360monodepth模型和omnifusion模型的框架使用切線圖像作為輸入，同時(shí)在融合過程中加入了幾何特征來解決深度沖突的問題。與上述方法不同，hrdfuse模型通過協(xié)作學(xué)習(xí)整體與區(qū)域深度分布來預(yù)測(cè)等距柱狀投影格式的深度圖。

5、第三類方法為融合等距柱狀投影和立方體投影的全景圖深度估計(jì)方法。該方法指在通過立方體投影來修復(fù)等距柱狀投影中失真的部分。bifuse模型提出了一種雙向融合方法，該方法在編碼和解碼階段同時(shí)整合來自等距柱狀投影和立方體投影的特征。相比之下，unifuse模型選擇僅在編碼階段融合這些特征，因?yàn)樗J(rèn)為等距柱狀投影特征在最終深度預(yù)測(cè)中扮演著更關(guān)鍵的角色。然而，這種融合方案無法丟棄立方體投影中的無用部分。在回歸像素深度值時(shí)存在收斂速度慢和缺乏全局分析的問題，而且直接對(duì)每個(gè)像素的深度值進(jìn)行回歸會(huì)導(dǎo)致深度估計(jì)結(jié)果不平滑且不準(zhǔn)確。

技術(shù)實(shí)現(xiàn)思路

1、為克服現(xiàn)有技術(shù)的缺陷，本發(fā)明要解決的技術(shù)問題是提供了一種單目全景圖深度估計(jì)的等距柱狀投影畸變校正方法，其能夠捕捉到更小的物體，具有更平滑和更準(zhǔn)確的深度結(jié)果，修復(fù)扭曲的效果更好。

2、本發(fā)明的技術(shù)方案是：這種單目全景圖深度估計(jì)的等距柱狀投影畸變校正方法，包括以下步驟：

3、(1)以實(shí)際場(chǎng)景中全景相機(jī)拍攝到的彩色全景圖像為輸入，進(jìn)行自適應(yīng)選擇失真校正，在減輕立方體投影分支內(nèi)的不連續(xù)特征的同時(shí)，引入可學(xué)習(xí)的掩碼，以便等距柱狀投影分支從立方體投影分支中學(xué)習(xí)有價(jià)值的內(nèi)容；

4、(2)執(zhí)行自結(jié)構(gòu)平滑機(jī)制，采用等距柱狀投影的結(jié)構(gòu)信息感知策略，并設(shè)計(jì)深度分布融合策略來糾正等距柱狀投影的扭曲區(qū)域；

5、(3)通過berhu損失函數(shù)監(jiān)督網(wǎng)絡(luò)的訓(xùn)練過程。

6、本發(fā)明的選擇性失真校正機(jī)制被設(shè)計(jì)用來捕捉立方體投影中的有效信息，以校正扭曲區(qū)域；自結(jié)構(gòu)平滑機(jī)制被設(shè)計(jì)用來感知整個(gè)等距柱狀投影的結(jié)構(gòu)信息，然后通過深度分布融合策略來糾正等距柱狀投影的扭曲區(qū)域；因此本發(fā)明能夠捕捉到更小的物體，具有更平滑和更準(zhǔn)確的深度結(jié)果，修復(fù)扭曲的效果更好。

7、還提供了一種單目全景圖深度估計(jì)的等距柱狀投影畸變校正裝置，該裝置包括：

8、自適應(yīng)選擇失真校正模塊，其配置來以實(shí)際場(chǎng)景中全景相機(jī)拍攝到的彩色全景圖像為輸入，進(jìn)行自適應(yīng)選擇失真校正，在減輕立方體投影分支內(nèi)的不連續(xù)特征的同時(shí)，引入可學(xué)習(xí)的掩碼，以便等距柱狀投影分支從立方體投影分支中學(xué)習(xí)有價(jià)值的內(nèi)容；

9、自結(jié)構(gòu)平滑模塊，其配置來執(zhí)行自結(jié)構(gòu)平滑機(jī)制，采用等距柱狀投影的結(jié)構(gòu)信息感知策略，并設(shè)計(jì)深度分布融合策略來糾正等距柱狀投影的扭曲區(qū)域；

10、損失模塊，其配置來通過berhu損失函數(shù)監(jiān)督網(wǎng)絡(luò)的訓(xùn)練過程。

技術(shù)特征：

1.單目全景圖深度估計(jì)的等距柱狀投影畸變校正方法，其特征在于：該方法包括以下步驟：

2.根據(jù)權(quán)利要求1所述的單目全景圖深度估計(jì)的等距柱狀投影畸變校正方法，其特征在于：所述步驟(1)中，自適應(yīng)選擇失真校正網(wǎng)絡(luò)的公式如下：

3.根據(jù)權(quán)利要求2所述的單目全景圖深度估計(jì)的等距柱狀投影畸變校正方法，其特征在于：所述步驟(1)包括以下分步驟：

4.根據(jù)權(quán)利要求3所述的單目全景圖深度估計(jì)的等距柱狀投影畸變校正方法，其特征在于：所述步驟(2)包括以下分步驟：

5.根據(jù)權(quán)利要求3所述的單目全景圖深度估計(jì)的等距柱狀投影畸變校正方法，其特征在于：所述步驟(2)包括以下分步驟：

6.根據(jù)權(quán)利要求5所述的單目全景圖深度估計(jì)的等距柱狀投影畸變校正方法，其特征在于：所述步驟(ii)中，

7.根據(jù)權(quán)利要求6所述的單目全景圖深度估計(jì)的等距柱狀投影畸變校正方法，其特征在于：所述步驟(v)中，范圍注意力圖r經(jīng)過1×1的卷積，然后通過softmax激活函數(shù)生成概率分?jǐn)?shù)圖p，擁有了完整的深度分布中心和概率分?jǐn)?shù)圖，使用以下公式來計(jì)算整體深度圖

8.根據(jù)權(quán)利要求7所述的單目全景圖深度估計(jì)的等距柱狀投影畸變校正方法，其特征在于：所述步驟(3)中，berhu損失的公式如下：

9.單目全景圖深度估計(jì)的等距柱狀投影畸變校正裝置，其特征在于：該裝置包括：

10.根據(jù)權(quán)利要求9所述的單目全景圖深度估計(jì)的等距柱狀投影畸變校正裝置，其特征在于：所述自適應(yīng)選擇失真校正模塊執(zhí)行以下步驟：

技術(shù)總結(jié)
本發(fā)明公開一種單目全景圖深度估計(jì)的等距柱狀投影畸變校正方法及裝置，能夠捕捉到更小的物體，具有更平滑和更準(zhǔn)確的深度結(jié)果，修復(fù)扭曲的效果更好。方法包括：(1)以實(shí)際場(chǎng)景中全景相機(jī)拍攝到的彩色全景圖像為輸入，進(jìn)行自適應(yīng)選擇失真校正，在減輕立方體投影分支內(nèi)的不連續(xù)特征的同時(shí)，引入可學(xué)習(xí)的掩碼，以便等距柱狀投影分支從立方體投影分支中學(xué)習(xí)有價(jià)值的內(nèi)容；(2)執(zhí)行自結(jié)構(gòu)平滑機(jī)制，采用等距柱狀投影的結(jié)構(gòu)信息感知策略，并設(shè)計(jì)深度分布融合策略來糾正等距柱狀投影的扭曲區(qū)域；(3)通過Berhu損失函數(shù)監(jiān)督網(wǎng)絡(luò)的訓(xùn)練過程。

技術(shù)研發(fā)人員：孫艷豐,李澤帥,王少帆
受保護(hù)的技術(shù)使用者：北京工業(yè)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9