本發(fā)明涉及計(jì)算機(jī)，特別是涉及一種面向大視差場(chǎng)景下的高效立體匹配方法與裝置。

背景技術(shù)：

1、立體匹配具有重要意義，因?yàn)樗軌蛲ㄟ^(guò)捕獲的多個(gè)圖像推斷出三維場(chǎng)景的幾何結(jié)構(gòu)，其應(yīng)用范圍涵蓋了從三維重建、機(jī)器人技術(shù)和自動(dòng)駕駛等領(lǐng)域。立體匹配的關(guān)鍵在于：找到同一縱坐標(biāo)高度的兩個(gè)攝像頭拍攝的左右圖像中對(duì)應(yīng)的像素位置。這些對(duì)應(yīng)像素位置之間的差異稱為視差，可以用于推斷深度并重建三維場(chǎng)景。

2、在常見(jiàn)的立體匹配中通常涉及小視差場(chǎng)景、中視差場(chǎng)景和大視差場(chǎng)景，其中小視差場(chǎng)景指代左右圖像中對(duì)于同一遠(yuǎn)景位置的像素匹配場(chǎng)景，中視差場(chǎng)景指代左右圖像中對(duì)于同一中景位置的像素匹配場(chǎng)景，大視差場(chǎng)景指代左右圖像中對(duì)于同一近景位置的像素匹配場(chǎng)景；小視差場(chǎng)景由于對(duì)象都是遠(yuǎn)景，遠(yuǎn)景中的單個(gè)幾何結(jié)構(gòu)在圖像中所占用的像素通常較少，中視差場(chǎng)景的對(duì)象都是中景，中景中的單個(gè)幾何結(jié)構(gòu)在圖像中所占用的像素通常也并不多，因此小視差場(chǎng)景和中視差場(chǎng)景所需的視差范圍的像素通常不大；而大視差場(chǎng)景的對(duì)象都是近景，近景中的單個(gè)幾何結(jié)構(gòu)在圖像中所占用像素較多，所需的視差范圍的像素較多，現(xiàn)有的立體匹配方法所定義的視差范圍難以兼顧大視差場(chǎng)景，因此在面向大視差場(chǎng)景的情況下，難以準(zhǔn)確的進(jìn)行像素之間的立體匹配，以及對(duì)視差圖的準(zhǔn)確預(yù)測(cè)。

3、鑒于此，克服該現(xiàn)有技術(shù)所存在的缺陷是本技術(shù)領(lǐng)域亟待解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問(wèn)題在于如何在同時(shí)兼顧小視差場(chǎng)景、中視差場(chǎng)景和大視差場(chǎng)景的情況下，實(shí)現(xiàn)對(duì)于視差圖的準(zhǔn)確預(yù)測(cè)。

2、本發(fā)明采用如下技術(shù)方案：

3、第一方面，提供一種面向大視差場(chǎng)景下的高效立體匹配方法，包括：

4、分別按照小視差范圍、中視差范圍和大視差范圍將第一圖像中的像素和第二圖像中的像素進(jìn)行關(guān)系匹配并優(yōu)化，得到第一圖像中每個(gè)像素在小視差范圍、中視差范圍和大視差范圍下的匹配關(guān)系組；

5、根據(jù)第一圖像中的圖像特征以及所述匹配關(guān)系組獲取選擇性權(quán)重，根據(jù)所述選擇性權(quán)重對(duì)每種視差范圍下的匹配關(guān)系組進(jìn)行篩選，得到每種視差范圍下的有效匹配關(guān)系，將所有視差范圍下的有效匹配關(guān)系作為融合特征；

6、根據(jù)小視差范圍下的匹配關(guān)系組得到初始視差圖，并根據(jù)融合特征對(duì)所述初始視差圖進(jìn)行迭代優(yōu)化獲取最終視差圖。

7、優(yōu)選的，所述分別按照小視差范圍、中視差范圍和大視差范圍將第一圖像中的像素和第二圖像中的像素進(jìn)行關(guān)系匹配并優(yōu)化，具體包括：

8、將第二圖像中相同縱坐標(biāo)方向上的像素按照小視差范圍分為多個(gè)第一預(yù)設(shè)像素組，將第二圖像中相同縱坐標(biāo)方向上的像素按照中視差范圍分為多個(gè)第二預(yù)設(shè)像素組，將第二圖像中相同縱坐標(biāo)方向上的像素按照大視差范圍分為多個(gè)第三預(yù)設(shè)像素組；

9、將第一圖像中的每個(gè)像素分別同每個(gè)第一預(yù)設(shè)像素組中的像素按照相應(yīng)的匹配權(quán)重進(jìn)行匹配，得到第一初始關(guān)系組；將第一圖像中的每個(gè)像素分別同每個(gè)第二預(yù)設(shè)像素組中的像素按照相應(yīng)的匹配權(quán)重進(jìn)行匹配，得到第二初始關(guān)系組；將第一圖像中的每個(gè)像素分別同每個(gè)第三預(yù)設(shè)像素組中的像素按照相應(yīng)的匹配權(quán)重進(jìn)行匹配，得到第三初始關(guān)系組；

10、將所述第一初始關(guān)系組進(jìn)行得分平滑處理，得到第一圖像中每個(gè)像素在小視差范圍下的匹配關(guān)系組；將所述第二初始關(guān)系組進(jìn)行得分平滑處理，得到第一圖像中每個(gè)像素在中視差范圍下的匹配關(guān)系組；將所述第一初始關(guān)系組進(jìn)行得分平滑處理，得到第一圖像中每個(gè)像素在大視差范圍下的匹配關(guān)系組。

11、優(yōu)選的，所述將第一圖像中的每個(gè)像素分別同每個(gè)第一預(yù)設(shè)像素組中的像素按照相應(yīng)的匹配權(quán)重進(jìn)行匹配，得到第一初始關(guān)系組，具體構(gòu)建公式為：

12、；

13、其中，為第一圖像的圖像特征，為第二圖像的圖像特征，為第一初始關(guān)系組中的小視差范圍的匹配關(guān)系，為第一初始關(guān)系組的視差范圍，x為像素的橫坐標(biāo)，y為像素的縱坐標(biāo)。

14、優(yōu)選的，所述將第一圖像中的每個(gè)像素分別同每個(gè)第二預(yù)設(shè)像素組中的像素按照相應(yīng)的匹配權(quán)重進(jìn)行匹配，得到第二初始關(guān)系組，具體構(gòu)建公式為：

15、；

16、其中，為第一圖像的圖像特征，為第二圖像的圖像特征，為第二初始關(guān)系組中的中視差范圍的匹配關(guān)系，為第二初始關(guān)系組的視差范圍，x為像素的橫坐標(biāo)，y為像素的縱坐標(biāo)，i為視差范圍中的序號(hào)，為第二預(yù)設(shè)像素組中第i個(gè)像素的匹配權(quán)重。

17、優(yōu)選的，所述將第一圖像中的每個(gè)像素分別同每個(gè)第三預(yù)設(shè)像素組中的像素按照相應(yīng)的匹配權(quán)重進(jìn)行匹配，得到第三初始關(guān)系組，具體構(gòu)建公式為：

18、；

19、其中，為第一圖像的圖像特征，為第二圖像的圖像特征，為第三初始關(guān)系組中的大視差范圍的匹配關(guān)系，為第三初始關(guān)系組的視差范圍，x為像素的橫坐標(biāo)，y為像素的縱坐標(biāo)，i為視差范圍中的序號(hào)，為第三預(yù)設(shè)像素組中第i個(gè)像素的匹配權(quán)重。

20、優(yōu)選的，所述根據(jù)第一圖像中的圖像特征以及所述匹配關(guān)系組獲取選擇性權(quán)重，具體包括：

21、獲取第一圖像中每個(gè)像素在小視差范圍下的匹配關(guān)系組中得分最高的匹配關(guān)系并將其作為第一匹配關(guān)系，獲取第一圖像中每個(gè)像素在中視差范圍下的匹配關(guān)系組中得分最高的匹配關(guān)系并將其作為第二匹配關(guān)系，獲取第一圖像中每個(gè)像素在大視差范圍下的匹配關(guān)系組中得分最高的匹配關(guān)系并將其作為第三匹配關(guān)系；

22、將所述第一匹配關(guān)系、第二匹配關(guān)系和第三匹配關(guān)系進(jìn)行卷積處理得到視差特征集合；

23、將所述視差特征集合和第一圖像的圖像特征共同進(jìn)行二次卷積處理，分別得到小視差范圍下的小視差權(quán)重、中視差范圍下的中視差權(quán)重和大視差范圍下的大視差權(quán)重，從所述小視差權(quán)重、中視差權(quán)重和大視差權(quán)重中選取與視差范圍相對(duì)應(yīng)的權(quán)重作為所述選擇性權(quán)重。

24、優(yōu)選的，所述根據(jù)所述選擇性權(quán)重對(duì)每種視差范圍下的匹配關(guān)系組進(jìn)行篩選，得到每種視差范圍下的有效匹配關(guān)系，將所有視差范圍下的有效匹配關(guān)系作為融合特征，具體公式為：

25、

26、其中，為融合特征，為所述小視差權(quán)重，為小視差范圍下的匹配關(guān)系組，為所述中視差權(quán)重，為中視差范圍下的匹配關(guān)系組，為所述大視差權(quán)重，為大視差范圍下的匹配關(guān)系組，為小視差范圍下的有效匹配關(guān)系，為中視差范圍下的有效匹配關(guān)系，為大視差范圍下的有效匹配關(guān)系。

27、優(yōu)選的，所述根據(jù)小視差范圍下的匹配關(guān)系組得到初始視差圖，并根據(jù)融合特征對(duì)所述初始視差圖進(jìn)行迭代優(yōu)化獲取最終視差圖，具體包括：

28、設(shè)定預(yù)設(shè)迭代次數(shù)，將所述初始視差圖作為輸入視差圖輸入至迭代中，每輪迭代包括：

29、將所述輸入視差圖和所述融合特征采樣至第一預(yù)設(shè)分辨率下進(jìn)行第一卷積處理，得到第一隱藏狀態(tài)特征；

30、將所述第一隱藏狀態(tài)特征采樣至第二預(yù)設(shè)分辨率下進(jìn)行第二卷積處理得到第三預(yù)設(shè)分辨率下的第二隱藏狀態(tài)特征；

31、判斷當(dāng)前迭代次數(shù)是否大于所述預(yù)設(shè)迭代次數(shù)；

32、當(dāng)前迭代次數(shù)大于等于所述預(yù)設(shè)迭代次數(shù)時(shí)，停止迭代，根據(jù)所述第二隱藏狀態(tài)特征獲取視差更新量，將所述視差更新量添加至所述輸入視差圖得到所述最終視差圖；

33、當(dāng)前迭代次數(shù)小于或等于所述預(yù)設(shè)迭代次數(shù)時(shí)，根據(jù)所述第二隱藏狀態(tài)特征獲取視差更新量，將所述視差更新量添加至所述輸入視差圖并作為新的輸入視差圖輸入至下一輪迭代中。

34、第二方面，提供一種面向大視差場(chǎng)景下的高效立體匹配裝置，包括至少一個(gè)處理器，以及，與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述處理器執(zhí)行，用于執(zhí)行所述的面向大視差場(chǎng)景下的高效立體匹配方法。

35、第三方面，本發(fā)明還提供了一種非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，該計(jì)算機(jī)可執(zhí)行指令被一個(gè)或多個(gè)處理器執(zhí)行，用于完成第一方面所述的方法。

36、第四方面，提供了一種芯片，包括：處理器和接口，用于從存儲(chǔ)器中調(diào)用并運(yùn)行存儲(chǔ)器中存儲(chǔ)的計(jì)算機(jī)程序，執(zhí)行如第一方面的方法。

37、第五方面，提供了一種包含指令的計(jì)算機(jī)程序產(chǎn)品，當(dāng)該指令在計(jì)算機(jī)或處理器上運(yùn)行時(shí)，使得計(jì)算機(jī)或處理器執(zhí)行如第一方面的方法。

38、第六方面，提供了一種面向大視差場(chǎng)景下的高效立體匹配系統(tǒng)，包括如第二方面的面向大視差場(chǎng)景下的高效立體匹配裝置，并使用如第一方面的面向大視差場(chǎng)景下的高效立體匹配方法。

39、本發(fā)明提供一種面向大視差場(chǎng)景下的高效立體匹配方法與裝置，對(duì)第一圖像和第二圖像進(jìn)行特征提取，分別按照小視差范圍、中視差范圍和大視差范圍將第一圖像中的像素和第二圖像中的像素進(jìn)行關(guān)系匹配并優(yōu)化，得到各個(gè)視差范圍下的匹配關(guān)系組，再根據(jù)第一圖像以及匹配關(guān)系組獲取選擇性權(quán)重，根據(jù)選擇性權(quán)重對(duì)每種視差范圍下的匹配關(guān)系組進(jìn)行篩選，得到每種視差范圍下的有效匹配關(guān)系作為融合特征；通過(guò)融合特征對(duì)初始視差圖進(jìn)行多輪迭代優(yōu)化，獲取得到最終視差圖。通過(guò)對(duì)于圖像中像素在不同視差范圍下的匹配，從而構(gòu)建多個(gè)視差范圍下的匹配關(guān)系組，同時(shí)兼顧了小視差范圍、中視差范圍和大視差范圍的計(jì)算預(yù)測(cè)，實(shí)現(xiàn)對(duì)于視差圖的準(zhǔn)確預(yù)測(cè)。