本發(fā)明涉及一種基于多視圖幾何的多目立體匹配優(yōu)化方法，屬于工業(yè)自動(dòng)測(cè)量。

背景技術(shù)：

1、立體匹配，即通過(guò)使用兩個(gè)攝像頭捕捉同一場(chǎng)景的圖像，來(lái)獲得場(chǎng)景中物體的深度信息。其基本原理是利用左右攝像頭的視差，即相同物體在左右圖像中的位置差異，來(lái)計(jì)算物體到攝像頭的距離。一般在大面積區(qū)域的三維測(cè)量工程中，遠(yuǎn)距離區(qū)域在雙目圖像中的差異難以識(shí)別，導(dǎo)致最終測(cè)量的三維結(jié)構(gòu)誤差較大。因此，寬基線的雙目立體視覺(jué)通過(guò)構(gòu)建遠(yuǎn)大于雙目相機(jī)自身基線的虛擬基線，增強(qiáng)雙目相機(jī)的視差效應(yīng)，提高遠(yuǎn)距離的測(cè)量精度。然而，寬基線的雙目圖像無(wú)法處理近景遮擋問(wèn)題，導(dǎo)致深度圖中的近景遮擋物附近的無(wú)效深度點(diǎn)區(qū)域擴(kuò)大。

2、王杰等人提出基于多目相機(jī)的立體匹配優(yōu)化方法，在左右目相機(jī)之間引入中間相機(jī)，并通過(guò)相機(jī)之間的固定幾何關(guān)系約束左右目相機(jī)的立體匹配，解決固定基線立體匹配的遮擋問(wèn)題，但是其固定基線的幾何約束不適用于寬基線立體匹配，無(wú)法解決寬基線情況下的遮擋問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述問(wèn)題，本發(fā)明提供一種基于多視圖幾何的多目立體匹配優(yōu)化方法，該方法在測(cè)量大范圍區(qū)域時(shí)測(cè)量性能較高，顯著降低近景遮擋物的遮擋效應(yīng)，能夠同時(shí)保證近距離和遠(yuǎn)距離目標(biāo)區(qū)域的測(cè)量精度，具有一定的魯棒性。

2、為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下：

3、一種基于多視圖幾何的多目立體匹配優(yōu)化方法，包括如下步驟：

4、步驟1：利用單目視覺(jué)慣性定位系統(tǒng)對(duì)目標(biāo)區(qū)域進(jìn)行三幀寬基線圖像和其相機(jī)定位數(shù)據(jù)采集；

5、步驟2：采用多視圖幾何方法估計(jì)三幀寬基線圖像對(duì)應(yīng)相機(jī)的位姿，并根據(jù)位姿進(jìn)行圖像校正；

6、步驟3：采用sgm算法對(duì)校正后的圖像對(duì)進(jìn)行立體匹配，并利用相機(jī)定位數(shù)據(jù)將視差圖轉(zhuǎn)換為深度圖；

7、步驟4：采用多視圖幾何算法計(jì)算深度圖之間的幾何約束；

8、步驟5：采用基于多視圖幾何約束和改進(jìn)sgm算法的多目立體匹配優(yōu)化算法，改善寬基線立體匹配時(shí)的近景遮擋。

9、進(jìn)一步的，所述步驟1具體包括如下步驟：

10、步驟1.1：從單目視覺(jué)慣性系統(tǒng)采集的多幀數(shù)據(jù)中篩選出所有相機(jī)位姿和目標(biāo)區(qū)域滿足前向交會(huì)的三幀寬基線圖像數(shù)據(jù)組合；

11、步驟1.2：從三幀寬基線圖像數(shù)據(jù)組合中篩選出基線長(zhǎng)度合適的三幀寬基線圖像數(shù)據(jù)組合。

12、進(jìn)一步的，所述步驟2具體包括如下步驟：

13、步驟2.1：采用光束法平差估計(jì)出三幀寬基線圖像的位姿；

14、步驟2.2：采用基于歐氏幾何的立體校正方法校正圖像。

15、進(jìn)一步的，所述步驟2.1中，采用sift算法進(jìn)行圖像特征提取，并基于sift特征描述符的最近鄰與次近鄰距離比例閾值進(jìn)行三幀寬基線圖像之間的特征匹配，然后采用ransac算法和極線約束來(lái)去除誤匹配特征；根據(jù)特征匹配關(guān)系，以第一幀寬基線圖像的相機(jī)位姿為參考坐標(biāo)系，采用pnp算法計(jì)算三幀寬基線圖像對(duì)應(yīng)的相機(jī)之間的相對(duì)位姿；采用光束法平差優(yōu)化相機(jī)之間的相對(duì)位姿。

16、進(jìn)一步的，所述步驟2.2中，將三幀寬基線圖像分為窄基線圖像對(duì)和寬基線圖像對(duì)，假設(shè)三幀寬基線圖像的相機(jī)位置由左向右移動(dòng)，三幀寬基線圖像分別記為i1、i2和i3；左起第一幀寬基線圖像i1和第二幀寬基線圖像i2組成窄基線圖像對(duì)，左起第一幀寬基線圖像i1和第三幀寬基線圖像i3組成寬基線圖像對(duì)；分別對(duì)窄基線圖像對(duì)和寬基線圖像對(duì)進(jìn)行立體校正。

17、進(jìn)一步的，所述步驟3具體包括如下步驟：

18、步驟3.1：采用sgm算法分別對(duì)寬窄基線圖像對(duì)進(jìn)行立體匹配，得到寬基線視差圖和窄基線視差圖；

19、步驟3.2：利用定位數(shù)據(jù)計(jì)算寬窄基線圖像對(duì)的真實(shí)基線長(zhǎng)度，利用下述公式將視差圖轉(zhuǎn)換為深度圖：

20、

21、其中，z表示校正后的像素點(diǎn)深度；b表示圖像對(duì)的基線長(zhǎng)度；f表示相機(jī)的焦距；d表示像素點(diǎn)的視差。

22、進(jìn)一步的，所述步驟4具體包括如下步驟：

23、步驟4.1：利用針孔相機(jī)模型將校正后的窄基線深度圖轉(zhuǎn)換為參考坐標(biāo)系下的點(diǎn)云，通過(guò)下述公式轉(zhuǎn)換：

24、

25、其中，knl為校正后窄基線圖像對(duì)中的左相機(jī)內(nèi)參；rnl為校正后的窄基線圖像對(duì)中的左相機(jī)在參考坐標(biāo)系中的旋轉(zhuǎn)矩陣；z1為校正后的窄基線深度圖中像素點(diǎn)的深度；(u,v)為像素點(diǎn)在校正后窄基線圖像中的像素坐標(biāo)；(xc,yc,zc)為校正后的窄基線深度圖中的點(diǎn)在參考坐標(biāo)系下的點(diǎn)云坐標(biāo)；

26、步驟4.2：將窄基線的點(diǎn)云坐標(biāo)投影到寬基線深度圖中，得到深度圖之間的幾何約束，通過(guò)下述公式表述：

27、

28、其中，kwl為校正后寬基線圖像對(duì)中的左相機(jī)內(nèi)參；rwl為校正后的寬基線圖像對(duì)中的左相機(jī)在參考坐標(biāo)系中的旋轉(zhuǎn)矩陣；z2為校正后的寬基線深度圖中像素點(diǎn)的深度，(u',v')為像素點(diǎn)在校正后寬基線圖像中的像素坐標(biāo)。

29、進(jìn)一步的，所述步驟5具體包括如下步驟：

30、步驟5.1：計(jì)算寬基線深度圖中遮擋點(diǎn)的像素坐標(biāo)；

31、步驟5.2：利用步驟4.2得到的幾何約束限定寬基線圖像對(duì)中遮擋區(qū)域的視差搜索范圍，通過(guò)下述公式動(dòng)態(tài)范圍視差搜索：

32、

33、其中，r為視差搜索半徑，可在一定范圍內(nèi)調(diào)節(jié)；disparity為寬基線圖像的視差值；

34、步驟5.3：在匹配代價(jià)階段，通過(guò)census變換計(jì)算約束半徑內(nèi)的視差代價(jià)值；在代價(jià)聚合階段，使用8路徑聚合融合遮擋區(qū)域和非遮擋區(qū)域的代價(jià)值；在視差優(yōu)化階段，采用贏者通吃(wta)策略。

35、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果如下：

36、1、本發(fā)明對(duì)采集的圖像與定位數(shù)據(jù)進(jìn)行篩選，保證相機(jī)位姿與目標(biāo)區(qū)域滿足前向交會(huì)；采用多視圖幾何方法校正圖像，保證了立體校正的精度；采用一種基于寬基線的視覺(jué)測(cè)量方式，增強(qiáng)目標(biāo)區(qū)域的視差效應(yīng)，提高了遠(yuǎn)距離目標(biāo)區(qū)域的測(cè)量精度。

37、2、本發(fā)明利用窄基線雙目的深度信息約束寬基線雙目在遮擋區(qū)域的測(cè)量結(jié)果，顯著改善寬基線測(cè)量中近景遮擋效應(yīng)嚴(yán)重的問(wèn)題，實(shí)現(xiàn)近景遮擋區(qū)域的精確測(cè)量，有利于對(duì)跑道等存在近景遮擋的大場(chǎng)景進(jìn)行精確測(cè)繪。

技術(shù)特征：

1.一種基于多視圖幾何的多目立體匹配優(yōu)化方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于多視圖幾何的多目立體匹配優(yōu)化方法，其特征在于，所述步驟1具體包括如下步驟：

3.根據(jù)權(quán)利要求1所述的基于多視圖幾何的多目立體匹配優(yōu)化方法，其特征在于，所述步驟2具體包括如下步驟：

4.根據(jù)權(quán)利要求3所述的基于多視圖幾何的多目立體匹配優(yōu)化方法，其特征在于，所述步驟2.1的過(guò)程包括：采用sift算法進(jìn)行圖像特征提取，并基于sift特征描述符的最近鄰與次近鄰距離比例閾值進(jìn)行三幀寬基線圖像之間的特征匹配，然后采用ransac算法和極線約束來(lái)去除誤匹配特征；根據(jù)特征匹配關(guān)系，以第一幀寬基線圖像的相機(jī)位姿為參考坐標(biāo)系，采用pnp算法計(jì)算三幀寬基線圖像對(duì)應(yīng)的相機(jī)之間的相對(duì)位姿；采用光束法平差優(yōu)化相機(jī)之間的相對(duì)位姿。

5.根據(jù)權(quán)利要求3所述的基于多視圖幾何的多目立體匹配優(yōu)化方法，其特征在于，所述步驟2.2的過(guò)程包括：將三幀寬基線圖像分為窄基線圖像對(duì)和寬基線圖像對(duì)，假設(shè)三幀寬基線圖像的相機(jī)位置由左向右移動(dòng)，三幀寬基線圖像分別記為i1、i2和i3；左起第一幀寬基線圖像i1和第二幀寬基線圖像i2組成窄基線圖像對(duì)，左起第一幀寬基線圖像i1和第三幀寬基線圖像i3組成寬基線圖像對(duì)；分別對(duì)窄基線圖像對(duì)和寬基線圖像對(duì)進(jìn)行立體校正。

6.根據(jù)權(quán)利要求1所述的基于多視圖幾何的多目立體匹配優(yōu)化方法，其特征在于，所述步驟3具體包括如下步驟：

7.根據(jù)權(quán)利要求6所述的基于多視圖幾何的多目立體匹配優(yōu)化方法，其特征在于，所述步驟4具體包括如下步驟：

8.根據(jù)權(quán)利要求7所述的基于多視圖幾何的多目立體匹配優(yōu)化方法，其特征在于，所述步驟5具體包括如下步驟：

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種基于多視圖幾何的多目立體匹配優(yōu)化方法，實(shí)現(xiàn)步驟：(1)利用單目視覺(jué)慣性定位系統(tǒng)采集三幀目標(biāo)區(qū)域的寬基線圖像和寬基線圖像的相機(jī)定位數(shù)據(jù)；(2)采用多視圖幾何方法對(duì)采集的三幀寬基線圖像進(jìn)行立體校正；(3)采用SGM算法對(duì)校正后的三幀圖像進(jìn)行深度估計(jì)；(4)采用多視圖幾何算法計(jì)算深度圖之間的幾何約束；(5)采用基于多視圖幾何約束和改進(jìn)SGM算法的多目立體匹配優(yōu)化算法，在保證寬基線立體匹配大范圍區(qū)域高精度測(cè)量的同時(shí)改善寬基線立體匹配存在近景遮擋的問(wèn)題。本發(fā)明能夠用于解決寬基線立體匹配算法中存在的嚴(yán)重近景遮擋的問(wèn)題，提高了寬基線深度估計(jì)的準(zhǔn)確度，有利于對(duì)跑道等存在近景遮擋的大場(chǎng)景進(jìn)行精確測(cè)繪。

技術(shù)研發(fā)人員：張侃健,許銀輝,楊浪,劉志明,韓功本,方仕雄,謝利萍,葛健,魏海坤
受保護(hù)的技術(shù)使用者：東南大學(xué)深圳研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9