本發(fā)明涉及計(jì)算機(jī)立體視覺一種使用三維表面數(shù)據(jù)獲取設(shè)備對(duì)物體進(jìn)行三維建模時(shí)的立體匹配步驟，具體涉及立體匹配中局部區(qū)域一致性對(duì)應(yīng)方法。

背景技術(shù)：

立體匹配的目的是用來獲得立體匹配圖像的視差圖，在很多領(lǐng)域都有所涉及，包括計(jì)算機(jī)視覺，機(jī)器技術(shù)，以及圖像分析等。大多數(shù)的立體匹配方法都是通過計(jì)算一個(gè)匹配代價(jià)來衡量立體匹配圖像的相似度的，通常情況下，這個(gè)匹配代價(jià)的前提假設(shè)為兩幅圖像的對(duì)應(yīng)點(diǎn)有著相近的顏色。然而，在實(shí)際情況下，立體匹配圖像對(duì)應(yīng)點(diǎn)的顏色可能會(huì)受各種因素影響表現(xiàn)得非常不一樣，這些因素包括相機(jī)設(shè)備型號(hào)的不同、光照條件的不同等等。盡管在實(shí)際的立體匹配研究中已經(jīng)出現(xiàn)了魯棒的匹配代價(jià)函數(shù)來解決這個(gè)問題，其中，Mutual Information方法和Census Transform方法已經(jīng)考慮到了一個(gè)確定情況下的顏色差異，但是大多數(shù)的方法是不能夠解決非常劇烈的顏色差異的，立體匹配的精度因此會(huì)大受影響。因此，為了提升立體匹配的精度，顏色校正方法可以被看作立體匹配前的一個(gè)預(yù)處理過程來消除圖像對(duì)的顏色差異。

顏色校正方法旨在將參考圖像的顏色遷移到待校正圖像上，以達(dá)到使兩幅圖像顏色盡量接近的目的?，F(xiàn)在使用較多的是通過局部區(qū)域校正的方法達(dá)到顏色校正的目的，可以比全局校正達(dá)到更好的效果。局部的方法旨在從兩幅圖像的對(duì)應(yīng)區(qū)域著手去改變顏色，使得待校正圖像的某區(qū)域的顏色接近于參考圖像的對(duì)應(yīng)區(qū)域顏色。對(duì)于這一類的方法，建立一個(gè)精確的區(qū)域?qū)?yīng)是非常重要的問題。

高斯混合模型曾經(jīng)被使用從而得到區(qū)域的一致性對(duì)應(yīng)，然而高斯模型限制了分割的靈活性，小區(qū)域可能無法得到正確的分割。另外的方法根據(jù)對(duì)極幾何的原理對(duì)區(qū)域進(jìn)行投射，得到區(qū)域之間的對(duì)應(yīng)，然而投射會(huì)產(chǎn)生大量沒有被匹配的區(qū)域，誤差率較高。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供了一種立體匹配中局部區(qū)域一致性對(duì)應(yīng)方法，該對(duì)應(yīng)方法能夠減小區(qū)域的對(duì)應(yīng)誤差，提升顏色校正的精度。

一種立體匹配中局部區(qū)域一致性對(duì)應(yīng)方法，具體包括：

(1)對(duì)參考圖像進(jìn)行區(qū)域分割，得到第一分割區(qū)域?qū)ΥＵ龍D像進(jìn)行區(qū)域分割，得到第二分割區(qū)域其中，n為第一分割子區(qū)域的個(gè)數(shù)，m為第二分割子區(qū)域的個(gè)數(shù)，且m小于n；

(2)提取參考圖像的匹配特征點(diǎn)X^src和待校正圖像的匹配特征點(diǎn)X^tgt，并對(duì)其優(yōu)化得到魯棒匹配對(duì)應(yīng)點(diǎn)X^src′和魯棒匹配對(duì)應(yīng)點(diǎn)X^tgt′；

(3)根據(jù)待校正圖像的魯棒匹配對(duì)應(yīng)點(diǎn)X^tgt′，對(duì)第二分割子區(qū)域進(jìn)行區(qū)域合并操作，得到預(yù)處理第二分割區(qū)域；

(4)根據(jù)魯棒匹配對(duì)應(yīng)點(diǎn)X^src′和魯棒匹配對(duì)應(yīng)點(diǎn)X^tgt′，以預(yù)處理第二分割子區(qū)域?yàn)榛鶞?zhǔn)，對(duì)第一分割子區(qū)域進(jìn)行區(qū)域合并操作，得到預(yù)處理第一分割區(qū)域；

(5)根據(jù)參考圖像的魯棒匹配對(duì)應(yīng)點(diǎn)X^src′，對(duì)預(yù)處理第一分割子區(qū)域進(jìn)行區(qū)域合并操作，得到優(yōu)化第一分割區(qū)域；

(6)根據(jù)魯棒匹配對(duì)應(yīng)點(diǎn)X^src′和魯棒匹配對(duì)應(yīng)點(diǎn)X^tgt′，以優(yōu)化第一分割子區(qū)域?yàn)榛鶞?zhǔn)，對(duì)預(yù)處理第二分割子區(qū)域進(jìn)行區(qū)域合并操作，得到優(yōu)化第二分割區(qū)域；

(7)根據(jù)魯棒匹配對(duì)應(yīng)點(diǎn)X^src′，魯棒匹配對(duì)應(yīng)點(diǎn)X^tgt′，獲取優(yōu)化第一分割子區(qū)域和優(yōu)化第二分割子區(qū)域的一一對(duì)應(yīng)關(guān)系，并記錄一致性區(qū)域?qū)?yīng)標(biāo)簽。

在步驟(1)中，利用均值漂移圖像分割方法對(duì)輸入的待校正圖像與參考圖像進(jìn)行區(qū)域分割，使兩幅圖像依照顏色被分割成小區(qū)域；通過調(diào)整分割中的空間參數(shù)，參考圖像按照正常粒度進(jìn)行分割，得到第一分割區(qū)域待校正圖像按照比參考圖像更小粒度進(jìn)行分割，得到第二分割區(qū)域

在步驟(1)中，第一分割區(qū)域由n個(gè)互不相同的第一分割子區(qū)域組成；第二分割區(qū)域由m個(gè)互不相同的第二分割子區(qū)域組成。

步驟(2)包括以下步驟：

(2-1)利用尺度不變特征變換方法提取參考圖像的特征點(diǎn)與待校正圖像的特征點(diǎn)，并對(duì)兩圖像的特征點(diǎn)進(jìn)行匹配，得到參考圖像的匹配特征點(diǎn)X^src和待校正圖像的匹配特征點(diǎn)X^tgt；

(2-2)根據(jù)對(duì)極幾何原理對(duì)匹配特征點(diǎn)X^src與匹配特征點(diǎn)X^tgt進(jìn)行篩選，將不滿足對(duì)極幾何約束的匹配特征點(diǎn)X^src與匹配特征點(diǎn)X^tgt剔除，剩下的為魯棒匹配對(duì)應(yīng)點(diǎn)X^src′和魯棒匹配對(duì)應(yīng)點(diǎn)X^tgt′，對(duì)極幾何約束公式為：

(X^src)^TFX^tgt＝0

其中，F(xiàn)是根據(jù)RANSAC(Random Sample Consensus)方法估計(jì)的基礎(chǔ)矩陣。

在步驟(2-2)中，根據(jù)對(duì)極幾何的原理對(duì)匹配特征點(diǎn)進(jìn)行正確性指導(dǎo)，刪除錯(cuò)誤的匹配特征點(diǎn)，保證了匹配特征點(diǎn)的正確性，即得到的魯棒匹配對(duì)應(yīng)點(diǎn)X^src′和魯棒匹配對(duì)應(yīng)點(diǎn)X^tgt′是可信度較高的匹配特征點(diǎn)。

在步驟(3)中，根據(jù)待校正圖像的魯棒匹配對(duì)應(yīng)點(diǎn)X^tgt′，對(duì)第二分割子區(qū)域進(jìn)行區(qū)域合并操作的具體步驟為：

(3-1)對(duì)所有的第二分割子區(qū)域進(jìn)行篩選，并將魯棒匹配對(duì)應(yīng)點(diǎn)X^tgt′的個(gè)數(shù)小于門限值的第二分割子區(qū)域命名為第二無效子區(qū)域；

(3-2)找到第二無效子區(qū)域的第二二階鄰域區(qū)域集合；

(3-3)在第二二階鄰域區(qū)域集合中，找到一個(gè)滿足魯棒匹配對(duì)應(yīng)點(diǎn)X^tgt′的個(gè)數(shù)大于門限值，且位置空間與顏色與該第二無效子區(qū)域都最為相近一個(gè)第二分割子區(qū)域，并將其命名為第二目標(biāo)區(qū)域；

(3-4)將該第二無效子區(qū)域合并到尋找到的第二目標(biāo)區(qū)域中，此時(shí)第二分割區(qū)域命名為預(yù)處理第二分割區(qū)域。

在步驟(3-1)中，所述的門限值為魯棒匹配對(duì)應(yīng)點(diǎn)的個(gè)數(shù)，根據(jù)實(shí)際應(yīng)用自行設(shè)置大小。

通過步驟(3)操作，使得合并后的每個(gè)第二分割子區(qū)域都包含門限值以上個(gè)數(shù)的魯棒匹配對(duì)應(yīng)點(diǎn)X^tgt′，保證點(diǎn)對(duì)應(yīng)轉(zhuǎn)化成區(qū)域?qū)?yīng)的可靠性。

在步驟(4)中，對(duì)第一分割子區(qū)域進(jìn)行區(qū)域合并操作的方法為：

當(dāng)某預(yù)處理第二分割子區(qū)域中的魯棒匹配對(duì)應(yīng)點(diǎn)X^tgt′在第一分割子區(qū)域中的對(duì)應(yīng)點(diǎn)分布在多個(gè)第一分割子區(qū)域中時(shí)，將這多個(gè)第一分割子區(qū)域合并成一個(gè)，此時(shí)的第一分割區(qū)域命名為預(yù)處理第一分割區(qū)域；通過該合并操作，使得每個(gè)預(yù)處理第二分割子區(qū)域能在第一分割子區(qū)域中找到唯一確定的對(duì)應(yīng)。

在步驟(5)中，根據(jù)參考圖像的魯棒匹配對(duì)應(yīng)點(diǎn)X^src′，對(duì)第一分割子區(qū)域進(jìn)行區(qū)域合并操作的具體步驟為：

(5-1)對(duì)所有預(yù)處理第一分割子區(qū)域進(jìn)行篩選，并將魯棒匹配對(duì)應(yīng)點(diǎn)X^src′的個(gè)數(shù)小于門限值的預(yù)處理第一分割子區(qū)域命名為第一無效子區(qū)域；

(5-2)找到第一無效子區(qū)域的第一二階鄰域區(qū)域集合；

(5-3)在第一二階鄰域區(qū)域集合中，找到一個(gè)滿足魯棒匹配對(duì)應(yīng)點(diǎn)X^src′的個(gè)數(shù)大于門限值，且位置空間與顏色與該第一無效子區(qū)域都最為相近一個(gè)預(yù)處理第一分割子區(qū)域，并將其命名為第一目標(biāo)區(qū)域；

(5-4)將該第一無效子區(qū)域合并到尋找到的第一目標(biāo)區(qū)域中，并將此時(shí)的預(yù)處理第一分割區(qū)域其被命名為優(yōu)化第一分割區(qū)域。

通過步驟(5)的操作，使得每個(gè)優(yōu)化第一分割子區(qū)域都包含門限值以上個(gè)數(shù)的特征點(diǎn)。

在步驟(6)中，以優(yōu)化第一分割子區(qū)域?yàn)榛鶞?zhǔn)，對(duì)預(yù)處理第二分割子區(qū)域進(jìn)行區(qū)域合并操作的具體方法為：

當(dāng)某優(yōu)化第一分割子區(qū)域中的魯棒匹配對(duì)應(yīng)點(diǎn)在預(yù)處理第二分割子區(qū)域中的對(duì)應(yīng)點(diǎn)分布在多個(gè)預(yù)處理第二分割子區(qū)域中時(shí)，將這多個(gè)預(yù)處理第二分割子區(qū)域合并成一個(gè)，此時(shí)的預(yù)處理第二分割區(qū)域被命名為優(yōu)化第二分割區(qū)域；通過該合并操作，使得每個(gè)優(yōu)化第一分割子區(qū)域能在優(yōu)化第二分割子區(qū)域中找到唯一確定的對(duì)應(yīng)。

對(duì)每一個(gè)優(yōu)化第一分割子區(qū)域，以A區(qū)域?yàn)槔涗浧渲械聂敯羝ヅ鋵?duì)應(yīng)點(diǎn)在優(yōu)化第二分割子區(qū)域中的對(duì)應(yīng)點(diǎn)集，步驟(3)～步驟(6)已經(jīng)保證這些對(duì)應(yīng)點(diǎn)集屬于同一個(gè)優(yōu)化第二分割子區(qū)域，假設(shè)為B區(qū)域，則優(yōu)化第一分割子區(qū)域中的A區(qū)域?qū)?yīng)優(yōu)化第二分割子區(qū)域中的B區(qū)域，記錄一致性區(qū)域?qū)?yīng)標(biāo)簽。

區(qū)域?qū)?yīng)結(jié)束后，能夠使得對(duì)應(yīng)區(qū)域反映同一場景中同一目標(biāo)區(qū)域。

本發(fā)明立體匹配中局部區(qū)域一致性對(duì)應(yīng)方法可以用來進(jìn)行立體匹配圖像局部顏色校正，相比于現(xiàn)有的立體匹配中的區(qū)域?qū)?yīng)方法，具有的優(yōu)勢為：

(1)在進(jìn)行區(qū)域?qū)?yīng)之前，根據(jù)對(duì)極幾何原理對(duì)匹配特征點(diǎn)進(jìn)行一個(gè)篩選，使得進(jìn)行區(qū)域匹配的匹配特征點(diǎn)可信度更高、更正確。

(2)引進(jìn)門限值對(duì)待校正圖像的每個(gè)分割區(qū)域進(jìn)行自優(yōu)化，使每個(gè)優(yōu)化后的待校正圖像的分割區(qū)域中至少存在閾值以上個(gè)匹配特征點(diǎn)，這樣能夠提高區(qū)域?qū)?yīng)的精度與速度。

(3)不需提前確定參考圖像的分割區(qū)域的數(shù)量，區(qū)域?qū)?yīng)過程中，參考圖像的分割區(qū)域具有自適應(yīng)性，能夠根據(jù)門限值進(jìn)行合并，保證分割區(qū)域?qū)?yīng)唯一性，進(jìn)而提高區(qū)域?qū)?yīng)的精度與速度。

附圖說明

圖1為本發(fā)明對(duì)應(yīng)方法的流程示意圖。

具體實(shí)施方式

為了更為具體地描述本發(fā)明，下面結(jié)合附圖及具體實(shí)施方式對(duì)本發(fā)明的技術(shù)方案進(jìn)行詳細(xì)說明。

如圖1所示，本實(shí)施例立體匹配中局部區(qū)域一致性對(duì)應(yīng)方法的實(shí)施步驟如下：

(1)采用均值漂移分割方法，通過調(diào)整分割中的空間參數(shù)，對(duì)參考圖像按照正常粒度進(jìn)行區(qū)域分割，得到第一分割區(qū)域?qū)ΥＵ龍D像按照比參考圖像更小粒度進(jìn)行區(qū)域分割，得到第二分割區(qū)域其中，m和n為被分割區(qū)域的個(gè)數(shù)，m小于n。

(2)利用尺度不變特征變換方法提取參考圖像的特征點(diǎn)與待校正圖像的特征點(diǎn)，并對(duì)兩圖像的特征點(diǎn)進(jìn)行匹配，得到參考圖像的匹配特征點(diǎn)X^src和待校正圖像的匹配特征點(diǎn)X^tgt。

(3)根據(jù)對(duì)極幾何原理對(duì)匹配特征點(diǎn)X^src與匹配特征點(diǎn)X^tgt進(jìn)行篩選，將不滿足對(duì)極幾何約束的匹配特征點(diǎn)X^src與匹配特征點(diǎn)X^tgt剔除，剩下的為魯棒匹配對(duì)應(yīng)點(diǎn)X^src′和魯棒匹配對(duì)應(yīng)點(diǎn)X^tgt′，對(duì)極幾何約束公式為：

(X^src)^TFX^tgt＝0

其中，F(xiàn)是根據(jù)RANSAC(Random Sample Consensus)方法估計(jì)的基礎(chǔ)矩陣；

根據(jù)對(duì)極幾何的原理對(duì)匹配特征點(diǎn)進(jìn)行正確性指導(dǎo)，刪除錯(cuò)誤的匹配特征點(diǎn)，保證了匹配特征點(diǎn)的正確性。

(4)根據(jù)待校正圖像的魯棒匹配對(duì)應(yīng)點(diǎn)X^tgt′，對(duì)第二分割子區(qū)域進(jìn)行區(qū)域合并操作，得到預(yù)處理第二分割區(qū)域：

(4-1)對(duì)所有的第二分割子區(qū)域進(jìn)行篩選，并將魯棒匹配對(duì)應(yīng)點(diǎn)X^tgt′的個(gè)數(shù)小于門限值的第二分割子區(qū)域命名為第二無效子區(qū)域；

(4-2)找到第二無效子區(qū)域的第二二階鄰域區(qū)域集合；

(4-3)在第二二階鄰域區(qū)域集合中，找到一個(gè)滿足魯棒匹配對(duì)應(yīng)點(diǎn)X^tgt′的個(gè)數(shù)大于門限值，且位置空間與顏色與該第二無效子區(qū)域都最為相近一個(gè)第二分割子區(qū)域，并將其命名為第二目標(biāo)區(qū)域；

(4-4)將該第二無效子區(qū)域合并到尋找到的第二目標(biāo)區(qū)域中，此時(shí)第二分割區(qū)域命名為預(yù)處理第二分割區(qū)域。

通過步驟(4)操作，使得合并后的每個(gè)第二分割子區(qū)域都包含門限值以上個(gè)數(shù)的魯棒匹配對(duì)應(yīng)點(diǎn)X^tgt′，保證點(diǎn)對(duì)應(yīng)轉(zhuǎn)化成區(qū)域?qū)?yīng)的可靠性。

(5)根據(jù)魯棒匹配對(duì)應(yīng)點(diǎn)X^src′和魯棒匹配對(duì)應(yīng)點(diǎn)X^tgt′，以預(yù)處理第二分割子區(qū)域?yàn)榛鶞?zhǔn)，對(duì)第一分割子區(qū)域進(jìn)行區(qū)域合并操作，得到預(yù)處理第一分割區(qū)域：

當(dāng)某預(yù)處理第二分割子區(qū)域中的魯棒匹配對(duì)應(yīng)點(diǎn)X^tgt′在第一分割子區(qū)域中的對(duì)應(yīng)點(diǎn)分布在多個(gè)第一分割子區(qū)域中時(shí)，將這多個(gè)第一分割子區(qū)域合并成一個(gè)，此時(shí)的第一分割區(qū)域命名為預(yù)處理第一分割區(qū)域；通過該合并操作，使得每個(gè)預(yù)處理第二分割子區(qū)域能在第一分割子區(qū)域中找到唯一確定的對(duì)應(yīng)。

(6)根據(jù)參考圖像的魯棒匹配對(duì)應(yīng)點(diǎn)X^src′，對(duì)預(yù)處理第一分割子區(qū)域進(jìn)行區(qū)域合并操作，得到優(yōu)化第一分割區(qū)域：

(6-1)對(duì)所有預(yù)處理第一分割子區(qū)域進(jìn)行篩選，并將魯棒匹配對(duì)應(yīng)點(diǎn)X^src′的個(gè)數(shù)小于門限值的預(yù)處理第一分割子區(qū)域命名為第一無效子區(qū)域；

(6-2)找到第一無效子區(qū)域的第一二階鄰域區(qū)域集合；

(6-3)在第一二階鄰域區(qū)域集合中，找到一個(gè)滿足魯棒匹配對(duì)應(yīng)點(diǎn)X^src′的個(gè)數(shù)大于門限值，且位置空間與顏色與該第一無效子區(qū)域都最為相近一個(gè)預(yù)處理第一分割子區(qū)域，并將其命名為第一目標(biāo)區(qū)域；

(6-4)將該第一無效子區(qū)域合并到尋找到的第一目標(biāo)區(qū)域中，并將此時(shí)的預(yù)處理第一分割區(qū)域其被命名為優(yōu)化第一分割區(qū)域。

通過步驟(6)的操作，使得每個(gè)優(yōu)化第一分割子區(qū)域都包含門限值以上個(gè)數(shù)的特征點(diǎn)。

(7)根據(jù)魯棒匹配對(duì)應(yīng)點(diǎn)X^src′和魯棒匹配對(duì)應(yīng)點(diǎn)X^tgt′，以優(yōu)化第一分割子區(qū)域?yàn)榛鶞?zhǔn)，對(duì)預(yù)處理第二分割子區(qū)域進(jìn)行區(qū)域合并操作，得到優(yōu)化第二分割區(qū)域：

當(dāng)某優(yōu)化第一分割子區(qū)域中的魯棒匹配對(duì)應(yīng)點(diǎn)在預(yù)處理第二分割子區(qū)域中的對(duì)應(yīng)點(diǎn)分布在多個(gè)預(yù)處理第二分割子區(qū)域中時(shí)，將這多個(gè)預(yù)處理第二分割子區(qū)域合并成一個(gè)，此時(shí)的預(yù)處理第二分割區(qū)域被命名為優(yōu)化第二分割區(qū)域；通過該合并操作，使得每個(gè)優(yōu)化第一分割子區(qū)域能在優(yōu)化第二分割子區(qū)域中找到唯一確定的對(duì)應(yīng)。

(8)根據(jù)魯棒匹配對(duì)應(yīng)點(diǎn)X^src′，魯棒匹配對(duì)應(yīng)點(diǎn)X^tgt′，獲取優(yōu)化第一分割子區(qū)域和優(yōu)化第二分割子區(qū)域的一一對(duì)應(yīng)關(guān)系，并記錄一致性區(qū)域?qū)?yīng)標(biāo)簽。

對(duì)每一個(gè)優(yōu)化第一分割子區(qū)域，以A區(qū)域?yàn)槔?，記錄其中的魯棒匹配?duì)應(yīng)點(diǎn)在優(yōu)化第二分割子區(qū)域中的對(duì)應(yīng)點(diǎn)集，步驟(3)～步驟(6)已經(jīng)保證這些對(duì)應(yīng)點(diǎn)集屬于同一個(gè)優(yōu)化第二分割子區(qū)域，假設(shè)為B區(qū)域，則優(yōu)化第一分割子區(qū)域中的A區(qū)域?qū)?yīng)優(yōu)化第二分割子區(qū)域中的B區(qū)域，記錄一致性區(qū)域?qū)?yīng)標(biāo)簽。

區(qū)域?qū)?yīng)結(jié)束后，能夠使得對(duì)應(yīng)區(qū)域反映同一場景中同一目標(biāo)區(qū)域。

采用現(xiàn)有的圖像匹配方法與本發(fā)明的對(duì)應(yīng)方法，同時(shí)對(duì)立體匹配圖像對(duì)進(jìn)行區(qū)域?qū)?yīng)，相比于現(xiàn)有的區(qū)域?qū)?yīng)方法，本發(fā)明的區(qū)域?qū)?yīng)方法能夠減小區(qū)域?qū)?yīng)誤差，提升顏色校正的精度。

以上所述的具體實(shí)施方式對(duì)本發(fā)明的技術(shù)方案和有益效果進(jìn)行了詳細(xì)說明，應(yīng)理解的是以上所述僅為本發(fā)明的最優(yōu)選實(shí)施例，并不用于限制本發(fā)明，凡在本發(fā)明的原則范圍內(nèi)所做的任何修改、補(bǔ)充和等同替換等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。