專利名稱：一種基于雙向加權(quán)聚合的實(shí)時(shí)立體匹配方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于行列雙向聚合和可變權(quán)值的實(shí)時(shí)立體匹配方法，應(yīng)用在雙目 立體視覺領(lǐng)域中，通過立體匹配計(jì)算圖像對(duì)中像素點(diǎn)的視差，進(jìn)而求得像素點(diǎn)的深度信息， 屬于計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺領(lǐng)域。
背景技術(shù)：
立體匹配技術(shù)是從多視點(diǎn)圖像中求取深度信息的主要方法之一。立體匹配的目標(biāo) 是在給定校正的立體圖像之后，尋找參考圖像中每個(gè)像素點(diǎn)處的視差，即與其在目標(biāo)圖像 中對(duì)應(yīng)點(diǎn)之間的列坐標(biāo)之差。立體匹配技術(shù)是計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺、人工智能、機(jī)器 人等領(lǐng)域的重要研究方向。總體上，立體匹配方法可以分為全局匹配法和局部匹配法。全局匹配法是通過建 立一個(gè)全局能量函數(shù)來求解每個(gè)像素點(diǎn)深度。其優(yōu)點(diǎn)是匹配精度高，錯(cuò)誤率低，但缺點(diǎn)是計(jì) 算復(fù)雜度較高，計(jì)算速度較慢，難以達(dá)到實(shí)時(shí)要求。局部匹配法通過引入支持窗口的概念， 匹配根據(jù)支持窗口進(jìn)行，優(yōu)點(diǎn)是運(yùn)行速度較快，缺點(diǎn)是容易受到噪聲點(diǎn)和無紋理區(qū)域的影 響，匹配精度較低，且支持窗口的大小對(duì)算法性能有較大影響，不易確定最優(yōu)值。實(shí)時(shí)立體 匹配的應(yīng)用中，一般采用局部立體匹配的方法?；诳勺儥?quán)值的局部算法是一種精度較高的立體匹配算法，該方法取得了接近于 全局算法的效果，但時(shí)間復(fù)雜度較高。有些方法將支持窗口設(shè)為一維的縱向窗口，聚合過程 中只對(duì)匹配代價(jià)進(jìn)行一次縱向聚合，然后利用沿行的動(dòng)態(tài)規(guī)劃進(jìn)行視差選擇。該方法通過 并行編程可以達(dá)到實(shí)時(shí)，但由于匹配代價(jià)的縱向聚合不能充分描述位于同一行上的相鄰像 素點(diǎn)間的相關(guān)性，導(dǎo)致該算法的匹配精度比原算法下降了很多。

發(fā)明內(nèi)容
本發(fā)明的技術(shù)解決問題克服立體匹配算法時(shí)間效率提高后精度降低的問題，提 出了一種基于支持窗口和可變權(quán)值的實(shí)時(shí)立體匹配方法，該方法在保證實(shí)時(shí)性的前提下達(dá) 到了較高的匹配精度。本發(fā)明所采取的技術(shù)方案是一種基于支持窗口和可變權(quán)值的實(shí)時(shí)立體匹配方 法，步驟如下(1)根據(jù)匹配代價(jià)函數(shù)計(jì)算出圖像中各點(diǎn)的匹配代價(jià)；(2)完成(1)步驟后，對(duì)支持窗口內(nèi)的代價(jià)函數(shù)值先后進(jìn)行行列加權(quán)聚合以提高 匹配精度；支持窗口內(nèi)各點(diǎn)權(quán)值僅由該點(diǎn)與中心點(diǎn)顏色相似度決定；聚合過程中設(shè)計(jì)了 一種可信度評(píng)估機(jī)制，提高匹配結(jié)果的可信度，降低由于兩次聚合造成的誤差的概率和范 圍；(3)根據(jù)步驟O)的聚合結(jié)果，在掃描行方向進(jìn)行動(dòng)態(tài)規(guī)劃和貪心策略相結(jié)合的 視差選擇；(4)完成步驟C3)后，對(duì)得到的整幅圖像的視差進(jìn)行優(yōu)化，去除噪聲點(diǎn)，使整個(gè)視差選擇的結(jié)果更加精確；(5)由各點(diǎn)視差圖以及整幅圖像的視差范圍求出各點(diǎn)深度。本發(fā)明的原理是所述的立體匹配過程中，通過將行列雙向聚合應(yīng)用于加權(quán)聚合中，降低了加權(quán)聚 合的時(shí)間復(fù)雜度，提高了算法的并行度，使算法能夠使用GPU并行加速，從而實(shí)現(xiàn)實(shí)時(shí)。所述的在聚合過程采用的行列雙向聚合，將對(duì)一個(gè)二維支持窗口的加權(quán)聚合轉(zhuǎn)化 為對(duì)兩個(gè)相互垂直的一維支持窗口的加權(quán)聚合，由于所有像素點(diǎn)在行方向聚合與列方向聚 合這兩個(gè)過程中分別是相互獨(dú)立的，所以可以并行執(zhí)行。首先所有的像素點(diǎn)并行執(zhí)行行方 向加權(quán)聚合，待聚合完畢后再進(jìn)行并行的列方向加權(quán)聚合，從而大大降低了加權(quán)聚合過程 的并行度以及時(shí)間消耗，為立體匹配算法的實(shí)時(shí)化提供了可能。所述的權(quán)值計(jì)算公式，只使用顏色相似度作為權(quán)值參數(shù)，去除了其他因素對(duì)權(quán)值 的干擾，而且降低了計(jì)算量。所述的可信度評(píng)估機(jī)制對(duì)行列雙向加權(quán)聚合過程中產(chǎn)生的誤差進(jìn)行控制，減小了 誤差產(chǎn)生的概率和范圍。所述的動(dòng)態(tài)規(guī)劃與貪心相結(jié)合的視差選擇，在保持動(dòng)態(tài)規(guī)劃在行方向上平滑的優(yōu) 點(diǎn)的同時(shí)，貪心策略的適時(shí)介入將使視差跳變處的視差選擇更為準(zhǔn)確。與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)是(1)本發(fā)明通過行列雙向聚合和可變權(quán)值聚合的結(jié)合，一方面降低了算法的時(shí)間 復(fù)雜度，另一方面通過一種可信度評(píng)估機(jī)制降低兩者結(jié)合帶來的精度損失。通過GPU加速， 對(duì)于320*240大小的圖像，本算法已實(shí)現(xiàn)實(shí)時(shí)。本算法在一個(gè)實(shí)時(shí)應(yīng)用中的截圖如圖7所 示，其中7(a)為兩幅圖像中的左圖像，7(b)為實(shí)時(shí)求取的深度圖；(2)本發(fā)明中的視差選擇采用了動(dòng)態(tài)規(guī)劃和貪心策略相結(jié)合的方法。這種結(jié)合 的策略在保留動(dòng)態(tài)規(guī)劃算法取得行方向上平滑性較好的優(yōu)點(diǎn)的同時(shí)，又避免了由此帶來 的過度平滑以至于造成視差邊界模糊的不足。在動(dòng)態(tài)規(guī)劃選擇視差的過程中，貪心策略 的適時(shí)介入不僅不會(huì)增加算法的復(fù)雜度，而且在視差跳變處取得更準(zhǔn)確的視差值，本算 法在middlebury平臺(tái)上的測(cè)試結(jié)果如表1所示。其中tuskuba，venus, teddy, cones是 middlebury平臺(tái)上提供的4組dataset，nonocc，all, disc為三種不同的誤差計(jì)算方式， Adaptiveffeight, RealTimeABff, RealTimeBP, RealTimeVar, RTCensus, Real-Time GPU 為 middlebury上的實(shí)時(shí)算法。Average Rank為算法四組dataset的平均排名，Average Error 為四組dataset的平均誤差率。誤差率是圖像中視差錯(cuò)誤的像素點(diǎn)的個(gè)數(shù)占圖像總像素點(diǎn) 的比例。表1 middlebury平臺(tái)的測(cè)評(píng)數(shù)據(jù)
權(quán)利要求
1. 一種基于雙向加權(quán)聚合的實(shí)時(shí)立體匹配方法，其特征在于實(shí)現(xiàn)步驟如下(1)根據(jù)匹配代價(jià)函數(shù)計(jì)算圖像對(duì)中各個(gè)像素點(diǎn)的匹配代價(jià)函數(shù)值，計(jì)算公式為
全文摘要
一種基于雙向加權(quán)聚合的實(shí)時(shí)立體匹配方法，包括以下步驟(1)計(jì)算圖像對(duì)中各個(gè)像素點(diǎn)的匹配代價(jià)函數(shù)值；(2)對(duì)(1)步驟中計(jì)算出的匹配代價(jià)函數(shù)進(jìn)行行列雙向的加權(quán)聚合，僅以顏色相似度作為權(quán)值參數(shù)，設(shè)計(jì)了一種權(quán)值可信度評(píng)估機(jī)制降低行列雙向加權(quán)聚合產(chǎn)生的誤差；(3)對(duì)(2)步驟的聚合結(jié)果沿行方向選擇視差，設(shè)計(jì)了一種動(dòng)態(tài)規(guī)劃與貪心策略相結(jié)合的選擇策略。實(shí)驗(yàn)證明，本發(fā)明提出的方法在保證實(shí)時(shí)性的前提下達(dá)到了較高的匹配精度。本發(fā)明可應(yīng)用于各種形式的交互類應(yīng)用，在科研、教育、娛樂領(lǐng)域均有較為廣闊的應(yīng)用前景。
文檔編號(hào)G06T7/00GK102096919SQ20101062391
公開日2011年6月15日 申請(qǐng)日期2010年12月31日 優(yōu)先權(quán)日2010年12月31日
發(fā)明者史英杰, 吳威, 周忠, 常雪楓, 趙沁平 申請(qǐng)人:北京航空航天大學(xué)