專利名稱：基于最小生成樹(shù)的非局部的深度圖超分辨率重建方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域，具體涉及一種針對(duì)低分辨率深度圖的非局部的基于最小生成樹(shù)(MST, Minimum Spanning Tree)的超分辨率方法，即基于最小生成樹(shù)的非局部的深度圖超分辨率重建方法。
背景技術(shù)：
圖像超分辨率(Image Super Resolution),即通過(guò)硬件或軟件的方法提高原有圖像的分辨率，通過(guò)一系列低分辨率的圖像來(lái)得到高分辨率的圖像過(guò)程就是超分辨率重建。超分辨率重建的核心思想就是用時(shí)間帶寬(獲取同一場(chǎng)景的多幀圖像序列)換取空間分辨率，實(shí)現(xiàn)時(shí)間分辨率向空間分辨率的轉(zhuǎn)換。提高圖像分辨率最直接的辦法就是提高采集設(shè)備傳感器的密度，然而高密度的圖像傳感器的價(jià)格相對(duì)昂貴，在一般應(yīng)用中難以承受；另一方面，成像系統(tǒng)受其固有傳感器排列密度的限制，目前已接近極限。提高圖像分辨率的另一方法是提高芯片尺寸，但這將導(dǎo)致電容的增加和電荷轉(zhuǎn)移速度的下降。一種有效提高圖像分辨率的途徑是采用基于信號(hào)處理的方法對(duì)圖像的分辨率進(jìn)行提高，即超分辨率重建。它對(duì)單幅圖像或多幀圖像序列進(jìn)行處理，生成高分辨率圖像。若利用一個(gè)滑動(dòng)窗口對(duì)低分辨率圖像序列進(jìn)行處理，則可以生成超分辨率圖像序列。超分辨率重建技術(shù)的優(yōu)點(diǎn)是不涉及硬件，成本低，現(xiàn)有的圖像系統(tǒng)還可以使用，是一種比較經(jīng)濟(jì)的方案?，F(xiàn)階段，國(guó)內(nèi)外的很多工作都是采用對(duì)齊的高分辨率彩色圖和低分辨率深度圖結(jié)合，來(lái)對(duì)深度圖進(jìn)行超分辨率重建。假設(shè)深度圖中不連續(xù)的地方對(duì)應(yīng)于彩色圖中的邊緣，彩色圖中顏色一致的區(qū)域具有相似的幾何結(jié)構(gòu)，采用彩色圖提供的豐富的紋理信息，能夠有效地重建深度圖紋理結(jié)構(gòu)。一種方法是將超分辨率優(yōu)化歸結(jié)為基于馬爾科夫場(chǎng)的后項(xiàng)概率問(wèn)題，通過(guò)優(yōu)化最大后項(xiàng)概率問(wèn)題來(lái)提高分辨率；還有一類方法采用基于引導(dǎo)的濾波器(Guided Image Filtering)來(lái)實(shí)現(xiàn)超分辨率。聯(lián)合雙邊濾波器(Joint Bilateral Filter)是應(yīng)用最廣泛的一種Guided Image Filter,在彩色紋理導(dǎo)圖的指引下,權(quán)值的計(jì)算不僅取決于當(dāng)前像素與鄰近像素的空間位置關(guān)系，紋理導(dǎo)圖上對(duì)應(yīng)位置像素間的強(qiáng)度值差異同樣會(huì)影響權(quán)重的取值，因此雙邊濾波在對(duì)圖像進(jìn)行平滑的同時(shí)可以很好的保護(hù)邊緣信息。還有一種采用非局部均值濾波(Non-local Means Filter)來(lái)實(shí)現(xiàn)超分辨率的方法。非局部均值濾波在操作時(shí)會(huì)考慮非局部區(qū)域在結(jié)構(gòu)上的相似性，對(duì)圖像結(jié)構(gòu)的恢復(fù)比較有效。但是，現(xiàn)有的方法存在一個(gè)共同的問(wèn)題:時(shí)間復(fù)雜度較高，很難滿足實(shí)際應(yīng)用的需要，尤其是有實(shí)時(shí)性要求的應(yīng)用。

發(fā)明內(nèi)容
本發(fā)明旨在克服現(xiàn)有技術(shù)的不足，提出一種快速的非局部的基于MST的超分辨率重建方法，在降低算法時(shí)間復(fù)雜度的同時(shí)，保持重建結(jié)果的質(zhì)量，在兩者之間取得很好的平衡，為此，本發(fā)明采取的技術(shù)方案是，基于最小生成樹(shù)的非局部的深度圖超分辨率重建方法，包括下列步驟:I)采用Middlebury的數(shù)據(jù)集即成對(duì)彩色圖和深度圖作為測(cè)試數(shù)據(jù)，根據(jù)超分辨率比例對(duì)深度圖進(jìn)行下采樣，得到需要進(jìn)行重建的初始的低分辨率深度圖，然后對(duì)初始深度圖進(jìn)行一步簡(jiǎn)單的預(yù)處理，即采用雙三次插值(Bicubic Interpolation)將下采樣后的深度圖放大至原來(lái)的尺寸；2)將彩色紋理導(dǎo)圖看作一幅連通的無(wú)向圖G= (V，E)，節(jié)點(diǎn)V對(duì)應(yīng)于圖像中所有的像素點(diǎn)，邊E對(duì)應(yīng)于圖像中最鄰近像素間的連線，這樣就得到了一幅標(biāo)準(zhǔn)的4連通的平面圖，設(shè)s和r是一對(duì)相鄰的節(jié)點(diǎn),連接s和r的邊的權(quán)重定義如下:ω (s, r) = ω (r, s) = I (s) -1 (r)(1)ω (s，r)為連接s和r的邊的權(quán)值，I (S)和I (r)是節(jié)點(diǎn)對(duì)應(yīng)像素的強(qiáng)度值；3)由2)中的無(wú)向連通圖G,得到與之對(duì)應(yīng)的MST (MST,Minimum Spanning Tree),在生成MST的過(guò)程中，權(quán)值較大的邊會(huì)被移除，這些邊正好對(duì)應(yīng)于彩色圖中強(qiáng)度值變化較大的區(qū)域；4)根據(jù)MST對(duì)預(yù)處理之后的粗糙的深度圖進(jìn)行重建，在MST中，兩個(gè)節(jié)點(diǎn)之間的距離越小，兩者越相似，節(jié)點(diǎn)間距離為連接二者最短路徑的邊權(quán)的總和，節(jié)點(diǎn)間的相似度定義如下:S (ρ, q) = S (q, ρ) = exp (-D (ρ, q) σ )(2)p、q為MST中的節(jié)點(diǎn)，σ是一個(gè)常數(shù)，用來(lái)對(duì)相似度進(jìn)行調(diào)整，這樣就將JointBilateral Filter擴(kuò)展至最小生成樹(shù)結(jié)構(gòu)，雙邊濾波在對(duì)圖像進(jìn)行平滑的同時(shí)能夠有效的保護(hù)邊緣信息，在立體匹配代價(jià)聚合中得到廣泛應(yīng)用，雙邊濾波的定義如下:
權(quán)利要求
1.一種基于最小生成樹(shù)的非局部的深度圖超分辨率重建方法，其特征是，包括下列步驟: 1)采用Middlebury的數(shù)據(jù)集即成對(duì)彩色圖和深度圖作為測(cè)試數(shù)據(jù)，根據(jù)超分辨率比例對(duì)深度圖進(jìn)行下采樣，得到需要進(jìn)行重建的初始的低分辨率深度圖，然后對(duì)初始深度圖進(jìn)行一步簡(jiǎn)單的預(yù)處理，即采用雙三次插值(Bicubic Interpolation)將下采樣后的深度圖放大至原來(lái)的尺寸； 2)將彩色紋理導(dǎo)圖看作一幅連通的無(wú)向圖G=(V，E)，節(jié)點(diǎn)V對(duì)應(yīng)于圖像中所有的像素點(diǎn)，邊E對(duì)應(yīng)于圖像中最鄰近像素間的連線，這樣就得到了一幅標(biāo)準(zhǔn)的4連通的平面圖，設(shè)s和r是一對(duì)相鄰的節(jié)點(diǎn),連接s和r的邊的權(quán)重定義如下:ω (s, r) = ω (r, s) = 11 (s) -1 (r) |(I) ω (s，r)為連接s和r的邊的權(quán)值，I (S)和I (r)是節(jié)點(diǎn)對(duì)應(yīng)像素的強(qiáng)度值； 3)由2)中的無(wú)向連通圖G，得到與之對(duì)應(yīng)的MST(MST，Minimum Spanning Tree)，在生成MST的過(guò)程中，權(quán)值較大的邊會(huì)被移除，這些邊正好對(duì)應(yīng)于彩色圖中強(qiáng)度值變化較大的區(qū)域； 4)根據(jù)MST對(duì)預(yù)處理之后的粗糙的深度圖進(jìn)行重建，在MST中，兩個(gè)節(jié)點(diǎn)之間的距離越小，兩者越相似，節(jié)點(diǎn)間距離為連接二者最短路徑的邊權(quán)的總和，節(jié)點(diǎn)間的相似度定義如下:S (p, q) = S (q, ρ) = exp (-D (p, q) / σ )(2) p、q為MST中的節(jié)點(diǎn)，σ是一個(gè)常數(shù)，用來(lái)對(duì)相似度進(jìn)行調(diào)整，這樣就將JointBilateral Filter擴(kuò)展至最小生成樹(shù)結(jié)構(gòu)，雙邊濾波在對(duì)圖像進(jìn)行平滑的同時(shí)能夠有效的保護(hù)邊緣信息，在立體匹配代價(jià)聚合中得到廣泛應(yīng)用，雙邊濾波的定義如下:
2.如權(quán)利要求1所述的基于最小生成樹(shù)的非局部的深度圖超分辨率重建方法，其特征是:21)為了考慮到圖像局部的結(jié)構(gòu)特征，取當(dāng)前點(diǎn)的(2Xw+l) X (2Xw+l)鄰域，w為窗口大小的一半，加權(quán)平均后再根據(jù)式(I)計(jì)算邊權(quán)，式(I)改寫(xiě)為如下形式:
3.如權(quán)利要求1所述的基于最小生成樹(shù)的非局部的深度圖超分辨率重建方法，其特征是，生成MST的過(guò)程進(jìn)一步具體為: 31)根據(jù)邊的權(quán)值的大小，采用直方圖排序?qū)呥M(jìn)行非降序排序； 32)采用kruskals方法得到無(wú)向連通圖對(duì)應(yīng)的最小生成樹(shù)MST；33)最小生成樹(shù)沒(méi)有固定的根節(jié)點(diǎn)，選定MST中的一個(gè)節(jié)點(diǎn)為根節(jié)點(diǎn)，構(gòu)造一棵樹(shù)。
4.如權(quán)利要求1所述的基于最小生成樹(shù)的非局部的深度圖超分辨率重建方法，其特征是， 41)計(jì)算更新后的像素強(qiáng)度的最簡(jiǎn)單的方法是遍歷MST，采用線性時(shí)間的快速算法，可將IAt定義為聚合后的值:
全文摘要
本發(fā)明屬于計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域，為提出一種快速的非局部的基于MST的超分辨率重建方法，在降低算法時(shí)間復(fù)雜度的同時(shí)，保持重建結(jié)果的質(zhì)量，在兩者之間取得很好的平衡，本發(fā)明采取的技術(shù)方案是，基于最小生成樹(shù)的非局部的深度圖超分辨率重建方法，包括下列步驟1)得到需要進(jìn)行重建的初始的低分辨率深度圖，然后對(duì)初始深度圖進(jìn)行一步簡(jiǎn)單的預(yù)處理；2)得到一幅標(biāo)準(zhǔn)的4連通的平面圖；3)由2)中的無(wú)向連通圖G，得到與之對(duì)應(yīng)的MST(MST，Minimum Spanning Tree)；4)根據(jù)MST對(duì)預(yù)處理之后的粗糙的深度圖進(jìn)行重建。本發(fā)明主要應(yīng)用于圖像處理。
文檔編號(hào)G06T3/40GK103218776SQ201310073230
公開(kāi)日2013年7月24日 申請(qǐng)日期2013年3月7日 優(yōu)先權(quán)日2013年3月7日
發(fā)明者楊敬鈺, 張群, 侯春萍 申請(qǐng)人:天津大學(xué)