基于改進(jìn)型雙邊濾波的深度圖像恢復(fù)方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于改進(jìn)型雙邊濾波的深度圖像恢復(fù)方法，該方法先使用局部自適應(yīng)雙邊濾波對(duì)原始深度圖像進(jìn)行平滑去噪，然后對(duì)深度圖像中的錯(cuò)誤深度像素進(jìn)行校正，最后結(jié)合于深度圖像對(duì)應(yīng)的RGB圖像，采用選擇性聯(lián)合雙邊濾波對(duì)深度圖像進(jìn)行空洞填充，最終恢復(fù)的深度圖像中的噪音得到了有效地抑制，錯(cuò)誤深度像素得到了有效地校正，并且有清晰的深度邊界。本發(fā)明能有效地抑制深度圖中的局部不均勻噪音和填充深度圖像中的空洞，同時(shí)能使得恢復(fù)后的深度圖像中的邊緣清晰整齊，有利于后續(xù)的諸如三維場(chǎng)景識(shí)別和重建等處理。
【專(zhuān)利說(shuō)明】基于改進(jìn)型雙邊濾波的深度圖像恢復(fù)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理【技術(shù)領(lǐng)域】，特別涉及RGB-D圖像，即與之對(duì)應(yīng)的RGB圖像的深度圖像恢復(fù)方法。
【背景技術(shù)】
[0002]隨著新的深度測(cè)量技術(shù)的誕生，獲得場(chǎng)景深度圖像已經(jīng)變得非常容易，且測(cè)量裝置也很便宜，并可同時(shí)獲得與深度圖像相對(duì)應(yīng)的場(chǎng)景的RGB圖像，與深度圖像合起來(lái)被稱(chēng)作RGB-D圖像。然而這類(lèi)裝置由于測(cè)量原理簡(jiǎn)單，因此得到的深度圖像質(zhì)量也存在問(wèn)題，主要包括:局部不均勻噪音，空洞現(xiàn)象和錯(cuò)誤深度像素。目前對(duì)這類(lèi)裝置獲得的深度圖像恢復(fù)的方法主要包括兩大類(lèi):(I)只利用深度圖像信息進(jìn)行恢復(fù)，(2)結(jié)合深度圖像和與之對(duì)應(yīng)的RGB圖像信息進(jìn)行的恢復(fù)，這兩大類(lèi)方法又可以根據(jù)只使用當(dāng)前幀信息和使用多幀信息兩種情況各分為兩類(lèi)。
[0003]下面對(duì)現(xiàn)有的部分RGB-D深度圖像恢復(fù)算法按上述分類(lèi)方法進(jìn)行簡(jiǎn)要介紹。M.Andrew 等人與 2012 年提出(“Enhanced personal auto stereoscopic telepresencesystem using commodity depth cameras”)使用兩個(gè)改進(jìn)型中值濾波器近利用當(dāng)前中貞深度信息進(jìn)行深度圖像恢復(fù)；W.Jakob等人與2011年提出(“Real-time preprocessingfor dense3_d range imaging on the GPU:defect interpolation, bilateral temporalaveraging and guided filtering”)考慮多巾貞相鄰巾貞深度信息,采用歸一化卷積技術(shù)和導(dǎo)向?yàn)V波器(guided filter)。上述兩種方法雖然運(yùn)算速度很高，但是只使用了深度信息，因此對(duì)深度圖像恢復(fù)效果很有限，只適用于對(duì)深度圖像質(zhì)量要求不高的算法，可作為簡(jiǎn)單預(yù)處理算法。Y.Jingyu 等人與 2012 年提出(“Depth recovery using an adaptivecolor-guided auto-regressive model”)使用能量最小化方法,先對(duì)圖像中的空洞進(jìn)行插值填充，然后迭代優(yōu)化能量函數(shù)，達(dá)到空洞填充和去噪的效果，該方法使用了當(dāng)前幀的RGB-D圖像信息，其缺陷是恢復(fù)后的深度圖像邊緣很模糊；MaSSimo Camplani等人與2012年提出(“Accurate depth-color scene modeling for3d contents generation withlow cost depth cameras”)使用多巾貞RGB-D圖像建立場(chǎng)景模型,并用該模型進(jìn)行深度圖像恢復(fù)，但是該方法要求圖像中的場(chǎng)景為靜態(tài)的，因此很大程度限制了其應(yīng)用性。
[0004]然而上述方法還有一個(gè)共同的缺陷就是沒(méi)有強(qiáng)調(diào)錯(cuò)誤深度像素問(wèn)題和提出很好的解決方法。

【發(fā)明內(nèi)容】

[0005]針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明目的是提供一種基于改進(jìn)型雙邊濾波的深度圖像恢復(fù)方法，該方法提出了錯(cuò)誤深度像素的概念，能有效地抑制深度圖中的噪音和填充深度圖像中的空洞，同時(shí)使得恢復(fù)后的深度圖像中的深度邊緣清晰整齊。
[0006]為實(shí)現(xiàn)上述目的，本發(fā)明提供一種基于改進(jìn)型雙邊濾波的深度圖像恢復(fù)方法，該方法先使用局部自適應(yīng)雙邊濾波對(duì)原始深度圖像進(jìn)行平滑去噪，然后對(duì)深度圖像中的錯(cuò)誤深度像素進(jìn)行校正，最終結(jié)合于深度圖像對(duì)應(yīng)的彩色RGB圖像，采用選擇性聯(lián)合雙邊濾波對(duì)深度圖像進(jìn)行空洞填充。最終恢復(fù)的深度圖像噪音得到了有效地抑制，錯(cuò)誤深度像素得到了有效地校正，并且有清晰的深度邊界。
[0007]本發(fā)明具體包括以下步驟:
[0008](I)對(duì)原始深度圖像進(jìn)行局部自適應(yīng)雙邊濾波，對(duì)深度圖像中的區(qū)域不均勻噪聲進(jìn)行平滑；
[0009](2)對(duì)深度圖像和與該深度圖像相對(duì)應(yīng)的RGB圖像分別進(jìn)行邊緣檢測(cè)，分別得到相應(yīng)的邊緣圖像；
[0010](3)然后對(duì)深度圖像的邊緣圖像進(jìn)行形態(tài)學(xué)膨脹，將膨脹后的邊緣圖像與RGB圖像的邊緣圖像進(jìn)行邏輯交運(yùn)算，得到深度邊界圖像的初始圖像；
[0011](4)再對(duì)深度邊界圖像初始圖像中的邊界像素進(jìn)行校正，去掉偽邊界的邊界像素，最終的到真正深度邊界圖像的近似圖像；
[0012](5)結(jié)合校正后的深度邊界圖像，對(duì)平滑后的深度圖像中錯(cuò)誤深度值像素進(jìn)行校正；
[0013](6)利用深度圖像邊緣與RGB圖像紋理邊緣之間的聯(lián)系，采用選擇性聯(lián)合雙邊濾波并結(jié)合(4)中得到的校正的深度邊界圖像，對(duì)校正后的深度圖像中的空洞進(jìn)行填充。
[0014]與現(xiàn)有技術(shù)相比，本發(fā)明具有如下收益效果:
[0015]本發(fā)明不同于【背景技術(shù)】中所有的方法，提出了錯(cuò)誤深度像素的概念，并提出了相應(yīng)的解決方案。同時(shí)本發(fā)明有效地使用雙邊濾波的變型一局部自適應(yīng)雙邊濾波和選擇性聯(lián)合雙邊濾波兩種濾波器分別對(duì)深度圖像進(jìn)行去噪和空洞填充，能有效地恢復(fù)深度圖像，并且與 Y.Jingyu 等人的方法(“Depth recovery using an adaptive color-guidedauto-regressive model”)相比,本發(fā)明恢復(fù)后的深度圖像錯(cuò)誤深度像素更少,深度邊緣清晰。
[0016]本發(fā)明能有效地抑制深度圖中的噪音和填充深度圖像中的空洞，同時(shí)使得恢復(fù)后的深度圖像中的深度邊緣清晰整齊，有利于后續(xù)的諸如三維場(chǎng)景識(shí)別和重建等處理。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0017]通過(guò)閱讀參照以下附圖對(duì)非限制性實(shí)施例所作的詳細(xì)描述，本發(fā)明的其它特征、目的和優(yōu)點(diǎn)將會(huì)變得更明顯:
[0018]圖1為本發(fā)明一實(shí)施例原始深度圖像(左)和與之對(duì)應(yīng)的RGB彩色圖像(右)；
[0019]圖2為本發(fā)明一實(shí)施例原始深度圖像的邊緣圖像(左)，深度邊界圖像初始圖像(中)和校正后的深度邊界圖像(右);
[0020]圖3為本發(fā)明一實(shí)施例原始深度圖像的部分方法圖(左)，該部分中的錯(cuò)誤深度像素用粉紅色標(biāo)記(中)和經(jīng)過(guò)錯(cuò)誤深度像素校正后的深度圖像(右);
[0021]圖4為本發(fā)明一實(shí)施例所恢復(fù)的結(jié)果(左)和Y.Jingyu等人的方法恢復(fù)的結(jié)果(右)。
【具體實(shí)施方式】
[0022]下面結(jié)合具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。以下實(shí)施例將有助于本領(lǐng)域的技術(shù)人員進(jìn)一步理解本發(fā)明，但不以任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是，對(duì)本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)。這些都屬于本發(fā)明的保護(hù)范圍。
[0023]圖1顯示了一張深度圖像和與之對(duì)應(yīng)的RGB彩色圖像，即RGB-D圖像，其中深度圖像中黑色區(qū)域?yàn)闊o(wú)深度信息像素點(diǎn)，為深度圖像的“空洞”。圖3中顯示了將圖1中深度圖像部分放大圖(圖2左)，并將該放大圖覆蓋到與之對(duì)應(yīng)的彩色圖像部分(圖2中)，可以看出，粉色部分應(yīng)該屬于人體后面的墻，但是其深度值為人體所在位置的深度，這樣的像素即為錯(cuò)誤深度像素。然而深度圖像同時(shí)還有區(qū)域不均勻噪音，即靠近深度圖像邊緣部分的深度值有較高的噪音，而遠(yuǎn)離深度圖像邊緣部分的深度值的噪音早相對(duì)較小，因此對(duì)給定的RGB-D圖像做如下處理。
[0024](I)采用局部自適應(yīng)雙邊濾波對(duì)輸入深度圖像中的噪音進(jìn)行平滑，得到噪音相對(duì)較小的深度圖像。
[0025]本步驟中:對(duì)原始深度圖像進(jìn)行邊緣檢測(cè)得到邊緣圖像，對(duì)邊緣圖像進(jìn)行形態(tài)學(xué)膨脹，對(duì)于原始深度圖像中被膨脹后的邊緣所覆蓋的深度圖像像素，當(dāng)平滑這些像素時(shí)，其雙邊濾波的方差設(shè)為一常數(shù)，對(duì)于不在覆蓋范圍內(nèi)的，雙邊濾波的方差設(shè)為另一常數(shù)，公式如下:
【權(quán)利要求】
1.一種基于改進(jìn)型雙邊濾波的深度圖像恢復(fù)方法，其特征在于，所使用的局部自適應(yīng)雙邊濾波能有效的抑制深度圖像中的區(qū)域不均勻噪音，同時(shí)結(jié)合與深度圖像相對(duì)應(yīng)的RGB圖像，采用選擇性聯(lián)合雙邊濾波對(duì)深度圖像進(jìn)行空洞填充，并利用深度圖像邊緣與RGB圖像紋理邊緣之間的聯(lián)系，使得恢復(fù)后的深度圖像邊緣清晰整齊； 所述方法具體包括如下步驟: 第一步，對(duì)原始深度圖像進(jìn)行局部自適應(yīng)雙邊濾波，對(duì)深度圖像中的區(qū)域不均勻噪聲進(jìn)行平滑； 第二步，對(duì)深度圖像和與該深度圖像相對(duì)應(yīng)的RGB圖像分別進(jìn)行邊緣檢測(cè)，分別得到相應(yīng)的邊緣圖像； 第三步，對(duì)深度圖像的邊緣圖像進(jìn)行形態(tài)學(xué)膨脹，將膨脹后的邊緣圖像與RGB圖像的邊緣圖像進(jìn)行邏輯交運(yùn)算，得到深度邊界圖像的初始圖像； 第四步，對(duì)深度邊界圖像初始圖像中的邊界像素進(jìn)行校正，去掉偽邊界的邊界像素，最終的到真正深度邊界圖像的近似圖像； 第五步，結(jié)合校正后的深度邊界圖像，對(duì)平滑后的深度圖像中錯(cuò)誤深度像素進(jìn)行校正； 第六步，利用深度圖像邊緣與RGB圖像紋理邊緣之間的聯(lián)系，采用選擇性聯(lián)合雙邊濾波并結(jié)合第四步中得到的校正的深度邊界圖像，對(duì)校正后的深度圖像中的空洞進(jìn)行填充。
2.根據(jù)權(quán)利要求1所述的基于雙邊濾波的深度圖像恢復(fù)方法，其特征在于，所述第一步中對(duì)深度圖像中的區(qū)域不均勻噪音進(jìn)行局部自適應(yīng)雙邊濾波平滑，其具體為: 對(duì)原始深度圖像進(jìn)行邊緣檢測(cè)得到邊緣圖像，對(duì)邊緣圖像進(jìn)行形態(tài)學(xué)膨脹，對(duì)于原始深度圖像中被膨脹后的邊緣所覆蓋的深度圖像像素，當(dāng)平滑這些像素時(shí)，雙邊濾波的方差設(shè)為常數(shù)，對(duì)于不在覆蓋范圍內(nèi)的，雙邊濾波的方差設(shè)為另一常數(shù)，公式如下:

3.根據(jù)權(quán)利要求1所述的基于改進(jìn)型雙邊濾波的深度圖像恢復(fù)方法，其特征在于，所述第四步中，校正公式如下:
4.根據(jù)權(quán)利要求3所述的基于改進(jìn)型雙邊濾波的深度圖像恢復(fù)方法，其特征在于，所述第五步中:如果g(Ei) = I時(shí)，對(duì)平滑處理后的深度圖像中的錯(cuò)誤深度像素進(jìn)一步校正，令A(yù)' = arg max |θ；| ,則對(duì)平滑后的深度圖像中Ω j中的深度像素做如下校正:
J J 對(duì)所有se Ω i，并且s在i和j之間，令Ds — Dk ； 其中Ds和Dk是平滑后深度圖像中? mt所在位置相對(duì)應(yīng)的深度像素的值。
5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的基于改進(jìn)型雙邊濾波的深度圖像恢復(fù)方法，其特征在于，所述第六步中:利用深度圖像邊緣與RGB圖像紋理邊緣之間的聯(lián)系，采用選擇性聯(lián)合雙邊濾波對(duì)深度圖像中的空洞進(jìn)行填充，公式如下:
【文檔編號(hào)】G06T5/00GK103927717SQ201410122870
【公開(kāi)日】2014年7月16日 申請(qǐng)日期:2014年3月28日 優(yōu)先權(quán)日:2014年3月28日
【發(fā)明者】劉偉, 楊杰 申請(qǐng)人:上海交通大學(xué)