一種深度圖后處理濾波的方法
【專利摘要】本發(fā)明涉及一種深度圖后處理濾波的方法，包括以下步驟：（A1）輸入同一場景的深度圖和彩色圖；（A2）對彩色圖進行分塊，并對每個塊進行基于灰度圖的邊緣檢測，進一步用基于彩色分量的邊界對上述塊中場景的灰度邊緣進行修正，將得到的邊界作為深度圖中不同深度平面的邊界；（A3）將深度圖分為與步驟（A2）中相同大小的塊，并依據(jù)以上分割，以塊為單位對深度圖進行去噪濾波；（A4）重復步驟A1－A3，直至所有圖像全部處理完畢；（A5）輸出所述得到的深度圖序列。本方法通過提取像素點在空域上和時域上的平滑性特征，并在讀取和掃描的過程中進行深度圖的計算。這樣的方法，能有利于改進深度圖時域抖動、空域不穩(wěn)定、場景還原性低等缺陷的深度圖。
【專利說明】一種深度圖后處理濾波的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種通過對象平面分割對深度圖進行后處理濾波的方法。
【背景技術(shù)】
[0002]深度圖序列是重構(gòu)三維視頻的重要信息，其質(zhì)量的好壞直接決定了三維視頻的觀看質(zhì)量。目前深度圖序列生成技術(shù)主要有主動采集和被動計算兩種生成方式。主動采集主要是利用深度相機直接對三維場景的空間深度信息進行采集獲取，被動計算一般是利用彩色圖序列進行立體匹配計算得到深度圖序列。無論是哪一種獲取方式，都不可避免的存在深度圖的噪聲及錯誤等問題。因此，一般需要采用后處理技術(shù)優(yōu)化深度圖質(zhì)量，提升三維視頻的重建效果。
[0003]但是一般的彩色圖像去噪濾波技術(shù)并不適用于深度圖序列。深度圖序列相對于彩色圖序列而言，具有更加明顯的局部平滑性，并且對邊緣銳利程度的要求也更高。一般的彩色圖像去噪濾波技術(shù)容易造成深度圖的邊緣模糊，從而嚴重影響三維重構(gòu)的視覺質(zhì)量。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的為了解決上述技術(shù)缺陷，特別提出一種基于深度平面分割的深度圖后處理方法。
[0005]本發(fā)明的方法通過提取像素點在空域上和時域上的平滑性特征，并在讀取和掃描的過程中進行深度圖的計算。這樣的方法，能有利于改進深度圖時域抖動、空域不穩(wěn)定、場景還原性低等缺陷的深度圖。
[0006]本發(fā)明的技術(shù)方案為:
[0007]1、一種深度圖后處理濾波的方法，其特征在于包括以下步驟:
[0008](Al)輸入同一場景的深度圖和彩色圖；
[0009](A2)對彩色圖進行分塊，并對每個塊進行基于灰度的邊緣檢測，進一步用基于彩色分量的邊界對上述塊中場景的灰度邊緣進行修正，將得到的邊界作為深度圖中不同深度平面的邊界；
[0010](A3)將深度圖分為與步驟(A2)中相同大小的塊，并依據(jù)以上分割，以塊為單位對深度圖進行去噪濾波；
[0011](A4)重復步驟Al - A3，直至所有圖像全部處理完畢；
[0012](A5)輸出所述得到的深度圖序列。
[0013]2、根據(jù)權(quán)利要求1所述的深度圖后處理濾波的方法，其特征在于:所述步驟(A2)對彩色圖進行分塊，并對每個塊進行基于灰度圖的邊緣檢測，進一步用基于彩色分量的邊界對上述塊中場景的灰度邊緣進行修正，將得到的邊界作為深度圖中不同深度平面的邊界的具體過程為:
[0014]對彩色圖進行分塊操作，并在每個塊中利用Sobel算子進行基于灰度的邊緣檢測，檢測出塊中場景的灰度邊緣；對彩色圖塊中場景執(zhí)行RGB三個顏色通道內(nèi)的邊緣檢測，得到彩色圖分塊場景的邊緣，用于修正對應(yīng)塊的灰度邊緣，得到修正后的各塊中場景的邊緣，將修正后的各塊中場景的邊緣作為深度圖不同深度平面的邊界。
[0015]3、根據(jù)權(quán)利要求1所述的深度圖后處理濾波的方法，其特征在于:所述步驟(A3)將深度圖分為與步驟(A2)中相同大小的塊，并依據(jù)以上分割，以塊為單位對深度圖進行去噪濾波的具體過程為:
[0016]采用掩膜法對每個塊進行平滑濾波，選取3*3像素的窗口作為模板，當窗口中的所有像素位于同一個深度平面區(qū)域，則執(zhí)行正常的平滑濾波；當窗口中心像素位于邊界點上時，首先做一個判斷:如果除了中心像素外另有至少兩個像素也落在邊界上，則判定該窗口位于邊界上；選取窗口中與中心像素處于同一深度平面的像素作為新的模板，進行平滑濾波；否則執(zhí)行正常的平滑濾波。以此來解決深度圖去噪濾波中容易將深度平面邊緣模糊的問題。
[0017]總體而言，通過本發(fā)明所構(gòu)思的以上技術(shù)方案和現(xiàn)有技術(shù)相比，本發(fā)明在有效地對深度圖進行平滑濾波的同時，保證了深度圖邊緣的銳利程度，優(yōu)化了深度圖的質(zhì)量，從而
可以提高三維重建的質(zhì)量。
【專利附圖】

【附圖說明】
[0018]圖1為本發(fā)明深度圖去噪濾波方法的流程圖；
[0019]圖2為本發(fā)明的對深度圖濾波的示意圖。
【具體實施方式】
[0020]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清晰明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步詳細說明。應(yīng)當理解，此處描述的具體實例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。因此，下面所描述的本發(fā)明各個實施方式中涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互結(jié)合。
[0021]本發(fā)明的深度圖平面分割的深度圖后處理生成方法如圖1所示，具體實現(xiàn)步驟如下:
[0022](I)輸入深度圖1d和彩色圖1c ；
[0023](2)將彩色圖1c分成16*16像素的塊，對每個塊Ba進行基于灰度圖的邊緣檢測，采用Sobel算子進行局部的邊緣檢測，檢測出塊中場景的灰度邊緣；
[0024](3)進一步基于RGB顏色空間再次對彩色圖塊中場景進行邊緣檢測，得到彩色圖分塊場景的邊緣，并用于修正步驟(2)得到的對應(yīng)塊中場景的灰度圖邊緣，以優(yōu)化邊緣的連續(xù)性。將該修正后的塊中場景的邊緣作為深度圖1d不同深度平面的邊界；
[0025]將深度圖1d也分成為與步驟(2)中相同的16*16像素的塊，并在分割后的深度圖中，對每個塊Bm采用3*3像素的窗口作為模板W進行平滑濾波，如圖2所示。當窗口中的所有像素位于同一個深度平面區(qū)域，則執(zhí)行正常的平滑濾波；當窗口的中心像素位于邊界點上時，首先做一個判斷，如果除了窗口中心像素外另有至少兩個像素也落在邊界上，則判定該窗口位于邊界上，選取窗口中與中心像素處于同一深度平面的像素作為新的模板，進行平滑濾波。否則執(zhí)行正常的平滑濾波(如圖2中Wl、W2、W3分別表示三種不同的情況)。本發(fā)明對于濾波器的選取沒有限制，可以兼容多種平滑濾波器，在此選擇中值濾波器。當模板W中的像素全部位于同一深度區(qū)域時，采用常規(guī)的濾波方法，即:
[0026]g (X，y) =med {f (k, I)}, (k, I e ff),
[0027]其中g(shù)(X，y)表示絕對坐標(x，y)處的像素濾波后的像素值，med表示取中值，f(k, I)表示窗口中相對坐標(k，I)處的像素值；
[0028]當模板位于邊界上時，模板W被邊界分為子模板W1, W2,其中W1, W2分別位于不同的深度平面，選取與中心像素處于同一深度平面的子模板Wy在子模板下進行中值濾波，即:
[0029]g(X，y) =med{f (k, I)}, (k, I e Wj)，
[0030]其中g(shù)(x，y)表示絕對坐標(x，y)處的像素濾波后的像素值，med表示取中值，f(k, I)表示窗口中相對坐標(k，I)處的像素值；
[0031](4)重復執(zhí)行步驟(I) - (3)，完成對整個深度圖的后處理；
[0032](5)輸出所述得到的深度圖序列。
【權(quán)利要求】
1.一種深度圖后處理濾波的方法，其特征在于包括以下步驟: (Al)輸入同一場景的深度圖和彩色圖； (A2)對彩色圖進行分塊，并對每個塊進行基于灰度的邊緣檢測，進一步用基于彩色分量的邊界對上述塊中場景的灰度邊緣進行修正，將得到的邊界作為深度圖中不同深度平面的邊界； (A3)將深度圖分為與步驟(A2)中相同大小的塊，并依據(jù)以上分割，以塊為單位對深度圖進行去噪濾波； (A4)重復步驟Al — A3，直至所有圖像全部處理完畢； (A5)輸出所述得到的深度圖序列。
2.根據(jù)權(quán)利要求1所述的深度圖后處理濾波的方法，其特征在于:所述步驟(A2)對彩色圖進行分塊，并對每個塊進行基于灰度圖的邊緣檢測，進一步用基于彩色分量的邊界對上述塊中場景的灰度邊緣進行修正，將得到的邊界作為深度圖中不同深度平面的邊界的具體過程為: 對彩色圖進行分塊操作，并在每個塊中利用Sobel算子進行基于灰度的邊緣檢測，檢測出塊中場景的灰度邊緣；對彩色圖塊中場景執(zhí)行RGB三個顏色通道內(nèi)的邊緣檢測，得到彩色圖分塊場景的邊緣，用于修正對應(yīng)塊的灰度邊緣，得到修正后的各塊中場景的邊緣，將修正后的各塊中場景的邊緣作為深度圖不同深度平面的邊界。
3.根據(jù)權(quán)利要求1所述的深度圖后處理濾波的方法，其特征在于:所述步驟(A3)將深度圖分為與步驟(A2)中相同大小的塊，并依據(jù)以上分割，以塊為單位對深度圖進行去噪濾波的具體過程為: 采用掩膜法對每個塊進行平滑濾波，選取3*3像素的窗口作為模板，當窗口中的所有像素位于同一個深度平面區(qū)域，則執(zhí)行正常的平滑濾波；當窗口中心像素位于邊界點上時，首先做一個判斷:如果除了中心像素外另有至少兩個像素也落在邊界上，則判定該窗口位于邊界上；選取窗口中與中心像素處于同一深度平面的像素作為新的模板，進行平滑濾波；否則執(zhí)行正常的平滑濾波。
【文檔編號】G06T5/00GK103942756SQ201410092432
【公開日】2014年7月23日 申請日期:2014年3月13日 優(yōu)先權(quán)日:2014年3月13日
【發(fā)明者】楊鈾, 于國星, 喻莉, 陳小平 申請人:華中科技大學, 深圳深訊和科技有限公司