一種基于結(jié)構(gòu)信息的邊界保護(hù)深度視頻估計(jì)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理技術(shù)及立體成像領(lǐng)域，尤其涉及一種基于結(jié)構(gòu)信息的邊界保 護(hù)深度視頻估計(jì)方法。
【背景技術(shù)】
[0002] 3D視頻提供給觀察者一種身臨其境的立體體驗(yàn)。3D技術(shù)的迅速發(fā)展與進(jìn)步，使得 3D技術(shù)受到越來越多的關(guān)注，例如：3D電視的出現(xiàn)，3D影院和自由立體電視的興起，以及3D 技術(shù)在醫(yī)學(xué)和軍事中的應(yīng)用。3D系統(tǒng)與傳統(tǒng)的2D系統(tǒng)的區(qū)別在于其提供給觀察者對場景 的深度感知?目息。因此，深度?目息的獲取是3D系統(tǒng)中的重要因素，也是獲取立體感知的根 本原因。目前已提出一些深度視頻估計(jì)方法，主要包括局部深度估計(jì)方法和全局深度估計(jì) 方法。局部深度估計(jì)方法依據(jù)鄰域像素具有相同深度值的假設(shè)進(jìn)行深度估計(jì)，全局深度估 計(jì)方法是基于能量函數(shù)最小化的估計(jì)方法，相對局部深度估計(jì)方法可以得到更加準(zhǔn)確的深 度結(jié)果，但全局深度估計(jì)方法的全局優(yōu)化策略使得其邊界準(zhǔn)確性需要進(jìn)一步提高。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明提供了一種基于結(jié)構(gòu)信息的邊界保護(hù)深度視頻估計(jì)方法，本發(fā)明將彩色圖 像的區(qū)域分割信息與初始深度圖的邊界信息相結(jié)合，利用結(jié)構(gòu)信息更新能量函數(shù)平滑項(xiàng)， 提高深度視頻的邊界準(zhǔn)確性，詳見下文描述：
[0004] -種基于結(jié)構(gòu)信息的邊界保護(hù)深度視頻估計(jì)方法，所述方法包括以下步驟：
[0005] 基于亮度信息對輸入視頻的每一幀構(gòu)造能量函數(shù)；
[0006] 通過求解所述能量函數(shù)獲取最優(yōu)解，以此得到初始深度圖，通過邊界提取算子提 取初始深度圖邊界；
[0007] 對彩色視頻的每一幀進(jìn)行區(qū)域分割，根據(jù)彩色視頻的分割結(jié)果以及初始深度圖邊 界對能量函數(shù)進(jìn)行處理，更新能量函數(shù)的平滑項(xiàng)；
[0008] 對更新后的能量函數(shù)進(jìn)行最小化處理，獲取視差值，并將視差值轉(zhuǎn)化為深度值。
[0009] 通過求解所述能量函數(shù)獲取最優(yōu)解具體為：通過能量函數(shù)最小化方法求取能量函 數(shù)的最優(yōu)解。
[0010] 所述更新能量函數(shù)的平滑項(xiàng)具體為：
[0012] 其中，a，b e {-1，1} ;ρ為平滑系數(shù)；P(x+a，y+b)為當(dāng)前像素的相鄰像素；Ε_ depth為初始深度圖；LabelP〇i+a,y+b)為P(x+a，y+b)在彩色分割圖中所屬的區(qū)域；Label Pfcy) 為P(x，y)在彩色分割圖中所屬區(qū)域；α為原有平滑系數(shù)；LsJP Ls 2為平滑項(xiàng)更新參數(shù)。
[0013] 本發(fā)明提供的技術(shù)方案的有益效果是：本發(fā)明通過對彩色圖像進(jìn)行區(qū)域分割，對 初始深度圖提取邊界，將以上邊界和區(qū)域的結(jié)構(gòu)信息相結(jié)合，能夠使正確的邊界更加清晰， 并平滑錯誤的邊界，從而提高深度視頻邊界的準(zhǔn)確性。
【附圖說明】
[0014] 圖1為本發(fā)明提出方法的流程圖；
[0015] 圖2為初始深度圖邊界信息的示意圖；
[0016] 圖3為圖2中所標(biāo)定的方框內(nèi)彩色圖與深度邊界的示意圖；
[0017] 圖4為未經(jīng)能量函數(shù)平滑項(xiàng)更新的圖2中所標(biāo)定的方框內(nèi)深度圖邊界的示意圖；
[0018] 圖5為經(jīng)過本方法得到的圖2中所標(biāo)定的方框內(nèi)深度圖邊界的示意圖。
【具體實(shí)施方式】
[0019] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面對本發(fā)明實(shí)施方式作進(jìn)一步 地詳細(xì)描述。
[0020] 能量函數(shù)最小化是全局深度估計(jì)算法的基礎(chǔ)。能量函數(shù)包括三項(xiàng)，數(shù)據(jù)項(xiàng)，平滑項(xiàng) 以及時(shí)域項(xiàng)。數(shù)據(jù)項(xiàng)保證當(dāng)前像素與參考視點(diǎn)中對應(yīng)像素的亮度相似性，平滑項(xiàng)使得當(dāng)前 像素與其相鄰像素具有相似的深度值，時(shí)域項(xiàng)包括幀間相關(guān)信息，可提高深度視頻時(shí)域一 致性。
[0021] 圖像區(qū)域分割算法按照一定的規(guī)則將圖像劃分成多個(gè)具有像素相似性的區(qū)域。 根據(jù)分割規(guī)則的不同，彩色圖像區(qū)域分割方法主要有以下幾種：1)基于邊緣的圖像分割方 法：通過圖像灰度的不連續(xù)性確定圖像中的邊緣點(diǎn)，以邊緣點(diǎn)為基礎(chǔ)對圖像進(jìn)行分割，例 如：分水嶺分割算法就屬于這一類。2)基于閉值的分割方法：在這一類分割算法中最常用 的是直方圖分割算法，直方圖中每一個(gè)峰值對應(yīng)于一個(gè)區(qū)域，峰谷對應(yīng)于區(qū)域的邊界。3)基 于區(qū)域的分割方法：這種方法將像素按照某種特性分為幾類，把具有相同特性的像素看作 一個(gè)整體，即為一個(gè)區(qū)域。例如常用的區(qū)域生長就屬于這種方法。區(qū)域生長分割算法按照某 種生長規(guī)則不斷將種子像素與周邊臨近像素進(jìn)行合并，將其劃分為同一區(qū)域，直到不滿足 生長條件，區(qū)域生長結(jié)束。4)基于聚類的分割方法：聚類是最早應(yīng)用于圖像分割的方法之 一，該方法根據(jù)圖像中不同物體顏色和距離等信息的差別進(jìn)行聚類，分割結(jié)果較為理想。例 如常用的聚類分割算法有K-means分割算法，分層聚類，mean-shift分割算法等。K-means 是基于聚類分割算法中最為常用的一種，通常將距離作為相似性的評價(jià)指標(biāo)。該算法認(rèn)為 簇是由距離靠近的對象組成的，因此將獲取緊湊且獨(dú)立的簇作為最終目標(biāo)。
[0022] 邊界提取也是目前圖像處理領(lǐng)域中常用的一項(xiàng)技術(shù)，它是對于圖像輪廓的一個(gè)處 理方法。圖像灰度變化率最大的地方被認(rèn)為是圖像的邊緣。通常，利用圖像灰度的不連續(xù) 性來確定邊緣像素的位置。大多邊緣檢測的方法是將差分方程作為檢測基礎(chǔ)，構(gòu)建邊緣檢 測算子。常用的有Roberts算子，Canny算子，以及Sobel算子等。為更好地實(shí)現(xiàn)邊緣檢測， Canny算子首先對圖像進(jìn)行去噪處理，然后使用四個(gè)掩模分別檢測水平，垂直以及對角四個(gè) 方向邊緣，以此來尋找圖像中的亮度梯度。亮度梯度較高的位置更有可能是圖像的邊緣，采 用邊緣跟蹤的方法找到圖像邊緣位置。
[0023] 現(xiàn)有技術(shù)中的基于能量函數(shù)最小化框架的全局深度估計(jì)方法得到的深度視頻，在 邊界準(zhǔn)確性方面有待進(jìn)一步提高，進(jìn)而使其保證深度及繪制視點(diǎn)視頻的質(zhì)量。本發(fā)明實(shí)施 例將彩色圖像的區(qū)域分割信息與初始深度圖邊界信息相結(jié)合，判斷初始邊界可靠性，更新 能量函數(shù)平滑項(xiàng)，提高深度視頻的邊界準(zhǔn)確性。
[0024] 實(shí)施例1
[0025] 101 :基于亮度信息對輸入視頻的每一幀構(gòu)造能量函數(shù)；
[0026] 能量函數(shù)由數(shù)據(jù)項(xiàng)、平滑項(xiàng)以及時(shí)域項(xiàng)三項(xiàng)構(gòu)成。首先通過塊匹配構(gòu)建能量函數(shù) 數(shù)據(jù)項(xiàng)。分別計(jì)算當(dāng)前視點(diǎn)與左右參考視點(diǎn)對應(yīng)像素的亮度差值，并取其中較小值作為數(shù) 據(jù)項(xiàng)。然后，對每一個(gè)像素，分別計(jì)算其與相鄰的四個(gè)像素的亮度差，將亮度差以一定權(quán)值 進(jìn)行加權(quán)作為能量函數(shù)平滑項(xiàng)。接下來通過獲取幀間運(yùn)動信息構(gòu)造能量函數(shù)時(shí)域項(xiàng)。經(jīng)運(yùn) 動估計(jì)得到的運(yùn)動矢量為（m，η)，以運(yùn)動矢量（m，η)為參數(shù)計(jì)算時(shí)域項(xiàng)自適應(yīng)權(quán)值；利用運(yùn) 動矢量找到前一幀中與當(dāng)前位置對應(yīng)位置的深度值，將對應(yīng)點(diǎn)深度值的差值作為能量函數(shù) 的時(shí)域項(xiàng)。
[0027] 102 :對彩色視頻的每一幀進(jìn)行區(qū)域分割，通過求解能量函數(shù)獲取最優(yōu)解，以此得 到初始深度圖，通過邊界提取算子提取初始深度圖邊界；
[0028] 首先采用區(qū)域分割算法k-means對彩色視頻的每一幀進(jìn)行區(qū)域分割，得到一塊一 塊的區(qū)域，標(biāo)記為Label，將像素 P (X，y)所在區(qū)域記為LabelP(x,y)。
[0029] 通過能量函數(shù)最小化方法求取步驟101獲取到的能量函數(shù)的最優(yōu)解，能量函數(shù)的 自變量即為深度值，得到初始深度圖。然后利用canny算子提取初始深度圖邊界，記為E_ depth〇
[0030] 具體實(shí)現(xiàn)時(shí)，本發(fā)明實(shí)施例對區(qū)域分割算法、提取初始深度圖邊界算子不做限制， 可以根據(jù)實(shí)際應(yīng)用中的需要進(jìn)行選擇。
[0031] 103:根據(jù)彩色視頻的分割結(jié)果以及初始深度圖邊界對能量函數(shù)進(jìn)行處理，更新能 量函數(shù)的平滑項(xiàng)；
[0032] 將步驟102獲取到的初始深度圖邊界與彩色圖的分割結(jié)果相結(jié)合，更新能量函數(shù) 的平滑項(xiàng)，更新方式如下：
[0034] 其中，a，b e {-1，1} ;p為平滑系數(shù)；P(x+a，y+b)為當(dāng)前像素的相鄰像素；E_ depth為初始深度圖；LabelP(x+a,y+b)為P(x+a，y+b)在彩色分割圖中所屬的區(qū)域；
[0035] LabelPfcy0 P(x, y)在彩色分割圖中所屬區(qū)域；α是原有平滑系數(shù)；Ls JP Ls 2是 平滑項(xiàng)更新參數(shù)；