本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種深度圖像超分辨方法，可用于下采樣后的深度圖像超分辨。

技術(shù)背景

隨著計算機視覺技術(shù)的快速發(fā)展，傳統(tǒng)的彩色圖像不能準確地刻畫現(xiàn)實的立體場景，因此已經(jīng)不能滿足人們認知世界的需求。彩色圖像包含場景物體的色彩信息，描述的是二維信息，不能精確地描述場景的三維立體結(jié)構(gòu)。而三維立體影像圖像除了包含傳統(tǒng)的二維信息還包含場景的第三個維度的信息，也就是場景的深度信息。三維立體重建技術(shù)通過深度圖像能夠重構(gòu)出現(xiàn)實場景的三維立體信息。

盡管目前的深度圖像獲取技術(shù)取得了不錯的發(fā)展，但是將獲取的深度圖像與同場景對應(yīng)的彩色圖像相比，其深度圖像的質(zhì)量依然很差，主要表現(xiàn)在分辨率較低。針對上述深度傳感技術(shù)獲取的深度圖像分辨較低，人們提出了許多深度圖像超分辨方法。其中，m.-y.liu,o.tuzel,andy.taguchi等人發(fā)表在2013ieeeconf.oncomputervisionandpatternrecognition上的“jointgeodesicupsamplingofdepthimages”，提出了聯(lián)合測量濾波的方法，簡稱jgf方法，l.-f.yu,s.-k.yeung,y.-w.tai等人發(fā)表在2013ieeeconf.oncomputervisionandpatternrecognition上的“shading-basedshaperefinementofrgb-dimages”,提出了邊緣加權(quán)非局部正則的方法，簡稱sbsr-d方法，這些方法都是利用深度圖像和彩色圖像之間結(jié)構(gòu)上的相似性來對深度圖像進行超分辨，其存在的不足是計算復(fù)雜度高，超分辨精度低，超分辨的圖像的邊緣部分容易模糊，難以滿足實際應(yīng)用的要求。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于針對傳統(tǒng)基于濾波的超分辨方法的不足，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的深度圖像超分辨重構(gòu)方法，以降低計算復(fù)雜度，提高重構(gòu)深度圖像的精度，減弱超分辨的圖像的邊緣模糊，滿足實際應(yīng)用的需求。

為實現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

本發(fā)明提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的深度圖像超分辨方法，該方法通過神經(jīng)網(wǎng)絡(luò)的非線性學習能力建立從低分辨的深度圖像與對應(yīng)的彩色圖像到高分辨率的深度圖像的映射的卷積神經(jīng)網(wǎng)絡(luò)模型，并以該卷積神經(jīng)網(wǎng)絡(luò)為指導實現(xiàn)深度圖像超分辨，具體步驟包括如下：

(1)獲取訓練樣本集，對獲取的訓練樣本進行預(yù)處理，得到訓練樣本對；

(2)利用卷積神經(jīng)網(wǎng)路強大的非線性學習能力，得到低分辨的深度圖像與對應(yīng)的彩色圖像到高分辨率的深度圖像的映射關(guān)系，構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型，本發(fā)明的卷積神經(jīng)網(wǎng)絡(luò)模型包括輸入層、多個卷積層和輸出層，確定網(wǎng)絡(luò)結(jié)構(gòu)中卷積層的層數(shù)m以及卷積層中的濾波器的個數(shù)和濾波器的大小網(wǎng)絡(luò)的激活函數(shù)采用relu函數(shù)，relu(x)＝max(0,x)；

(3)訓練(2)中卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)：初始化網(wǎng)絡(luò)各層的濾波器的權(quán)值和偏置，采用最小化損失函數(shù)的方法對卷積神經(jīng)網(wǎng)絡(luò)模型進行迭代優(yōu)化，經(jīng)過多次迭代后獲取網(wǎng)絡(luò)模型結(jié)構(gòu)中權(quán)重值w和偏置值b的最優(yōu)解，得到最優(yōu)卷積神經(jīng)網(wǎng)絡(luò)模型；

(4)利用訓練好的卷積神經(jīng)網(wǎng)絡(luò)模型，對低分辨深度圖像進行超分辨。

本發(fā)明與現(xiàn)有技術(shù)相比，具有以下優(yōu)點：

1)本發(fā)明由于利用卷積神經(jīng)網(wǎng)絡(luò)進行深度圖像超分辨，相比現(xiàn)有技術(shù)降低了計算復(fù)雜度，提高了深度圖像超分辨的精度；

2)本發(fā)明所設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)模型，由于充分考慮了深度圖像和彩色圖像的邊緣部分的結(jié)構(gòu)相似性，減弱了超分辨圖像的邊緣模糊。

附圖說明

圖1為本發(fā)明的實現(xiàn)流程圖；

圖2為本發(fā)明構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖；

圖3為本發(fā)明仿真實驗所用的moebius和dolls深度圖像；

圖4為現(xiàn)有的jgf方法、sbsr-d方法以及本發(fā)明方法對moebius深度圖像超分辨的結(jié)果圖。

圖5為現(xiàn)有的jgf方法、sbsr-d方法以及本發(fā)明方法對dolls深度圖像超分辨的結(jié)果圖。

具體實施方式

以下結(jié)合附圖對本發(fā)明的實施例和效果做進一步詳細描述。

參照圖1，本發(fā)明基于卷積神經(jīng)網(wǎng)絡(luò)的深度圖像超分辨方法，其實現(xiàn)步驟如下：

步驟1，構(gòu)造訓練樣本對，獲取高分辨深度圖像集x、初始恢復(fù)深度圖像和與高分辨深度圖像對應(yīng)的彩色圖像集c，對深度圖像進行預(yù)處理，得到訓練樣本對。

(1a)用包含24幅深度圖像和24幅彩色圖像的middlebury圖像集作為本發(fā)明實施例中的數(shù)據(jù)集，用middlebury圖像集中的深度圖像集作為本發(fā)明實施例中的高分辨深度圖像集，即原始深度圖像集x＝{x1,x2,…,xn,…,x24}，用middlebury圖像集中的彩色圖像集作為本發(fā)明實施例中的彩色圖像集c＝{c1,c2,…,cn,…,c24}，其中，xn∈r^m×l表示第n幅高分辨深度圖像，cn∈r^m×l表示第n幅彩色圖像，1≤n≤24，m×l表示圖像的大小，m×l＝380×420；

(1b)利用直接下采樣方式對原始深度圖像集x＝{x1,x2,…,xn,…,x24}進行下采樣得到低分辨深度圖像集y＝{y1,y2,…,yn,…,y24}；

(1c)對低分辨深度圖像集y＝{y1,y2,…,yn,…,y24}進行插值初始放大得到初始恢復(fù)深度圖像集

步驟2，構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型，并利用原始深度圖像集x、初始恢復(fù)深度圖像集和彩色圖像集c訓練卷積神經(jīng)網(wǎng)絡(luò)參數(shù)。

本步驟的實現(xiàn)如下：

(2a)初始化卷積神經(jīng)網(wǎng)絡(luò)參數(shù)：

(2a1)將初始恢復(fù)深度圖像中的深度圖像和彩色圖像集中的彩色圖像作為輸入訓練樣本，將原始深度圖像集中的原始深度圖像作為輸出訓練樣本；

(2a2)確定卷積層數(shù)m、濾波器的個數(shù)和濾波器的大小卷積神經(jīng)網(wǎng)絡(luò)的卷積層數(shù)、濾波器的個數(shù)和濾波器的大小決定了卷積神經(jīng)網(wǎng)絡(luò)的規(guī)模，卷積神經(jīng)網(wǎng)絡(luò)的卷積層數(shù)、濾波器的個數(shù)越多網(wǎng)絡(luò)模型的非線性學習越強，但是這會造成網(wǎng)絡(luò)參數(shù)太多、模型復(fù)雜度高，模型過擬合；卷積神經(jīng)網(wǎng)絡(luò)的卷積層數(shù)、濾波器的個數(shù)越少網(wǎng)絡(luò)模型的非線性學習太弱，模型欠擬合，本實施例中，卷積神經(jīng)網(wǎng)絡(luò)的隱藏層數(shù)通過實驗調(diào)節(jié)確定為m＝8層，輸入層的濾波器的個數(shù)確定為64個，濾波器的大小為3×3×2，隱藏層的濾波器的大小確定為32個，濾波器的大小為3×3，輸出層的濾波器的大小確定為1個，濾波器的大小為3×3；

(2a3)隨機初始化各層濾波器權(quán)值wi和偏置bi，i＝1,2,…,10，給定學習速率η＝0.0003，確定每次輸入模型的訓練樣本的圖像塊的數(shù)量，輸入圖像塊的大小，輸出圖像塊的大小，將訓練集中的初始恢復(fù)深度圖像和彩色圖像分塊為k×k，組合成一個k×k×c的張量，c表示輸入圖像的通道數(shù)，將訓練集中的原始深度圖像分塊為k×k，每次輸入模型訓練的圖像塊的數(shù)量是，在本實施例中，取圖像塊的大小為k×k＝40×40，圖像的通道數(shù)c＝2。

本步驟2所構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)如圖2所示。

步驟3，根據(jù)步驟2中的卷積神經(jīng)網(wǎng)絡(luò)的模型及其訓練參數(shù)，以最小化損失函數(shù)為目標訓練卷積神經(jīng)網(wǎng)絡(luò)，其中損失函數(shù)l(θ)為均方誤差函數(shù)，其中，xi表示原始的深度圖像，yi表示初始恢復(fù)的深度圖像，θ表示權(quán)值，f表示卷積神經(jīng)網(wǎng)絡(luò)的映射函數(shù)，在本實施例中，最小化損失函數(shù)采用adam優(yōu)化方法，其中adam優(yōu)化方法能避免優(yōu)化過程進入局部最優(yōu)解，并且加快優(yōu)化速度，來獲得全局最優(yōu)解，其中卷積神經(jīng)網(wǎng)絡(luò)模型的權(quán)值θ的初始值由隨機函數(shù)生成，足夠的隨機性能增強網(wǎng)絡(luò)的魯棒性。

步驟4，利用訓練好的卷積神經(jīng)網(wǎng)絡(luò)模型，對低分辨深度圖像進行超分辨。

(3a)將任給的一組新低分辨深度圖像和彩色圖像作為測試樣本；

(3b)將測試樣本中的低分辨深度圖像利用插值初始放大得到初始恢復(fù)的深度圖像，并將此初始恢復(fù)的深度圖像和彩色圖像組合成一個張量，此張量的大小是m×n×c，在本實施例中m×n×c＝1320×1080×2，其中m×n表示深度圖像大小，c表示輸入圖像的通道數(shù)；

(3c)將(3b)得到的張量作為已經(jīng)訓練好的卷積神經(jīng)網(wǎng)絡(luò)模型的輸入，卷積神經(jīng)網(wǎng)絡(luò)的輸出是一個大小為m×n的張量，此張量代表一個圖像，即得到超分辨的深度圖像，在本實施例中m×n＝1320×1080。

本發(fā)明的效果可以通過如下仿真實驗具體說明：

1.仿真條件：

1)仿真實驗所用的數(shù)據(jù)集是middlebury圖像集；

2)仿真實驗所用的編程平臺為pycharmv2016；

3)仿真實驗所用的moebius和dolls深度圖像如圖3所示；

4)仿真實驗中，采用峰值信噪比psnr指標來評價實驗結(jié)果，峰值信噪比psnr的定義為：

其中,max為超分辨的深度圖像的最大像素值，mse為超分辨的深度圖像與原始的深度圖像的均方誤差。

2.仿真內(nèi)容：采用現(xiàn)有的jgf方法、sbsr-d方法和本發(fā)明方法對圖3所述的moebius和dolls深度圖像進行超分辨，其超分辨結(jié)果如圖4和圖5所示，圖4是moebius深度圖像超分辨的結(jié)果，圖4(a)是jgf方法超分辨的深度圖像，圖4(b)是sbsr-d方法超分辨的深度圖像，圖4(c)是本發(fā)明方法超分辨的深度圖像；圖4是moebius深度圖像超分辨的結(jié)果，圖5(a)是jgf方法超分辨的深度圖像，圖5(b)是sbsr-d方法超分辨的深度圖像，圖5(c)是本發(fā)明方法超分辨的深度圖像；

從圖4和圖5所顯示的結(jié)果可以看出，本發(fā)明超分辨出來的深度圖像比jgf方法和sbsr-d方法超分辨出來的深度圖像更清晰，圖像邊緣更銳利，視覺效果更好。

3.峰值信噪比psnr對比

計算現(xiàn)有的jgf方法、sbsr-d方法和本發(fā)明方法對moebius低分辨的深度圖像超分辨的高分辨深度圖像的峰值信噪比psnr，結(jié)果如表1所示。

表1深度圖像的峰值信噪比psnr值(單位：db)

從表1可以看出，本發(fā)明方法超分辨的高分辨率深度圖像的峰值信噪比psnr比jgf方法、sbsr-d方法要高，表明本發(fā)明能提高深度圖像超分辨的精度。