本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域。特別基于雙變換域的利用深度彩色圖像對的深度圖超分辨率方法。
背景技術(shù)：
：深度信息已經(jīng)廣泛應(yīng)用于3DTV,3D重建和姿勢識別等領(lǐng)域，但是目前主流深度傳感器(如Kinect和TOF)獲得的深度圖的分辨率遠(yuǎn)遠(yuǎn)低于彩色圖的分辨率，這很大程度上限制了深度信息的應(yīng)用。因此，提出一種有效的深度圖超分辨率方法具有現(xiàn)實(shí)意義。通常通過引入正則項(xiàng)使超分辨率問題變?yōu)檫m定問題，根據(jù)正則項(xiàng)的不同，現(xiàn)有的超分辨率方法可以分為兩類：空域正則項(xiàng)方法和變換域正則項(xiàng)方法。空域正則項(xiàng)方法進(jìn)一步可以分為基于總變差(TV)的方法，基于馬爾科夫鏈的方法和基于非局部相似性的方法。這些方法又各自有很多變種方法，例如二階TGV可以有效地減輕TV方法的階梯現(xiàn)象，邊緣導(dǎo)向的馬爾科夫鏈方法相比傳統(tǒng)的馬爾科夫鏈方法得到了更好的深度超分辨結(jié)果。變換域方法主要集中在字典學(xué)習(xí)類方法，這類方法在系數(shù)域上建立有效的正則項(xiàng)。它們或者學(xué)習(xí)得到了低分辨率深度圖和高分辨率深度圖的映射關(guān)系，或者將圖像塊聚類建立多個(gè)對應(yīng)的結(jié)構(gòu)性更強(qiáng)的子字典，或者對分析字典和合成字典的選擇進(jìn)行研究。總之，這兩類方法都取得了很好的可比擬的結(jié)果。但是據(jù)查，很少有同時(shí)考慮空域正則項(xiàng)和變換域正則項(xiàng)的方法。這兩類方法各自取得了很好的結(jié)果，因此結(jié)合兩者可能會(huì)有更好的性能。技術(shù)實(shí)現(xiàn)要素：為克服現(xiàn)有技術(shù)的不足，本發(fā)明的目旨在提供恢復(fù)高分辨率的深度圖的方法，為此，本發(fā)明采用的技術(shù)方案是，基于雙變換域的深度圖超分辨率方法，步驟如下：建立優(yōu)化模型：argminxEd(x,y)+λ1ESCD(x,z)+λ2EMTV(x,z)---(1)]]>其中，x∈Rn，y∈Rm，z∈Rn分別是向量化的恢復(fù)的深度圖，向量化的低分辨率深度圖和向量化的高分辨率彩色圖，Ed(x,y)是數(shù)據(jù)項(xiàng)，ESCD(x,z)是變換域正則項(xiàng)，EMTV(x,z)是空域正則項(xiàng)，λ1和λ2是平衡各項(xiàng)的權(quán)重參數(shù)，min表示求最小值，表示使得后面的式子最小時(shí)的變量x的取值；數(shù)據(jù)項(xiàng)表示為：Ed(x,y)=||y-Hx||22---(2)]]>其中||·||2是l2范數(shù)，H是模糊和下采樣操作的合成算子；2)變換域正則項(xiàng)ESCD(x,z)的設(shè)計(jì)21)把深度圖里的深度塊聚類為G類，每一類深度塊在主成分變換PCA下能夠得到相應(yīng)的PCA字典；xi＝Rixxi=Φkiαi---(3)]]>其中xi是深度圖x中中心位于i的圖像塊，Ri表示從圖x中提取塊xi的線性算子，表示塊xi所在的那一類塊對應(yīng)的字典，αi表示塊xi在字典下的系數(shù)，α表示所有αi的串接，Φ是字典的串接。M表示深度圖中提取的塊的個(gè)數(shù)，∑表示求和算子，RiT是Ri的轉(zhuǎn)置，(·)-1是求逆運(yùn)算；22)每一個(gè)深度塊xi在深度圖x中都可以找到多個(gè)相似的深度圖塊，采用以下的準(zhǔn)則D(i,j)選取深度塊xi的相似塊：D(i,j)=w1||zi-zj||22+w2||xi-xj||22]]>S＝|<f(xi)，f(zi)>|/(||f(xi)||2||f(zi)||2)(4)w1＝1/(5+exp(-τ3S))w2＝δ·(1-w1)其中，xj是深度圖x中中心位于j的圖像塊，zi是彩色圖z中中心位于i的圖像塊，zj是彩色圖z中中心位于j的圖像塊，D(i,j)是判斷圖像塊xi和xj的相似程度的距離，D(i,j)越小表示塊xi和xj越相似，常數(shù)δ＝50，τ3每次迭代減小0.25，初值為0.75，<·,·>表示點(diǎn)積算子，|·|表示絕對值操作；表示圖像塊xi的每個(gè)像素沿著水平和豎直方法的梯度的連結(jié)，K表示一個(gè)塊包含的像素個(gè)數(shù)，函數(shù)S測量彩色塊的可信性，圖像塊xi和圖像塊zi的一致性越高，S越大，w1和w2是權(quán)重，exp(·)表示以e為底的指數(shù)函數(shù)；23)對于每個(gè)深度塊xi都可以找到n個(gè)最相似的塊，這些相似塊組成集合Ωi，系數(shù)域上的正則項(xiàng)為：ESCD(x,z)＝∑i||αi-βi||1βi=Σq∈Ωiζi,qαi,q---(5)]]>ζi,q=1τ1exp(-||xi-xi,q||22/τ2)]]>xi,q=Φkiαi,q]]>其中，||·||1是l1范數(shù)，αi,q是塊xi的第q個(gè)相似塊xi,q對應(yīng)的稀疏系數(shù)，q屬于相似塊組成的集合Ωi，ζi,q是相應(yīng)的加權(quán)權(quán)重，βi是相似塊的系數(shù)的加權(quán)平均值，τ1是標(biāo)準(zhǔn)化因子，常數(shù)τ2設(shè)為75；3)空域正則項(xiàng)EMTV(x,z)的設(shè)計(jì)多邊總變差的空域正則項(xiàng)EMTV(x,c)計(jì)算公式如下：EMTV(x,c)=Σl=-ppΣm=0p||Pm,l(x-S1lS2mx)||1---(6)]]>Pm,l=1ΘPm,lQPm,lCPm,lD]]>其中，Θ是標(biāo)準(zhǔn)化因子。和分別表示讓圖像x沿著水平和豎直方向移動(dòng)l和m個(gè)像素，p為常數(shù)，核Pm,l包含三項(xiàng)，分別是空域項(xiàng)彩色項(xiàng)和深度項(xiàng)31)空域項(xiàng)是一個(gè)二維的Kaiser窗，物理含義表示兩個(gè)像素越遠(yuǎn)，對應(yīng)的空域項(xiàng)應(yīng)該越?。?2)彩色項(xiàng)利用深度-彩色圖像對的關(guān)系：Pm,lC=exp(-|z-S1lS2mz|γ1/σ1)---(7)]]>其中，z是向量化的高分辨率彩色圖，常數(shù)γ1和σ1分別設(shè)為1.05和100；33)深度項(xiàng)如下：Pm,lD=ρ/exp(|x-S1lS2mx|γ2/σ2)x≤ϵexp(-|(x-S1lS2mx)-ϵ|γ3/σ3)x>ϵ---(8)]]>其中，常數(shù)ρ，γ2，γ3，σ2,σ3和ε分別設(shè)為1.15,2,3,8000,12000和10；4)采用交替方向法ALM求解優(yōu)化模型，交替更新深度圖和稀疏系數(shù)，更新深度圖時(shí)利用迭代再加權(quán)最小二乘算法IRLS，更新系數(shù)時(shí)使用soft算子。步驟4)具體步驟是，41)更新深度圖：||y-Hx||22+λ2Σl=-ppΣm=0p||Pm,l(x-S1lS2mx)||1=||y-Hx||22+λ2Σl=-ppΣm=0p||Wm,lPm,l(x-S1lS2mx)||22=||y-Hx||22+λ2||Ax||22]]>得到：x(t+12)=x(t)+μ(HT(y-Hx(t))-λ2ATAx(t))---(9)]]>其中，x，y分別是向量化的恢復(fù)的深度圖，向量化的低分辨率深度圖，H是模糊和下采樣操作的合成算子，HT是H的轉(zhuǎn)置，λ2是權(quán)重參數(shù)，I是單位陣，Wm,l是IRLS算法的權(quán)重矩陣，P0,-p和W0,-p分別是Pm,l和Wm,l當(dāng)m,l分別0和-p時(shí)的具體值，是當(dāng)l＝-p時(shí)的具體值，是當(dāng)m＝0時(shí)的具體值，P0,1-p，W0,1-p，等符號同理，μ是最速下降法的步長，表示第次迭代的x值，同理x(t)是第t次迭代的x值；42)更新稀疏系數(shù)，由可以得到其中，soft是傳統(tǒng)的軟閾值算子，αi(t+1)表示第t+1次迭代的αi值，同理是第t次迭代的的含義如公式(3)所示，λ1是權(quán)重參數(shù)，R1,…RM分別是公式(3)中的Ri當(dāng)i＝1,…,M的值。本發(fā)明的技術(shù)特點(diǎn)及效果：本發(fā)明方法針對深度相機(jī)獲取的深度圖分辨率低的問題，通過同時(shí)引入空域正則項(xiàng)和變換域正則項(xiàng)，且利用相應(yīng)的高分辨率彩色圖，恢復(fù)出了高質(zhì)量的高分辨率深度圖。本發(fā)明具有以下特點(diǎn)：1、尋找深度塊的相似塊時(shí)，判斷準(zhǔn)則里也引入了對應(yīng)的彩色塊。2、提出了多邊總變差，極大提高了算法的恢復(fù)性能。3、運(yùn)用了ALM,IRLS等算法求解子問題，整合了已有算法的優(yōu)點(diǎn)。4、結(jié)合空域正則項(xiàng)和變換域正則項(xiàng)的優(yōu)點(diǎn)，恢復(fù)出了高質(zhì)量高分辨率深度圖。附圖說明圖1是算法流程圖；圖2是本發(fā)明的輸入和輸出：輸入是(a)低分辨率深度圖,(b)高分辨率彩色圖,輸出是(c)高分辨率深度圖。圖3是4倍超分辨率的各個(gè)方法的結(jié)果比較。(第一，二行是圖art的相關(guān)結(jié)果，從左到右的圖分別是(a)真實(shí)的深度圖,(b)bicubic插值,psnr:27.29dB(c)EG方法,psnr:26.51dB(d)TGV方法,psnr:29.55dB(e)JID,psnr:33.81dB(f)本發(fā)明方法,psnr:34.37dB；第三，四行是圖tsukuba的相關(guān)結(jié)果，從左到右的圖分別是(a)真實(shí)的深度圖,(b)bicubic插值,psnr:27.09dB(c)EG方法,psnr:26.27dB(d)TGV方法,psnr:28.49dB(e)JID,psnr:32.52dB(f)本發(fā)明方法,psnr:34.14dB；)。具體實(shí)施方式1)給定彩色—深度圖像對(包括一個(gè)低分辨率的深度圖和對應(yīng)的高分辨率的彩色圖)，本發(fā)明的目的是恢復(fù)一個(gè)高分辨率的深度圖。本發(fā)明基于雙變換域進(jìn)行深度超分辨率(即同時(shí)引入空域正則項(xiàng)和變換域正則項(xiàng))的優(yōu)化模型如下：argminxEd(x,y)+λ1ESCD(x,z)+λ2EMTV(x,z)---(1)]]>其中，x∈Rn，y∈Rm，z∈Rn分別是向量化的恢復(fù)的深度圖，向量化的低分辨率深度圖和向量化的高分辨率彩色圖。Ed(x,y)是數(shù)據(jù)項(xiàng)，確?；謴?fù)的深度圖與低分辨率的深度圖保持一致。ESCD(x,z)是變換域正則項(xiàng)，EMTV(x,z)是空域正則項(xiàng)。λ1和λ2是平衡各項(xiàng)的權(quán)重參數(shù)。min表示求最小值，表示使得后面的式子最小時(shí)的變量x的取值。數(shù)據(jù)項(xiàng)可以表示為：Ed(x,y)=||y-Hx||22---(2)]]>其中||·||2是l2范數(shù)，H是模糊和下采樣操作的合成算子。2)變換域正則項(xiàng)ESCD(x,z)的設(shè)計(jì)。21)利用K-means算法把深度圖里的深度塊聚類為G(本發(fā)明里取64)類，每一類深度塊在主成分變換PCA下能夠得到相應(yīng)的PCA字典；xi＝Rixxi=Φkiαi---(3)]]>其中xi是深度圖x中中心位于i的圖像塊，Ri表示從圖x中提取塊xi的線性算子，表示塊xi所在的那一類塊對應(yīng)的字典，αi表示塊xi在字典下的系數(shù)，α表示所有αi的串接，Φ是字典的串接。M表示深度圖中提取的塊的個(gè)數(shù)，∑表示求和算子，RiT是Ri的轉(zhuǎn)置，(·)-1是求逆運(yùn)算。22)利用自然圖像的豐富的非局部相似性的特點(diǎn)，每一個(gè)深度塊xi在深度圖x中都可以找到多個(gè)相似的深度圖塊。通常，深度圖像上的邊緣總是同時(shí)出現(xiàn)在彩色圖的相應(yīng)位置。利用深度—彩色對這一關(guān)系，采用以下的準(zhǔn)則D(i,j)選取深度塊xi的相似塊：D(i,j)=w1||zi-zj||22+w2||xi-xj||22]]>S＝|<f(xi)，f(zi)>|/(||f(xi)||2||f(zi)||2)(4)w1＝1/(5+exp(-τ3S))w2＝δ·(1-w1)其中，xj是深度圖x中中心位于j的圖像塊，zi是彩色圖z中中心位于i的圖像塊，zj是彩色圖z中中心位于j的圖像塊。D(i,j)是判斷深度塊xi和xj的相似程度的距離，D(i,j)越小表示塊xi和xj越相似。常數(shù)δ＝50，τ3每次迭代減小0.25，初值為0.75。<·,·>表示點(diǎn)積算子，|·|表示絕對值操作；表示圖像塊xi的每個(gè)像素沿著水平和豎直方法的梯度的連結(jié)，K表示一個(gè)塊包含的像素個(gè)數(shù)。函數(shù)S測量彩色塊的可信性，圖像塊xi和圖像塊zi的一致性越高，S越大，w1和w2是權(quán)重，exp(·)表示以e為底的指數(shù)函數(shù)；23)對于每個(gè)深度塊xi都可以找到n個(gè)最相似的塊，這些相似塊組成集合Ωi。在系數(shù)域上，每個(gè)深度塊和其相似塊的關(guān)系可以表示為塊xi在PCA字典下的稀疏系數(shù)和其相似塊的稀疏系數(shù)非常接近，即：ESCD(x,z)＝∑i||αi-βi||1βi=Σq∈Ωiζi,qαi,q---(5)]]>ζi,q=1τ1exp(-||xi-xi,q||22/τ2)]]>xi,q=Φkiαi,q]]>其中，||·||1是l1范數(shù)，αi,q是塊xi的第q個(gè)相似塊xi,q對應(yīng)的稀疏系數(shù)，q屬于相似塊組成的集合Ωi，ζi,q是相應(yīng)的加權(quán)權(quán)重，βi是相似塊的系數(shù)的加權(quán)平均值，τ1是標(biāo)準(zhǔn)化因子，常數(shù)τ2設(shè)為75。3)空域正則項(xiàng)EMTV(x,z)的設(shè)計(jì)多邊總變差的空域正則項(xiàng)EMTV(x,c)計(jì)算公式如下：EMTV(x,c)=Σl=-ppΣm=0p||Pm,l(x-S1lS2mx)||1---(6)]]>Pm,l=1ΘPm,lQPm,lCPm,lD]]>其中，Θ是標(biāo)準(zhǔn)化因子。和分別表示讓圖像x沿著水平和豎直方向移動(dòng)l和m個(gè)像素，p為常數(shù)，本發(fā)明里取3，核Pm,l包含三項(xiàng)，分別是空域項(xiàng)彩色項(xiàng)和深度項(xiàng)31)空域項(xiàng)是一個(gè)二維的Kaiser窗。物理含義表示兩個(gè)像素越遠(yuǎn)，對應(yīng)的空域項(xiàng)應(yīng)該越小。32)彩色項(xiàng)利用深度-彩色圖像對的關(guān)系，即不連續(xù)性經(jīng)常同時(shí)出現(xiàn)在深度圖和相應(yīng)地彩色圖上，彩色圖的平滑區(qū)域往往有著相似的深度值，因此本發(fā)明引入如下的彩色項(xiàng)：Pm,lC=exp(-|z-S1lS2mz|γ1/σ1)---(7)]]>其中，z是向量化的高分辨率彩色圖，常數(shù)γ1和σ1分別設(shè)為1.05和100。33)深度項(xiàng)可以防止在深度彩色不一致的情況下出現(xiàn)不正確的深度預(yù)測，即像素處在同一深度層上但是在彩色圖上擁有不同的彩色值；或者像素?fù)碛邢嗤牟噬档菍儆诓煌纳疃葘樱O(shè)計(jì)的深度項(xiàng)如下：Pm,lD=ρ/exp(|x-S1lS2mx|γ2/σ2)x≤ϵexp(-|(x-S1lS2mx)-ϵ|γ3/σ3)x>ϵ---(8)]]>其中，常數(shù)ρ，γ2，γ3，σ2,σ3和ε分別設(shè)為1.15,2,3,8000,12000和10。4)可以采用交替方向法(ALM)求解優(yōu)化模型。交替更新深度圖和稀疏系數(shù)。更新深度圖時(shí)利用迭代再加權(quán)最小二乘算法(IRLS)，更新系數(shù)時(shí)使用soft算子。41)更新深度圖：||y-Hx||22+λ2Σl=-ppΣm=0p||Pm,l(x-S1lS2mx)||1=||y-Hx||22+λ2Σl=-ppΣm=0p||Wm,lPm,l(x-S1lS2mx)||22=||y-Hx||22+λ2||Ax||22]]>得到：x(t+12)=x(t)+μ(HT(y-Hx(t))-λ2ATAx(t))---(9)]]>其中，x，y分別是向量化的恢復(fù)的深度圖，向量化的低分辨率深度圖，H是模糊和下采樣操作的合成算子，HT是H的轉(zhuǎn)置，λ2是權(quán)重參數(shù)，I是單位陣，Wm,l是IRLS算法的權(quán)重矩陣，P0,-p和W0,-p分別是Pm,l和Wm,l當(dāng)m,l分別0和-p時(shí)的具體值，是當(dāng)l＝-p時(shí)的具體值，是當(dāng)m＝0時(shí)的具體值，P0,1-p，W0,1-p，等符號同理，μ是最速下降法的步長，表示第次迭代的x值，同理x(t)是第t次迭代的x值；42)更新稀疏系數(shù)，由可以得到其中，soft是傳統(tǒng)的軟閾值算子，αi(t+1)表示第t+1次迭代的αi值，同理是第t次迭代的的含義如公式(3)所示，λ1是權(quán)重參數(shù)，R1,…RM分別是公式(3)中的Ri當(dāng)i＝1,…,M的值。下面結(jié)合附圖和實(shí)施例對本發(fā)明作詳細(xì)說明(算法流程圖如圖1所示)。1)給定彩色—深度圖像對(包括一個(gè)低分辨率的深度圖和對應(yīng)的高分辨率的彩色圖)，本發(fā)明的目的是恢復(fù)一個(gè)高分辨率的深度圖，如圖2示例。本發(fā)明基于雙變換域進(jìn)行深度超分辨率(即同時(shí)引入空域正則項(xiàng)和變換域正則項(xiàng))的優(yōu)化模型如下：argminxEd(x,y)+λ1ESCD(x,z)+λ2EMTV(x,z)---(1)]]>其中，x∈Rn，y∈Rm，z∈Rn分別是向量化的恢復(fù)的深度圖，向量化的低分辨率深度圖和向量化的高分辨率彩色圖。Ed(x,y)是數(shù)據(jù)項(xiàng)，確?；謴?fù)的深度圖與低分辨率的深度圖保持一致。ESCD(x,z)是變換域正則項(xiàng)，EMTV(x,z)是空域正則項(xiàng)。λ1和λ2是平衡各項(xiàng)的權(quán)重參數(shù)。min表示求最小值，表示使得后面的式子最小時(shí)的變量x的取值。數(shù)據(jù)項(xiàng)可以表示為：Ed(x,y)=||y-Hx||22---(2)]]>其中||·||2是l2范數(shù)，H是模糊和下采樣操作的合成算子。2)變換域正則項(xiàng)ESCD(x,z)的設(shè)計(jì)。21)利用K-means算法把深度圖里的深度塊聚類為G(本發(fā)明里取64)類，每一類深度塊在主成分變換PCA下能夠得到相應(yīng)的PCA字典；xi＝Rixxi=Φkiαi---(3)]]>其中xi是深度圖x中中心位于i的圖像塊，Ri表示從圖x中提取塊xi的線性算子，表示塊xi所在的那一類塊對應(yīng)的字典，αi表示塊xi在字典下的系數(shù)，α表示所有αi的串接，Φ是字典的串接。M表示深度圖中提取的塊的個(gè)數(shù)，∑表示求和算子，RiT是Ri的轉(zhuǎn)置，(·)-1是求逆運(yùn)算。22)利用自然圖像的豐富的非局部相似性的特點(diǎn)，每一個(gè)深度塊xi在深度圖x中都可以找到多個(gè)相似的深度圖塊。通常，深度圖像上的邊緣總是同時(shí)出現(xiàn)在彩色圖的相應(yīng)位置。利用深度—彩色對這一關(guān)系，采用以下的準(zhǔn)則D(i,j)選取深度塊xi的相似塊：D(i,j)=w1||zi-zj||22+w2||xi-xj||22]]>S＝|<f(xi)，f(zi)>|/(||f(xi)||2||f(zi)||2)(4)w1＝1/(5+exp(-τ3S))w2＝δ·(1-w1)其中，xj是深度圖x中中心位于j的圖像塊，zi是彩色圖z中中心位于i的圖像塊，zj是彩色圖z中中心位于j的圖像塊。D(i,j)是判斷深度塊xi和xj的相似程度的距離，D(i,j)越小表示塊xi和xj越相似。常數(shù)δ＝50，τ3每次迭代減小0.25，初值為0.75。<·,·>表示點(diǎn)積算子，|·|表示絕對值操作；表示圖像塊xi的每個(gè)像素沿著水平和豎直方法的梯度的連結(jié)，K表示一個(gè)塊包含的像素個(gè)數(shù)。函數(shù)S測量彩色塊的可信性，圖像塊xi和圖像塊zi的一致性越高，S越大，w1和w2是權(quán)重，exp(·)表示以e為底的指數(shù)函數(shù)。23)對于每個(gè)深度塊xi都可以找到n個(gè)最相似的塊，這些相似塊組成集合Ωi。在系數(shù)域上，每個(gè)深度塊和其相似塊的關(guān)系可以表示為塊xi在PCA字典下的稀疏系數(shù)和其相似塊的稀疏系數(shù)非常接近，即：ESCD(x,z)＝∑i||αi-βi||1βi=Σq∈Ωiζi,qαi,q---(5)]]>ζi,q=1τ1exp(-||xi-xi,q||22/τ2)]]>xi,q=Φkiαi,q]]>其中，||·||1是l1范數(shù)，αi,q是塊xi的第q個(gè)相似塊xi,q對應(yīng)的稀疏系數(shù)，q屬于相似塊組成的集合Ωi，ζi,q是相應(yīng)的加權(quán)權(quán)重，βi是相似塊的系數(shù)的加權(quán)平均值，τ1是標(biāo)準(zhǔn)化因子，常數(shù)τ2設(shè)為75。3)空域正則項(xiàng)EMTV(x,z)的設(shè)計(jì)多邊總變差的空域正則項(xiàng)EMTV(x,c)計(jì)算公式如下：EMTV(x,c)=Σl=-ppΣm=0p||Pm,l(x-S1lS2mx)||1---(6)]]>Pm,l=1ΘPm,lQPm,lCPm,lD]]>其中，Θ是標(biāo)準(zhǔn)化因子。和分別表示讓圖像x沿著水平和豎直方向移動(dòng)l和m個(gè)像素，p為常數(shù)，本發(fā)明里取3，核Pm,l包含三項(xiàng)，分別是空域項(xiàng)彩色項(xiàng)和深度項(xiàng)31)空域項(xiàng)是一個(gè)二維的Kaiser窗。物理含義表示兩個(gè)像素越遠(yuǎn)，對應(yīng)的空域項(xiàng)應(yīng)該越小。32)彩色項(xiàng)利用深度-彩色圖像對的關(guān)系，即不連續(xù)性經(jīng)常同時(shí)出現(xiàn)在深度圖和相應(yīng)地彩色圖上，彩色圖的平滑區(qū)域往往有著相似的深度值，因此本發(fā)明引入如下的彩色項(xiàng)：Pm,lC=exp(-|z-S1lS2mz|γ1/σ1)---(7)]]>其中，z是向量化的高分辨率彩色圖，常數(shù)γ1和σ1分別設(shè)為1.05和100。33)深度項(xiàng)可以防止在深度彩色不一致的情況下出現(xiàn)不正確的深度預(yù)測，即像素處在同一深度層上但是在彩色圖上擁有不同的彩色值；或者像素?fù)碛邢嗤牟噬档菍儆诓煌纳疃葘?，設(shè)計(jì)的深度項(xiàng)如下：Pm,lD=ρ/exp(|x-S1lS2mx|γ2/σ2)x≤ϵexp(-|(x-S1lS2mx)-ϵ|γ3/σ3)x>ϵ---(8)]]>其中，常數(shù)ρ，γ2，γ3，σ2,σ3和ε分別設(shè)為1.15,2,3,8000,12000和10。4)可以采用交替方向法(ALM)求解優(yōu)化模型。交替更新深度圖和稀疏系數(shù)。更新深度圖時(shí)利用迭代再加權(quán)最小二乘算法(IRLS)，更新系數(shù)時(shí)使用soft算子。41)更新深度圖：||y-Hx||22+λ2Σl=-ppΣm=0p||Pm,l(x-S1lS2mx)||1=||y-Hx||22+λ2Σl=-ppΣm=0p||Wm,lPm,l(x-S1lS2mx)||22=||y-Hx||22+λ2||Ax||22]]>得到：x(t+12)=x(t)+μ(HT(y-Hx(t))-λ2ATAx(t))---(9)]]>其中，x，y分別是向量化的恢復(fù)的深度圖，向量化的低分辨率深度圖，H是模糊和下采樣操作的合成算子，HT是H的轉(zhuǎn)置，λ2是權(quán)重參數(shù)，I是單位陣，Wm,l是IRLS算法的權(quán)重矩陣，P0,-p和W0,-p分別是Pm,l和Wm,l當(dāng)m,l分別0和-p時(shí)的具體值，是當(dāng)l＝-p時(shí)的具體值，是當(dāng)m＝0時(shí)的具體值，P0,1-p，W0,1-p，等符號同理，μ是最速下降法的步長，表示第次迭代的x值，同理x(t)是第t次迭代的x值；42)更新稀疏系數(shù)，由可以得到其中，soft是傳統(tǒng)的軟閾值算子，αi(t+1)表示第t+1次迭代的αi值，同理是第t次迭代的的含義如公式(3)所示，λ1是權(quán)重參數(shù)，R1,…RM分別是公式(3)中的Ri當(dāng)i＝1,…,M的值。實(shí)驗(yàn)結(jié)果：本發(fā)明采用PSNR(峰值信噪比)作為圖像填充結(jié)果的度量測度：PSNR=10×log10((2n-1)2MSE)---(17)]]>MSE=1whΣy=0w-1Σx=0h-1|I(x,y)-I0(x,y)|2]]>其中I0代表真實(shí)的深度圖，I為恢復(fù)的深度圖像，h為圖像的高度，w為圖像的寬度，(x,y)為第x行第y列的像素值，Σ表示求和運(yùn)算，|·|為絕對值。當(dāng)前第1頁1 2 3