專利名稱：利用3d字典消除3d播放系統(tǒng)中塊效應(yīng)的方法
利用3D字典消除3D播放系統(tǒng)中塊效應(yīng)的方法技術(shù)領(lǐng)域
本發(fā)明屬于圖像處理領(lǐng)域，具體地說是一種利用3D字典消除塊效應(yīng)的方法，可用于消除基于深度圖像渲染DIBR的3D播放系統(tǒng)中經(jīng)過塊離散余弦變換BDCT壓縮后的3D圖像中的塊效應(yīng)。
背景技術(shù)：
根據(jù)多媒體處理技術(shù)的最近進(jìn)展，3D電視被期望成為一種新的播放方式，它可以為觀眾提供一種更自然、栩栩如生的家庭娛樂體驗(yàn)。為了實(shí)現(xiàn)3D電視中逼真的3D服務(wù)，基于深度圖像渲染DIBR是一種必要技術(shù)。在先進(jìn)三維電視系統(tǒng)技術(shù)ATTEST項(xiàng)目中DIBR技術(shù)第一次被提出，它是生成真實(shí)場景中虛擬左右視圖的過程，它可以從參考圖序列和對應(yīng)的深度圖序列中提供3D效果。DIBR中的參考圖和深度圖統(tǒng)稱3D圖像。由于深度信息可以通過額外的641ApS帶寬的數(shù)據(jù)通道被有效的壓縮和傳輸，DIBR作為一種用于3D電視系統(tǒng)的有前途的技術(shù)獲得了很多關(guān)注。
塊離散余弦變換BDCT廣泛用于圖像和視頻壓縮，已經(jīng)被大多數(shù)圖像和視頻壓縮標(biāo)準(zhǔn)采用，包括聯(lián)合圖像專家組JPEG、動(dòng)態(tài)圖像專家組MPEG、H. ^X、高級視頻編碼AVC等。 在基于BDCT的壓縮編碼中，首先將圖像劃分為許多8*8大小不重疊的圖像塊，對每個(gè)塊進(jìn)行離散余弦變換，得到離散余弦系數(shù)，然后對其進(jìn)行量化和可變長度編碼。在量化的過程中會令數(shù)據(jù)損失，從而導(dǎo)致壓縮后的圖像產(chǎn)生失真，即編碼效應(yīng)，包括塊效應(yīng)和振鈴效應(yīng)等。 H. 264/AVC等基于BDCT的編碼標(biāo)準(zhǔn)同樣用于3D電視中，經(jīng)過壓縮以后DIBR中的圖像質(zhì)量和3D效果明顯下降，因此提高圖像質(zhì)量和3D效果就變得很重要。
傳統(tǒng)的用于塊效應(yīng)消除的方法可分為兩類，基于圖像增強(qiáng)的方法和基于圖像恢復(fù)的方法?；趫D像增強(qiáng)的方法主要在空域或變換域中使用一些濾波器來減少塊效應(yīng)，研究者把塊效應(yīng)看作人工高頻分量，提出了許多濾波技術(shù)，包括低通濾波，自適應(yīng)濾波和循環(huán)濾波等，缺點(diǎn)是峰值信噪比提高不多，視覺效果一般?；趫D像恢復(fù)的方法認(rèn)為壓縮過程是一個(gè)失真過程，為了從失真圖像中恢復(fù)原始圖像，圖像恢復(fù)技術(shù)例如凸集投影POCS和最大后驗(yàn)概率MAP估計(jì)等被使用。在基于POCS的方法中，圖像先驗(yàn)被表示為凸集，通過迭代過程來減少塊效應(yīng)，這種方法能夠很好的減少塊效應(yīng)，原因是在塊邊界處強(qiáng)加了平滑約束，缺點(diǎn)是計(jì)算復(fù)雜度高，運(yùn)算時(shí)間長?；贛AP的方法能夠有效的減少塊效應(yīng)，但是計(jì)算復(fù)雜度高。發(fā)明內(nèi)容
本發(fā)明的目的在于針對上述技術(shù)的不足，提出一種利用3D字典消除3D播放系統(tǒng)中塊效應(yīng)的方法，以提升塊效應(yīng)消除后的3D圖像視覺效果，得到更高或相似的峰值信噪比和結(jié)構(gòu)相似度，并減少計(jì)算復(fù)雜度。
實(shí)現(xiàn)上述目的的技術(shù)原理是利用KSVD算法訓(xùn)練一個(gè)3D通用字典，結(jié)合批處理正交匹配追蹤Batch-OMP算法去除BDCT壓縮3D圖像中的塊效應(yīng)，其具體步驟包括如下
1)在一個(gè)無噪聲的自然圖像集中提取1^個(gè)8*8大小的圖像塊，50000 < H1< 150000，利用KSVD算法和批處理正交匹配追蹤算法訓(xùn)練一個(gè)大小為64*512的通用參考字典^ ；在一個(gè)無噪聲的深度圖像集中提取n2個(gè)8*8大小的圖像塊，50000 <n2 < 150000, 利用KSVD算法和批處理正交匹配追蹤算法訓(xùn)練一個(gè)大小為64*1觀的通用深度字典Dd ；利用該通用參考字典和深度字典構(gòu)造3D過完備字典D3d = [Dr, Dd]，其中KSVD指k-singular value decomposition，它是一種迭代訓(xùn)練過完備字典的方法；
2)采用基于塊離散余弦變換BDCT的壓縮編碼標(biāo)準(zhǔn)中的JPEG標(biāo)準(zhǔn)對原始3D圖像進(jìn)行壓縮，即根據(jù)JPEG圖像壓縮編碼標(biāo)準(zhǔn)中的品質(zhì)因數(shù)Q對原始3D圖像中的參考圖像Iq 和對應(yīng)的深度圖像Dci分別進(jìn)行壓縮，得到參考壓縮圖像I’和深度壓縮圖像D’ ；
3)找出參考壓縮圖像I’中所有8*8大小不重疊的圖像塊的邊界，計(jì)算這些邊界兩邊像素的差值CH，i = 1，2，3...，將這些差值的絕對值的一半看作噪聲數(shù)據(jù)t = 0. 5*abs (Cri), i = 1，2，3...，計(jì)算所有Nh >= 2的噪聲數(shù)據(jù)的標(biāo)準(zhǔn)差σ工；找出深度壓縮圖像D’中所有8*8大小不重疊的圖像塊的邊界，計(jì)算這些邊界兩邊像素的差值Cdi，i = 1， 2,3...,將這些差值的絕對值的一半看作噪聲數(shù)據(jù)Ndi = 0. 5*abs (Cdi)，i = 1，2，3...，計(jì)算所有^li > = 2的噪聲數(shù)據(jù)的標(biāo)準(zhǔn)差σ D ；
4)根據(jù)品質(zhì)因數(shù)Q和標(biāo)準(zhǔn)差σ工計(jì)算參考壓縮圖像I’的誤差閾值 T1 *U5^F(Q)；根據(jù)品質(zhì)因數(shù)Q和標(biāo)準(zhǔn)差。D計(jì)算深度壓縮圖像D’的誤差閾值 Td =V8*8*aD*1.15*^(0,
其中F(Q)表示塊效應(yīng)消除強(qiáng)度，由三次多項(xiàng)式擬合方法確定，其表達(dá)式為F(Q)= -0. 0001 X Q3+0. 0073 X Q2-O. 1710 X Q+2. 1580，Q 彡 30 ；
5)消除壓縮圖像中的塊效應(yīng)，獲取塊效應(yīng)消除后的稀疏系數(shù)表示矩陣
5a)在參考壓縮圖像I’中按行列像素間隔[1，1]選取8*8大小的圖像塊，將這些圖像塊拉成列向量并構(gòu)造為圖像塊矩陣&，利用3D字典D3d中的參考字典比和誤差閾值T1 對所述圖像塊矩陣&中的每一列，按公式兒s.t. _辟U2 <= 7}去除塊效應(yīng)，得到稀疏系數(shù)表示矩陣&，其中)(Ik是&中的第k個(gè)8*8塊的列向量表示形式，Θ工是& 的稀疏系數(shù)表示矩陣，θ ^t是Q1的第k列；
5b)在深度壓縮圖像D’中按行列像素間隔[1，1]選取8*8大小的圖像塊，將這些圖像塊拉成列向量并構(gòu)造為圖像塊矩陣XD，利用3D字典D3d中的深度字典Dd和誤差閾值Td 對所述圖像塊矩陣Α中的每一列，按公式ιηιι^ Θ^ s.t.去除塊效應(yīng)，得到稀疏系數(shù)表示矩陣，其中)(Dk是\中的第k個(gè)8*8塊的列向量表示形式，ΘD是)(D 的稀疏系數(shù)表示矩陣，θ皿是ΘΒ的第k列；
6)利用塊效應(yīng)消除后的稀疏系數(shù)表示矩陣&和對應(yīng)的參考字典比，得到塊效應(yīng)消除后的圖像塊矩陣克=/^*‘，將中的圖像塊放回參考圖像中的原來位置，對圖像塊的重疊部分進(jìn)行平均，得到塊效應(yīng)消除后的參考圖像I” ；利用塊效應(yīng)消除后的稀疏系數(shù)表示矩陣‘和對應(yīng)的深度字典Dd得到塊效應(yīng)消除后的圖像塊矩陣=Dd *Θο，將h中的圖像塊放回深度圖像中的原來位置，對圖像塊的重疊部分進(jìn)行平均，得到塊效應(yīng)消除后的深度圖像D”。
本發(fā)明與現(xiàn)有技術(shù)相比具有如下優(yōu)點(diǎn)
1.本發(fā)明由于利用KSVD算法和批處理正交匹配追蹤算法訓(xùn)練一個(gè)3D通用字典， 并且設(shè)計(jì)了一個(gè)合理的自動(dòng)計(jì)算用于稀疏表示的誤差閾值的方法，利用3D通用字典和誤差閾值將基于閾值稀疏表示原始信號的思想用于去除經(jīng)BDCT壓縮后的3D圖像中存在的塊效應(yīng)，因而與現(xiàn)有技術(shù)相比能得到更高或相似的峰值信噪比和結(jié)構(gòu)相似度，塊效應(yīng)消除后的3D圖像視覺效果很好，計(jì)算復(fù)雜度低；
2.本發(fā)明中由于訓(xùn)練得到的3D字典包含自然圖像和深度圖像的大部分特征，故可用于很多BDCT壓縮后的3D圖像塊效應(yīng)消除過程中。


圖1是現(xiàn)有的基于DIBR的3D播放系統(tǒng)框圖2是本發(fā)明的流程圖3是本發(fā)明訓(xùn)練得到的3D通用字典D3d的示意圖4是本發(fā)明測試用的五對3D圖像；
圖5是在不同Q值的JPEG壓縮下，用本發(fā)明對3D圖像‘Ballet，，'Interview'進(jìn)行塊效應(yīng)消除的仿真結(jié)果圖。
具體實(shí)施方式
參照圖1，現(xiàn)有的基于DIBR的3D播放系統(tǒng)包括發(fā)射和接收兩部分，在發(fā)射端對深度圖數(shù)據(jù)流Dtl進(jìn)行深度預(yù)處理得到D1，利用H. 264/AVC等基于BDCT的編碼器對深度圖數(shù)據(jù)流D1和參考圖數(shù)據(jù)流Itl進(jìn)行編碼，將編碼數(shù)據(jù)送入傳輸通道，經(jīng)傳輸通道到達(dá)接收端，利用相應(yīng)的解碼器對壓縮數(shù)據(jù)進(jìn)行解碼，得到參考壓縮圖像I’和深度壓縮圖像D’，對參考壓縮圖像I’和深度壓縮圖像D’去除壓縮效應(yīng)，分別得到壓縮效應(yīng)消除后的參考圖像I”和深度圖像D”，然后利用基于深度圖像渲染DIBR技術(shù)將壓縮效應(yīng)消除后的參考圖像I”和深度圖像D”渲染為3D圖像并顯示在3D電視中，本發(fā)明的方法正是用于圖1中的去除壓縮效應(yīng)。
參照圖2，本發(fā)明的實(shí)現(xiàn)步驟如下
步驟1.訓(xùn)練3D過完備字典。
對于一個(gè)無噪聲的自然圖像集，選取Ii1個(gè)8*8的圖像塊，50000 < Ii1 < 150000，仿真實(shí)驗(yàn)中Ii1選取100000，構(gòu)造大小為64*叫的訓(xùn)練矩陣迭代次數(shù)設(shè)置為20次，使用大小為64*512的DCT字典進(jìn)行字典初始化，設(shè)置圖像塊的稀疏度S1 = 6，利用KSVD算法和批處理正交匹配追蹤算法按公式1)訓(xùn)練通用字典比，
權(quán)利要求
1. 一種利用3D字典消除3D播放系統(tǒng)中塊效應(yīng)的方法，包括如下步驟1)在一個(gè)無噪聲的自然圖像集中提取Ii1個(gè)8*8大小的圖像塊，50000< Ii1 < 150000， 利用KSVD算法和批處理正交匹配追蹤算法訓(xùn)練一個(gè)大小為64*512的通用參考字典D,；在一個(gè)無噪聲的深度圖像集中提取 個(gè)8*8大小的圖像塊，50000 <n2< 150000，利用KSVD 算法和批處理正交匹配追蹤算法訓(xùn)練一個(gè)大小為64*1觀的通用深度字典Dd ；利用該通用參考字典和深度字典構(gòu)造3D過完備字典D3d = [Dr, DJ，其中KSVD指k-singular value decomposition,它是一種迭代訓(xùn)練過完備字典的方法；2)采用基于塊離散余弦變換BDCT的壓縮編碼標(biāo)準(zhǔn)中的JPEG標(biāo)準(zhǔn)對原始3D圖像進(jìn)行壓縮，即根據(jù)JPEG圖像壓縮編碼標(biāo)準(zhǔn)中的品質(zhì)因數(shù)Q對原始3D圖像中的參考圖像Iq和對應(yīng)的深度圖像Dtl分別進(jìn)行壓縮，得到參考壓縮圖像I’和深度壓縮圖像D’ ；3)找出參考壓縮圖像I’中所有8*8大小不重疊的圖像塊的邊界，計(jì)算這些邊界兩邊像素的差值Ch，i = l,2,3...，將這些差值的絕對值的一半看作噪聲數(shù)據(jù)Nh = 0. 5*abs (Cri)， i = 1,2,3...，計(jì)算所有Nh >= 2的噪聲數(shù)據(jù)的標(biāo)準(zhǔn)差σ工；找出深度壓縮圖像D’中所有 8*8大小不重疊的圖像塊的邊界，計(jì)算這些邊界兩邊像素的差值Cdi，i = 1，2，3...，將這些差值的絕對值的一半看作噪聲數(shù)據(jù)^li = 0. 5*abs(Cdi)，i = 1，2，3...，計(jì)算所有^ >= 2 的噪聲數(shù)據(jù)的標(biāo)準(zhǔn)差σΒ ；4)根據(jù)品質(zhì)因數(shù)Q和標(biāo)準(zhǔn)差ο工計(jì)算參考壓縮圖像I’的誤差閾值 T1*U5^F(Q)；根據(jù)品質(zhì)因數(shù)Q和標(biāo)準(zhǔn)差。D計(jì)算深度壓縮圖像D’的誤差閾值 Td =V8*8*aD*1.15*^(0,其中F(Q)表示塊效應(yīng)消除強(qiáng)度，由三次多項(xiàng)式擬合方法確定，其表達(dá)式為F(Q) =-0.0 001XQ3+0. 0073XQ2-O. 1710XQ+2. 1580，Q 彡 30 ；5)消除壓縮圖像中的塊效應(yīng)，獲取塊效應(yīng)消除后的稀疏系數(shù)表示矩陣5a)在參考壓縮圖像I’中按行列像素間隔[1，1]選取8*8大小的圖像塊，將這些圖像塊拉成列向量并構(gòu)造為圖像塊矩陣X1,利用3D字典D3d中的參考字典比和誤差閾值T1對所述圖像塊矩陣&中的每一列，按公式mm0/|0幾s.t. -<= K去除塊效應(yīng)，得到稀疏系數(shù)表示矩陣&，其中)(Ik是&中的第k個(gè)8*8塊的列向量表示形式，Θ工是&的稀疏系數(shù)表示矩陣，θ ^t是θ工的第k列；5b)在深度壓縮圖像D’中按行列像素間隔[1，1]選取8*8大小的圖像塊，將這些圖像塊拉成列向量并構(gòu)造為圖像塊矩陣Χ ，利用3D字典D3d中的深度字典Dd和誤差閾值Td對所述圖像塊矩陣\中的每一列，按公式ιηιι^ Θ』s.t.去除塊效應(yīng)，得到稀疏系數(shù)表示矩陣，其中)(Dk是\中的第k個(gè)8*8塊的列向量表示形式，ΘΒ是)(D的稀疏系數(shù)表示矩陣，θ皿是ΘΒ的第k列；6)利用塊效應(yīng)消除后的稀疏系數(shù)表示矩陣&和對應(yīng)的參考字典比，得到塊效應(yīng)消除后的圖像塊矩陣克=/^*‘，將中的圖像塊放回參考圖像中的原來位置，對圖像塊的重疊部分進(jìn)行平均，得到塊效應(yīng)消除后的參考圖像I” ；利用塊效應(yīng)消除后的稀疏系數(shù)表示矩陣和對應(yīng)的深度字典Dd得到塊效應(yīng)消除后的圖像塊矩陣=Dd *Θο，將中的圖像塊放回深度圖像 的原來位置，對圖像塊的重疊部分進(jìn)行平均，得到塊效應(yīng)消除后的深度圖像2D”。
2.根據(jù)權(quán)利要求1所述的塊效應(yīng)消除方法，其中步驟(1)所述的利用KSVD算法和批處理正交匹配追蹤算法訓(xùn)練一個(gè)大小為64*512的通用參考字典D,，按如下步驟進(jìn)行(Ia)將H1個(gè)8*8大小的圖像塊構(gòu)造成64*ηι的訓(xùn)練矩陣X1 ；(Ib)使用大小為64*512的DCT字典進(jìn)行字典初始化，迭代次數(shù)為20次，設(shè)圖像塊的稀疏度S1 = 6，按照公式而！^棗內(nèi)-找*^^ s.t. |外1 <=又訓(xùn)練通用字典Dr，其中Φ^是&的稀疏系數(shù)表示矩陣， 是Φ^的第j列。
3.根據(jù)權(quán)利要求1所述的塊效應(yīng)消除方法，其中步驟(2)所述的根據(jù)JPEG圖像壓縮編碼標(biāo)準(zhǔn)中的品質(zhì)因數(shù)Q對原始3D圖像中的參考圖像Itl和對應(yīng)的深度圖像Dtl分別進(jìn)行壓縮，是在JPEG壓縮編碼的品質(zhì)因數(shù)Q中選用0到100之間的任一數(shù)值，確定相應(yīng)的量化表， 根據(jù)JPEG壓縮編碼程序?qū)⒖紙D和對應(yīng)的深度圖分別壓縮為JPEG圖像。
全文摘要
本發(fā)明公開了一種利用3D字典消除塊效應(yīng)的方法，主要解決現(xiàn)有基于深度圖像渲染DIBR的3D播放系統(tǒng)中經(jīng)過塊離散余弦變換壓縮后存在的塊效應(yīng)問題。實(shí)現(xiàn)步驟為(1)利用KSVD算法和批處理正交匹配追蹤算法訓(xùn)練一個(gè)3D字典；(2)控制JPEG標(biāo)準(zhǔn)中的品質(zhì)因數(shù)對原始3D圖像進(jìn)行壓縮；(3)將塊效應(yīng)看作高斯白噪聲，計(jì)算3D壓縮圖像的噪聲標(biāo)準(zhǔn)差；(4)根據(jù)品質(zhì)因數(shù)和噪聲標(biāo)準(zhǔn)差計(jì)算誤差閾值；(5)消除壓縮圖像中的塊效應(yīng)，獲取塊效應(yīng)消除后的稀疏系數(shù)表示矩陣；(6)利用3D字典和塊效應(yīng)消除后的稀疏系數(shù)表示矩陣得到塊效應(yīng)消除后的3D結(jié)果圖。本發(fā)明與現(xiàn)有技術(shù)相比，可得到更高或相似的峰值信噪比和結(jié)構(gòu)相似度，且塊效應(yīng)消除后的圖像視覺效果更好。
文檔編號H04N7/26GK102523454SQ20121000044
公開日2012年6月27日 申請日期2012年1月2日 優(yōu)先權(quán)日2012年1月2日
發(fā)明者侯彪, 公茂果, 孫天, 焦李成, 鄭喆坤, 馬晶晶, 齊宏濤 申請人:西安電子科技大學(xué)