一種基于學習的低比特率壓縮圖像超分辨率重建方法
【專利摘要】本發(fā)明公開了一種基于學習的低比特率壓縮圖像超分辨率重建方法，算法分為離線部分和在線部分。離線部分，首先采用不同壓縮質量參數值對低分辨率圖像進行壓縮；然后對壓縮圖像進行濾波處理，接著將濾波后壓縮圖像的量化失真程度作為特征，將濾波后的LR圖像按照其失真程度分為多類并建立分類樣本庫，然后分別用各類樣本進行超分辨率模型的訓練。在線部分，首先對輸入圖像進行濾波處理，接著判定其壓縮失真類別，然后根據判定結果，選擇相應類別的樣本庫和超分辨率模型，實現基于學習的超分辨率復原。相比其他算法，本發(fā)明的方法能針對不同失真程度的輸入LR圖像自適應的調節(jié)與其相匹配的樣本庫，并能有效解決塊效應失真對圖像超分辨率的影響，與直接對低比特率失真圖像進行超分辨率復原相比，本發(fā)明方法所重建的圖像具有更高的主客觀質量。
【專利說明】一種基于學習的低比特率壓縮圖像超分辨率重建方法【技術領域】
[0001]本發(fā)明涉及圖像處理方法，特別涉及一種基于學習的低比特率壓縮圖像超分辨率
重建方法。
【背景技術】
[0002]高質量的圖像和視頻因其具有更豐富的信息和更真實的視覺感受，越來越成為一種主流的需求。但是圖像的質量越高也就意味著數據量越大，這給圖像信息的存儲、傳輸、處理等帶來了很大的負擔。受到傳輸帶寬和存儲空間等因素的影響，人們對視頻和圖像內容進行低比特壓縮的需求日益增長。但是，當JPEG壓縮率較高時，通常會導致解碼后重建圖像的質量下降，影響信息的主觀質量和自動分析。因此，針對高度壓縮后的低質圖像，研究超分辨率復原技術，提高圖像的質量，具有重要的理論意義和實際應用價值。
[0003]然而，由于圖像壓縮方法本身的局限性，采用針對非壓縮圖像的超分辨率方法直接對低比特壓縮圖像進行超分辨率重建時，會出現嚴重的塊效應失真。因此，去除塊效應成為低比特壓縮圖像超分辨率復原過程中的一個重要問題。人們往往采用后處理的方法來減少塊效應。后處理方法在濾波時獨立于解碼器，直接對解碼后的圖像進行操作，具有靈活、簡單、有效等優(yōu)勢。基于圖像增強的后處理方法，因其不依賴任何解碼信息，可獨立地去除塊效應，更易于實現而得到廣泛研究。其中，空域濾波是一種最基本的方法，該方法直接對圖像中像素的亮度值進行處理。由于圖像中的塊效應是由于量化誤差引起的，圖像內容的變化會引起壓縮后圖像的塊效應的表現形式，因此對圖像不同區(qū)域自適應地選擇不同平滑強度的濾波器，有著很重要的意義。典型的空域濾波法通常采用紋理分類的方法，根據人眼視覺特性將圖像分為平坦塊與非平坦塊，然后進行自適應濾波，該方法的兩個顯著特點是根據自身局部信息將圖像劃分為 不同的區(qū)域，對不同的區(qū)域采用不同的濾波方法去除塊效應。通常的方法是在平坦區(qū)域采用高強度平滑，因為平坦區(qū)域不存在高頻信息，高強度的平滑不會使圖像過度模糊。對于非平坦塊，由于存在較多的高頻信息，應用低強度平滑濾波能夠較好地保存高頻細節(jié)信息。然而在該算法中，含有明顯邊緣信息的區(qū)域統(tǒng)一歸為紋理區(qū)域，并未進行單獨處理。實驗結果表明，受到量化失真的影響，這類區(qū)域會對圖像的主觀質量造成較大的影響。因此，采用與紋理區(qū)域相同的濾波器不能很好地處理邊緣區(qū)域的量化失真問題。

【發(fā)明內容】

[0004]本發(fā)明的目的在于，面向低比特率壓縮圖像，采用一種改進的后處理濾波算法和一種樣本預分類的方法，結合基于學習的圖像超分辨率方法，解決具有塊效應失真的低分辨率圖像的超分辨率復原問題。
[0005]本發(fā)明是采用以下技術手段實現的:
[0006]一種基于學習的低比特率壓縮圖像超分辨率重建方法，整體流程圖如附圖1所示；算法分為離線部分和在線部分；其流程圖分別如附圖2和附圖3所示；離線部分，根據壓縮圖像失真程度建立分類樣本庫；首先采用不同壓縮質量參數(CQ，CompressedQuality)值對低分辨率(LR,Low Resolution)圖像進行壓縮；然后對壓縮圖像進行濾波處理，去除失真圖像中的部分塊效應；接著將濾波后壓縮圖像的量化失真程度作為特征進行K均值聚類，將濾波后的LR圖像按照其失真程度分為多類并建立分類樣本庫，分別用各類樣本進行超分辨率模型的訓練；在線部分，對輸入圖像進行壓縮程度的類別判定，然后實現基于學習的超分辨率復原；首先對輸入的低比特率壓縮LR圖像進行濾波處理，然后評估量化失真程度，選擇相應類別的樣本庫和超分辨率模型，進行基于學習的超分辨率復原。
[0007]所述離線部分分為4個步驟:
[0008](I)對n^gLR圖像運用JPEG壓縮方法，進行η個不同CQ值的壓縮處理，生成不同壓縮失真程度的樣本圖像共mXn幅。以上所述LR圖像是指相對于高分辨率(HR，HighResolution)圖像而言，如果一幅HR圖像單位面積內所占的像素數為H，那么相對于這幅HR圖像而言單位面積內所占像素數小于或等于1/2XH，一般就視其為低分辨率圖像。這里，CQ值為采用JPEG對圖像進行壓縮時的壓縮質量參數，調節(jié)CQ大小就可以得到不同壓縮率的壓縮圖像；
[0009](2)對(I)中得到的圖像采用后處理濾波方法進行濾波處理，去除失真圖像中的部分塊效應。
[0010](3)對濾波后的圖像壓縮失真程度進行評估。計算每幅濾波后的圖像的塊效應失真值，作為失真程度評估值。以上所述，后處理濾波方法，首先對圖像進行紋理分類，將圖像劃分為邊緣區(qū)域，紋理區(qū)域和平坦區(qū)域，然后根據圖像塊的類型，針對性的選擇不同的濾波方法對圖像進行濾波，去除圖像中的塊效應。以上所述，圖像的塊效應失真程度評估值方法采用圖像的MSDS值作為圖像塊效應的失真程度評估值。MSDS (MSDS，Mean SquaredDifference of Slopes)是一種均方斜率誤差的塊效應評價準則，MSDS算法通過描述圖像塊邊界像素跳變的劇烈程度來衡量塊效應的程度。在正常的圖像中，相鄰塊邊界的像素亮度值通常為平穩(wěn)過度或者連續(xù)過度，正常圖像中邊緣像素值跳變不可能總出現在分塊的邊界處，如果圖像分塊的邊界處 的像素值總是出現跳變就可以認為此處出現了塊效應。MSDS通過計算相鄰圖像塊邊界處的像素差值和靠近邊界的像素平均亮度差值，來反應塊與塊邊界之間的像素跳變情況，因此，根據MSDS值的大小，就可以判別圖像塊效應失真的嚴重程度。
[0011](4)用得到的評估值為特征，采用K均值聚類的方法按照濾波后的圖像的失真程度將這些圖像分為N類；針對每個類中的圖像，建立用于超分辨率復原的樣本庫，結合與樣本庫中LR圖像對應的HR圖像進行基于學習的超分辨率復原模型的訓練，為在線部分的輸入圖像超分辨率復原做準備；
[0012]所述在線部分分為3個步驟:
[0013](I)輸入一幅低比特率壓縮圖像，對其采用以上所述后濾波方法進行濾波處理；
[0014](2)對濾波后的圖像計算MSDS值，得到該圖的塊效應失真評估分數；根據得到的分數與N個類別中的樣本圖像的分數計算相似度，判斷輸入圖像所屬的壓縮失真類別。判斷輸入圖像所屬的壓縮失真類別具體方法為:首先對輸入的失真LR圖像進行濾波處理，獲得其MSDS值，然后計算它與N個類別的聚類中心間的歐氏距離，以與輸入圖像的歐氏距離最近的聚類中心所在類別，為輸入圖像所屬的類別；[0015](3)選擇與輸入圖像最相近的一類中的樣本作為輸入圖像的樣本庫，將濾波后的輸入圖像的數據輸入到離線部分已經訓練好的超分辨率復原模型中，實現圖像的超分辨率復原；
[0016]本發(fā)明與現有技術相比，具有以下明顯的優(yōu)勢和有益效果:
[0017]本發(fā)明首先提出了一種改進的空域圖像濾波算法，利用了人眼視覺敏感特征，將圖像紋理分為平坦塊，邊緣塊和紋理塊。然后分別對3種類型塊區(qū)域采用不同強度的濾波算法，去除塊效應。在建立樣本庫時，采用這種改進的濾波方法對失真的LR圖像進行了濾波處理，較好的解決了重建圖像的塊效應失真問題；另外，針對不同壓縮失真程度的LR輸入圖像，提取了濾波后圖像的MSDS值作為每幅圖像的特征，然后采用K均值聚類將具有相近失真程度的圖像歸為一類，并建立相應的樣本庫。在對不同失真程度的輸入LR圖像進行超分辨率復原時，首先評估其MSDS值，然后確立最相近的一類作為輸入LR圖像的樣本庫，最后應用基于學習的超分辨率算法進行超分辨率復原獲得輸出的HR圖像。相比其他算法，本發(fā)明的方法能針對不同失真程度的輸入LR圖像自適應的調節(jié)與其相匹配的樣本庫，并能有效解決塊效應失真對圖像超分辨率的影響，與直接對低比特率失真圖像進行超分辨率復原相比，本發(fā)明方法所重建的圖像具有更高的主客觀質量。
[0018]本發(fā)明的特點:
[0019]1.提出一種改進的空域濾波算法，將圖像紋理分為平坦塊，邊緣塊和紋理塊，分別對3種類型塊區(qū)域采用不同強度的濾波算法，濾波更具針對性，在濾波的同時更好地保持圖形細節(jié)信息；
[0020]2.利用失真 圖像的MSDS特征值，采用K均值聚類對圖像的失真程度進行分類，可自適應調節(jié)與輸入圖像相匹配的樣本庫，同時細化了樣本庫，減少了計算量；
[0021]3.用于超分辨率復原所用的樣本庫是通過濾波后建立的，有效解決了圖像超分辨率重建的塊效應失真問題；
[0022]下面結合實例參照附圖進行詳細說明，以求對本發(fā)明的目的、特征和優(yōu)點得到更深入的理解。
【專利附圖】

【附圖說明】:
[0023]圖1、發(fā)明方法總體流程圖；
[0024]圖2、發(fā)明方法離線部分流程圖；
[0025]圖3、發(fā)明方法在線部分流程圖；
[0026]圖4、圖像紋理分類結果；(a)原始圖像；(b)邊緣圖像；(C)紋理圖像；(d)平坦圖像；
[0027]圖5、塊效應示意圖；
[0028]圖6、需要被濾波的水平與垂直邊界示意圖；
[0029]圖7、基于示例學習的超分辨率重建模型；
[0030]圖8、本發(fā)明方法與現有方法結果比較:
[0031](a)原始高分辨率圖像(b) JPEG壓縮后的圖像(CQ=I5)
[0032](C)經過壓縮后直接重建圖像 (d)現有方法
[0033](e)本發(fā)明結果?！揪唧w實施方式】:
[0034]以下結合說明書附圖，對本發(fā)明的實施實例加以詳細說明:
[0035]本發(fā)明算法分為離線和在線兩部分。離線部分，根據壓縮圖像失真程度建立分類樣本庫；首先采用不同壓縮質量參數(CQ)值對低分辨率(LR)圖像進行壓縮；然后對壓縮圖像進行濾波后處理，去除失真圖像中較明顯的塊效應；接著將濾波后壓縮圖像的量化失真程度作為特征進行K均值聚類，將濾波后的LR圖像按照其失真程度分為多類并建立分類樣本庫，分別用各類樣本進行超分辨率模型的訓練；在線部分，對輸入圖像進行類別判定完成基于學習的超分辨率復原；首先對輸入的低比特率壓縮LR圖像進行濾波處理，然后評估量化失真程度，選擇相應類別的樣本庫和超分辨率模型，進行基于學習的超分辨率復原。
[0036](一)離線部分
[0037](I)不同CQ值對LR圖像進行壓縮
[0038]選擇一個HR圖像樣本庫(非壓縮圖像)，樣本庫中圖像具體分辨率為140X160像素，選擇其中的1000幅HR圖像，然后對這些圖像直接進行下采樣，生成1000幅低分辨率的LR圖像組成樣本庫。從這個LR樣本庫中選擇m=300幅圖像，具體分辨率為70X80像素的圖像。采用JPEG壓縮方式，將這m幅LR圖像進行CQ=5~20的壓縮，這樣共產生4800幅壓縮失真圖像。CQ值選擇這個區(qū)間的原因是當CQ小于5時，圖像失真程度已經無法進行有效的超分辨率復原，且不是常用的CQ范圍，CQ大于20時，圖像的主觀質量已經基本一致，人眼已經無法察覺圖像失真，并且壓縮碼流的大小超出低比特率范圍。
[0039]( 2)對壓縮圖像進行濾波處理
[0040]對(I)中得到的圖像采用后處理濾波方法進行濾波處理，以上所述，后處理濾波方法，首先對圖像進行紋理分類，將圖像劃分為邊緣區(qū)域，紋理區(qū)域和平坦區(qū)域；然后根據圖像塊的類型，針對性地選擇不同的濾波方法對圖像進行濾波。將3種區(qū)域按照8X8大小分塊，再根據圖像塊類型分別采用不同方式進行去塊效應濾波。
[0041]首先，對圖像進行紋理分類，具體方法為:
[0042]選擇Sobel算子提取圖像像素點的梯度信息，采用的方向模板如公式⑴:
【權利要求】
1.一種基于學習的低比特率壓縮圖像超分辨率復原方法；算法分為離線部分和在線部分；所述離線部分包括4個步驟；首先將用于訓練的圖像樣本采用不同的壓縮比生成具有不同壓縮質量的圖像，然后進行濾波處理去除壓縮失真圖像中的部分塊效應，接著根據壓縮圖像失真程度建立分類樣本庫并訓練基于學習超分辨率復原中的預測模型，為在線部分的輸入圖像超分辨率復原做準備； 所述在線部分包括3個步驟；實現輸入低比特率壓縮圖像的去塊效應，類別判定和最終的超分辨率復原； 所述的離線部分，具體步驟如下: .1.1不同CQ值對LR圖像進行壓縮: 對m幅LR圖像運用JPEG壓縮方法，進行η個不同CQ值的壓縮處理，生成不同壓縮失真程度的樣本圖像共mXn幅；這里LR圖像是指未經壓縮的低分辨率圖像，CQ值為采用JPEG對圖像進行壓縮時的壓縮質量參數； .1.2對壓縮圖像進行濾波處理: 對1.1中得到的圖像采用后處理濾波方法進行濾波處理，去除失真圖像中的部分塊效應；以上所述后處理濾波方法，首先對圖像進行紋理分類，將圖像劃分為邊緣區(qū)域，紋理區(qū)域和平坦區(qū)域；然后根據圖像塊的類型，針對性地選擇不同的濾波方法對圖像進行濾波；以上所述對圖形進行紋理分類的具體方法為: 選擇Sobel算子提取圖像像素點的梯度信息，采用的方向模板如公式(I):
【文檔編號】H04N7/26GK103475876SQ201310379154
【公開日】2013年12月25日 申請日期:2013年8月27日 優(yōu)先權日:2013年8月27日
【發(fā)明者】李曉光, 趙寒, 卓力, 魏振利 申請人:北京工業(yè)大學