一種基于非線性預(yù)測稀疏編碼的單幅圖像超分辨率快速重建方法
【專利摘要】本發(fā)明公開了一種基于非線性預(yù)測稀疏編碼的圖像超分辨率重建方法，在訓(xùn)練過程中，本發(fā)明在經(jīng)典的基于稀疏編碼算法的準(zhǔn)則函數(shù)基礎(chǔ)上疊加了非線性預(yù)測編碼項(xiàng)，并且設(shè)計了自己的優(yōu)化策略來最小化該目標(biāo)函數(shù)，在重建過程中，本發(fā)明僅僅對輸入的低分辨率圖像塊和預(yù)先訓(xùn)練得到的低分辨率字典采用一個非線性迭代步驟直接來逼近所要求的稀疏編碼，避免了對每一個小圖像塊求解稀疏表示系數(shù)的問題。實(shí)驗(yàn)結(jié)果表明，與經(jīng)典的基于稀疏編碼的圖像超分辨率算法相比，本發(fā)明在保證了重建結(jié)果具有充分競爭力的同時大大降低了實(shí)驗(yàn)所需的時間。
【專利說明】
一種基于非線性預(yù)測稀疏編碼的單幅圖像超分辨率快速重建 方法
技術(shù)領(lǐng)域
[0001] 發(fā)明涉及圖像信息處理技術(shù)領(lǐng)域，特別是涉及一種基于預(yù)測稀疏編碼的單幅圖像 快速超分辨率重建方法。
【背景技術(shù)】
[0002] 圖像超分辨率問題一直是數(shù)字圖像處理領(lǐng)域的一個基本問題，也是當(dāng)前計算機(jī)視 覺領(lǐng)域中受人關(guān)注的熱點(diǎn)問題之一。圖像超分辨率是指由一幅低分辨率圖像或者圖像序列 恢復(fù)出高分辨率圖像的過程。由于圖像分辨率的高低往往表現(xiàn)了圖像質(zhì)量的高低，而一幅 高分辨率圖像能提供更多的圖像信息，對圖像識別、圖像理解起到非常重要的作用，因此從 低分辨率圖像恢復(fù)出高分辨率圖像是非常有必要的。由于硬件設(shè)備上具有局限性，而使用 算法實(shí)現(xiàn)圖像超分辨率技術(shù)能夠緩解硬件技術(shù)上的復(fù)雜設(shè)計工序和巨大的消耗成本，因而 不論在理論還是實(shí)際中，都有著廣闊的研究和應(yīng)用前景。目前，圖像超分辨率技術(shù)在遙感探 測、醫(yī)學(xué)成像、公共安全、人機(jī)交互等領(lǐng)域都有著廣泛的應(yīng)用。
[0003] 由于在同樣場景下的低分辨率圖像要比高分辨率圖像丟失更多的高頻信息和細(xì) 節(jié)信息，所以通過低分辨率圖像重建出相同場景下的高分辨率圖像一直是一個ill-posed 問題。目前，圖像超分辨率方法主要分為三大類:基于插值、基于重建和基于學(xué)習(xí)的方法?；?于插值的圖像超分辨率算法通過將同一場景下的多幅低分辨率圖像映射到參考圖像以獲 得對應(yīng)的亞像素信息，再通過對這些亞像素的計算獲得采樣點(diǎn)的樣素信息，其本質(zhì)就是采 樣點(diǎn)的像素通過周圍的像素替代得到。基于插值的算法具有實(shí)現(xiàn)簡單、計算復(fù)雜度低的特 點(diǎn)，但是插值法并不能增加圖像的信息，自然不能準(zhǔn)確地建模出圖像豐富的細(xì)節(jié)?；谥亟?的超分辨率方法分成兩個步驟:配準(zhǔn)和重建。配準(zhǔn)的目的是求出低分辨率圖像與參考低分 辨率圖像在亞像素級別上的相對位移，重建的目的就是在充分利用先驗(yàn)知識的基礎(chǔ)上，優(yōu) 化求解目標(biāo)圖像。在基于重建的方法中，幀之間的估計、配準(zhǔn)起到了至關(guān)重要的作用，但是 想要獲得精確的亞像素級別的配準(zhǔn)信息是非常困難的，所以重建的結(jié)果也會不盡如人意。 此外，基于重建的方法對噪聲也不夠魯棒。近年來，主流的超分辨率方法都是基于學(xué)習(xí)的方 法?；趯W(xué)習(xí)的方法借助機(jī)器學(xué)習(xí)知識，對外部的高、低分辨率圖像訓(xùn)練集學(xué)習(xí)出一個映射 關(guān)系，然后通過學(xué)習(xí)到的映射關(guān)系與低分辨率圖像(或者圖像塊)重建出高分辨率圖像（圖 像塊)。
[0004] 基于稀疏表示的圖像超分辨率重建算法是近年來比較好的一種基于學(xué)習(xí)的方法。 基于稀疏表示的圖像超分辨率模型將高分辨圖像和低分辨率圖像分別按空間劃分成一系 列對應(yīng)的子塊，采用聯(lián)合訓(xùn)練的策略為高分辨率圖像塊和低分辨率圖像塊訓(xùn)練出高分辨率 字典和低分辨率字典，在訓(xùn)練字典時，其基于對應(yīng)位置上的高、低分辨率圖像塊共享同一個 稀疏編碼的假設(shè)。在重建時，對于輸入的低分辨率輸入塊，首先為每一個輸入塊求出一個最 佳的稀疏編碼，然后利用求到的稀疏編碼和高分辨率字典重建出高分辨率圖像塊。由于基 于稀疏編碼的方法在測試階段需要對每一個圖像塊求解一個稀疏系數(shù)問題，如果一幅圖像 分得的塊數(shù)過多，整個過程的計算開銷是非常大的。本文采用稀疏編碼的變種方法:預(yù)測稀 疏編碼，對單幅圖像進(jìn)行超分辨率重建工作，實(shí)驗(yàn)結(jié)果表明，與經(jīng)典的基于稀疏編碼的算法 相比，本算法在重建結(jié)果具有充分競爭力的同時大大減少了重建階段花費(fèi)的時間。

【發(fā)明內(nèi)容】

[0005] 發(fā)明目的：本發(fā)明與經(jīng)典的基于稀疏編碼的算法相比，在保證實(shí)驗(yàn)結(jié)果具有充分 競爭力的前提下，大大降低重建所需要的時間。
[0006] 1)本發(fā)明技術(shù)方案如下：
[0007] 經(jīng)典的基于稀疏編碼過程往往需要迭代求解，因此在大數(shù)據(jù)環(huán)境下耗時較多。作 為稀疏編碼的一個變種，預(yù)測稀疏編碼在采用一個非迭代逼近步驟來取代迭代編碼過程， 省去了測試階段求解編碼的計算開銷，顯著減少了計算量。預(yù)測稀疏編碼已經(jīng)在圖像和視 頻物體識別中取得了很好的應(yīng)用。本方案中，給定采樣的訓(xùn)練塊對{Xh，Xi}，這里Xh是高分辨 率圖像塊，Χι是經(jīng)過對應(yīng)的高分辨率圖像塊下采樣得到的低分辨率圖像塊。本文考慮如下 準(zhǔn)則函*r.
[0008] (1)
[0009] 上式中，i表示字典的第i列，A代碼稀疏編碼。其中：
[0010]
⑵
[0011] 上式中，N和Μ分別是高、低分辨率圖像塊以列向量形式表達(dá)的維數(shù)，W、B是非線性 預(yù)測模型的參數(shù)。與經(jīng)典的稀疏編碼圖像超分辨率訓(xùn)練準(zhǔn)則相比，本文在它的基礎(chǔ)上分別 增加了高、低分辨率非線性解碼項(xiàng)，從而可以使得訓(xùn)練出來的字典具有編碼線性預(yù)測的功 能。
[0012] 2)本方案的準(zhǔn)則函數(shù)是一個凸問題，本文采用固定一些參數(shù)，優(yōu)化其中一個參數(shù) 的方法交替優(yōu)化，本文優(yōu)化如下問題：
[0013]
〉 [0014] 整個優(yōu)化過程如下：
[0015] 2-1)令t = 0。采用高斯隨機(jī)矩陣對字典Di和Dh初始化處理，并且將字典的每一個列 都作單位歸一化，隨機(jī)初始化W和B。
[0016] 2-2)固定B(t)、W(t)、￡^和，采用ADMM方法，更新A(t):
[0017]
[0018] 2-3)固定A(t)，Df和if采用梯度下降法，更新W和B:
[0019]
[0020] 2-4)固定A(t)，W，B，更新if+1>和D;' +U :
[0021]
[0022]
[0023]這一步利用聯(lián)合字典訓(xùn)練思路進(jìn)行優(yōu)化。
[0024] 2-5)令t: =t+l，迭代2)和4)，直到收斂。
[0025] 3)利用非線性預(yù)測稀疏編碼進(jìn)行圖像超分辨率重建時，在重建階段不必再為每一 個圖像塊求解一個稀疏表示問題，設(shè)輸入的圖像為Y，每個輸入的圖像塊為y。每個圖像塊的 稀疏編碼可以進(jìn)行如下逼近：
[0026] A = tanh(ffy+B) (4)
[0027] 可以看到該過程只涉及到矩陣最基本的運(yùn)算，相對于求解一個帶約束項(xiàng)的稀疏問 題而言，計算開銷大大降低了。高分辨率塊重建表達(dá)式如下：
[0028] xh=DhA = Dh (tanh (ffy+B)) (5)
[0029] 下面給出了非線性預(yù)測稀疏編碼的超分辨率流程。
[0030] 基于非線性預(yù)測稀疏編碼的圖像超分辨率算法：
[0031 ] 3-1)輸入:預(yù)訓(xùn)練得到的字典Dh和Di，一幅低分辨率圖像Y，參數(shù)W和B。
[0032] 3-2)F〇r對于Y中的每個5*5小塊y，從左到右，從上到下，在每個方向上保證4個
[0033] 像素 重疊：
[0034]①計算每個塊中的平均像素值m，每個塊的像素值減去均值；
[0035] ②計算高分辨率塊Xh=Dh(tanh(Wy+B));
[0036]③計算Xh+m，填入高分辨率圖像X〇。
[0037] End
[0038] 3-3)在解空間中，找到與Xo最匹配的圖像：
[0039]
[0040] Η是一個模糊算子，S是一個下采樣算子，c是平衡參數(shù)。
[0041 ] 3-4)輸出：超分辨率圖像X'
[0042]以下表1列出了超分辨率結(jié)果常用的評價指標(biāo)PSNR值，表2是實(shí)驗(yàn)時間的比較?？?以看出，單從PSNR值上看，本文算法和基于稀疏算法相比大抵相當(dāng)，但是本文所用的重建時 間大大減少。另外，本文對輸入大小不同的圖像做了實(shí)驗(yàn)，其重建時間如表3所示，可以看 出，尤其當(dāng)輸入圖像較大大時，本文算法在重建結(jié)果具有競爭力的同時，在時間上的優(yōu)勢更 加明顯。
[0043] 表1三種方法的PSNR值對比單位:dB
[0044]
[0045] ~表2重建時間對比，單位:秒
[0046]

[0047] 表3大小不同圖像所用時間單位:秒
[0048]

【附圖說明】
[0049] 圖1為本發(fā)明方案邏輯框圖。
[0050] 有益效果
[0051] 本發(fā)明在保證了實(shí)驗(yàn)指標(biāo)具有充分競爭力的同時，大大降低了整個重建過程所需 要的時間。尤其在輸入的圖像較大時，本發(fā)明在時間上面的優(yōu)勢更加明顯。
【具體實(shí)施方式】
[0052] 下面結(jié)合附圖1對本發(fā)明作進(jìn)一步詳細(xì)說明。
[0053]本文采用超分辨率實(shí)驗(yàn)常見的69張圖像作為訓(xùn)練集，整個訓(xùn)練的圖像塊約為10萬 個塊。訓(xùn)練過程如下：
[0054] 1)令t = 0,采用高斯隨機(jī)矩陣對字典DjPDh初始化處理，并且將字典的每一個列都 作單位歸一化，隨機(jī)初始化W和B;
[0055] 2)固定/)丨〃、AW、W(t)、B⑴，采用ADMM方法，更新A(t):
[0056] t 、
/
[0057] 3)固定A(t)，和采用梯度下降法，更新W和B:
[0058]
[0059] 4)固定A(t)，W(t)，B(t)，更新 ΑΓ1 和 A(，+li:
[0060]
[0061]
[0062]這一步利用聯(lián)合字典訓(xùn)練思路進(jìn)行優(yōu)化；
[0063] 5)令t: =t+l，迭代2)到4)，直到收斂；
[0064] 訓(xùn)練結(jié)束后，保存DhD^Wd。在獲得字典對和模型參數(shù)之后，對低分辨率圖像進(jìn)行 重建工作，重建流程如下：
[0065] 1)輸入:預(yù)訓(xùn)練得到的字典Dh和Di，一幅低分辨率圖像Y，參數(shù)W和B。
[0066] 2)For對于Y中的每個5*5小塊y，從左到右，從上到下，在每個方向上保證4個像 [0067] 素重疊：
[0068] ①計算每個塊中的平均像素值m，每個塊的像素值減去均值；
[0069] ②計算高分辨率塊Xh=Dh(tanh(Wy+B));
[0070] ③計算Xh+m，填入高分辨率圖像Xo。
[0071] End
[0072] 3)在解空間中，找到與Xo最匹配的圖像：
[0073]
[0074] Η是一個模糊算子，S是一個下采樣算子，c是平衡參數(shù)。
[0075] 4)輸出：超分辨率圖像X'
[0076] 附圖1給出了本發(fā)明在重建階段每個圖像塊的恢復(fù)過程圖。對于輸入的每個低分 辨率圖像塊，首先為每個低分辨率圖像塊求出各自在低分辨率字典上的表示系數(shù)，然后利 用這組表示系數(shù)和高分辨率字典重建出高分辨率圖像塊。
[0077]本實(shí)施例所做實(shí)驗(yàn)的計算機(jī)配置為：64位的操作系統(tǒng)、16GB的內(nèi)存、英特爾處理 器，軟件運(yùn)行環(huán)境為MATLAB R2011a版本，實(shí)驗(yàn)輸入圖像為128*128,放大兩倍。
【主權(quán)項(xiàng)】
1. 一種基于非線性預(yù)測稀疏編碼的圖像超分辨率重建方法，其特征在于：重建階段不 需要對每個圖像塊求解一個稀疏表示問題，而僅僅采用輸入的低分辨率圖像塊和預(yù)先訓(xùn)練 得到低分辨率字典直接預(yù)測出稀疏編碼，采用如下步驟： 1) 如下給定采樣的訓(xùn)練塊對lXh，Xi}，運(yùn)里抽是高分辨率圖像塊，&是經(jīng)過對應(yīng)的高分辨 率圖像塊下采樣得到的低分辨率圖像塊。本文考慮如下準(zhǔn)則函數(shù)：上式中，N和Μ分別是高、低分辨率圖像塊W列向量形式表達(dá)的維數(shù)，W、B是非線性預(yù)測 模型的參數(shù)； 2) 優(yōu)化如下問題：整個優(yōu)化過程如下： 2-1)令t = 〇,采用高斯隨機(jī)矩陣對字典化和Dh初始化處理，并且將字典的每一個列都作 單位歸一化，隨機(jī)初始化W和B; 2-2)固定好)、0f)、： w(>)、： 采用ADMM方法，更新A(t):2-3)固定、公f哺Α("采用梯度下降法，更新W和B:運(yùn)一步利用聯(lián)合字典訓(xùn)練思路進(jìn)行優(yōu)化； 2-5)令t: = t+1，迭代2-2)到2-4)，直到收斂； 3) 利用非線性預(yù)測稀疏編碼進(jìn)行圖像超分辨率重建時，在重建階段不必再為每一個圖 像塊求解一個稀疏表示問題，設(shè)輸入的圖像為Y，每個輸入的圖像塊為y，每個圖像塊的稀疏 編碼可W進(jìn)行如下逼近： A = tanh(Wy+B) (4) 高分辨率塊重建表達(dá)式如下： xh = DhA=Dh(tanh(Wy+B)) (5) 下面給出了非線性預(yù)測稀疏編碼的超分辨率流程； 步驟3)中基于非線性預(yù)測稀疏編碼的圖像超分辨率算法： 3-1)輸入:預(yù)訓(xùn)練得到的字典Dh和化，一幅低分辨率圖像Y，參數(shù)W和B; 3-2 )Fo;r對于Y中的每個時5小塊y，從左到右，從上到下，在每個方向上保證4; 個像素重疊： ① 計算每個塊中的平均像素值m，每個塊的像素值減去均值； ② 計算高分辨率塊xh = Dh(tanh(Wy+B)); ③ 計算xh+m，填入高分辨率圖像Xo; End 3-3)在解空間中，找到與姑最匹配的圖像：Η是一個模糊算子，S是一個下采樣算子，C是平衡參數(shù)； 3-4)輸出：超分辨率圖像X*。
【文檔編號】G06T9/00GK105976410SQ201610292197
【公開日】2016年9月28日
【申請日】2016年5月5日
【發(fā)明人】沈輝, 袁曉彤
【申請人】南京信息工程大學(xué)