專(zhuān)利名稱(chēng)：基于雙字典學(xué)習(xí)的圖像超分辨重建方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體地說(shuō)是一種對(duì)低分辨圖像進(jìn)行超分辨重建的方法，該方法可用于各種自然圖像的超分辨重建。
背景技術(shù)：
圖像的超分辨重建是指利用一幅或多幅低分辨率圖像，根據(jù)相應(yīng)的算法重構(gòu)出一幅清晰的高分辨率圖像，它是圖像處理中重要而又富有挑戰(zhàn)性的研究?jī)?nèi)容，在視頻監(jiān)控、高清電視成像等方面應(yīng)用廣泛。目前國(guó)內(nèi)外針對(duì)圖像的超分辨重建做了大量的研究工作，提出許多經(jīng)典的算法。比較傳統(tǒng)的圖像超分辨重建方法包括雙線(xiàn)性插值、雙立方插值、迭代反向投影、凸集投影法等。這些方法計(jì)算量小，原理簡(jiǎn)單，已經(jīng)被廣泛地應(yīng)用到圖像超分辨重建中，但是這些傳統(tǒng)方法在超分辨重建過(guò)程中會(huì)產(chǎn)生振鈴、塊效應(yīng)等人工痕跡，并且在高放大因子條件下重建的圖像質(zhì)量下降比較嚴(yán)重。針對(duì)上述傳統(tǒng)的圖像超分辨重建方法效果較差，在實(shí)際應(yīng)用中不能很好地實(shí)現(xiàn)的問(wèn)題，目前國(guó)際上提出了一些改進(jìn)上述缺點(diǎn)的超分辨重建算法。如，Hong Chang等人提出一種基于鄰域嵌入的圖像超分辨重建算法，具體參見(jiàn)文獻(xiàn)《Super-resolution throughneighbor embedding)). CVPR, 2004。在該算法中，假設(shè)高、低分辨率圖像具有相似的結(jié)構(gòu)，將低分辨空間的權(quán)值運(yùn)用于高分辨空間，重構(gòu)出高分辨圖像。但是這種算法獲得的高分辨圖像缺乏細(xì)節(jié)信息，圖像邊緣比較模糊；此后，Yang等人提出了一種基于稀疏表示字典學(xué)習(xí)的算法，具體參見(jiàn)文獻(xiàn)《Super-Resolution Via Sparse Representation)) IEEE Trans.Image Process, 2010, vol. 19，pp: 2861-2872，該算法首先通過(guò)字典學(xué)習(xí)的方法獲得低分辨字典與高分辨字典，然后將待處理的低分辨圖像在低分辨字典下進(jìn)行投影，得到低分辨圖像的稀疏表示系數(shù)，最后根據(jù)投影得到的稀疏表示系數(shù)和高分辨字典，便可以得到重構(gòu)的高分辨圖像。但該方法需要大量的低分辨率圖像和高分辨率圖像塊以保證先驗(yàn)輪廓細(xì)節(jié)信息的充分性，計(jì)算量巨大，圖像重建時(shí)間長(zhǎng)，導(dǎo)致效率偏低。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)上述已有技術(shù)的不足，提出一種基于雙字典學(xué)習(xí)的圖像超分辨重建方法，以在圖像超分辨重建時(shí)，能夠去除振鈴和塊效應(yīng)這些人工痕跡，恢復(fù)更多的圖像細(xì)節(jié)信息，提高重建圖像的質(zhì)量。為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案包括如下步驟(I)輸入一幅待處理的低分辨圖像\，圖像大小為mXn，設(shè)定圖像的放大倍數(shù)為2 ；(2)對(duì)待處理的低分辨圖像\進(jìn)行大小為3X3的分塊，相鄰塊之間重疊2個(gè)像素，得到G個(gè)待處理低分辨圖像塊P1⑴，i = 1， ，G ;(3)輸入5幅高分辨訓(xùn)練圖像和相應(yīng)的5幅低分辨訓(xùn)練圖像，利用訓(xùn)練圖像構(gòu)造5個(gè)高分辨字典Dhl，Dh2,. . .，Dh5和相應(yīng)的5個(gè)低分辨字典D11, D12,. . . , D15 ；(4)在第I對(duì)高分辨和低分辨字典(Dhl，D11)下，重構(gòu)大小為2mX 2n的高分辨估計(jì)圖像Xhi 4a)提取待處理低分辨圖像塊P1Q)，初始化P1Q)的標(biāo)記為i = I ;4b)利用如下公式計(jì)算待處理低分辨圖像塊P1Q)與低分辨字典D11中各元素的距離 DISTl (t)DISTl (t) = IP1W-Dna) |2，其中D11 (t)，t = 1，2，. . .，T，t表示第t個(gè)低分辨字典元素，T表示低分辨字典元素的總數(shù)量，即T = 20000，I I2表示取( )的絕對(duì)值平方操作；4c)將距離DISTl⑴中最小的前5個(gè)結(jié)果對(duì)應(yīng)的5個(gè)低分辨字典元素記為 D11 (k)，k = 1，. . .，5，通過(guò)低分辨字典D11與高分辨字典Dhl之間的對(duì)應(yīng)關(guān)系，找到高分辨字典Dhl中相對(duì)應(yīng)的5個(gè)高分辨字典元素Dhl(k),k= 1,...,5;4d)利用局部權(quán)重公式計(jì)算5個(gè)低分辨字典元素D11GO重構(gòu)圖像塊P1Q)的重構(gòu)系數(shù) w(k), k = 1,...,5;4e)將重構(gòu)系數(shù)w(k)與步驟4c)中搜索到的5個(gè)高分辨字典元素Dhl (k)進(jìn)行求和，得到高分辨圖像塊Ph(i)，其計(jì)算公式為
5Pa (丫) = Z vv’(A )/&(々)，
紀(jì)14f)設(shè)置標(biāo)記i = i+1，判斷是否滿(mǎn)足條件i > G，如果滿(mǎn)足，則得到重構(gòu)的高分辨估計(jì)圖像Xhi，執(zhí)行步驟(5)，否則返回步驟4b)；(5)利用與步驟⑷相同方法分別獲得在字典對(duì)(Dh2，D12)，(Dh3, D13)，…，(Dh5, D15)下的高分辨估計(jì)圖像XH2，XH3, XH4, Xh5 ；(6)利用待處理的低分辨圖像\構(gòu)造一對(duì)高低頻字典Df = {Dhf, Dlf}；(7)設(shè)近鄰參數(shù)A = 5,在高低頻字典Df = {Dhf, Dlf}下重構(gòu)大小為2mX2n的高分辨估計(jì)圖像Xh6 :7a)利用matlab軟件中的imresize函數(shù)將待處理的低分辨圖像Xl進(jìn)行預(yù)放大，放大倍數(shù)2，得到預(yù)放大的圖像圖像大小為2mX2n ；7b)對(duì)預(yù)放大的圖像Xl*進(jìn)行大小為3X3的分塊，相鄰塊重疊2個(gè)像素，得到預(yù)放大圖像塊P1U)' j = I,..., S ；7c)利用如下公式計(jì)算預(yù)放大的圖像塊P1U廣與低頻字典Dlf中各元素的距離DIST2(u)DIST2(u) = P1(J)^Dlf(U) |2,其中Dlf(U)，u = 1，2，. . .，U，u表示第u個(gè)低頻字典元素，U表示低頻字典元素的總數(shù)量，I I2表示取( )絕對(duì)值的平方操作；7d)將距離DIST2(u)中最小的前A個(gè)結(jié)果對(duì)應(yīng)的A個(gè)低頻字典元素記為Dlf (r)，r = 1，2，. . . A，通過(guò)低頻字典Dlf和高分辨字典Dhf的對(duì)應(yīng)關(guān)系，找到高頻字典Dhf相對(duì)應(yīng)的A個(gè)聞?lì)l子典兀素Dhf (r), Y = I,. . . , A ；7e)利用局部權(quán)重公式計(jì)算A個(gè)低頻字典元素Dlf (r)重構(gòu)預(yù)放大圖像塊P1 (j廣的重構(gòu)系數(shù) c (r)，r = I,. . . , A ；
7f)將重構(gòu)系數(shù)c (r)與步驟7d)中搜索到的A個(gè)高頻字典元素Dhf (r)進(jìn)行求和，得到重構(gòu)的高頻圖像塊Ph(j)%
權(quán)利要求
1.一種基于雙字典學(xué)習(xí)的圖像超分辨重建方法，包括如下步驟 (1)輸入一幅待處理的低分辨圖像\，圖像大小為mXn，設(shè)定圖像的放大倍數(shù)為2； (2)對(duì)待處理的低分辨圖像\進(jìn)行大小為3X3的分塊，相鄰塊之間重疊2個(gè)像素，得到G個(gè)待處理低分辨圖像塊P1⑴，i = 1， ，G ; (3)輸入5幅高分辨訓(xùn)練圖像和相應(yīng)的5幅低分辨訓(xùn)練圖像，利用訓(xùn)練圖像構(gòu)造5個(gè)高分辨字典Dhl，Dh2,. . .，Dh5和相應(yīng)的5個(gè)低分辨字典D11, D12,. . . , D15 ； (4)在第I對(duì)高分辨和低分辨字典(Dhl，Du)下，重構(gòu)大小為2mX2n的高分辨估計(jì)圖像Xm = 4a)提取待處理低分辨圖像塊P1Q)，初始化P1Q)的標(biāo)記為i = I ; 4b)利用如下公式計(jì)算待處理低分辨圖像塊P1Q)與低分辨字典D11中各元素的距離DISTl ⑴DISTl (t) = P1(I)-D11 (t) 2， 其中D11 (t)，t = 1，2，. . .，T，t表示第t個(gè)低分辨字典元素，T表示低分辨字典元素的總數(shù)量，即T = 20000，I I2表示取( )的絕對(duì)值平方操作； 4c)將距離DISTl (t)中最小的前5個(gè)結(jié)果對(duì)應(yīng)的5個(gè)低分辨字典元素記為D11 (k)，k =I,..., 5，通過(guò)低分辨字典D11與高分辨字典Dhl之間的對(duì)應(yīng)關(guān)系，找到高分辨字典Dhl中相對(duì)應(yīng)的5個(gè)高分辨字典元素Dhl(k),k= 1,...,5; 4d)利用局部權(quán)重公式計(jì)算5個(gè)低分辨字典元素D11GO重構(gòu)圖像塊P1Q)的重構(gòu)系數(shù)w (k)，k — 1,...,5 ； 4e)將重構(gòu)系數(shù)w(k)與步驟4c)中搜索到的5個(gè)高分辨字典元素Dhl (k)進(jìn)行求和，得到高分辨圖像塊Ph(i)，其計(jì)算公式為
2.根據(jù)權(quán)利要求I所述的基于雙字典學(xué)習(xí)的圖像超分辨重建方法，其中步驟(3)所述利用訓(xùn)練圖像構(gòu)造5個(gè)高分辨字典Dhl，Dh2, ...,Dh5和相應(yīng)的5個(gè)低分辨字典D11, D12,D15,實(shí)現(xiàn)步驟如下 ·3a)對(duì)輸入的5幅高分辨訓(xùn)練圖像進(jìn)行大小為6X6的分塊，相鄰塊之間重疊4個(gè)像素，得到Y(jié)個(gè)高分辨訓(xùn)練圖像塊Hy，y = 1，2， …，Y，其中100000 ^ 30000 ； ·3b)對(duì)輸入的5幅低分辨訓(xùn)練圖像進(jìn)行大小為3 X 3的分塊，相鄰塊之間重疊2個(gè)像素，得到Y(jié)個(gè)低分辨訓(xùn)練圖像塊Ly，y = 1，2， ，Y，其中100000 ^ 30000 ； ·3c)從Y個(gè)高分辨圖像塊Hy中抽取10萬(wàn)個(gè)高分辨圖像塊Hq，q = 1，2，…，100000，相應(yīng)的從Y個(gè)低分辨訓(xùn)練圖像塊Ly中抽取10萬(wàn)個(gè)低分辨圖像塊Lq，q = 1，2， ，100000 ； ·3d)分別將抽取的10萬(wàn)個(gè)高分辨圖像塊Hq和10萬(wàn)個(gè)低分辨圖像塊Lq隨機(jī)分為5組，得到5個(gè)高分辨字典Dhl，Dh2,, Dh5和相應(yīng)的5個(gè)低分辨字典D11, D12,D150
3.根據(jù)權(quán)利要求I所述的基于雙字典學(xué)習(xí)的圖像超分辨重建方法，其中步驟4d)所述利用局部權(quán)重公式計(jì)算5個(gè)低分辨字典元素D11GO重構(gòu)圖像塊P1Q)的重構(gòu)系數(shù)W(k)，k =·1，...，5，是通過(guò)如下公式計(jì)算, 其中，歸一化因子,
4.根據(jù)權(quán)利要求I所述的基于雙字典學(xué)習(xí)的圖像超分辨重建方法，其中步驟(6)所述利用待處理的低分辨圖像\構(gòu)造一對(duì)高低頻字典Df = {Dhf, Dlf}，實(shí)現(xiàn)步驟如下 6a)對(duì)待處理的低分辨圖像\進(jìn)行高斯高通濾波處理，得到待處理低分辨圖像\的高頻分量Xhci和低頻分量Xui ； 6b)分別對(duì)高頻分量Xm和低頻分量Xui進(jìn)行大小為3 X 3的分塊，相鄰塊重疊2個(gè)像素，得到I對(duì)高低頻字典Df = {Dhf, Dlf}。
5.根據(jù)權(quán)利要求I所述的基于雙字典學(xué)習(xí)的圖像超分辨重建方法，其中步驟7e)所述的利用局部權(quán)重公式計(jì)算A個(gè)低頻字典元素Dlf (r)重構(gòu)預(yù)放大圖像塊P1U廣的重構(gòu)系數(shù)c (r)，r = I,. . . , A,是通過(guò)如下公式計(jì)算c(r) = ((P1 (j)*-Dlf (r))tX (P1 (j)*-Dlf (r))/Ir)/h, 其中，歸一化因子
6.根據(jù)權(quán)利要求I所述的基于雙字典學(xué)習(xí)的圖像超分辨重建方法，其中步驟(9)所述利用低秩分解算法對(duì)高維數(shù)據(jù)X進(jìn)行低秩分解，得到X的低秩矩陣L和稀疏矩陣S，實(shí)現(xiàn)步驟如下 9a)初始化迭代次數(shù)t=0,迭代誤差e為0. 0001 ； 9b)設(shè)t=t+l,利用matlab軟件中的randn函數(shù)生成隨機(jī)高斯矩陣M,按照如下公式得到3個(gè)中間變量矩陣G1 = XXM, G2 = XtXG1, G3 = XXG2 ； 9c)計(jì)算第t次迭代中的低秩矩陣Lt和稀疏矩陣St Lt = G3X (G1tXG3)^1G21,St = Pn |X-Lt|， 其中(*)T操作表示矩陣轉(zhuǎn)置操作，(^r1表示矩陣求逆操作，Pn(*)表示取( )中最大的前Q個(gè)數(shù)值，本發(fā)明中Q取30000 ； Ilz-4-^lP 9d)判斷迭代終止條件:若11 ,2 HL< e成立，則停止迭代，并將矩陣Lt設(shè)為所求的 IFlI2低秩矩陣L，矩陣St設(shè)為所求的稀疏矩陣S，否則返回步驟9b)， 其中，Il-II丨表示矩陣2范數(shù)的平方。
全文摘要
本發(fā)明公開(kāi)了一種基于雙字典學(xué)習(xí)的圖像超分辨重建方法，主要解決現(xiàn)有技術(shù)在對(duì)低分辨圖像進(jìn)行超分辨重建時(shí)，不能有效地補(bǔ)充細(xì)節(jié)信息的問(wèn)題。其實(shí)現(xiàn)過(guò)程為首先輸入待處理的低分辨圖像XL，并構(gòu)造5對(duì)高分辨字典和低分辨字典(Dh1,Dl1)，(Dh2,Dl2)，…，(Dh5,Dl5)，在五對(duì)字典下重構(gòu)出5幅高分辨估計(jì)圖像；然后利用輸入的低分辨圖像自身的高頻信息和低頻信息，構(gòu)造1對(duì)高頻字典和低頻字典Df＝{Dhf,Dlf}，在不同的近鄰參數(shù)下重構(gòu)出5幅高分辨估計(jì)圖像；最后對(duì)重構(gòu)出的10幅高分辨估計(jì)圖像做低秩分解，并對(duì)分解后得到的低秩矩陣L求均值，得到最終的高分辨重建圖像XH。本發(fā)明在對(duì)低分辨圖像進(jìn)行超分辨重建時(shí)，可以獲得邊緣清晰，細(xì)節(jié)豐富的高分辨圖像，適用于各種自然圖像的超分辨重建。
文檔編號(hào)G06T5/50GK102800076SQ201210245530
公開(kāi)日2012年11月28日 申請(qǐng)日期2012年7月16日 優(yōu)先權(quán)日2012年7月16日
發(fā)明者王爽, 焦李成, 季佩媛, 馬晶晶, 王蕾, 鄭喆坤, 李婷婷, 李源 申請(qǐng)人:西安電子科技大學(xué)