本發(fā)明涉及圖像超分辨率重建技術(shù)，具體涉及一種基于加權(quán)重疊非局部回歸先驗(yàn)的單幅圖像超分辨率重建方法，屬于數(shù)字圖像處理領(lǐng)域的圖像復(fù)原方向。

背景技術(shù)：

隨著計(jì)算機(jī)科學(xué)與信息科學(xué)的蓬勃發(fā)展，數(shù)字圖像已經(jīng)在社會(huì)的各個(gè)領(lǐng)域得到了廣泛的應(yīng)用，例如智能監(jiān)控、醫(yī)學(xué)成像、遙感成像、體育競(jìng)賽等。但是由于采集設(shè)備和拍攝環(huán)境的限制，導(dǎo)致最終采集到的圖像不可避免地存在一定程度的降質(zhì)。因此，根據(jù)降質(zhì)圖像對(duì)原始真實(shí)高分辨率(highresolution,hr)圖像進(jìn)行重建的超分辨率技術(shù)具有十分重要的理論與實(shí)際意義。

由于圖像超分辨率重建屬于典型的逆問(wèn)題，故其具有明顯的病態(tài)性。為了獲得可靠的hr圖像估計(jì)，需要對(duì)真實(shí)解空間進(jìn)行正則化約束，這會(huì)涉及到自然圖像的先驗(yàn)?zāi)Ｐ?。目前，基于塊的非局部相似性約束已經(jīng)在超分辨率任務(wù)中展示了很好的潛力，出現(xiàn)了許多有效的非局部先驗(yàn)。它們的性能大大依賴于潛在圖像的非局部相似性是否能夠被充分地利用。然而，大多數(shù)非局部先驗(yàn)，包括經(jīng)典的非局部回歸先驗(yàn)，僅僅利用了每個(gè)塊的中心像素，并沒(méi)有能夠充分利用非局部相似塊，使得其超分辨率重建性能有限。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是將基于重疊的策略引入到非局部回歸先驗(yàn)中，并對(duì)回歸先驗(yàn)中的每一像素點(diǎn)處的約束強(qiáng)度進(jìn)行自適應(yīng)加權(quán)，得到基于加權(quán)重疊的非局部回歸先驗(yàn)(weightedoverlap-basednon-localregression,wonlr)。最終將該wonlr先驗(yàn)用于超分辨率重建，使得重建得到的圖像具有更加精細(xì)的結(jié)構(gòu)，并且具有良好的噪聲抑制性能。本發(fā)明通過(guò)以下操作步驟構(gòu)成的技術(shù)方案來(lái)實(shí)現(xiàn)上述目的。

本發(fā)明提出的基于加權(quán)重疊非局部回歸先驗(yàn)的單幅圖像超分辨率重建方法，主要包括以下操作步驟：

(1)對(duì)輸入低分辨率(lowresolution,lr)圖像進(jìn)行雙三次插值，得到初始hr圖像估計(jì)；

(2)利用積分圖技術(shù)構(gòu)建hr圖像對(duì)應(yīng)的累加的平方偏移圖(summedsquaretranslationimage,ssti)，再利用ssti圖對(duì)每個(gè)圖像塊進(jìn)行非局部相似塊搜索；

(3)結(jié)合基于重疊的策略，得到每個(gè)像素點(diǎn)對(duì)應(yīng)的基于重疊的相似像素組(overlap-basedsimilarpixelsgroup,ospg)；

(4)構(gòu)建加權(quán)參考圖，并利用該圖計(jì)算ospg內(nèi)每個(gè)相似像素與目標(biāo)參考像素間的相似權(quán)重；

(5)利用連續(xù)性假設(shè)，得到基于重疊的非局部回歸先驗(yàn)；

(6)采用一個(gè)基于ospg標(biāo)準(zhǔn)差的加權(quán)策略來(lái)估計(jì)每個(gè)ospg組的可靠度，得到wonlr；

(7)構(gòu)建超分辨率重建代價(jià)函數(shù)；

(8)利用tfocs技術(shù)來(lái)最優(yōu)化重建代價(jià)函數(shù)，得到估計(jì)的hr圖像；

(9)重復(fù)步驟(2)至(8)直到迭代次數(shù)到達(dá)預(yù)設(shè)值。

附圖說(shuō)明

圖1是本發(fā)明基于加權(quán)重疊非局部回歸先驗(yàn)的單幅圖像超分辨率重建方法的框圖

圖2是本發(fā)明實(shí)驗(yàn)中使用的8張常用測(cè)試圖

圖3是本發(fā)明與現(xiàn)有的4種方法在無(wú)噪聲時(shí)對(duì)“flower”圖像重建結(jié)果的對(duì)比圖

圖4是本發(fā)明與現(xiàn)有的4種方法在有噪聲時(shí)對(duì)“bike”圖像重建結(jié)果的對(duì)比圖

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步說(shuō)明：

圖1中，基于加權(quán)重疊非局部回歸先驗(yàn)的單幅圖像超分辨率重建方法，包括以下步驟：

(1)對(duì)輸入lr圖像進(jìn)行雙三次插值，得到初始hr圖像估計(jì)；

(2)利用積分圖技術(shù)構(gòu)建hr圖像對(duì)應(yīng)的ssti，再利用ssti圖對(duì)每個(gè)圖像塊進(jìn)行非局部相似塊搜索；

(3)結(jié)合基于重疊的策略，得到每個(gè)像素點(diǎn)對(duì)應(yīng)的ospg；

(4)構(gòu)建加權(quán)參考圖，并利用該圖計(jì)算ospg內(nèi)每個(gè)相似像素與目標(biāo)參考像素間的相似權(quán)重；

(5)利用連續(xù)性假設(shè)，得到基于重疊的非局部回歸先驗(yàn)；

(6)采用一個(gè)基于ospg標(biāo)準(zhǔn)差的加權(quán)策略來(lái)估計(jì)每個(gè)ospg組的可靠度，得到wonlr；

(7)構(gòu)建超分辨率重建代價(jià)函數(shù)；

(8)利用tfocs技術(shù)來(lái)最優(yōu)化重建代價(jià)函數(shù)，得到估計(jì)的hr圖像；

(9)重復(fù)步驟(2)至(8)直到迭代次數(shù)到達(dá)預(yù)設(shè)值。

具體地，所述步驟(2)中，我們使用積分圖技術(shù)構(gòu)建hr圖像對(duì)應(yīng)的ssti，再利用ssti圖對(duì)每個(gè)圖像塊進(jìn)行非局部相似塊搜索，其中非局部相似塊數(shù)目l設(shè)為10。具體使用ren等提出的方法，參考文獻(xiàn)“renc,hexh,nguyentq.singleimagesuper-resolutionviaadaptivehigh-dimensionalnon-localtotalvariationandadaptivegeometricfeature.ieeetransactionsonimageprocessing.2017,26(1):90-106.”。

所述步驟(3)中，利用整個(gè)非局部相似塊來(lái)構(gòu)建約束，而不是僅僅利用圖像塊的中心像素。由于重疊關(guān)系，每一個(gè)像素會(huì)屬于p²個(gè)目標(biāo)塊，并且每一個(gè)目標(biāo)塊有l(wèi)個(gè)相似塊。因此對(duì)每一個(gè)像素而言，有p²l個(gè)相似像素。我們稱每一個(gè)目標(biāo)像素xi對(duì)應(yīng)的這p²l個(gè)相似像素為一個(gè)ospg，其索引集記為

所述步驟(4)中，為了給ospg中的每一個(gè)相似像素計(jì)算與目標(biāo)像素間的相似權(quán)重，我們首先構(gòu)建了如下參考圖xw來(lái)確保計(jì)算的穩(wěn)定性：

其中x為高分辨率圖像，為由每一個(gè)ospg除去其中目標(biāo)像素后剩余所有像素的加權(quán)估計(jì)構(gòu)建的圖。常數(shù)ρ∈[0,1]，在發(fā)明中ρ被設(shè)為1/l。由于hr圖像x是未知的，在求相似權(quán)重時(shí)，我們需要對(duì)x進(jìn)行估計(jì)。因?yàn)樵诒景l(fā)明中，我們采用的是迭代求解的方式，故可以采用前一階段估計(jì)的hr圖x來(lái)估計(jì)相應(yīng)非局部相似權(quán)重。具體地，相似性權(quán)重kij定義如下：

其中，xωi與xωj為加權(quán)參考圖xw的第i與第j個(gè)像素，h0為常數(shù)。然后，規(guī)一化的權(quán)重計(jì)算如下：

所述步驟(5)中，為了構(gòu)造一個(gè)有效的超分辨率先驗(yàn)，我們作了如下連續(xù)性假設(shè)：原本的相似性需要在濾波輸出中被保持。于是得到了如下基于重疊的非局部回歸先驗(yàn)：

我們可以改寫上式中的先驗(yàn)為如下矩陣形式：

其中，i為單位矩陣，wo為對(duì)應(yīng)的非局部加權(quán)矩陣。

所述步驟(6)中，我們注意到在基于重疊的非局部回歸先驗(yàn)對(duì)應(yīng)的約束項(xiàng)中，由于沒(méi)有考慮不同ospg組間的可靠度，所有的像素均被一致性地懲罰。我們希望能夠根據(jù)一個(gè)合適的加權(quán)準(zhǔn)則來(lái)自適應(yīng)地懲罰每一個(gè)像素，以便進(jìn)一步提升先驗(yàn)項(xiàng)的性能。為此，我們提出了如下加權(quán)重疊非局部回歸先驗(yàn)(wonlr)：

其中λ為一個(gè)對(duì)角加權(quán)矩陣，表示如下：

λ＝diag{[φ(ξ1),φ(ξ2),...,φ(ξmn)]}

其中ξi為一個(gè)與xi對(duì)應(yīng)的ospg的可靠度相關(guān)的變量。φ(·)為一個(gè)正的函數(shù)，表示強(qiáng)加到xi上的約束的權(quán)重。如果像素xi對(duì)應(yīng)的ospg內(nèi)部所有像素的標(biāo)準(zhǔn)差小，則代表ospg較可靠，我們可以給xi強(qiáng)加一個(gè)大的約束，這可以表示為：

其中ξi＝σi為xi對(duì)應(yīng)的ospg內(nèi)部所有像素的標(biāo)準(zhǔn)差。α與為兩個(gè)常數(shù)，均設(shè)置為0.5。為了穩(wěn)定性，所有的標(biāo)準(zhǔn)差σi均利用加權(quán)參考圖xw得到。很明顯，這里φ(ξi)∈(0,1]。

所述步驟(7)中，我們構(gòu)建如下超分辨率重建代價(jià)函數(shù)，來(lái)估計(jì)未知hr圖像：

其中y為輸入lr圖像，x為hr圖像，h為模糊矩陣，d為下采樣矩陣，λ為正則化系數(shù)。

所述步驟(8)中，由于提出的代價(jià)函數(shù)為凸二次的，可以通過(guò)許多基于梯度的方法進(jìn)行求解。本發(fā)明中，我們采用templatesforfirst-orderconicsolvers(tfocs)技術(shù)求解該問(wèn)題。

所述步驟(9)中，我們重復(fù)步驟(2)至(8)，我們稱完整地執(zhí)行一次步驟(2)至(8)為一次外部迭代，每次外部迭代中會(huì)重新搜索相似塊并計(jì)算非局部權(quán)重等。當(dāng)外部迭代次數(shù)達(dá)到3次時(shí)，停止進(jìn)行迭代。

為了更好地說(shuō)明本發(fā)明的有效性，本發(fā)明將采用對(duì)比實(shí)驗(yàn)的方法來(lái)展示重建效果。測(cè)試圖選用如圖2所示的8張常用圖像。這8張圖以及對(duì)應(yīng)尺寸依次為：bike(256×256),butterfly(256×256),comic(361×250),flower(256×256),hat(256×256),house(256×256),plants(256×256),woman(228×334)。對(duì)比實(shí)驗(yàn)選取雙三次插值bicubic與3個(gè)具有代表性的單幅圖像超分辨率重建方法與本發(fā)明的實(shí)驗(yàn)結(jié)果進(jìn)行比較。這3個(gè)具有代表性的單幅圖像超分辨率重建方法為：

方法1：dong等人提出的方法，參考文獻(xiàn)“dongc,chencl,hek,etal.learningadeepconvolutionalnetworkforimagesuper-resolution[c].europeanconferenceoncomputervision,2014:184-199.”。

方法2：dong等人提出的方法，參考文獻(xiàn)“dongws,zhangl,shigm,etal.nonlocallycentralizedsparserepresentationforimagerestoration[j].ieeetransactionsonimageprocessing,2013,22(4):1620-1630.”。

方法3：ren等人提出的方法，參考文獻(xiàn)“renc,hexh,tengqz,etal.singleimagesuperresolutionusinglocalgeometricdualityandnon-localsimilarity[j].ieeetransactionsonimageprocessing,2016,25(5):2168-2183.”。

針對(duì)本發(fā)明提出的wonlr先驗(yàn)，我們主要在無(wú)噪聲與有噪聲兩類不同的實(shí)驗(yàn)設(shè)置下進(jìn)行測(cè)試。對(duì)應(yīng)的客觀參數(shù)在表一與表二中分別給出?？陀^參數(shù)涉及到峰值信噪比(peaksignaltonoiseratio,psnr)和結(jié)構(gòu)相似度(structuresimilarityindex,ssim)。其中，psnr值越大、ssim值越接近于1，則重建圖像的質(zhì)量越好。

對(duì)比實(shí)驗(yàn)的內(nèi)容如下：

實(shí)驗(yàn)1對(duì)應(yīng)降質(zhì)模型：3倍下采樣，模糊核為7×7、標(biāo)準(zhǔn)差1.5的高斯核，無(wú)噪聲。分別用bicubic、方法1、方法2、方法3以及本發(fā)明對(duì)測(cè)試圖像進(jìn)行3倍超分辨率重建。其客觀指標(biāo)在表一中給出。為了視覺(jué)比較，給出了“flower”的超分辨重建結(jié)果，分別如圖3(a)、圖3(b)、圖3(c)、圖3(d)以及圖3(e)所示。圖3(f)為原圖。其客觀評(píng)價(jià)指標(biāo)如表一的第五行所示。

實(shí)驗(yàn)2對(duì)應(yīng)降質(zhì)模型：3倍下采樣，模糊核為7×7、標(biāo)準(zhǔn)差1.5的高斯核，附加標(biāo)準(zhǔn)差為5的高斯白噪聲。分別用bicubic、方法1、方法2、方法3以及本發(fā)明對(duì)測(cè)試圖像圖像進(jìn)行3倍超分辨率重建。其客觀指標(biāo)在表二中給出。為了視覺(jué)比較，給出了“bike”的超分辨重建結(jié)果，分別如圖4(a)、圖4(b)、圖4(c)、圖4(d)以及圖4(e)所示。圖4(f)為原圖。其客觀評(píng)價(jià)指標(biāo)如表二的第一行所示。

從實(shí)驗(yàn)結(jié)果可以得出：

在無(wú)噪聲時(shí)，雙三次插值圖像有明顯的模糊痕跡，且在邊緣處有明顯的階梯效應(yīng)，性能最差。方法1在客觀質(zhì)量上有明顯提升，且能夠明顯提升圖像的分辨率，但是在重建的邊緣仍然較模糊，且在邊緣處存在一些人工痕跡。方法2在抑制人工痕跡上性能良好，且能獲得較方法1更好的邊緣，但是模糊效應(yīng)仍然存在。方法3能夠獲得更好的重建質(zhì)量，但是與本發(fā)明提出的方法相比性能差一些。本發(fā)明提出的wonlr方法，不僅能夠很好地抑制重建圖像中的人工痕跡，還能夠很好地恢復(fù)出更清晰的邊緣，獲得了很好的重建效果。

在有噪聲時(shí)，雙三次插值效果最差，有明顯的模糊痕跡且存在大量噪聲。方法1效果也較差：不但沒(méi)有很好地去除模糊，還殘留了大量噪聲，客觀指標(biāo)較低。這是由于該基于學(xué)習(xí)的方法本身并沒(méi)有考慮圖像中的噪聲干擾，造成在含噪聲情況下的低性能。方法2與方法3能夠獲得比方法1更好的主觀與客觀質(zhì)量，噪聲抑制表現(xiàn)較好，且邊緣更清晰。而本發(fā)明提出的wonlr方法對(duì)噪聲的抑制以及恢復(fù)高質(zhì)量的邊緣、紋理等效果均很好。

綜上所述，本發(fā)明重建得到的圖像在主觀視覺(jué)效果與客觀評(píng)價(jià)參數(shù)值上具有明顯的優(yōu)勢(shì)，噪聲抑制性能良好，且本方法屬于比較快速的基于重建框架的方超分辨率方法。上述實(shí)驗(yàn)均在酷睿i7-47903.6ghz處理器，16g內(nèi)存，matlab編程環(huán)境下進(jìn)行。以256×256尺寸的圖的平均運(yùn)行時(shí)間為例，提出算法需要55.4秒。雖然方法1最快，重建僅需1.4秒，但其訓(xùn)練時(shí)間長(zhǎng)達(dá)一天，且效果較差。方法2與方法3效果較好，但運(yùn)行時(shí)間較長(zhǎng)，分別為193.9秒與90.3秒。因此，本發(fā)明是一種有效的單幅圖像超分辨率重建方法。表一

表二