本發(fā)明屬于圖像重建技術(shù)領(lǐng)域，具體涉及一種無級縮放超分辨率圖像的重建方法。

背景技術(shù)：

當(dāng)前，圖像分辨率會受到成像系統(tǒng)、拍攝環(huán)境等因素的影響，得到的圖像分辨率往往無法滿足人們的需求。然而，目前光學(xué)成像系統(tǒng)及其探測器又受限于技術(shù)水平及加工復(fù)雜度，無法從硬件角度改善系統(tǒng)成像質(zhì)量。因此，圖像超分辨率重建技術(shù)的出現(xiàn)，打破了圖像分辨率的限制。通過軟件處理的方式從一幅或者多幅退化的低分辨率圖像中，計算出一幅高分辨率圖像，獲得更加豐富的細(xì)節(jié)信息。目前超分辨率重建技術(shù)廣泛應(yīng)用于圖像處理及光學(xué)成像領(lǐng)域，得到了人們的重視。

目前，基于學(xué)習(xí)的稀疏表示圖像超分辨率重建算法可以有效提高圖像的分辨率，并且對圖像進(jìn)行放大倍率為3的尺度放大。然而，在某些特定情況下，經(jīng)過該方法得到的高分辨率圖像達(dá)不到所需的尺度要求。

因此，如何提供一種圖像重建方法使得獲得的超分辨率重建圖像可以進(jìn)行任意尺度的變換，以達(dá)到相關(guān)工業(yè)要求變得至關(guān)重要。

技術(shù)實現(xiàn)要素：

為了解決現(xiàn)有技術(shù)中存在的上述問題，本發(fā)明提供了一種無級縮放超分辨率圖像的重建方法，包括如下步驟：

步驟1，對高分辨率樣本圖像按照退化模型進(jìn)行模糊處理和n倍下采樣，獲得低分辨率樣本圖像；

步驟2，采用k-svd方法，利用所述低分辨率樣本圖像進(jìn)行字典訓(xùn)練，得到高分辨字典和低分辨率字典；

步驟3，對待重建的低分辨率圖像進(jìn)行預(yù)處理得到若干個低分辨率圖像塊；

步驟4，利用所述低分辨率樣本圖像計算固定閾值；

步驟5，判斷每一個所述低分辨率圖像塊的像素值是否小于所述固定閾值；若是，則判定該所述低分辨率圖像塊為低信息量圖像塊；若否，則判定該所述低分辨率圖像塊為高信息量圖像塊；

步驟6，將所述高信息量圖像塊采用基于字典學(xué)習(xí)與稀疏表示算法重建得到高信息量重建子區(qū)域；

步驟7，將所述低信息量圖像塊采用插值算法進(jìn)行重建得到低信息量重建子區(qū)域；

步驟8，將所述高信息量子區(qū)域與所述低信息量重建子區(qū)域進(jìn)行圖像拼接得到超分辨率重建圖像；

步驟9，采用插值算法將所述超分辨率重建圖像進(jìn)行m倍插值得到n*m(n＝2,3,4；m>0)倍的超分辨率重建圖像。

在本發(fā)明的一個實施例中，所述步驟2包括如下步驟：

(21)通過特征提取方法提取所述低分辨率樣本圖像的圖像特征，得到空間目標(biāo)的高分辨率特征信息和低分辨率特征信息。

(22)利用所述k-svd方法，對所述高分辨率特征信息和所述低分辨率特征信息進(jìn)行聯(lián)合訓(xùn)練，得到所述高分辨率字典和所述低分辨率字典。

在本發(fā)明的一個實施例中，所述步驟(22)包括如下步驟:

(221)利用稀疏k-svd方法訓(xùn)練低分辨率字典；

(222)計算高分辨率字典。

在本發(fā)明的一個實施例中，所述步驟3包括如下步驟：

(31)對所述待重建的低分辨率圖像去噪聲得到第一圖像；

(32)將所述第一圖像去模糊得到第二圖像；

(33)將所述第二圖像按照固定長寬進(jìn)行分割、保存處理，形成所述低分辨率圖像塊。

在本發(fā)明的一個實施例中，所述步驟4包括如下步驟：

(41)將所述低分辨率樣本圖像進(jìn)行區(qū)塊分割得到低分辨率樣本圖像塊；

(42)利用邊緣提取算法提取所述低分辨率樣本圖像塊的邊緣信息，統(tǒng)計各所述低分辨率樣本圖像塊的像素值和所有所述低分辨率樣本圖像塊的像素值分布情況；

(43)根據(jù)所述各低分辨率樣本圖像塊的像素值和所有所述低分辨率樣本圖像塊的像素值分布情況選取x(x>1)個候選閾值；

(44)對每個所述候選閾值利用基于學(xué)習(xí)的稀疏表示圖像超分辨率重建算法進(jìn)行計算形成多個高分辨率候選圖像；

(45)根據(jù)所述基于學(xué)習(xí)的稀疏表示圖像超分辨率重建算法的運(yùn)算時間及對應(yīng)形成的所述高分辨率候選圖像的分辨率，從x個候選閾值中選擇所述信息量閾值。

在本發(fā)明的一個實施例中，所述邊緣提取算法為canny算子邊緣檢測算法。

在本發(fā)明的一個實施例中，所述步驟6包括如下步驟:

(61)針對所述高信息量圖像塊進(jìn)行圖像濾波處理，并進(jìn)行高頻特征提取獲得高頻信息；

(62)利用所述高頻信息對所述高信息量圖像塊進(jìn)行kpca降維，實現(xiàn)高維數(shù)據(jù)壓縮；

(63)采用omp算法對降維壓縮后的數(shù)據(jù)進(jìn)行重建得到所述高信息量重建子區(qū)域。

在本發(fā)明的一個實施例中，所述圖像濾波操作采用二維濾波算子濾波器組，所述濾波器組為f＝{f1,f2,f3,f4}，其中，

f1＝[1,-1],f2＝f1^t

f3＝log,f3＝f3^t

t為矩陣轉(zhuǎn)置操作，log為5×5的二維濾波算子。

在本發(fā)明的一個實施例中，所述步驟(63)包括如下步驟：

(631)根據(jù)所述omp算法計算稀疏表示系數(shù)β，其中，

其中，y為降維解壓后的數(shù)據(jù)，t0為給定的稀疏度，βi為矩陣β中的子元素；

(632)將所述稀疏表示系數(shù)β與所述高分辨率字典相乘，得到所述高信息量重建子區(qū)域。

在本發(fā)明的一個實施例中，所述插值算法為雙三次插值算法。

本發(fā)明實施例具有如下有益效果，

1、本發(fā)明實施例提出建立圖像庫訓(xùn)練字典的方法，將圖像集離線訓(xùn)練字典庫，得到高分辨率圖像與低分辨率圖像的映射關(guān)系，優(yōu)化圖像重建步驟，有效減少方法運(yùn)行時間，具有自適應(yīng)性和高效性。

2、本發(fā)明獲得的超分辨率重建圖像可以進(jìn)行任意大小的尺度變換。在工程應(yīng)用中可以滿足不同的情況下的需求，有較好的適用性。

3、本發(fā)明中方法中的閾值是基于大量對比試驗后進(jìn)行優(yōu)化固定，在處過程中不需要進(jìn)行改變，在不影響圖像重建效果的情況下，有效的提高了圖像重建效率。

4、依據(jù)超分辨率重建后的圖像再進(jìn)行縮放，由于算法重構(gòu)了高頻信息，對于縮放效果會更好。

附圖說明

圖1為本發(fā)明實施例提供的一種無級縮放超分辨率圖像的重建方法流程示意圖；

圖2為本發(fā)明實施例提供的一種字典訓(xùn)練原理示意圖；

圖3為本發(fā)明實施例提供的一種無級縮放超分辨率圖像的重建方法原理示意圖。

具體實施方式

下面結(jié)合具體實施例對本發(fā)明做進(jìn)一步詳細(xì)的描述，但本發(fā)明的實施方式不限于此。

實施例一

請參見圖1、圖2和圖3，圖1為本發(fā)明實施例提供的一種無級縮放超分辨率圖像的重建方法流程示意圖；圖2為本發(fā)明實施例提供的一種字典訓(xùn)練原理示意圖；圖3為本發(fā)明實施例提供的一種無級縮放超分辨率圖像的重建方法原理示意圖。該無級縮放超分辨率圖像的重建方法，包括如下步驟：

步驟1，對高分辨率樣本圖像按照退化模型進(jìn)行模糊處理和n倍下采樣，獲得低分辨率樣本圖像；

步驟2，采用k-svd方法，利用所述低分辨率樣本圖像進(jìn)行字典訓(xùn)練，得到高分辨字典和低分辨率字典；

其中，步驟1和步驟2建立圖像庫訓(xùn)練字典的方法，將圖像集離線訓(xùn)練字典庫，得到高分辨率圖像與低分辨率圖像的映射關(guān)系，優(yōu)化圖像重建步驟，有效減少方法運(yùn)行時間，具有自適應(yīng)性和高效性。

步驟3，對待重建的低分辨率圖像進(jìn)行預(yù)處理得到若干個低分辨率圖像塊；

步驟4，利用所述低分辨率樣本圖像計算固定閾值；

步驟5，判斷每一個所述低分辨率圖像塊的像素值是否小于所述固定閾值；若是，則判定該所述低分辨率圖像塊為低信息量圖像塊；若否，則判定該所述低分辨率圖像塊為高信息量圖像塊；

其中，步驟5在保證重建質(zhì)量的同時，顯著提高了重建速度，適合對時間性能要求較高的應(yīng)用。

步驟6，將所述高信息量圖像塊采用基于字典學(xué)習(xí)與稀疏表示算法重建得到高信息量重建子區(qū)域；

其中，基于學(xué)習(xí)的稀疏表示重建方法避免了近鄰數(shù)目的人為選擇，重建效果較好。

步驟7，將所述低信息量圖像塊采用插值算法進(jìn)行重建得到低信息量重建子區(qū)域；

步驟8，將所述高信息量子區(qū)域與所述低信息量重建子區(qū)域進(jìn)行圖像拼接得到超分辨率重建圖像；

步驟9，采用插值算法將所述超分辨率重建圖像進(jìn)行m倍插值得到n*m(n＝2,3,4；m>0)倍的超分辨率重建圖像。

具體地，所述步驟2包括如下步驟：

(21)通過特征提取方法提取所述低分辨率樣本圖像的圖像特征，得到空間目標(biāo)的高分辨率特征信息和低分辨率特征信息。

(22)利用所述k-svd方法，對所述高分辨率特征信息和所述低分辨率特征信息進(jìn)行聯(lián)合訓(xùn)練，得到所述高分辨率字典和所述低分辨率字典。

其中，所述步驟(22)包括如下步驟:

(221)利用稀疏k-svd方法訓(xùn)練低分辨率字典；

(222)計算高分辨率字典。

具體地，所述步驟3包括如下步驟：

(31)對所述待重建的低分辨率圖像去噪聲得到第一圖像；

(32)將所述第一圖像去模糊得到第二圖像；

(33)將所述第二圖像按照固定長寬進(jìn)行分割、保存處理，形成所述低分辨率圖像塊。

具體地，所述步驟4包括如下步驟：

(41)將所述低分辨率樣本圖像進(jìn)行區(qū)塊分割得到低分辨率樣本圖像塊；

(42)利用邊緣提取算法提取所述低分辨率樣本圖像塊的邊緣信息，統(tǒng)計各所述低分辨率樣本圖像塊的像素值和所有所述低分辨率樣本圖像塊的像素值分布情況；

(43)根據(jù)所述各低分辨率樣本圖像塊的像素值和所有所述低分辨率樣本圖像塊的像素值分布情況選取x(x>1)個候選閾值；

(44)對每個所述候選閾值利用基于學(xué)習(xí)的稀疏表示圖像超分辨率重建算法進(jìn)行計算形成多個高分辨率候選圖像；

(45)根據(jù)所述基于學(xué)習(xí)的稀疏表示圖像超分辨率重建算法的運(yùn)算時間及對應(yīng)形成的所述高分辨率候選圖像的分辨率，從x個候選閾值中選擇所述信息量閾值。

優(yōu)選地，所述邊緣提取算法為canny算子邊緣檢測算法；

再者，所述步驟6包括如下步驟:

(61)針對所述高信息量圖像塊進(jìn)行圖像濾波處理，并進(jìn)行高頻特征提取獲得高頻信息；

(62)利用所述高頻信息對所述高信息量圖像塊進(jìn)行kpca降維，實現(xiàn)高維數(shù)據(jù)壓縮；

(63)采用omp算法對降維壓縮后的數(shù)據(jù)進(jìn)行重建得到所述高信息量重建子區(qū)域。

進(jìn)一步的，所述圖像濾波操作采用二維濾波算子濾波器組，所述濾波器組為f＝{f1,f2,f3,f4}，其中，

f1＝[1,-1],f2＝f1^t

f3＝log,f3＝f3^t

t為矩陣轉(zhuǎn)置操作，log為5×5的二維濾波算子。

進(jìn)一步的，所述步驟(63)包括如下步驟：

(631)根據(jù)所述omp算法計算稀疏表示系數(shù)β，其中，

其中，y為降維解壓后的數(shù)據(jù)，t0為給定的稀疏度，βi為矩陣β中的子元素。

(632)將所述稀疏表示系數(shù)β與所述高分辨率字典相乘，得到所述高信息量重建子區(qū)域。

優(yōu)選地，所述的插值算法為雙三次插值算法。還可以采用例如線性插值、最鄰近元法、雙線性內(nèi)插法等。

本實施例具有如下優(yōu)點：

1、本發(fā)明實施例提出建立圖像庫訓(xùn)練字典的方法，將圖像集離線訓(xùn)練字典庫，得到高分辨率圖像與低分辨率圖像的映射關(guān)系，優(yōu)化圖像重建步驟，有效減少方法運(yùn)行時間，具有自適應(yīng)性和高效性。

2、本發(fā)明獲得的超分辨率重建圖像可以進(jìn)行任意大小的尺度變換。在工程應(yīng)用中可以滿足不同的情況下的需求，有較好的適用性。

3、本發(fā)明中方法中的閾值是基于大量對比試驗后進(jìn)行優(yōu)化固定，在處過程中不需要進(jìn)行改變，在不影響圖像重建效果的情況下，有效的提高了圖像重建效率。

實施例二

在上述實施例一的基礎(chǔ)上，本實施例提供另一種無級縮放超分辨率圖像的重建方法，包含字典訓(xùn)練過程、圖像重建過程、尺度變化過程三個處理步驟。具體包括如下步驟：

s1:字典重建過程。

s11：利用大量高分辨率樣本圖像，將高分辨率圖像按照修正后的退化模型進(jìn)行模糊和n倍下采樣，得到相應(yīng)的低分辨率樣本圖像。

s12：對步驟1獲得的低分辨率樣本圖像通過特征提取方法提取圖像特征，得到空間目標(biāo)的高低分辨率特征信息即xs和ys。

s13：利用k-svd方法，對高低分辨率特征信息進(jìn)行聯(lián)合訓(xùn)練，得到高低分辨率字典。

s13a：訓(xùn)練低分辨率字典?；值洇者x擇過完備dct字典，利用稀疏k-svd方法求解：

則低分辨率字典dl＝φw，w是一個原子表示矩陣。與解析字典模型相比，雙稀疏字典模型通過對w的修改提供了自適應(yīng)性。

s13b：計算高分辨率字典。假設(shè)高分辨率—低分辨率圖像塊在高分辨率—低分辨率字典對下具有相同的稀疏表示系數(shù)a，則可以通過最小化以下公式中的逼近誤差來計算高分辨率字典dh：

使用偽逆求解：

dh＝xsa⁺＝xsa^t(aa^t)^-1(3)

其中，上標(biāo)“+”表示偽逆。

s2圖像重建過程。

s21：對待重建的低分辨率圖像進(jìn)行預(yù)處理，其中主要包括圖像去噪、圖像去模糊和樣本分塊操作。其處理步驟為：

s21a：對待重建的低分辨率圖像去噪聲；

s21b：對步驟s21a得到的圖像去模糊；

s21c：對步驟s21b得到的圖像進(jìn)行區(qū)塊劃分，將整幅圖像按照固定長寬進(jìn)行分割、保存；

s22：利用步驟s11中獲得的低分辨率樣本圖像計算固定閾值，具體處理步驟如下：

s22a：將步驟s11中得到的大量低分辨率樣本圖像進(jìn)行區(qū)塊分割獲得圖像塊，圖像塊的長寬同步驟s21c；

s22b：利用邊緣提取算法提取圖像塊邊緣信息，統(tǒng)計各圖像塊的信息量及所有圖像塊的信息量分布情況；

s22c：選取圖像塊中信息量最高的，獲取該圖像塊的像素值為f1，取f＝f1/4，則f*40％<＝閾值<＝f*60％，取該范圍內(nèi)若干代表閾值，例如，額可以取如下代表閾值：f*40％，f*45％，f*50％，f*55％，f*60％，計算每個閾值點對應(yīng)的基于學(xué)習(xí)的稀疏表示圖像超分辨率重建算法的重建時間和重建后圖像的分辨率，可以根據(jù)主觀評價和psnr來判斷。然后根據(jù)使用者需求從若干代表閾值中確定固定閾值，如使用者需求更注重時間，那就調(diào)高比例，時間就快；相反使用者如果注重重建效果，那就調(diào)低比例，帶來的就是重建效果較好但時間較長。例如，經(jīng)計算后f*50％最符合使用者需求，則取固定閾值＝f*50％。

s22d：輸入步驟s21獲得的待重建的低分辨率圖像塊，采用邊緣提取算法提取圖像塊邊緣信息，當(dāng)該圖像塊信息量不超過步驟s22c確定的固定閾值時該圖像塊為低信息量圖像塊；否則，為高信息量圖像塊。優(yōu)選地，所述邊緣提取算法為canny算子邊緣檢測算法。

s23：針對高信息量圖像塊進(jìn)行圖像濾波操作，進(jìn)行高頻特征提取，采用二維濾波算子濾波器組，所用濾波器組為f＝{f1,f2,f3,f4}，其由四個不同的濾波器組成，分別為：

f1＝[1,-1],f2＝f1^t

(4)

f3＝log,f3＝f3^t

(5)

其中上角標(biāo)t表示矩陣轉(zhuǎn)置操作，log代表一種5×5的二維濾波算子。經(jīng)過高頻特征提取操作后獲得圖像塊高頻信息，以xl表示。

s24：對步驟s23獲得的圖像塊進(jìn)行kpca降維，實現(xiàn)高維數(shù)據(jù)壓縮。降維步驟如下：

s24a：將高維數(shù)據(jù)集合表示為x＝{x1,x2,x3,…,xm},xi∈r^d，kpca方法經(jīng)過非線性映射函數(shù)x→φ(x)∈f，其中f是特征空間，這樣便能將每個數(shù)據(jù)x映射到一個高維特征空間。

s24b：核函數(shù)通過φ將進(jìn)行一個點x到f的對應(yīng)操作，并且由此獲得的f數(shù)據(jù)滿足中心化的條件，即：

則特征空間f中的協(xié)方差矩陣為：

s24c：求c的特征值λ≥0以及特征向量

v∈f\{0},cv＝λv(8)

則有

(φ(xv)·cv)＝λ(φ(xv)·v)(9)

考慮到所有的特征向量可表示為φ(x1),φ(x2),…,φ(xm)的線性組合，即：

則有：

式中，v＝1,2,3,…,m，定義m×m維矩陣kμv

kμv:＝(φ(xμ)·φ(xv))(12)

s24d：求解上式得到特征值及特征向量，對于數(shù)據(jù)集合在特征向量空間v^k的投影可以寫成：

那么，數(shù)據(jù)被投影到協(xié)方差矩陣的特征向量v^k上，投影結(jié)果(也就是低維數(shù)據(jù)的表示y)可以表示為：

s25:對經(jīng)過步驟s24降維壓縮后的數(shù)據(jù)進(jìn)行基于學(xué)習(xí)的稀疏表示圖像超分辨率重建，具體步驟如下：

s25a：采用omp算法對步驟s24d獲得的低維數(shù)據(jù)y在低分辨率字典dl下的稀疏表示系數(shù)β，即求解如下方程：

其中t0為給定的稀疏度，βi為矩陣β中的子元素。

s25b：將求得的稀疏表示系數(shù)β與高分辨率字典dh相乘，得到重建的高信息量重建子區(qū)域，即：

x＝dhβ

其中x為求得的超分辨率子區(qū)域。

s26：將步驟22d獲得的低信息量圖像塊采用雙三次插值算法進(jìn)行重建得到低信息量重建子區(qū)域；

s27：將高信息量子區(qū)域與所述低信息量重建子區(qū)域進(jìn)行圖像拼接得到超分辨率重建圖像；

s28：采用雙三次插值算法將所述超分辨率重建圖像進(jìn)行m倍插值得到n*m(n＝2,3,4；m>0)倍的超分辨率重建圖像。

以上內(nèi)容是結(jié)合具體的優(yōu)選實施方式對本發(fā)明所作的進(jìn)一步詳細(xì)說明，不能認(rèn)定本發(fā)明的具體實施只局限于這些說明。對于本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡單推演或或替換，都應(yīng)當(dāng)視為屬于本發(fā)明的保護(hù)范圍。