本發(fā)明屬于圖像處理技術(shù)領(lǐng)域,更進(jìn)一步涉及遙感圖像、視頻監(jiān)控、醫(yī)學(xué)圖像領(lǐng)域中基于自適應(yīng)濾波和正則約束的圖像超分辨方法,本發(fā)明用于從一幅低分辨遙感圖像、低分辨視頻監(jiān)控圖像、低分辨醫(yī)學(xué)圖像中重建出高分辨圖像,以提高圖像的空間分辨率,并最大程度的保留圖像邊緣結(jié)構(gòu)的準(zhǔn)確性。
背景技術(shù):在遙感圖像、視頻監(jiān)控、醫(yī)學(xué)圖像等成像領(lǐng)域中,為提高圖像分辨率采用從一幅低分辨圖像中重建出高分辨率圖像的單幅圖像超分辨率重建方法。目前,單幅圖像主要基于稀疏表示和正則約束方法來實現(xiàn)超分辨率重建。Yang,J、Wright,J、Huang,T、Ma,Y.四人在文獻(xiàn)“ImageSuper-ResolutionViaSparseRepresentation”(IEEETrans.onImageProcessingvol.19no.11pp.2861-2873Nov.2010.)中公開了一種基于稀疏表示來實現(xiàn)單幅圖像超分辨重建的方法。該方法是給定一幅低分辨的圖像,將該圖像劃分成多個塊,并對每一個低分辨率圖像塊稀疏編碼,使其在低分辨數(shù)據(jù)中自適應(yīng)的尋找到K個低分辨率塊使表征誤差最小且表征系數(shù)足夠稀疏,然后線性組合低分辨率圖像塊對應(yīng)的K個高分辨率圖像塊,融合所有的高分辨率圖像塊得到最終的高分辨率圖像。該方法存在的不足是,稀疏編碼過程計算復(fù)雜,并且該方法未對圖像的邊緣和紋理進(jìn)行處理。Zuo,W、Lin,Z二人在文獻(xiàn)“AGeneralizedAcceleratedAcceleratedProximalGradientApproachforTotal-Variation-BasedImageRestoration”(IEEETrans.onImageProcessingvol.20no.10pp.2748-2759Oct.2011.)中公開了一種用梯度光滑約束來求解超分辨問題的方法。該方法通過添加一個罰函數(shù),使超分辨問題轉(zhuǎn)變成一個優(yōu)化問題,通過求解優(yōu)化問題得到最終的高分辨圖像。該方法存在的不足是,該方法模型需要建立在圖像是分片光滑的假設(shè)下,這樣的前提條件并不是所有圖像都能滿足,此外,這種方法還會引入圖像的塊效應(yīng),造成超分辨圖像模糊。蘇州新視線文化科技發(fā)展有限公司申請的專利“基于稀疏表示的圖像超分辨率重建方法”(申請日:2013.07.16申請?zhí)枺?01310296581.3公開號:CN103366347A)中公開了一種基于稀疏表示的圖像超分辨重建方法。該方法先計算低分辨率圖像的梯度信息和高分辨率圖像與低分辨率圖像的殘差信息,然后通過稀疏表達(dá)方法得到低分辨率特征集合和高分辨率特征集合,最后在高分辨率特征集合中找到對應(yīng)的殘差信息,將此殘差信息融合到低分辨率圖像上,獲得高分辨圖像。該方法存在的不足是,計算低分辨率特征集合和高分辨率特征集合的稀疏表達(dá)方法計算復(fù)雜度很高,實時性差,實際應(yīng)用范圍受到限制。
技術(shù)實現(xiàn)要素:本發(fā)明的目的在于針對上述現(xiàn)有技術(shù)的不足,提出一種基于自適應(yīng)濾波和正則約束的圖像超分辨方法,通過優(yōu)化約束圖像的高頻部分,使獲得的高分辨率圖像具有尖銳的邊緣和豐富的紋理細(xì)節(jié)。實現(xiàn)本發(fā)明的具體步驟如下:(1)獲得初始高分辨率遙感圖像:(1a)輸入一幅高分辨率遙感圖像;(1b)生成均值為0,方差為1.6,尺寸為7×7的高斯模糊矩陣;(1c)用高斯模糊矩陣卷積高分辨率遙感圖像,得到高分辨率模糊遙感圖像;(1d)將高分辨率模糊遙感圖像按水平方向和垂直方向各下采樣3倍,得到低分辨率遙感圖像;(1e)采用插值放大方法,將低分辨率遙感圖像放大3倍,得到初始高分辨率圖像;(2)計算自適應(yīng)濾波器系數(shù)矩陣:(2a)采用自適應(yīng)濾波器生成方法,生成初始高分辨率遙感圖像的自適應(yīng)濾波器,得到自適應(yīng)濾波器系數(shù)矩陣;(2b)利用下式,計算初始高頻遙感圖像:u0=k0-Fk0其中,u0表示初始高頻遙感圖像,k0表示初始高分辨率遙感圖像,F(xiàn)表示自適應(yīng)濾波器系數(shù)矩陣;(3)獲得最優(yōu)高頻遙感圖像:(3a)將初始高分辨率遙感圖像中相鄰的兩列像素兩兩作差,得到遙感圖像的水平梯度算子;將初始高分辨率遙感圖像中相鄰的兩行像素兩兩作差,得到圖像的垂直梯度算子;(3b)利用下式,計算高頻遙感圖像的全變分:其中,Q表示高頻遙感圖像的全變分,D1和D2分別表示遙感圖像的水平和垂直梯度算子,u表示高頻遙感圖像;(3c)對高頻遙感圖像進(jìn)行小波域變換,得到高頻遙感圖像的小波變換矩陣;(3d)利用下式,計算高頻遙感圖像在小波域的投影矩陣:B=ΨTu其中,B表示高頻遙感圖像在小波域的投影矩陣,ΨT表示高頻遙感圖像小波變換矩陣的轉(zhuǎn)置矩陣,u表示高頻遙感圖像;(3e)采用優(yōu)化方程求解方法求解下式,獲得最優(yōu)高頻遙感圖像:其中,U表示最優(yōu)高頻遙感圖像;α1表示高頻遙感圖像全變分的正則化參數(shù),α1=4.0e-5;α2表示高頻遙感圖像在小波域下投影的正則化參數(shù),α2=3.0e-5;D1和D2分別表示遙感圖像的水平和垂直梯度算子;u表示高頻遙感圖像;ΨT表示高頻遙感圖像的小波變換矩陣的轉(zhuǎn)置矩陣;η表示高頻遙感圖像約束的懲罰因子,η=2;u0表示初始高頻遙感圖像;表示優(yōu)化方程,||·||12表示取范式操作,||·||2表示取范式平方操作;(4)獲得最優(yōu)高分辨率遙感圖像:(4a)對應(yīng)低分辨率遙感圖像像素和高分辨率遙感圖像像素之間的位置關(guān)系,得到下采樣矩陣;(4b)采用優(yōu)化方程等價轉(zhuǎn)換求解方法求解下式,獲得最優(yōu)高分辨率遙感圖像:其中,K表示最優(yōu)高分辨率遙感圖像;g表示低分辨率遙感圖像;W表示下采樣矩陣;H表示高斯模糊矩陣;k表示高分辨率遙感圖像;β表示約束高分辨率遙感圖像高頻部分的懲罰因子,β=2;F表示自適應(yīng)濾波器系數(shù)矩陣;U表示最優(yōu)高頻遙感圖像;表示優(yōu)化方程,||·||2表示取范式操作,||·||2表示取范式平方操作;(5)利用下式,計算最優(yōu)高分辨率遙感圖像和初始高分辨率遙感圖像的相對誤差:其中,γ表示最優(yōu)高分辨率遙感圖像和初始高分辨率遙感圖像的相對誤差,K表示最優(yōu)高分辨率遙感圖像;k0表示初始高分辨率遙感圖像;||·||2表示取范式操作;(6)判斷相對誤差是否滿足終止條件,如果是,執(zhí)行步驟(8);否則,執(zhí)行步驟(7);(7)數(shù)據(jù)更新:將最優(yōu)高分辨率遙感圖像的像素值賦值給初始高分辨率遙感圖像的像素,執(zhí)行步驟(2);(8)輸出最優(yōu)高分辨率遙感圖像。與現(xiàn)有技術(shù)相比,本發(fā)明具有以下優(yōu)點:第一,由于本發(fā)明僅需要輸入一幅圖像即可實現(xiàn)圖像的高分辨率重建,重建圖像時不再需要其它條件,克服了現(xiàn)有技術(shù)需要對輸入圖像附加分段光滑等苛刻條件,使得本發(fā)明提高了通用性。第二,由于本發(fā)明采用對高分辨率圖像的高頻部分進(jìn)行優(yōu)化運算,重建圖像具有尖銳的邊緣和豐富的紋理細(xì)節(jié),克服了現(xiàn)有技術(shù)重建圖像邊緣模糊的缺點,使得本發(fā)明提高了圖像的重建質(zhì)量。第三,由于本發(fā)明利用優(yōu)化運算來重建高分辨率圖像,克服了現(xiàn)有技術(shù)稀疏編碼運算復(fù)雜度高的缺點,使得本發(fā)明的計算復(fù)雜度低,優(yōu)化運算收斂速率快,提高了效率。附圖說明圖1為本發(fā)明的流程圖;圖2為本發(fā)明步驟1生成的低分辨率圖像的示意圖;圖3為本發(fā)明仿真實驗1的效果圖;圖4為本發(fā)明仿真實驗2的效果圖。具體實施方式下面結(jié)合附圖對本發(fā)明作進(jìn)一步的描述。參照圖1,本發(fā)明具體實施方式如下:步驟1.獲得初始高分辨率遙感圖像。輸入一幅高分辨率遙感圖像。本發(fā)明的實施例輸入的遙感圖像是從網(wǎng)絡(luò)上任意獲取。由MATLAB軟件生成均值為0,方差為1.6,尺寸為7×7的高斯模糊矩陣。用生成的高斯模糊矩陣卷積輸入的高分辨率遙感圖像,得到高分辨率模糊遙感圖像。緊接著將高分辨率模糊遙感圖像按水平方向和垂直方向各下采樣3倍,得到低分辨率遙感圖像。采用插值放大方法,將低分辨率遙感圖像放大3倍,得到初始高分辨率遙感圖像。插值放大方法是指采用最近鄰插值、雙線性插值中的一種進(jìn)行圖像放大的方法。在本發(fā)明的實施例中,插值放大方法采用的是雙線性插值方法。步驟2.計算自適應(yīng)濾波器系數(shù)矩陣。采用自適應(yīng)濾波器生成方法,生成初始高分辨率遙感圖像的自適應(yīng)濾波器,得到自適應(yīng)濾波器系數(shù)矩陣。利用公式:u0=k0-Fk0,得到初始高頻遙感圖像,其中,u0表示初始高頻遙感圖像,k0表示初始高分辨率遙感圖像,F(xiàn)表示自適應(yīng)濾波器系數(shù)矩陣。自適應(yīng)濾波器生成方法是指,采用非局部均值方法、基于圖像引導(dǎo)方法中的一種生成方法。在本發(fā)明的實施例中采用非局部均值方法。步驟3.獲得最優(yōu)高頻遙感圖像。將初始高分辨率遙感圖像中相鄰的兩列像素兩兩作差,得到遙感圖像的水平梯度算子。將初始高分辨率遙感圖像中相鄰的兩行像素兩兩作差,得到遙感圖像的垂直梯度算子。利用公式:得到高頻遙感圖像的全變分,其中,Q表示高頻遙感圖像的全變分,D1和D2分別表示遙感圖像的水平和垂直梯度算子,u表示高頻遙感圖像。對高頻遙感圖像進(jìn)行小波域變換,得到高頻遙感圖像的小波變換矩陣。利用公式:B=ΨTu,得到高頻遙感圖像在小波域的投影矩陣,其中,B表示高頻遙感圖像在小波域的投影矩陣,ΨT表示高頻遙感圖像小波變換矩陣的轉(zhuǎn)置矩陣,u表示高頻遙感圖像。采用優(yōu)化方程求解方法求解下式,獲得最優(yōu)高頻遙感圖像:其中,U表示最優(yōu)高頻遙感圖像;α1表示高頻遙感圖像全變分的正則化參數(shù),α1=4.0e-5;α2表示高頻遙感圖像在小波域下投影的正則化參數(shù),α2=3.0e-5;D1和D2分別表示遙感圖像的水平和垂直梯度算子;u表示高頻遙感圖像;ΨT表示高頻遙感圖像的小波變換矩陣的轉(zhuǎn)置矩陣;η表示高頻遙感圖像約束的懲罰因子,η=2;u0表示初始高頻遙感圖像;表示優(yōu)化方程,||·||1,2表示取范式操作,||·||2表示取范式平方操作。優(yōu)化方程求解方法是指,采用聯(lián)合交替迭代法、迭代收縮法、兩步迭代收縮法、加權(quán)最小二乘法中的任意一種求解方法。本發(fā)明的實施例采用聯(lián)合交替迭代法,聯(lián)合交替迭代具體步驟為以下五步:第一步,設(shè)置初始參數(shù),開始迭代運算。設(shè)置最大迭代次數(shù)為20次,設(shè)置閾值為10-4。第二步,利用下式,計算高頻圖像梯度域的逼近矩陣:其中,w1和w2分別表示高頻遙感圖像的水平梯度和垂直梯度的逼近矩陣;σ1表示逼近高頻遙感圖像的水平梯度和垂直梯度時的懲罰因子;α1表示高頻遙感圖像全變分的正則化參數(shù);λ11和λ12表示輔助變量,其初始值為0;u表示高頻遙感圖像;D1和D2分別表示遙感圖像的水平和垂直梯度算子;|·|表示取絕對值操作;max(·)表示取最大值操作;sgn(·)表示取符號算子操作。第三步,利用下式,計算高頻遙感圖像小波變換系數(shù)的逼近矩陣:其中,z表示高頻遙感圖像小波變換系數(shù)的逼近矩陣;ΨT表示高頻遙感圖像的小波變換矩陣的轉(zhuǎn)置矩陣;u表示高頻遙感圖像;σ2表示逼近高頻遙感圖像小波變換系數(shù)時的懲罰因子;α2表示高頻遙感圖像在小波域下投影的正則化參數(shù);λ2表示輔助變量,其初始值為0;|·|表示取絕對值操作;max(·)表示取最大值操作;sgn(·)表示取符號算子操作。求解最優(yōu)高頻遙感圖像的優(yōu)化方程等價為求解下面的一元一次方程:上述的一元一次方程可以利用二維快速離散傅里葉變換和逆變換進(jìn)行高效求解,其中,表示合并D1矩陣和D2矩陣,D1和D2分別表示遙感圖像的水平和垂直梯度算子;表示合并w1矩陣和w2矩陣,w1和w2分別表示高頻遙感圖像的水平梯度和垂直梯度的逼近矩陣;σ1表示逼近高頻遙感圖像的水平梯度和垂直梯度時的懲罰因子,σ2表示逼近高頻遙感圖像小波變換系數(shù)時的懲罰因子;u表示高頻遙感圖像;Ψ表示高頻遙感圖像的小波變換矩陣;z表示高頻遙感圖像小波變換系數(shù)的逼近矩陣;λ2表示輔助變量;η表示高頻遙感圖像約束的懲罰因子;u0表示初始高頻遙感圖像。第四步,更新參數(shù):利用下列各式,對參數(shù)進(jìn)行更新:其中,和表示第k次迭代的參數(shù)值,和表示第k+1次迭代的參數(shù)值;和分別表示第k次和第k+1次迭代的參數(shù)值;表示一個固定參數(shù),在實施例中取ρ=1.618;D1和D2分別表示遙感圖像的水平和垂直梯度算子;w1和w2分別表示高頻遙感圖像的水平梯度和垂直梯度的逼近矩陣;u表示高頻遙感圖像;ΨT表示高頻遙感圖像的小波變換矩陣的轉(zhuǎn)置矩陣;z表示高頻遙感圖像小波變換系數(shù)的逼近矩陣;表示一個固定參數(shù),在實施例中取μ=1.022。第五步,利用以下聯(lián)合交替迭代終止條件,判斷是否終止迭代:聯(lián)合交替迭代終止條件1.達(dá)到初始設(shè)置的最大迭代次數(shù),本發(fā)明的實施例中最大迭代次數(shù)為20次;聯(lián)合交替迭代終止條件2.利用下式,判斷相鄰兩次迭代時高頻信息的相對變化率是否小于等于給定的閾值:其中,uk表示第k次迭代的高頻遙感圖像,uk+1表示第k+1次迭代的高頻遙感圖像,ζ表示閾值,實施例中取ζ=10-4,||·||2表示取范式操作。只要滿足聯(lián)合交替迭代終止條件1和聯(lián)合交替迭代終止條件2中的任意一個條件,則終止迭代,轉(zhuǎn)至步驟4,否則,轉(zhuǎn)至第二步,繼續(xù)迭代。步驟4.獲得最優(yōu)高分辨率遙感圖像。對應(yīng)低分辨率遙感圖像像素和高分辨率遙感圖像像素之間的位置關(guān)系,得到下采樣矩陣。采用優(yōu)化方程等價轉(zhuǎn)換求解方法求解下式,獲得最優(yōu)高分辨率遙感圖像:其中,K表示最優(yōu)高分辨率遙感圖像;g表示低分辨率遙感圖像;W表示下采樣矩陣;H表示高斯模糊矩陣;k表示高分辨率遙感圖像;β表示高分辨率遙感圖像約束的懲罰因子,β=2;F表示自適應(yīng)濾波器系數(shù)矩陣;U表示最優(yōu)高頻遙感圖像;表示優(yōu)化方程,||·||2表示取范式操作,||·||2表示取范式平方操作。優(yōu)化方程等價轉(zhuǎn)換求解方法是指,采用等價轉(zhuǎn)換方法,將優(yōu)化方程轉(zhuǎn)換成一次線性方程的方法。步驟5.利用下式,計算最優(yōu)高分辨率遙感圖像和初始高分辨率遙感圖像的相對誤差。其中,γ表示最優(yōu)高分辨率遙感圖像和初始高分辨率遙感圖像的相對誤差,K表示最優(yōu)高分辨率遙感圖像;k0表示初始高分辨率遙感圖像;||·||2表示取范式操作。步驟6.判斷相對誤差是否滿足終止條件,如果是,執(zhí)行步驟8;否則,執(zhí)行步驟7。本發(fā)明設(shè)置的終止條件為:γ≤ε,其中,ε為容忍極限,其值取值范圍為ε∈(10-6,10-2)的正數(shù)。本發(fā)明的實施例中取ε=10-4。步驟7.數(shù)據(jù)更新。將最優(yōu)高分辨率遙感圖像的像素值賦值給初始高分辨率遙感圖像的像素,執(zhí)行步驟2。步驟8.輸出最優(yōu)高分辨率遙感圖像。下面結(jié)合實施例對本發(fā)明的圖像超分辨率效果做進(jìn)一步的描述:1.仿真實驗條件:本發(fā)明的仿真實驗運行系統(tǒng)采用Intel(R)Core(TM)i7-2600CPU650@3.40GHz,64位Windows操作系統(tǒng),仿真軟件采用MATLAB(R2013b)。2.仿真實驗內(nèi)容:在本發(fā)明的實施例中,統(tǒng)一設(shè)定參數(shù)為固定值,令α1=4.0e-5,α2=3.0e-5,η=2,β=2,ε=10-5。圖2是兩幅低分辨率遙感圖像的示意圖。從網(wǎng)絡(luò)上任意下載兩幅灰度遙感圖像作為仿真實驗的高分辨率遙感圖像。用高斯模糊矩陣分別卷積兩幅高分辨率遙感圖像,得到兩幅高分辨率模糊遙感圖像。緊接著將高分辨率模糊遙感圖像按水平方向和垂直方向各下采樣3倍,得到兩幅低分辨率遙感圖像。圖2(a)用于仿真實驗1,圖2(b)用于仿真實驗2。圖3是仿真實驗1的效果圖。圖3(a)是利用現(xiàn)有技術(shù)雙線性插值得到的最優(yōu)高分辨率圖像。圖3(b)是利用Zuo,W、Lin,Z二人在文獻(xiàn)“AGeneralizedAcceleratedAcceleratedProximalGradientApproachforTotal-Variation-BasedImageRestoration”(IEEETrans.onImageProcessingvol.20no.10pp.2748-2759Oct.2011.)中提出的圖像超分辨方法得到的最優(yōu)高分辨率圖像。圖3(c)是利用Yang,J、Wright,J、Huang,T、Ma,Y.四人在文獻(xiàn)“ImageSuper-ResolutionViaSparseRepresentation”(IEEETrans.onImageProcessingvol.19no.11pp.2861-2873Nov.2010.)中提出的超分辨方法得到的最優(yōu)高分辨率圖像。圖3(d)是利用本發(fā)明方法得到的最優(yōu)高分辨率圖像。圖4是仿真實驗2的效果圖。圖4(a)是利用現(xiàn)有技術(shù)雙線性插值得到的最優(yōu)高分辨率圖像。圖4(b)是利用Zuo,W、Lin,Z二人在文獻(xiàn)“AGeneralizedAcceleratedAcceleratedProximalGradientApproachforTotal-Variation-BasedImageRestoration”(IEEETrans.onImageProcessingvol.20no.10pp.2748-2759Oct.2011.)中提出的圖像超分辨方法得到的最優(yōu)高分辨率圖像。圖4(c)是利用Yang,J、Wright,J、Huang,T、Ma,Y.四人在文獻(xiàn)“ImageSuper-ResolutionViaSparseRepresentation”(IEEETrans.onImageProcessingvol.19no.11pp.2861-2873Nov.2010.)中提出的超分辨方法得到的最優(yōu)高分辨率圖像。圖4(d)是利用本發(fā)明方法得到的最優(yōu)高分辨率圖像。3.仿真結(jié)果分析:本發(fā)明的實施例中,采用峰值信噪比指標(biāo)來評價實驗結(jié)果:其中,PSNR表示峰值信噪比,K表示為最優(yōu)高分辨率圖像,k0表示為利用觀測的低分辨率圖像進(jìn)行超分辨放大得到的高分辨率圖像,log10(·)表示取對數(shù)操作,∑(·)表示求和操作,||·||2表示取范式操作。圖3中各幅圖像的峰值信噪比依次為(單位dB):25.08、29.49、25.34、32.42。圖4中各幅圖像的峰值信噪比依次為(單位dB):21.86、24.65、22.13、26.36。峰值信噪比的值越大則超分辨方法的性能越好。圖3(d)的峰值信噪比大于圖3(a)、圖3(b)、圖3(c),圖4(d)的峰值信噪比大于圖4(a)、圖4(b)、圖4(c),由此可見,本發(fā)明的超分辨方法好于另外的三種現(xiàn)有技術(shù)。從圖3和圖4可以進(jìn)一步看出,圖3(a)和圖4(a)的視覺效果最差。圖3(b)和圖4(b)的圖像比較清晰,但是物體的邊緣出現(xiàn)塊狀效應(yīng)比較明顯。圖3(c)和圖4(c)中圖像的塊狀效應(yīng)較圖3(b)和圖4(b)有所抑制,但圖像整體有些模糊,邊緣不夠清晰。圖3(d)和圖4(d)中的圖像基本沒有塊狀效應(yīng),圖像的紋理清晰,邊緣效果很好,圖像的高頻信息恢復(fù)的較好。綜上所述,本發(fā)明的圖像超分辨方法不僅峰值信噪比結(jié)果較好,而且視覺效果也很好。