本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體是一種紅外圖像重建方法。

背景技術(shù)：

近年來，隨著社會(huì)的發(fā)展，人們對(duì)高清晰度和高質(zhì)量圖像的需求更急迫，數(shù)字圖像處理技術(shù)在很多領(lǐng)域得到大量應(yīng)用。紅外成像技術(shù)因其抗干擾能力強(qiáng)、受環(huán)境影響小等諸多優(yōu)點(diǎn)，在眾多領(lǐng)域得到廣泛應(yīng)用。在軍事領(lǐng)域，高清晰度、高質(zhì)量圖像非常有助于目標(biāo)的偵查和鑒別；在醫(yī)療領(lǐng)域，高分辨率、高質(zhì)量的圖像能夠在醫(yī)療診斷和治療方面給醫(yī)生提供有效信息；在安全防護(hù)領(lǐng)域，視頻監(jiān)控、生物識(shí)別等方面，高分辨率的圖像能夠提供有效的幫助。但由于受當(dāng)前技術(shù)工藝和材料的制約，紅外傳感器陣列單元大小很難進(jìn)一步降低，傳感器中的像元數(shù)量無法進(jìn)一步提升。而當(dāng)前通過紅外探測(cè)器采集到的紅外圖像質(zhì)量較差，分辨率較低，無法滿足人們的需求。因此如何提升紅外圖像的質(zhì)量和空間分辨率是紅外領(lǐng)域亟待解決的難題。

harris等人首先在20世紀(jì)60年代提出了超分辨率重建的思想，主要是為了解決圖像采集系統(tǒng)固有的硬件技術(shù)限制，獲取更高分辨率的圖像。圖像的超分辨率重建方法主要分為兩種：頻域法和空域法，上世紀(jì)80年代，多幀圖像重建技術(shù)得到許多應(yīng)用和發(fā)展，tsai等人第一次提出以傅里葉變換為基礎(chǔ)的多幀圖像重建方法，然而由于頻域法局限在全局運(yùn)動(dòng)和線性時(shí)不變模型的顯著缺點(diǎn)，該方法無法得到廣泛應(yīng)用，空域法中的主流算法有非均勻插值法、迭代反投影(ibp)方法、最大后驗(yàn)概率(map)方法、凸集投影(pocs)方法、混合map/pocs方法。凸集投影算法是解決圖像重建問題的一種主流方法，該方法以集合理論為基礎(chǔ)，將先驗(yàn)知識(shí)加入重建過程中，獲取更好的重建結(jié)果

pocs方法原理易懂、過程簡(jiǎn)單、便于加入圖像先驗(yàn)信息，并且可以靈活應(yīng)用，能將各種觀測(cè)運(yùn)動(dòng)模型綜合考慮其中，pocs方法的性能基本不受空間模型復(fù)雜度的影響，同時(shí)也可以更好地保護(hù)圖像邊緣細(xì)節(jié)。然而pocs方法也有其缺點(diǎn)，在傳統(tǒng)pocs方法中，采用雙線性插值獲取高分辨率圖像的初始估計(jì)，往往導(dǎo)致重建圖像模糊，而對(duì)圖像采用單一高斯函數(shù)作為點(diǎn)擴(kuò)散函數(shù)，容易使重建圖像產(chǎn)生邊緣振蕩效應(yīng)，影響圖像重建的最終結(jié)果。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明旨在解決以上現(xiàn)有技術(shù)的問題。提出了一種增強(qiáng)重建圖像清晰度，減少圖像邊緣振蕩現(xiàn)象的基于邊緣細(xì)節(jié)保護(hù)的紅外圖像超分辨率重建方法。本發(fā)明的技術(shù)方案如下：

一種基于邊緣細(xì)節(jié)保護(hù)的紅外圖像超分辨率重建方法，其包括以下步驟：

步驟1)、獲取低分辨率觀測(cè)序列圖像，并從低分辨率觀測(cè)序列圖像中選擇任意一幅圖像，然后采用迭代曲率法對(duì)圖像進(jìn)行插值來獲取高分辨率圖像初始估計(jì)，即參考幀圖像；

步驟2)、以參考幀圖像參考幀為根據(jù)，將低分辨率序列圖像進(jìn)行運(yùn)動(dòng)估計(jì)，獲取低分辨率圖像序列的運(yùn)動(dòng)向量場(chǎng)；

步驟3)、將低分辨率觀測(cè)圖像中的所有像素依據(jù)步驟2)得到的運(yùn)動(dòng)向量參數(shù)找到其在高分辨率初始估計(jì)圖像中相對(duì)應(yīng)的像素位置，即建立圖像的觀測(cè)模型；

步驟4)、利用sobel邊緣檢測(cè)法判斷出圖像邊緣，對(duì)圖像的邊緣區(qū)和平滑區(qū)選擇不同的點(diǎn)擴(kuò)散函數(shù)(psf)，經(jīng)過圖像退化處理得到模擬低分辨率圖像的像素估計(jì)值，計(jì)算像素估計(jì)值與觀測(cè)圖像中實(shí)際像素灰度值之間的殘差；

步驟5：依據(jù)步驟4)獲得的殘差進(jìn)行迭代修正初始估計(jì)獲取最終高分辨率圖像。

進(jìn)一步的，所述的步驟1)中的迭代曲率法對(duì)圖像進(jìn)行插值具體包括：首先利用圖像中的二階方向?qū)?shù)計(jì)算值來判別待插值像素點(diǎn)的方向，進(jìn)行快速插值，式中，i表示待插值像素點(diǎn)，表示在像素點(diǎn)(2i+1,2j+1)處對(duì)角方向的八鄰域像素的二階導(dǎo)數(shù)，然后通過該像素點(diǎn)處定義的能量函數(shù)不斷迭代來修正該插值點(diǎn)像素灰度值，表達(dá)式為：

q＝aqc(2i+1,2j+1)+bqe(2i+1,2j+1)+cqi(2i+1,2j+1)，式中，qc代表曲率連續(xù)性，qe代表曲率強(qiáng)度，qi代表照度平滑，其定義如下：

式中，i11、i22表示二階方向?qū)?shù)的局部近似值，wi表示權(quán)重，當(dāng)一階導(dǎo)數(shù)在相關(guān)方向上不大于閾值t時(shí)，取值為1，否則，取值為0；qe＝-(|i11(2i+1,2j+1)|+|i22(2i+1,2j+1)|)，qi＝f(i)|2i+1,2j+1i(2i+1,2j+1),其中，

i1、i2是像素點(diǎn)一階導(dǎo)數(shù)近似值，i12、i11、i22是像素點(diǎn)二階導(dǎo)數(shù)近似值。

進(jìn)一步的，所述步驟2)獲取低分辨率圖像的的運(yùn)動(dòng)向量場(chǎng)，包括水平方向向量和垂直方向向量。

進(jìn)一步的，所述步驟3)低分辨率圖像中的像素點(diǎn)與高分辨率圖像初始估計(jì)中像素的對(duì)應(yīng)位置，即建立圖像的觀測(cè)模型：

式中，gl(m1,m2)代表第l幀觀測(cè)圖像在(m1,m2)處的灰度值；f(n1,n2)代表原始圖像在(n1,n2)處的灰度值；h(m1,m2；n1,n2)代表點(diǎn)擴(kuò)散函數(shù)psf；v(m1,m2)代表系統(tǒng)加性噪聲。

進(jìn)一步的，所述步驟4)具體包括：點(diǎn)擴(kuò)散函數(shù)h(m1,m2；n1,n2)可由公式表示為：式中，g表示sobel檢測(cè)算法在圖像內(nèi)一個(gè)模板大小區(qū)域的中間點(diǎn)梯度值，參量t主要是控制高斯函數(shù)和gaman-mcclure函數(shù)在psf的使用過程中占用的比例大小，取值范圍0.9-1.5之間，然后根據(jù)觀測(cè)模型模擬獲得低分辨率圖像，計(jì)算其與實(shí)際低分辨率圖像之間的殘差，rl(i0,j0)的殘差表達(dá)式為：式中，gl(i0,j0)表示實(shí)際低分辨率圖像灰度值，表示模擬低分辨率圖像灰度值。

進(jìn)一步的，步驟5中具體的迭代過程為：

式中，fref(m1,m2)表示待重建圖像灰度值，r表示殘差，δ0＝cσ(c≥0)，σ表示高斯噪聲的標(biāo)準(zhǔn)差，c是由合適的統(tǒng)計(jì)置信區(qū)間確定的。

本發(fā)明的優(yōu)點(diǎn)及有益效果如下：

本發(fā)明提出一種基于邊緣細(xì)節(jié)保護(hù)的紅外圖像超分辨率重建方法，針對(duì)pocs方法存在的缺點(diǎn)進(jìn)行優(yōu)化改進(jìn)，其一，引入迭代曲率插值法獲取高分辨率圖像的初始估計(jì)值，改善傳統(tǒng)方法中由雙線性插值法帶來的圖像模糊問題，其二，以sobel邊緣檢測(cè)法判斷圖像的邊緣區(qū)和平滑區(qū)，在迭代修正初始估計(jì)時(shí)，對(duì)圖像的邊緣使用不同的點(diǎn)擴(kuò)散函數(shù)，減少重建圖像出現(xiàn)的邊緣振蕩問題。本方法對(duì)圖像的邊緣細(xì)節(jié)部分和平滑部分都能進(jìn)行很好的重建，改善了重建圖像的視覺效果，增強(qiáng)了圖像清晰度，有效抑制了圖像的振鈴效應(yīng)。

附圖說明

圖1：本發(fā)明提供優(yōu)選實(shí)施例方法重建流程示意圖；

圖2是本發(fā)明方法重建效果圖，圖2(a)為傳統(tǒng)方法重建圖像，圖2(b)為本發(fā)明方法重建圖像；

圖3是本發(fā)明方法重建結(jié)果的局部放大圖，圖3(a)和圖3(b)分別表示為傳統(tǒng)方法與本發(fā)明方法重建圖像同一局部區(qū)域放大圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、詳細(xì)地描述。所描述的實(shí)施例僅僅是本發(fā)明的一部分實(shí)施例。

本發(fā)明解決上述技術(shù)問題的技術(shù)方案是：

為便于公眾對(duì)本發(fā)明技術(shù)方案的理解，首先介紹超分辨率圖像重建的相關(guān)理論。

多幀圖像的重建存在的一個(gè)主要難題就是如何模擬原始圖像與低分辨率圖像間的退化過程，從而確立準(zhǔn)確的觀測(cè)模型，該模型反映了從目標(biāo)實(shí)物場(chǎng)景的原始圖像到觀測(cè)圖像之間的整個(gè)成像過程，它是超分辨率圖像重建方法的基礎(chǔ)。在實(shí)際應(yīng)用中，對(duì)同一目標(biāo)的重復(fù)采集拍攝會(huì)獲得k幅低分辨率序列圖像，其中任一幅圖像的退化過程可用矩陣公式表示為：

y^(k)＝db^(k)m^(k)x+n^(k)

式中，k＝0,1,...,k，m^(k)表示第k幅低分辨率圖像在采集過程中因運(yùn)動(dòng)造成的變形矩陣，b^(k)表示由光學(xué)系統(tǒng)造成的模糊矩陣，d表示下采樣矩陣，n^(k)表示噪聲，通常認(rèn)為是高斯白噪聲。

由以上對(duì)圖像采集獲取過程的描述可知，高分辨率原始圖像的退化過程即為低分辨率觀測(cè)圖像的獲取過程，如果將此過程看作一個(gè)正定過程，那么重建就可理解為它的逆過程。在圖像重建過程中，pocs算法采用反復(fù)修正初始估計(jì)圖像的方法，它的重建過程是首先估計(jì)出一幅高分辨圖像作為初始估計(jì)值，將它看成成像空間的重建起始點(diǎn)，把該點(diǎn)用f0表示，其次將該初始估計(jì)圖像的像素循環(huán)投影于凸限制集和ci上，每次投影后的圖像為fk(1≤k≤n)，使初始估計(jì)圖像滿足所有的限制集合，則最終的圖像即為所求的重建結(jié)果圖像。設(shè)有閉合凸集ci(i＝1,2,…,n)和相應(yīng)的算子pi(i＝1,2,…,n)，則獲取一幅高分辨率圖像的重建公式表達(dá)如下：

fk+1＝pnpn-1…p1fk

其中，n為凸集投影的個(gè)數(shù)，通過n次有限的迭代，只要這些凸集的交集非空，經(jīng)過不斷地迭代，最終所有的解都會(huì)收斂到集合中。更一般的形式就是采用松弛算子，可表示為:

fk+1＝tntn-1…t1fk

式中，ti＝1+λi(pi-1)，0＜λi＜2，ti為投影算子，λi為松弛參數(shù)，用于提高算法的運(yùn)行效率。

在使用pocs方法進(jìn)行圖像重建的環(huán)節(jié)中，選取相應(yīng)的凸約束集合，這些凸約束集合對(duì)應(yīng)于低分辨率序列圖像中的像素，對(duì)應(yīng)的數(shù)據(jù)一致性凸集合可表示如下：

ci,j＝{f(m1,m2):|r(i,j)|≤δ0}

式中，r(i,j)表示f(m1,m2)通過圖像退化處理后的模擬低分辨率圖像與實(shí)際低分辨率圖像之間的殘差。r(i,j)可表示為：

式中，g(i,j)表示實(shí)際低分辨率圖像灰度值，表示模擬低分辨率圖像灰度值。若殘差r大于閾值σ0，表示當(dāng)前估計(jì)值fref(m1,m2)偏小，則向增大fref(m1,m2)的方向修正，否則，向減小fref(m1,m2)的方向修正。具體的迭代過程表示為：

具體而言，本發(fā)明方法如附圖1所示，按照以下步驟進(jìn)行超分辨率圖像重建：

步驟1：從低分辨率觀測(cè)序列圖像中選擇一幅圖像，然后采用迭代曲率方法對(duì)其插值來獲取高分辨率圖像初始估計(jì)，即參考幀圖像。

步驟2：以參考幀圖像為根據(jù)，將其他低分辨率圖像進(jìn)行運(yùn)動(dòng)估計(jì)，獲取低分辨率序列圖像的運(yùn)動(dòng)向量場(chǎng)。

步驟3：將低分辨率觀測(cè)圖像中的所有像素依據(jù)步驟2得到的運(yùn)動(dòng)向量參數(shù)找到其在初始估計(jì)圖像中相對(duì)應(yīng)的像素位置。

步驟4：利用sobel邊緣檢測(cè)法判斷出圖像邊緣，選擇合適的psf，經(jīng)過圖像退化處理得到模擬低分辨率圖像的像素估計(jì)值，計(jì)算其與觀測(cè)圖像中實(shí)際像素灰度值之間的殘差。

步驟5：依據(jù)殘差迭代修正初始值獲取最終高分辨率圖像。

本實(shí)施例在pocs重建過程中，采用迭代曲率插值法獲取高分辨率圖像的初始估計(jì)，改善了由雙線性插值法帶來的圖像模糊情況，利用sobel邊緣檢測(cè)算法判斷圖像的邊緣，采用gaman-mcclure函數(shù)和高斯函數(shù)作為點(diǎn)擴(kuò)散函數(shù)處理圖像的邊緣區(qū)和平滑區(qū)，一定程度上抑制了圖像的邊緣振蕩現(xiàn)象。

pocs算法的重建過程為：選取的一幅320×240尺寸的原始紅外圖像，首先對(duì)原始圖像進(jìn)行平移，然后利用大小為3×3的高斯窗口加入濾波處理，經(jīng)過采樣因子為2的下采樣，加入方差為0.01的高斯噪聲后，得到4幅大小為160×120的低分辨率圖像序列。圖2中，(a)表示傳統(tǒng)pocs方法重建圖像，(b)表示本發(fā)明方法重建圖像；圖3中，(a)表示傳統(tǒng)pocs方法重建圖像局部放大結(jié)果，(b)表示本發(fā)明方法重建圖像局部放大結(jié)果；從圖像觀察結(jié)果來看，本發(fā)明方法獲得重建圖像有效的抑制了邊緣振蕩現(xiàn)象，而且對(duì)圖像的邊緣細(xì)節(jié)有較好的保護(hù)。

以上這些實(shí)施例應(yīng)理解為僅用于說明本發(fā)明而不用于限制本發(fā)明的保護(hù)范圍。在閱讀了本發(fā)明的記載的內(nèi)容之后，技術(shù)人員可以對(duì)本發(fā)明作各種改動(dòng)或修改，這些等效變化和修飾同樣落入本發(fā)明權(quán)利要求所限定的范圍。