本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，特別涉及一種遙感圖像融合方法，可用于遙感探測、安全導航、醫(yī)學圖像分析、反恐檢查和環(huán)境保護。

背景技術(shù)：

遙感圖像融合是對多遙感器獲得的圖像數(shù)據(jù)和其他信息處理的過程。其中研究最廣的是多光譜圖像與全色圖像融合。多光譜圖像，色彩信息豐富，但空間分辨率較低，一般為四個波段。全色圖像，空間分辨率很高，細節(jié)清晰，但缺少顏色信息，一般指使用0.5μm到0.75μm左右的單波段。在目標識別時，色彩信息和目標的空間分辨率對于分辨地物特征都具有非常重要的作用。

遙感圖像融合是對多遙感器獲得的圖像數(shù)據(jù)處理的過程。目的是將兩類圖像通過一定的規(guī)則或方法有機的結(jié)合起來，得到一幅具有高光譜分辨率和高空間分辨率的圖像。多光譜與全色圖像融合方法可以被歸結(jié)為三大類：(1)分量替換CS_Based融合框架；(2)基于多尺度分析工具MRA_Based的融合框架；(3)基于模型Model_Based的融合框架。

基于模型Model_Based的融合算法在光譜信息的保持方面仍然存在不足之處：1)忽略了波段之間的聯(lián)系導致了融合結(jié)果的光譜扭曲；2)忽略了對高階統(tǒng)計特性的應用。

近年來，壓縮感知和稀疏表示的理論的發(fā)展，使得基于退化模型為理論的模型復原的圖像融合方法得以發(fā)展。參見Jiang C,Zhang H,Shen H,et al.Two-step sparse coding for the pan-sharpening of remote sensing images[J].Selected Topics in Applied Earth Observations and Remote Sensing,IEEE Journal of,2014,7(5):1792-1805。該算法為兩步稀疏編碼多光譜圖像銳化方法。第一步稀疏編碼過程是低分辨多光譜圖像的圖像塊由對應位置的低分辨全色圖像塊線性表示，最終求得一個系數(shù)。第二步稀疏編碼是通過低分辨字典來稀疏表示殘差，然后得到殘差的稀疏向量。兩步稀疏編碼結(jié)束后，兩個系數(shù)被整合成一個向量。融合結(jié)果由最終整合的稀疏向量和字典原子相乘得到。該算法由于將多光譜圖像分波段融合，沒能充分考慮對波段間的信息充分利用，使得融合結(jié)果產(chǎn)生了色彩失真及光譜扭曲。

技術(shù)實現(xiàn)要素：

本發(fā)明目的在于針對上述已有技術(shù)的不足，提出一種基于稀疏張量近鄰嵌入的遙感圖像融合方法，以充分利用多光譜圖像波段間的信息，保持融合結(jié)果的光譜信息，減少融合后的多光譜圖像的顏色失真及光譜扭曲現(xiàn)象。

本發(fā)明的技術(shù)方案是這樣實現(xiàn)的：

一.技術(shù)原理

“張量”是高階數(shù)據(jù)處理的有效模型。張量作為矢量與矩陣的高維推廣，在多維信號處理時張量形式能夠很好地保持多維信號的空間結(jié)構(gòu)。與基于向量的方法相比，基于張量的方法具有如下優(yōu)點：(a)能夠保持更多的張量數(shù)據(jù)的結(jié)構(gòu)信息，從而使得數(shù)據(jù)蘊含的信息得到充分的利用，充分利用多光譜波段間的信息；(b)通過設(shè)計與張量分解有關(guān)的模型和算法，可以改變以往融合算法中多圖像量化操作的過程，可以在融合的過程中有效的利用多光譜數(shù)據(jù)的高階統(tǒng)計特性。

本發(fā)明結(jié)合張量高階數(shù)據(jù)處理的特點，克服基于模型的融合框架中的量化的操作，利用張量能夠很好地保持多維信號的空間結(jié)構(gòu)的特點充分利用多光譜圖像各個波段間的聯(lián)系，將低分辨多光譜圖像在張量的形式下構(gòu)建張量形式的近鄰嵌入模型，將低分辨的多光譜圖像在低分辨的近鄰嵌入字典下稀疏表示后，將稀疏系數(shù)張量映射到高維流形結(jié)構(gòu)上得到高分辨的多光譜圖像。

二.實現(xiàn)方案

基于上述原理，本發(fā)明的實現(xiàn)方案包括如下：

(1)分別輸入低分辨率多光譜圖像M和高分辨率全色圖像P；

(2)對低分辨多光譜圖像M進行上采樣，得到上采樣多光譜圖像M1，該M1與全色圖像P的分辨率尺寸相同；

(3)對高分辨全色圖像P進行下采樣，得到下采樣全色圖像P1，該P1與低分辨多光譜圖像M的分辨率尺寸相同；

(4)對下采樣全色圖像P1進行上采樣，得到上采樣全色圖像P2，該P2與高分辨全色圖像P的分辨率尺寸相同；

(5)對上采樣多光譜圖像M1進行分塊，得到三維的多光譜張量塊M；

(6)根據(jù)上采樣全色圖像P2，獲得低分辨模1矩陣D_L1：

6a)將上采樣全色圖像P2進行分塊，得到上采樣全色圖像小塊P3，對P3進行近鄰擴充操作，得到擴充后的上采樣全色圖像I_L；

6b)對擴充后的上采樣全色圖像I_L劃窗取塊，并對其進行列向量化，得到低分辨模1矩陣D_L1；

(7)根據(jù)高分辨全色圖像P，獲得高分辨模1矩陣D_H1：

7a)將高分辨全色圖像P進行分塊，得到全色圖像小塊P4，對P4進行近鄰擴充操作，得到擴充后的全色圖像I_H；

7b)將擴充后的全色圖像I_H劃窗取塊，并經(jīng)過列向量化操作，得到高分辨模1矩陣D_H1；

(8)分別優(yōu)化低分辨模1矩陣D_L1中的原子、高分辨模1矩陣D_H1中的原子：

8a)根據(jù)多流形理論，分別對低分辨模1矩陣D_L1和高分辨模1矩陣D_H1中的原子進行單位化歐氏距離操作，使得這兩個矩陣D_L1和D_H1中原子在同一流形結(jié)構(gòu)上；

8b)根據(jù)多流形理論，分別對低分辨模1矩陣D_L1和高分辨模1矩陣D_H1中的原子進行添加懲罰正則項的優(yōu)化求解操作，使得這兩個矩陣D_L1和D_H1中的原子在同一切空間平面上；

(9)對多光譜張量塊M進行量化操作，得到低分辨模2矩陣D_L2和低分辨模3矩陣D_L3，及高分辨模2矩陣D_H2和高分辨模3矩陣D_H3；

(10)用低分辨模1矩陣D_L1、低分辨模2矩陣D_L2和低分辨模3矩陣D_L3進行組合，得到低分辨多模字典LD；

(11)將高分辨模1矩陣D_H1、高分辨模2矩陣D_H2和高分辨模3矩陣D_H3進行組合，得到高分辨多模字典HD；

(12)利用張量基追蹤算法，求解多光譜張量塊M在低分辨多模字典LD下的稀疏張量系數(shù)A；

(13)將高分辨多模字典HD與稀疏張量系數(shù)A進行模乘，獲得融合的多光譜圖像F1；

(14)利用空域殘差補償法更新融合的多光譜圖像F1，獲得高分辨的多光譜圖像F。

本發(fā)明與現(xiàn)有的技術(shù)相比具有以下優(yōu)點：

第一，本發(fā)明將低分辨多光譜圖像以張量的形式進行表示，保證了在計算時各個波段間的信息的完整性，克服了量化操作對光譜信息所造成的影響，改善了光譜扭曲及色彩失真的現(xiàn)象；

第二，本發(fā)明構(gòu)建了稀疏張量近鄰嵌入模型，在張量的形式下，利用了流形假設(shè)中的局部相似性特征，使得融合圖像的空間信息更加精確；

第三，本發(fā)明對近鄰字典進行優(yōu)化，優(yōu)化后的字典原子與對應的多光譜圖像塊不僅在同一流形結(jié)構(gòu)上，且在同一個切空間上，提高了張量的近鄰字典的性能，增強了融合結(jié)果的空間分辨率。

仿真結(jié)果表明，本發(fā)明得到的融合后多光譜圖像比現(xiàn)有技術(shù)的融合圖像能更好的改善光譜扭曲及顏色失真的現(xiàn)象，保持了融合圖像的光譜分辨率，同時提高了空間分辨率。

附圖說明

圖1為本發(fā)明的實現(xiàn)流程圖；

圖2為本發(fā)明的仿真結(jié)果圖。

具體實施方法

以下結(jié)合附圖為本發(fā)明做進一步詳細描述：

參照圖1，本發(fā)明的具體實施方式如下：

步驟1，分別輸入低分辨率多光譜圖像M和高分辨率全色圖像P，

(1.1)本發(fā)明實施例中輸入的低分辨多光譜圖像M大小為64×64×4，分辨率為2m；高分辨率的全色圖像P大小為256×256，分辨率為0.5m；

(1.2)將低分辨的多光譜圖像M上采樣至與高分辨率全色圖像P的相同分辨率尺寸，得到上采樣的多光譜圖像M1，本實例中M1的大小為256×256×4。

步驟2，輸入高分辨率全色圖像P，得到下采樣全色圖像P1和上采樣全色圖像P2。

(2.1)輸入高分辨率全色圖像P，并對其下采樣得到大小為64×64的下采樣全色圖像P1；

(2.2)對下采樣全色圖像P1上采樣，得到大小為256×256的上采樣全色圖像P2。

步驟3，對上采樣的多光譜圖像M1分塊，構(gòu)成三維的多光譜張量塊M。

(3.1)上采樣多光譜圖像M1包含四個波段，對M1的每一個波段按5×5的大小劃窗取塊，得到四個波段的圖像塊分別為B1、B2、B3、B4；

(3.2)對四個波段的圖像塊B1、B2、B3、B4按照第三維方向組合，得到三維的多光譜張量塊M。

步驟4，輸入上采樣全色圖像P2，得到低分辨模1矩陣D_L1。

(4.1)對上采樣全色圖像P2分塊，得到上采樣全色圖像小塊P3；

(4.2)對上采樣全色圖像小塊P3以大小為21進行鄰域擴充，得到大小為21×21的擴充后上采樣全色圖像I_L，且I_L的中心為P3；

(4.3)對每一個擴充后的上采樣全色圖像I_L用5×5大小的窗口，按“Z”字形劃窗取塊，將每一個塊列向量化后，得到大小為25×1的上采樣全色圖像小塊列向量；

(4.4)對上采樣全色圖像小塊列向量進行組合，得到大小為25×289的低分辨模1矩陣D_L1。

步驟5，根據(jù)高分辨全色圖像P，得到高分辨模1矩陣D_H1。

(5.1)對高分辨全色圖像P按5×5的大小劃窗分塊，得到全色圖像小塊P4；

(5.2)對全色圖像小塊P4以大小為21進行鄰域擴充，得到大小為21×21的擴充后全色圖像I_H，且I_H的中心為P4；

(5.3)對每一個擴充后的全色圖像I_H用5×5大小的窗口，以1為步長，按“Z”字形劃窗取塊，并對每一個塊列進行向量化，得到大小為25×1的高分辨全色圖像小塊列向量；

(5.4)對高分辨全色圖像小塊列向量進行組合，得到大小為25×289的高分辨模1矩陣D_H1。

步驟6，計算低分辨模1矩陣D_L1中原子的單位化歐氏距離。

(6.1)對上采樣全色圖像小塊P3列向量化，得到上采樣全色圖像小塊向量t_P3；

(6.2)使用公式||D_L1-t_P3||₂計算低分辨模1矩陣D_L1的原子與上采樣全色圖像小塊向量t_P3的模值；

(6.3)使用公式計算低分辨模1矩陣D_L1中的原子的單位化歐氏距離。

步驟7，計算高分辨模1矩陣D_H1中原子的單位化歐氏距離。

(7.1)對全色圖像小塊P4列向量化，得到全色圖像小塊向量t_P4；

(7.2)使用公式||D_H1-t_P4||₂計算高分辨模1矩陣D_H1的原子與全色圖像小塊向量t_P4的模值；

(7.3)使用公式計算高分辨模1矩陣D_H1的原子的單位化歐氏距離。

步驟8，優(yōu)化低分辨模1矩陣D_L1中的原子。

(8.1)使用公式t_P3＝D_L1C_L計算低分辨權(quán)值C_L，其中，t_P3為上采樣全色圖像小塊向量，D_L1為低分辨模1矩陣；

(8.2)使用公式：計算低分辨懲罰正則項Q_L，

其中，D_L1為低分辨模1矩陣，s.t表示求解的限制條件，||Q_LC_L||₁為Q_LC_L的一范數(shù)，||D_L1C_L||₂為D_L1C_L的二范數(shù)，T表示矩陣的轉(zhuǎn)置，ε為重構(gòu)誤差；

(8.3)將高分辨懲罰正則項Q_L中元素編號映射到低分辨模1矩陣D_L1；

(8.4)在矩陣D_L1中刪除零元素編號的原子，將剩下非零元素編號的原子作為優(yōu)化后的低分辨模1矩陣D_L1原子。

步驟9，優(yōu)化高分辨模1矩陣D_H1中的原子。

(9.1)使用公式t_P4＝D_H1C_H計算高分辨權(quán)值C_H，其中，t_P4為全色圖像小塊向量，D_H1為高分辨模1矩陣；

(9.2)使用公式：計算高分辨懲罰正則項Q_H，

其中，D_H1為高分辨模1矩陣，||Q_HC_H||₁為Q_HC_H的一范數(shù)，||D_H1C_H||₂為D_H1C_H的二范數(shù)；

(9.3)將高分辨懲罰正則項Q_H中元素編號映射到高分辨模1矩陣D_H1；

(9.4)在矩陣D_H1中刪除零元素編號的原子，將剩下非零元素編號的近鄰原子作為優(yōu)化后的高分辨模1矩陣D_H1原子。

步驟10，根據(jù)多光譜張量塊M得到模矩陣。

(10.1)對多光譜張量塊M按照模2方向進行量化，得到量化矩陣，將該量化矩陣同時作為低分辨模2矩陣D_L2和高分辨模2矩陣D_H2；

(10.2)對多光譜張量塊M按照模3方向進行量化，得到量化矩陣，將該量化矩陣同時作為低分辨模3矩陣D_L3和高分辨模3矩陣D_H3。

步驟11，利用模矩陣得到多模字典。

(11.1)組合低分辨模1矩陣D_L1、低分辨模2矩陣D_L2和低分辨模3矩陣D_L3，得到低分辨多模字典LD；

(11.2)組合高分辨模1矩陣D_H1、高分辨模2矩陣D_H2和高分辨模3矩陣D_H3，得到高分辨多模字典HD。

步驟12，利用多光譜張量塊M、低分辨多模字典LD和高分辨多模字典HD，得到融合的多光譜圖像F1。

(12.1)使用公式：計算多光譜張量塊M在低分辨多模字典LD下的稀疏張量系數(shù)A，

其中，A為待求解的高分辨率稀疏張量系數(shù)，||A||₁為稀疏張量系數(shù)A的一范數(shù)，LD為低分辨率多模字典，為A×₁LD-M的二范數(shù)平方；

(12.2)使用公式F1＝A×HD計算高分辨多模字典HD與稀疏張量系數(shù)A模乘得的融合的多光譜圖像F1。

步驟13，更新融合的多光譜圖像F1，獲得高分辨的多光譜圖像F。

(13.1)對融合的多光譜圖像F1分塊，得到融合多光譜圖像小塊M_F；

(13.2)使用公式R＝M-M_F計算融合多光譜圖像小塊M_F與多光譜張量塊M的殘差R；

(13.3)使用公式計算殘差R在低分辨多模字典LD下的稀疏系數(shù)A_R；

(13.4)根據(jù)稀疏系數(shù)A_R與高分辨多模字典HD，得到融合后殘差R_F＝A_R×HD；

(13.5)根據(jù)融合后殘差R_F與融合多光譜圖像小塊M_F，得到高分辨的多光譜圖像F＝R_F+M_F。

本發(fā)明的效果可以通過以下仿真實驗作進一步說明。

1.實驗仿真環(huán)境為MATLAB R2014a on PC with Intel(R)core(TM)/2.50G/2.50G；

2.仿真內(nèi)容：

仿真1，使用本發(fā)明方法，對低分辨的多光譜圖像和高分辨的全色圖像融合，得到高分辨的多光譜圖像，結(jié)果如圖2。其中：

圖2(a)是低分辨的多光譜圖像，圖2(b)是高分辨的全色圖像，圖2(c)是參考圖像，這三幅圖像選自GeoEye，圖2(d)是采用本發(fā)明對圖2(a)和圖2(b)融合后獲得的高分辨多光譜圖像。

由圖2(d)與圖2(a)的比較可見，圖2(a)的細節(jié)不清晰，如道路的清晰度，房屋的色彩等均不清楚，而圖2(d)在空間分辨率、光譜信息、視覺效果上明顯優(yōu)于圖2(a)。

仿真2，為了證明本發(fā)明的效果，用本發(fā)明的方法和現(xiàn)有的代表性融合算法，分別對圖2(a)和圖2(b)的圖像融合，融合結(jié)果的評價指標對比，如表1。

現(xiàn)有的代表性融合算法包括：基于主成分分析變換的融合算法PCA、基于小波變換的融合算法AWLP、基于小波變換的融合算法CT、基于壓縮感知融合算法CS。

表1各方法融合結(jié)果的評價指標對比

表1中的常用評價指標包括：相關(guān)系數(shù)CC、通用圖像質(zhì)量指標UIQI、均方根誤差RMSE、整體圖像質(zhì)量指數(shù)Q4、光譜弧度SAM、相對整體維數(shù)綜合誤差ERGAS。

從表1數(shù)據(jù)對比表明，本發(fā)明融合結(jié)果的相關(guān)系數(shù)CC、通用圖像質(zhì)量指標UIQI和整體圖像質(zhì)量指數(shù)Q4均大于現(xiàn)有代表性融合算法的指標；其均方根誤差RMSE、光譜弧度SAM和相對整體維數(shù)綜合誤差ERGAS均小于代表性融合算法的指標；其中，本發(fā)明融合結(jié)果得到的相關(guān)系數(shù)CC更接近1，SAM指標最小，表明本發(fā)明能更好的保持融合圖像的光譜信息，且整體圖像質(zhì)量指數(shù)Q4最高，其客觀評價結(jié)果優(yōu)于現(xiàn)有技術(shù)的客觀評價結(jié)果。

綜上可見，本發(fā)明的融合圖像優(yōu)于現(xiàn)有代表性融合算法的結(jié)果，且與參考圖像最接近，色彩失真程度最小，圖像整體質(zhì)量最優(yōu)，融合結(jié)果最好。